引导与动作的相互强化：多模态网页智能体离线评测基准 WebMRE
针对网页智能体在实时环境中评估存在状态漂移、难以稳定复现和开展可控训练研究的痛点，研究团队提出了离线评估基准 WebMRE。该基准基于 WebArena 的成功轨迹构建，包含 541 个任务和 5,293 个步骤，配备经过全面审计的测试标签和确定性评估协议，无需运行环境即可确保同一检查点在多次运行中输出一致评分。每个步骤将人类指导语句与具体动作配对，首次实现了对引导与动作相互强化机制的离线研究。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
PRISM-VLM：面向紧凑型视觉语言模型的多维度判别评测基准
针对现有评测基准多沿袭前沿大模型设计、导致紧凑型视觉语言模型难以拉开区分度的问题，研究人员推出了 PRISM-VLM 评测基准。该基准围绕轻量级多模态模型的常见失效模式，从任务质量、行为鲁棒性和能力瓶颈等七个关键维度对每个评测样本进行综合打分，并将其融合为单一的 PScore 指标，从而更精确、精细地评估紧凑型多模态模型的真实表现与局限性。