句子级法律解释准则分类：基于德国联邦宪法法院判决的评测基准
针对大语言模型在司法推理分析中的难点，该研究提出了一个句子级基准，用于评估大模型分类法律解释准则的能力。研究基于传统法学解释理论构建了分类标准，发布了经过句子级人工标注的德国联邦宪法法院判决数据集，并在专家手写提示词设定下，对来自三个模型家族的四款大语言模型进行了基线性能评测。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
终端基准测试何以称“难”？研究揭示智能体评测中的“真假难度”陷阱
前沿基准测试常依赖当前模型无法解决的任务来衡量能力边界，但零通过率并不等同于真正的高难度。该研究指出，任务全军覆没既可能源于真实的能力代差，也可能是由缺失上下文、损坏的参考方案或基础设施故障等“虚假难度”导致。基于 Terminal-Bench 3 等基准中涵盖 639 个任务、2.8 万余次试验及逾 10 万美元开销的真实记录，研究系统性厘清了导致智能体任务失败的本质原因，为评测体系纠偏。
面向网络生成文本的字素转音素基准 UGTPhon：涵盖多语言与组合式方法
文本转语音（TTS）系统在处理网络生成文本（如缩写 ppl、imo）时，需根据规范表达而非表面拼写来推断发音。为此，研究人员推出了首个针对英语、越南语和韩语网络文本的字素转音素（G2P）基准 UGTPhon，并配套提出用于细粒度诊断的分类体系。测试显示，现有 G2P 模型及前沿大模型在此类文本上的音素错误率（PER）最高落后 66.8 点。研究团队进一步提出了一种结合规范形式证据的组合式 G2P 基线方法。
ShowTellArena：评估智能体从业务演示中理解工作流能力的基准数据集
研究人员提出了 ShowTellArena，这是一个用于评估智能体在观看带有口述解说的业务演示后其理解能力的基准测试协议与公开数据集。该基准模拟了人类通过“边演示边讲解”指导新同事的场景。v1.0 版本涵盖财务、招聘、采购、客户决策、库存和物流等领域的 50 个业务工作流任务，包含屏幕录像、截图、旁白解说及 502 道评估试题，旨在系统性测试智能体对复杂商业流程的掌握水平。
序列推荐系统时序归因可解释方法系统基准测试
序列推荐系统通过用户历史交互序列驱动下一步决策，是现代个性化服务的核心。基于CNN和Transformer的深度学习架构虽能有效捕获时序依赖，但其非线性特征导致模型沦为黑盒。为了提升模型透明度与信任度，帮助开发者审查模型行为并为用户提供推荐依据，该研究针对序列推荐系统中的时序归因可解释性方法展开系统化基准评估（注：原论文摘要结尾存在截断，具体评估结果详见完整论文）。