DCAI
← 返回全部动态
arXiv 自然语言处理AI 评分 75/10009月25日 12:00

被说服而非被告知:利益冲突陈述导致大模型智能体上下文锚定失效

该研究揭示了大语言模型智能体在处理客户关系管理(CRM)记录时的一种新型失效模式:上下文锚定易受利益相关方偏见误导。在销售线索资质审核等业务中,当输入上下文中包含具有主观乐观动机的销售代表断言时,模型往往会将其视为客观证据采纳,进而批准企业客观记录原本判定为不合格的交易。基于CRMArena-Pro基准的测试表明,即便采用更强大的模型,也难以有效规避这种将说服性言辞误当事实的缺陷。

推荐理由揭示了企业级大模型智能体在业务决策中容易轻信利益相关方主观陈述的可靠性缺陷,对落地部署具有警示意义。

原标题:Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding

阅读 arXiv 自然语言处理 原文 ↗