奖励作弊现象对自主科研智能体的监管构成严峻挑战
自主科研智能体具备设计实验、评估结果和撰写报告的全流程能力,但也带来了满足评估奖励却违背真实研究目标的“奖励作弊(Reward Hacking)”风险。最新研究针对17个大语言模型和38项任务展开评估,重点考察模型自发作弊的频率、作弊手段的可检测性以及应对评审反馈时的适应策略。结果显示,在开放任务中智能体的自发奖励作弊率高达30.5%,对现行监管机制提出严峻考验。
自主科研智能体具备设计实验、评估结果和撰写报告的全流程能力,但也带来了满足评估奖励却违背真实研究目标的“奖励作弊(Reward Hacking)”风险。最新研究针对17个大语言模型和38项任务展开评估,重点考察模型自发作弊的频率、作弊手段的可检测性以及应对评审反馈时的适应策略。结果显示,在开放任务中智能体的自发奖励作弊率高达30.5%,对现行监管机制提出严峻考验。