预测智能体何时应当推理?基于行为压力测试的可靠性路由研究
该研究探讨了预测智能体在结合大模型推理、信息检索、集成与校准时,各决策行为在何时具备可靠性。研究人员在ForecastBench风格的二元预测任务上,将智能体选择检索、推理、参考市场先验或采用历史类比等策略视为可观测行为并展开压力测试。核心结论显示,机制的最优选择高度依赖于数据生成源,结构化类比在特定数据流程中占据主导,而市场群体策略与保守基线在其他情境下表现更优。
该研究探讨了预测智能体在结合大模型推理、信息检索、集成与校准时,各决策行为在何时具备可靠性。研究人员在ForecastBench风格的二元预测任务上,将智能体选择检索、推理、参考市场先验或采用历史类比等策略视为可观测行为并展开压力测试。核心结论显示,机制的最优选择高度依赖于数据生成源,结构化类比在特定数据流程中占据主导,而市场群体策略与保守基线在其他情境下表现更优。
该研究提出了LabFactory框架,旨在将科学任务需求自动转化为可执行的AI实验室。在该框架中,AI构建器根据科学任务简报,构建并打包一套集成特定模型、知识资源、实用工具和控制器的定制求解系统。整个开发和打包过程在受计量的独立工作区中完成,随后交付给独立宿主环境执行,探索了科学计算与AI系统的自动化端到端构建路径。
针对企业利用大语言模型进行合规、风险及运营决策时对证据验证、审查路由与可审计性的高要求,研究人员提出了Policy-as-Skill(PaS)模块化运行时框架。该框架将上述功能打包为可执行且具备版本控制的策略能力。在基于固定模型后端的600项开发任务评估中,PaS+Audit方案取得了53.8%的准确率、100%的引用精确度与审计完整性,在绝大多数治理与合规指标上超越了传统LLM+RAG架构。