研究揭示Transformer注意力头数对序列有序性判断的表达能力界限
该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明,判断一个比特序列是否处于有序状态的任务无法由单头单层(1-head 1-layer)Transformer完成,但可以通过双头单层(2-head 1-layer)Transformer实现。与以往同类理论成果不同的是,该研究的结论建立在模型包含输出多层感知机(MLP)的架构设定之下。
该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明,判断一个比特序列是否处于有序状态的任务无法由单头单层(1-head 1-layer)Transformer完成,但可以通过双头单层(2-head 1-layer)Transformer实现。与以往同类理论成果不同的是,该研究的结论建立在模型包含输出多层感知机(MLP)的架构设定之下。
针对 AI 虚拟细胞模型在预测生物干预响应时可能并未真正利用输入信息的“预测-主张差距”,研究团队提出了审计框架 CELLAUDIT。在大模型智能体自动发现和迭代预测模型的场景下,CELLAUDIT 从源码计算路径、拟合依赖性以及实际预测贡献三个维度切入,系统性验证模型对输入扰动信息的使用主张是否属实,以确保智能体生成的科学预测模型具备真正的因果有效性和可靠性。
尽管代码智能体现已能在生产软件中发现实际漏洞,但漏洞挖掘成果并不等同于构建漏洞利用原语的能力。为此,研究团队推出了用于评估代码智能体针对真实操作系统内核生成利用原语的基准 KEX-bench。该基准涵盖 40 个 Linux 与 Windows 真实 CVE 的 45 个任务实例,涉及内核地址泄露、指令指针控制和任意地址读写等场景,并在隔离虚拟机环境中借助确定性验证器评估智能体的利用能力。
该研究提出了一种面向在线自适应的贝叶斯神经网络训练方法。研究将神经网络各层视为状态空间模型的时间步,把贝叶斯训练转化为平滑问题:前向过程传播高斯矩,反向 RTS 平滑过程则以闭式解更新权重后验。这种方法单次遍历即可完成学习,具备不确定性感知能力,且无需梯度迭代或经验回放,非常适用于高数据效率的在线自适应场景。针对以往方法受限于激活对角协方差的瓶颈,该工作展开了全协方差平滑研究。
针对自回归语言模型仅能通过序列分解间接表示全局结构、缺乏类似图像领域的忠实连续表征这一问题,研究人员提出了LLMAE方法。该方法将预训练的仅解码器(decoder-only)大语言模型重新利用为连续文本自编码器,通过在其内部激活状态中构建一个中间固定长度的潜在瓶颈(latent bottleneck),成功为文本生成提供了可操作的高保真连续潜空间表征。
柏拉图表征假设提出高能力模型会趋向于收敛至共享表征,而近期研究将其范围缩减为共享局部邻域关系,并认为校准后全局相似性趋势大多消失。该研究对这一解读提出质疑,指出以往的局部与全局对比混淆了结构尺度(局部与全局)与对比对象本身的差异,即由样本关联定义的“关系结构”和由距离等量化关系表征的“度量几何”被混为一谈,重新澄清了模型表征收敛的实质。
随着智能体 AI 系统逐步采用整合多工具的自动化流程,智能体与工具间交互的可靠性日益受到关注。该研究针对生物学智能体等工作流场景,系统调查了交互过程中的“静默失败”问题。此类故障表现为工具调用表面上显示成功,但 API 或封装层返回的信息与功能实际存在缺失或残缺,且未向用户或智能体发送任何异常通知。该研究填补了此前评测仅关注任务完成率而忽视交互底层隐性故障的空白。
现代大语言模型智能体大多依托于由模型与工具调用构成的核心循环(Agent Loop)运行,但处理记忆增强与自我改进等复杂工作流时,通常依赖复杂的额外工程系统。为此,研究团队构建了极简智能体框架JAZ,旨在探索仅依靠最基础的循环机制,在多大程度上能够替代并完成此类专门系统的任务。由于原文摘要结尾存在截断,关于JAZ具体暴露的接口与机制细节仍有待全文披露。
针对单一局部合理的工具调用可能导致整个智能体执行轨迹失败的问题,研究人员提出了一种名为 TwinCheck 的推理期验证策略。该策略认为仅凭怀疑进行干预可能引入新错误,因此仅在轨迹满足与局部失败假设相关的证据条件时才触发替换。系统通过构建基于轨迹的反事实替代方案(即“负孪生”),仅当该方案通过结构检查且成对验证器判定其更优时,才替换智能体原有的提议调用,有效提升了执行可靠性。
该研究旨在为动态模拟世界中人类与多智能体的交互提供设计原则和软件架构。结合通用人工智能(AGI)发展、Transformer对话智能体的普及以及计算能力的提升,文章梳理了过往与当前的多智能体心智理论,重点关注具备社会与情感认知能力的智能体,探讨智能体之间及其与人类互动的综合设计方法,以增强多智能体系统的交互理解与协同模拟能力。
该论文针对大型语言模型多元对齐中价值观冲突的问题,研究了可控模型如何在竞争性目标间平衡权衡。多目标直接偏好优化(MODPO)通过目标权重覆盖连续权衡区间,本研究探讨了模型何时可同时提升两个目标,以及如何避免为每种权衡单独训练模型。基于HelpSteer和UltraFeedback的七组目标测试,研究提出了可预测目标冲突的预训练测量方法,以实现更高效的多元对齐。
该论文针对Python生态中因版本不兼容与包缺失导致的“依赖地狱”问题,提出了混合依赖修复管线PLLM+。该方法在包含2891个报错片段的HG2.9K基准上进行了验证。PLLM+在调用大语言模型前,优先执行低成本确定性策略,包括基于AST的静态解释器推断、历史成功配置重放以及实时PyPI验证,随后结合LLM进行精准修复,有效提升了真实代码的执行成功率。
该论文探讨了多模态大语言模型在图像或语音与伴随文本发生冲突时的偏好机制。针对以往文本偏置研究中证据顺序固定或指令位置变化导致成因不明的问题,研究团队采用配对比较法,在固定指令与证据内容的前提下仅互换两类模态信息的输入顺序。实验覆盖视觉与语音模型,发现将图像或音频置于冲突文本之后会持续改变模型判定,证实了模型处理冲突证据时存在显著的顺序敏感性与不可交换性。
针对群组相对策略优化(GRPO)等主流策略梯度方法在训练语言模型智能体时将多轮交互压缩为单一标量轨迹奖励的痛点,研究指出该做法在稀疏和延迟反馈的多技能复合任务中存在严重的信息损失,优化器难以推断具体能力对结果的贡献。为此,论文提出应将轨迹奖励沿子任务进行解耦与分解后再进行策略更新,从而实现更精准的信用分配与行为调整。
该研究针对虚拟助手的人机交互场景,提出了一种新型语音唤醒系统。该方案将传统的直接关键词检测扩展为上下文触发检测,在初始唤醒词激活后,系统利用推理能力区分实际用户指令与无关语音,从而确保高效且具备上下文感知的交互。为支撑训练,研究团队设计了一套数据生成架构,成功合成了包含直接调用、上下文跟进等场景的62.3小时可控多说话人对话语料库。
思维链(CoT)监控通常假设模型生成的推理过程真实反映了得出答案的计算机制。以往评估推理真实性的指标主要停留在行为层面,即通过修改推理文本来观察输出变化。该研究提出一种在激活层面测量自生成推理真实性的因果分析方法。与以往仅评估性能衰减的因果审计不同,该方法通过带有已知反事实目标的激活干预,验证每一次干预是否能将答案切换至特定的反事实实体,从而精确评估推理步骤的因果支撑度。
一项针对大语言模型内部计算机制的研究显示,开源数学模型在处理问题时更倾向于按可复用的“推理方法”而非传统的“学科主题”组织内部计算。研究团队提出了一种“生成-重放协议”,先由模型生成解题步骤,再重放完整的提示词与生成轨迹,借此提取推理 token 的激活重要性特征并进行无监督聚类。该研究为理解 LLM 如何在内部表征和执行数学推理提供了新的可解释性视角。
该研究探讨了大语言模型智能体在量化因子全流程研究中的职责划分。研究团队提出了一种“受管制的自我演化”框架:智能体仅负责提出投资因子假设,而由一个独立的固定统计裁判机制进行评估。裁判仅根据因子提交后披露的真实市场表现进行动态评分与对赌,从而确保在任意停止时间下均具备防伪发现的统计保证。该设计有效解决了智能体既当运动员又当裁判所带来的过拟合与数据窥探问题。
针对企业利用大语言模型进行合规、风险及运营决策时对证据验证、审查路由与可审计性的高要求,研究人员提出了Policy-as-Skill(PaS)模块化运行时框架。该框架将上述功能打包为可执行且具备版本控制的策略能力。在基于固定模型后端的600项开发任务评估中,PaS+Audit方案取得了53.8%的准确率、100%的引用精确度与审计完整性,在绝大多数治理与合规指标上超越了传统LLM+RAG架构。
该研究针对泛化规划中方案完备性难以形式化验证的问题,提出了一种基于大语言模型(LLM)的新框架。此前利用 LLM 生成 Python 代码形式泛化规划的方法,只能依赖人工评估来确认其是否能解决领域内的所有实例。为此,研究团队提出利用交互式定理证明器 Lean 自动生成泛化规划,并同步产出基于领域约束规范的完备性数学证明,实现了对泛化规划正确性与全域覆盖能力的机器可验证保障。
该研究探讨了大型语言模型多智能体辩论(MAD)中的通信拓扑问题。针对当前学术界倾向于设计复杂、自适应或动态重构交互拓扑以提升推理准确率的趋势,研究团队深入审视了稀疏通信机制。论文提出“相异对等随机路由”方法,旨在探究是否真的需要复杂的拓扑控制,证实简单的稀疏通信即可在显著降低成本的同时实现极具竞争力的推理性能,为优化多智能体交互架构提供了更具成本效益的新思路。
论文提出了用于神经符号集成的 CUDA 原生逻辑编程引擎 xlog。该引擎通过类型化前端与 CUDA 运行时,将神经感知与确定性 Datalog、概率推理及认知世界观相结合。各推理模式共享 GPU 设备数据平面,其中常驻递归与蒙特卡洛采样核心在特定推理阶段实现了零主机-设备数据传输开销。此外,其概率推理路径支持通过 GPU 知识编译完成端到端梯度计算,显著提升了神经符号推理的硬件执行效率。
随着计算机使用智能体(CUA)日益广泛地代表用户执行在线操作,当所处环境的利益激励与用户目标不一致(如电商平台倾向于推荐特定商品而诱导智能体偏离目标)时,智能体表现面临新挑战。现有基准多局限于合作场景或显式攻击,忽略了环境自身存在利益诉求的情况。为此,研究团队推出了受控基准测试 CAVEAT,涵盖 9 个市场环境及相关分类法,专门评估智能体在利益错位环境下的目标坚守能力。
针对长流程大语言模型智能体积累海量交互历史带来的效率挑战,现有压缩策略通常独立评估单条记录,忽略了组合删除所引起的冗余或累积信息损失。为此,研究团队提出了直接关系集合风险修剪(DRSR)框架。该方法将智能体历史上下文压缩建模为基于删除集合的风险约束选择问题,从集合层面综合评估删除风险与保留信息,在保障决策安全与任务表现的前提下,实现了长程智能体的高效修剪。
该研究针对通过调用外部工具回答分析问题的时间序列智能体,指出了传统人工预设工具配置的缺陷:一是人机工具不匹配,专家挑选的工具库可能在特定任务中降低异常检测准确率;二是隐性损害,常规自我修正可能在微弱提升总体评分的同时破坏原有的正确答案。论文指出工具的有效性需在运行时根据具体问题动态决定,并提出了故障驱动的智能体自我演化方案。
长期与用户交互的智能体需要准确召回事实、偏好和事件等信息,但现有记忆系统常将其压缩为通用摘要或检索无标签文本块,难以精准识别实体属性及支撑依据。研究人员提出了EnSIMem,一种面向智能体的实体结构化长期记忆架构。该系统在离线阶段将历史交互组织为主题连贯的情节片段,并构建基于对话的实体索引条目,以提升长上下文对话中智能体记忆检索与推理的准确性。
该技术报告介绍了开源大语言模型Hunyuan-A13B。该模型采用混合专家(MoE)架构,总参数量为800亿,推理时仅激活130亿参数,有效兼顾了模型性能、计算效率与部署成本。模型在经过严格清洗且强化STEM领域的20T token语料上进行预训练,并结合高质量SFT与大规模强化学习,同时引入了双模式思维链(CoT)框架,显著提升了事实可靠性与逻辑推理能力。
针对长程语言模型智能体因持续积累交互历史而导致算力成本增加、关键信息难以保留的问题,本研究深入分析了智能体执行动作前的内部隐藏状态。研究发现,模型在采取行动之前,其内部表征已自发编码了对上下文压缩和召回等记忆操作的控制需求,且这些信号无法仅由简单的上下文统计特征解释。该成果揭示了模型内生管理记忆的潜在能力,为设计更高效的长程智能体记忆机制提供了新视角。
该研究针对人工智能在抽象推理基准ARC中仅评估单一网格生成能力的局限性,提出了新型评估基准PotARCin。研究人员指出,传统的单一测试格式无法充分衡量模型是否真正掌握了抽象技能。为此,PotARCin从任务底层抽象规则的理解出发,在定义、分类、约束生成和编辑等五个维度上对模型进行综合评测,以更全面地检验AI模型的通用抽象推理能力与流动智力。
为支持气候感知数字孪生系统,该研究针对热观测数据不完整条件下的短期大气温度预测展开探索。论文评估了一种用于位温预测的物理信息神经网络(PINN),该模型受到气压坐标热力学平流-源方程以及从前12小时拟合且在预测训练前冻结的非绝热源闭合项的物理约束。研究采用三个气压层的逐小时ERA5再分析数据,对模型在1至3个时效步长下的条件后验预测性能进行了验证。