Orthrus：面向迭代检索的异构批处理高效推理服务系统
现代信息检索系统通常同时结合嵌入模型与生成模型处理复杂查询，但现有系统往往将二者隔离部署，粗粒度分配硬件易引发计算气泡，导致 GPU 利用率低和吞吐不足。为此，研究团队提出服务系统 Orthrus。该系统在统一推理循环中引入异构批处理机制，旨在有效整合具有资源冲突特性的嵌入与生成工作负载，提升动态查询下的硬件利用效率。（注：素材摘要文末存在截断）
DC AI 热点
全部 AI 动态
9月24日2026-09-24
EnSIMem：基于实体结构化索引的智能体长期记忆架构
长期与用户交互的智能体需要准确召回事实、偏好和事件等信息，但现有记忆系统常将其压缩为通用摘要或检索无标签文本块，难以精准识别实体属性及支撑依据。研究人员提出了EnSIMem，一种面向智能体的实体结构化长期记忆架构。该系统在离线阶段将历史交互组织为主题连贯的情节片段，并构建基于对话的实体索引条目，以提升长上下文对话中智能体记忆检索与推理的准确性。