Orthrus：面向迭代检索的异构批处理高效推理服务系统
现代信息检索系统通常同时结合嵌入模型与生成模型处理复杂查询，但现有系统往往将二者隔离部署，粗粒度分配硬件易引发计算气泡，导致 GPU 利用率低和吞吐不足。为此，研究团队提出服务系统 Orthrus。该系统在统一推理循环中引入异构批处理机制，旨在有效整合具有资源冲突特性的嵌入与生成工作负载，提升动态查询下的硬件利用效率。（注：素材摘要文末存在截断）
DC AI 热点
精选
当前热点完整榜单 →
1高通发力AI软件生态：收购Modular打造统一软件栈，推进Mojo语言多端支持81 热度 ⌁2Black Forest Labs 推出开源具身智能模型 FLUX 3 Action75 热度 ⌁3谷歌云 API Gateway 支持 MCP：将 REST API 原生转化为 AI Agent 工具74 热度 ⌁4Sakana AI聘请AI先驱Jürgen Schmidhuber担任首席科学顾问74 热度 ⌁5谷歌、OpenAI与Anthropic拟联合组建AI安全标准自律组织SAFA73 热度 ⌁9月24日2026-09-24