Orthrus：面向迭代检索的异构批处理高效推理服务系统
现代信息检索系统通常同时结合嵌入模型与生成模型处理复杂查询，但现有系统往往将二者隔离部署，粗粒度分配硬件易引发计算气泡，导致 GPU 利用率低和吞吐不足。为此，研究团队提出服务系统 Orthrus。该系统在统一推理循环中引入异构批处理机制，旨在有效整合具有资源冲突特性的嵌入与生成工作负载，提升动态查询下的硬件利用效率。（注：素材摘要文末存在截断）
DC AI 热点
精选
当前热点完整榜单 →
1针对长上下文编程优化，Claude Opus 5.5 正式发布85 热度 ⌁2Cerebras推出CS-4晶圆级AI加速器：推理速度号称达GPU系统的30倍82 热度 ⌁3三大运营商掀起AIDC基建浪潮：上半年投资达283亿元82 热度 ⌁4传OpenAI即日预览网络安全专用模型GPT-6 Cyber81 热度 ⌁5智能体编程加剧CI负载：Anthropic 如何扩展测试影响分析79 热度 ⌁9月24日2026-09-24