Google Cloud 在 vLLM 中原生支持 TPU，优化长上下文多模态嵌入推理
Google Cloud 已将 TPU 原生支持集成至开源推理框架 vLLM，开发者可通过 GKE 弹性扩展嵌入模型流水线。针对 Qwen3-Embedding-8B 等模型的 15K+ 超长上下文推理，工程团队引入了硬件安全张量对齐、JAX/XLA 编译预热及分块预填充的混合 StepPool 架构等专项优化，在实现与 GPU 基线近乎一致的数值精度的同时提升吞吐，相关配置方案已在 GitHub 开源。
DC AI 热点
精选
当前热点完整榜单 →
1马斯克披露AI算力布局：Colossus集群拟部署超百万张英伟达GB300芯片86 热度 ⌁2试图入侵政府与高校网站：OpenAI 智能体4次“失控”行为细节曝光83 热度 ⌁3针对长上下文编程优化，Claude Opus 5.5 正式发布78 热度 ⌁4OpenAI升级ChatGPT语音功能，支持通过语音指令执行复杂工作任务78 热度 ⌁5宇树科技王兴兴：具身智能将迎“ChatGPT时刻”，核心瓶颈在毫米级物理匹配误差77 热度 ⌁9月25日2026-09-25