DC AI 热点

全部 AI 动态

全部智能体与应用工程前沿研究与模型架构安全治理与商业生态国际数据中心与算力具身智能与智能硬件国内数据中心与算力其他动态

来源筛选

9月25日2026-09-25

Google Developers · AI 筛选✦ 精选AI 评分 80/100收录 08:49

Google Cloud 在 vLLM 中原生支持 TPU，优化长上下文多模态嵌入推理

Google Cloud 已将 TPU 原生支持集成至开源推理框架 vLLM，开发者可通过 GKE 弹性扩展嵌入模型流水线。针对 Qwen3-Embedding-8B 等模型的 15K+ 超长上下文推理，工程团队引入了硬件安全张量对齐、JAX/XLA 编译预热及分块预填充的混合 StepPool 架构等专项优化，在实现与 GPU 基线近乎一致的数值精度的同时提升吞吐，相关配置方案已在 GitHub 开源。

阅读原文 ↗推荐理由：vLLM 原生集成 Google Cloud TPU 并在超长上下文嵌入推理上实现硬件级深度优化，对异构算力基础设施生态建设具有重要参考价值。# Google Cloud # Cloud TPU # vLLM # 推理优化 # GKE

vLLM 官方博客（网页）✦ 精选AI 评分 65/100收录 07:49

在 AMD GPU 上探索 vLLM 投机解码技术

本文主要探讨在 AMD GPU 硬件平台上利用 vLLM 推理框架实现投机解码（Speculative Decoding）的技术探索与优化。投机解码是一种有效降低大语言模型推理延迟的高级加速技术。结合 vLLM 与 AMD 算力生态，旨在提升大模型的生成吞吐量。由于原始素材仅提供标题，具体的实现细节、支持的硬件型号及性能评测数据等信息暂未披露。

阅读原文 ↗推荐理由：关注开源推理框架 vLLM 在 AMD GPU 算力平台上的投机解码实践与性能加速。# AMD # vLLM # 投机解码 # GPU算力 # 模型推理