DCAI
DC AI 热点

全部 AI 动态

9月24日2026-09-24
量子位✦ 精选AI 评分 68/10022:17

PCIe显卡经内核与通信重构优化,DeepSeek推理吞吐提升近7倍

该动态指出通过内核补齐与通信重构等优化手段,PCIe显卡在运行DeepSeek模型时的推理吞吐量提升了近7倍,并声称1.5台6000D设备的表现可超越1台B300。需要说明的是,素材提供的信息较为简短,缺少具体的软硬件环境、完整测试基准以及技术实现的深度细节。

阅读原文 ↗推荐理由:展示了通过底层通信和内核优化挖掘PCIe硬件在DeepSeek大模型推理中算力潜力的方案。# PCIe显卡# DeepSeek# 推理优化# 吞吐量# AI算力
Hugging FaceAI 评分 45/10022:08

借助 LFM2.5-VL-DSpark 加速视觉语言模型

该内容主要探讨如何通过 LFM2.5-VL-DSpark 针对视觉语言模型(VLM)进行性能加速与推理优化。由于提供的原始材料仅包含标题,缺乏详细的摘要和正文内容,目前关于其具体的加速架构、基准测试表现、计算效率提升幅度及技术实现细节均无法获知,需等待官方或作者补充更详尽的技术报告与文档说明。

阅读原文 ↗推荐理由:涉及多模态模型加速优化方向,但因缺乏详细上下文,建议等待完整技术报告披露。# 视觉语言模型# 模型加速# 多模态# 推理优化# AI模型
arXiv 人工智能✦ 精选AI 评分 72/10012:00

对比认知解码:通过单模型双前向推理缓解大模型的盲从共识偏见

针对大语言模型容易受对抗性群体共识影响而产生盲从(阿谀)现象的问题,研究人员提出了对比认知解码(CED)。不同于依赖弱辅助模型的传统对比解码,CED在单模型架构上通过双重前向传播来隔离从众偏见。该方法引入了新型非对称零边界概率钳位和离散Top-k截断掩码,在数学上抑制有害的从众Token生成且避免语法崩塌,为零样本推理阶段的模型自主性提供了有效干预手段。

阅读原文 ↗推荐理由:提出了一种无需外挂辅助模型的推理期对比解码算法,有效缓解大语言模型的群体盲从偏差。# 大语言模型# 对比解码# 从众偏见# 推理优化# 模型健壮性