英伟达推出机密计算方案,助力实现私有高性能生产级AI推理
随着大语言模型(LLM)推理在个人、企业及受监管行业中日益广泛地处理敏感数据和专有模型上下文,隐私与安全防护变得至关重要。英伟达通过其机密计算(Confidential Computing)技术,致力于在保护数据隐私和知识产权的同时,提供生产级的高性能AI推理能力,确保大模型在云端及基础设施中的安全可靠运行。
随着大语言模型(LLM)推理在个人、企业及受监管行业中日益广泛地处理敏感数据和专有模型上下文,隐私与安全防护变得至关重要。英伟达通过其机密计算(Confidential Computing)技术,致力于在保护数据隐私和知识产权的同时,提供生产级的高性能AI推理能力,确保大模型在云端及基础设施中的安全可靠运行。
随着AI工厂受限于功耗与互联网络瓶颈,系统最大化价值高度依赖全栈优化,其中GPU工作负载的调度放置成为核心环节。英伟达推出Topograph调度工具,通过感知底层硬件与网络拓扑结构,优化多GPU任务在集群中的分配方案,旨在消除网络通信拥塞并提升整体算力集群的运行效率与能效表现。