NVIDIA GB200 NVL72 性能表现惊人，较 AMD MI355X 提升28倍
核心摘要
根据 SemiAnalysis 发布的 InferenceMAX 基准测试结果，NVIDIA 的 GB200 NVL72 机架系统在运行 Deepseek-R1 0528 混合专家模型时，其推理性能显著超越规模类似的 AMD Instinct MI355X 集群，性能差距高达 28倍。在总拥有成本方面，GB200 NVL72 也展现出巨大优势。
测试背景与模型特点
- 测试模型：Deepseek-R1 0528，一种混合专家模型。
- 模型特点：MoE 模型会为每类任务激活最合适的“专家”网络，以提高效率。但在大规模扩展时，节点间的通信延迟和带宽压力可能成为计算瓶颈。
NVIDIA GB200 NVL72 的技术优势
- 架构优化：采用“极限协同设计”策略，将72个芯片紧密互连。
- 共享内存：配备高达 30TB 的共享内存，大幅提升了数据传输效率，有效解决了延迟问题。
- 性能数据：在类似配置下，GB200 NVL72 实现了每 GPU 75 tokens/秒 的吞吐量。
成本效益分析
基于 Oracle 云定价数据的分析显示：
- 相对成本：GB200 NVL72 的每 token 成本仅为 AMD 解决方案的 十五分之一。
- 交互率：提供更高的交互率。
- 总拥有成本：对于大规模云计算公司而言，GB200 NVL72 在拥有强大性能的同时，也展现出卓越的成本效益。
竞争格局与未来展望
- AMD 的竞争力：AMD MI355X 凭借其大容量的 HBM3e 内存，在密集模型环境中仍是一个有竞争力的选择。
- 当前态势：AMD 尚未推出新的机架级解决方案来应对 GB200 NVL72 的挑战。
- 未来竞争：随着 AMD Helios 平台与 NVIDIA Vera Rubin 平台之间的竞争加剧，机架级扩展解决方案的竞争将更加激烈。
关键要点总结
- 性能领先：NVIDIA GB200 NVL72 性能是 AMD MI355X 的28倍。
- 技术突破：通过优化架构和高速共享内存解决了数据传输延迟问题。
- 成本优势：总拥有成本显著低于竞争对手。
- 竞争持续：AMD 在密集模型领域仍有优势，未来机架级解决方案的竞争将更趋白热化。
测试来源：SemiAnalysis InferenceMAX 基准测试（由 Signal65 分析）。
信息发布日期：2026年1月4日。
