NVLink、InfiniBand 与 RoCE:多卡集群组网怎么验收
机内看 NVLink、机间看 IB:32 台 H100 含 IB 组网、9.5 万元/台/月(2026-10-22);H200 那批拓扑以书面确认为准。
三条适用条件(含什么情况下不适用)
- 多机训练为主 → 先核机间网络。当期 32 台一年期 H100 为 IB 组网,9.5 万元/台/月(2026-10-22 确认);能装进单机的不要盲目上层数。不适用:单卡能跑完的推理服务,上多机只会把延迟和成本都抬高,见 单机 vs 多机。
- 已有机房是以太网 → RoCE 可谈,但要验 RDMA。不验 RDMA 与网络隔离,就不知道会不会和存储抢带宽。不适用:对跨机延迟极敏感的大规模同步训练,要单独评估。
- 要拿 H200 那批 → 先确认机内拓扑。64 台 SXM5 8 卡整机、西北在架、IB 组网;卡间是否含 NVLink/NVSwitch、几卡一组,以整机拓扑与配置清单的书面确认为准,不按口头承诺排期。不适用:打算拿它做多机锁步训练前还没拿到拓扑清单的,先看 多机带宽。
五列表:三种互联的分工
| 互联 | 范围 | 作用 | 当期可核口径 | 该要的凭证 |
|---|---|---|---|---|
| NVLink | 机内 GPU 间 | 单机多卡高带宽直连 | H100 整机含机内 NVLink;H200 那批卡间拓扑以书面确认为准 | 拓扑与机内实测 |
| InfiniBand | 机间网络 | 高带宽低延迟、无损网络 | 32 台一年期 H100 含 IB 组网,9.5 万元/台/月 | 组网清单与 NCCL 结果 |
| RoCE | 机间网络(基于以太网) | RDMA over Ethernet | 按当次方案确认,本页不登记速率 | RDMA 与网络隔离说明 |
| 存储网络 | 数据面 | 与计算网络是否隔离 | 按当次方案确认 | 存储清单,见 网络与存储 |
| 验收方法 | 上机阶段 | 实测而非参数表 | NCCL all-reduce 跨机测试 | 带时点的测试报告,见 监控与访问 |
含税口径:报价是否含税以书面报价单为准,可开增值税专用发票。
本页不登记网卡速率、端口数等具体带宽参数,按当次方案与供应商规格书核对;金额仅引事实核已登记档位(H100 三年期 2026-09-28、H100 一年期 2026-10-22)。
四个买方问题
NVLink 和 IB 到底管什么?
结论:NVLink 管机内 8 卡之间,IB 管跨机;两者不是替代关系,单机快不代表多机快。该要的凭证:机内与跨机分开测的两组数据。
IB 和 RoCE 怎么选?
结论:规模大、对跨机带宽敏感选 IB;已有以太网、规模较小选 RoCE,但必须验 RDMA 与隔离。该要的凭证:组网拓扑图与端口配比,见 集群成本拆解。
怎么验收才不是“跑分”?
结论:用 NCCL all-reduce 跑跨机带宽与波动,再跑一段代表性任务看长时稳定性。该要的凭证:带时点、可复现的测试报告。
加到多机反而变慢怎么办?
结论:先查跨机带宽、拓扑收敛比与存储 I/O,再查代码层通信量。该要的凭证:逐层定位记录,见 扩容效率。
反例:这三种会亏
- 只看单卡跑分就上多机:多机线性度差,钱花了速度上不去,见 隐性成本。
- 默认收敛比是 1:1:实际带宽要按网卡速率×端口数÷收敛比算,不核就是拍数字。
- 把机内拓扑当已知条件:没写进合同附件的 NVLink/NVSwitch 形态不能当锁步训练的前提,先按拓扑实测再上量。
价格确认日期 2026-09-28(H100 一年期 2026-10-22),货源确认日期 2026-10-21。本页最后更新 2026-10-31;具体配置与验收指标以合同和当次方案为准。
下一步
把多机规模、模型与跨机带宽要求发给我们,我们按当日可确认的组网方案给上机验收步骤。提交 GPU 租赁需求
资源与价格以当日书面确认结果为准。电话 18601021890 · 18911222965 微信 66212664
