多机训练带宽要多少:IB 与以太差在哪
多机训练先看东西向:专属 400G IB 与共享 RoCE,多机线性度差在这(2026-09-28)。
三条适用条件(含什么情况下不适用)
- 跨机梯度同步占大头 → 必须先核东西向。当期 H100 一年期 9.3 万元/台/月(32 台,2026-09-28),64 台三年期 8.5–8.9 万元/台/月,最快 2026-10-15 交付。不适用:模型能放进单机 8 卡时,多机互联的钱可以省,见 单机 vs 多机。
- 能拿到实测而不只看标称 → 适合上多机。要看 8 卡、16 卡、32 卡时的吞吐曲线。不适用:只给“400G 端口数”而不给实测的,不能作为扩容依据。
- 存储能喂饱 GPU → 适合。数据通路跟不上时,加机器只是加闲置。不适用:数据全在公网对象存储且无本地缓存时,先解决 I/O,见 集群网络与存储。
五列表:四项互联事实与判断方法
| 核什么 | IB 方案 | 以太 / RoCE 方案 | 怎么判定 | 该要的凭证 |
|---|---|---|---|---|
| 是否专属 | 端口专属,不与其他任务共享 | 可能共享或超售 | 问一句:这端口是这台机器独占吗 | 网络拓扑与带宽分配说明 |
| 卡间互联 | 机内 NVLink/NVSwitch,跨机走 IB | 机内同左,跨机走以太 | 看几卡一组、跨组是否降速 | 拓扑图,见 NVLink 与 IB |
| 扩展性 | 可随集群规模增加端口与层级 | 受交换机与拥塞控制能力限制 | 加机器后线性度是否仍然向上 | 多机实测曲线 |
| 存储与数据 | 并行文件系统 / 高速本地盘 | 同左,但更依赖网络余量 | GPU 利用率是否被 I/O 拉低 | 训练日志与利用率截图 |
| 价格口径 | H100 一年期 9.3 万元/台/月(32 台);三年期 8.5–8.9 万元/台/月(64 台) | 按“等效单位成本”比,不按单价 | 书面报价,见 集群成本结构 | |
含税口径:报价是否含税以书面报价单为准,可开增值税专用发票。
金额仅引事实核已登记档位(确认日期 2026-09-28);H100 10 月小批量现货约 16 台(全闪);不登记未书面确认的带宽参数,以当次交付方案与实测为准。
四个买方问题
带宽要多少才够?
结论:不给标称数字,只给判定方法——同一模型在 8 卡、16 卡、32 卡下的吞吐应近似线性上升;不升的部分就是通信与 I/O 的代价。该要的凭证:三档实测曲线,见 扩容效率。
IB 与以太到底差在哪?
结论:差在是否专属不超售、延迟与丢包是否可控、能否随规模升级,不在名字。该要的凭证:带宽分配说明与拥塞控制方案,见 互联方案对比。
加了机器反而变慢,怎么排查?
结论:先看东西向是否贯通,再看存储是否能喂饱 GPU,最后才怀疑卡数。该要的凭证:训练日志中的通信与 I/O 等待时间,见 监控与访问。
H200 无 NVLink 还能做多机吗?
结论:11 月到货约 128 台但无 NVLink,适合单机内大显存、少跨机通信;紧耦合多机需先核机间网络。该要的凭证:组网方案与实测,见 H200 页。
反例:这三种会亏
- 按“卡数 × 单价”下单:忽略跨机网络与存储,多机线性度差,钱花了速度没上去。
- 把共享/超售带宽当专属算:月底看账单便宜,训练时间被拉长,等效成本更高,见 隐性成本。
- 先买机器后配网络:网络需随集群规模升级,后补往往要重新布线。
价格确认日期 2026-09-28,货源确认日期 2026-10-11。本页最后更新 2026-10-17;资源与价格以当日书面确认结果为准。
下一步
询价时写清三件:几卡几机、是否要求专属 IB、存储与网络边界;我们据此给可核方案与当日口径。提交 GPU 租赁需求,现货情况见 现货与到货。
电话 18601021890 · 18911222965 微信 66212664