张量并行还是流水并行：显存与通信的取舍
结论：显存不够先切参数、速度不够再切流水，两者都吃通信，选哪个看瓶颈（现货约 16 台）。
这两个名字很容易被当成同义词，但它们解决的不是同一个问题。张量并行是把一层拆开跑，抗显存也抗单层计算时长，代价是通信频率很高；流水并行是把不同层分给不同卡，通信频率低但会出现空等。选错的典型症状是：卡数加了，速度没变。
当期口径下，H100 一年期 9.3 万元/台/月（32 台，IB 组网）、三年期 8.5–8.9 万元/台/月（64 台，价格确认 2026-09-28）；10 月小批量现货约 16 台且为全闪配置（货源确认 2026-10-11）。并行策略调错，多买的卡就在计时不出活。
事实核对：北京数位人科技有限公司 · 价格确认 2026-09-28 · 货源确认 2026-10-11 · 以当日书面确认为准。
适用条件：什么时候必须先选策略
- 适用一条：单卡装不下模型或优化器状态。不切就跑不起来。
- 适用二条：卡数已到 4 张以上。规模变大后，选错策略的代价成倍放大。
- 适用三条：有硬件组网限制。卡间带宽较差的机型，可选的策略会少很多。
不适用：单卡能装下、且只为提高吞吐的批量推理场景，直接用数据并行堆副本更简单，不必引入这两种切分。
两种策略的代价对照
| 策略 | 主要解决什么 | 主要代价 | 要什么凭证 |
|---|---|---|---|
| 数据并行 | 吞吐不够，模型能装下 | 梯度同步量大 | 梯度同步耗时占比 |
| 张量并行 | 单层太大、单卡算不完 | 通信频繁，非常依赖卡间带宽 | 卡间带宽与单层同步耗时 |
| 流水并行 | 整体装不下、层数多 | 空等气泡，依赖微批调度 | 阶段数与利用率的对应关系 |
| 三者组合 | 大模型训练的常见做法 | 调试复杂，出错难定位 | 分阶段上线的对照数据 |
| 成本折算 | 台数乘台月价 | 策略不当则卡时白花 | 总机时与费用对比 |
本页不提供各策略的推荐卡数与加速倍数（强依赖模型、组网与实现，不属事实核范围）；请以你自己的实测为凭。
四个必须问清的问题
张量并行为什么吃带宽？
结论：它把同一层拆到多张卡上，每一层都要同步中间结果，所以通信变得频繁且必须很快。卡间带宽不够时，等待时间会吃掉并行带来的收益。你要的凭证：卡间带宽与单层同步耗时的实测。
流水并行的气泡怎么减？
结论：靠更多阶段重叠与合适的微批分割，让后面的阶段提前开工。阶段越多、微批越小，气泡占比通常越小，但调度与通信开销会上升。你要的凭证：阶段数、微批数与实测利用率的对应关系。
两种能不能一起用？
结论：可以，也是大模型训练的常态组合，但调试复杂度明显上升。先把一种调通建立基线，再叠另一种，否则出了问题无法定位。你要的凭证：分阶段上线的对照数据。
怎么判断该选哪个？
结论：看卡在哪。装不下就切参数，装得下但卡吃不满就切流水。当期口径下 H100 一年期 9.3 万元/台/月（32 台，IB 组网，价格 2026-09-28），选错策略的代价是多花的台月价。你要的凭证：显存峰值与卡利用率两个数。
反例：这几种选择会白烧机时
- 在低带宽机型上直接上张量并行。通信成了瓶颈，加了也没用。
- 模型本就能装下，却选了流水并行。无必要地引入空等。
- 一次性叠三种并行。出问题时分不清是哪一层导致的。
- 只看单步耗时，不看利用率。耗时短不代表卡没在等。
相关：算力租赁专题、口径速查卡、拓扑对训练速度的影响、多机扩展效率、批次与显存怎么配、IB 与 RoCE 怎么选、8 卡还是 4 卡。
下一步
告诉我模型参数量、优化器设置与可用卡数，我们给出一套并行方案与对应的分阶段验证步骤。
价格确认 2026-09-28、货源确认 2026-10-11；资源与价格以当日书面确认结果为准。电话 18601021890 · 18911222965 微信 66212664