训练还是推理?同一批 H100 该怎么分别选
同一批 H100,训练与推理是两条报价线:32 台一年期 9.3 万元/台/月(2026-09-28)。
三条适用条件(含什么情况下不适用)
- 需要迭代梯度、多轮 epoch → 走训练线。先看机内 NVLink/NVSwitch 与跨机 IB 是否贯通,再看显存;当期 H100 一年期 9.3 万元/台/月(32 台,2026-09-28)。不适用:只做单机微调时,多机互联预算属于浪费,见 单机 vs 多机。
- 只做前向、多并发、低延迟 → 走推理线。先算单卡能装多大模型与并发密度,再看单价。不适用:把训练和推理写在同一张询价单,只会拿到折中价。
- 渲染、仿真、数据合成 → 走仿真线。可用 RTX 5090 仿真卡 1.2 万元/台/月(30 台,2026-09-28)。不适用:以训练为主的负载,见 消费级卡能不能上生产。
五列表:三条线的差别
| 维度 | 训练 | 推理 | 仿真 / 渲染 | 该要的凭证 |
|---|---|---|---|---|
| 瓶颈 | 显存带宽与卡间、跨机通信 | 单卡容量与并发密度 | 单卡算力与主机总线 | 压测曲线 |
| 互联 | NVLink/NVSwitch + 跨机 IB | 单机为主,跨机需求低 | 以主机总线为主 | 拓扑图,见 NVLink 与 IB |
| 典型粒度 | 8 卡一组,多组扩算 | 按并发与 QPS 扩副本 | 按任务队列扩台数 | 验收指标定义 |
| 价格口径 | 9.3 万元/台/月(32 台/一年期);8.5–8.9 万元/台/月(64 台/三年期) | 同档卡按任务报,见 按任务还是按小时 | 1.2 万元/台/月(30 台) | 书面报价单 |
| 可替代型号 | H100、H200(11 月到货约 128 台,无 NVLink) | H200、H20(3 台可询价)、B300(香港现货可询价) | RTX 5090 仿真卡 | 到货登记,见 现货与到货 |
含税口径:报价是否含税以书面报价单为准,可开增值税专用发票。
金额仅引事实核已登记档位(确认日期 2026-09-28),不构成对外报价;H100 10 月小批量现货约 16 台(全闪),最快 2026-10-15 交付;数量与交付以当日书面确认为准。
四个买方问题
怎么三句话自检?
结论:迭代梯度、多轮 epoch → 训练;前向、多并发、低延迟 → 推理;渲染、仿真、数据合成 → 仿真。该要的凭证:一页负载说明(模型大小、并发、延迟目标),见 推理延迟预算。
训练为什么要多付互联的钱?
结论:多机训练靠梯度同步,东西向不贯通就加卡不加速,这部分钱省不下来。该要的凭证:东西向实测与多机线性度,见 多机带宽。
推理怎么比才公平?
结论:按“能不能装下 + 并发到多少 + 每千次调用成本”三项比,不按单卡月价比。该要的凭证:并发—延迟曲线与计费口径,见 卡时与月租。
该不该等 H200?
结论:11 月到货约 128 台但要先核机间网络(无 NVLink);等不等取决于你的任务是否真的需要跨机紧耦合。该要的凭证:到货时间与组网方案,见 H200 到货。
反例:这三种会亏
- 训练、推理、仿真混成一张询价单:供应商只能给折中配置,单价看着低,实际多买互联或用不够显存。
- 只按单价选卡:装不下的模型再便宜也跑不起来,返工成本高于价差。
- 忘算稳定存储与数据通路:GPU 等数据的隐性浪费比价差大,见 隐性成本。
价格确认日期 2026-09-28,货源确认日期 2026-10-11。本页最后更新 2026-10-17;资源与价格以当日书面确认结果为准。
下一步
写下三行:模型大小、并发或 epoch 数、可接受的延迟与预算;我们据此判定属于哪条线,再给当日可确认口径。获取报价。
电话 18601021890 · 18911222965 微信 66212664