batch size 和显存怎么配：调大调小的实际代价
结论：批次先撞显存上限，再撞收益递减；调到能装下即可，不是越大越快（现货约 16 台）。
调批次本质上是在两个约束间找位置：显存决定上限，收益递减决定拐点。很多人只看到了前一个，把批次拉到能装下为止，结果单步变慢、学习率也没跟着调，总时间反而更长。
当期口径下，H100 一年期 9.3 万元/台/月（32 台，IB 组网）、三年期 8.5–8.9 万元/台/月（64 台，价格确认 2026-09-28）；10 月小批量现货约 16 台且为全闪配置（货源确认 2026-10-11）。调参每一步都在烧机时，所以更值得先算再调。
事实核对：北京数位人科技有限公司 · 价格确认 2026-09-28 · 货源确认 2026-10-11 · 以当日书面确认为准。
适用条件：什么时候批次是真问题
- 适用一条：显存吃紧，任务时不时报显存不足。不解决就跑不动。
- 适用二条：单卡吞吐远低于预期。批次太小会让卡长期吃不满。
- 适用三条：需要复现别人的训练配置。批次不一致，结果对不上。
不适用：推理服务的并发由请求量决定，小批次反而延迟更低，不必一味追求大批次。
四个调节方向的代价
| 调节方向 | 显存影响 | 实际代价 | 要什么凭证 |
|---|---|---|---|
| 调大批次 | 线性上涨，很快撞上限 | 超过拐点后吞吐不涨，学习率要重调 | 批次扫描的吞吐数据 |
| 调小批次 | 占用下降 | 卡吃不满，单步固定开销占比上升 | 单步耗时与利用率 |
| 梯度累积 | 几乎不增 | 多跑几遍前向反向，总机时增加 | 两种方式的总机时对比 |
| 检查点重算 | 明显下降 | 多一次前向，单步变慢 | 开与关的单步耗时对比 |
| 降低数值精度 | 明显下降 | 可能影响收敛与稳定性 | 精度对比与损失曲线 |
本页不提供各类模型的标准批次上限与推荐学习率（不属事实核范围，且强依赖你的模型与数据）；请以实测为凭。
四个必须问清的问题
批次调大一定更快吗？
结论：不一定。吞吐会涨到某个点后走平，学习率也得跟着调，否则收敛变差。吞吐上去了但步数变少，总时间不一定缩短。你要的凭证：不同批次下的单步耗时与到达同一精度的总时间。
显存不够时先动哪个？
结论：先动能省显存且不改变数学的选项，再动改变数值行为的。梯度累积与检查点重算都比降精度更安全，后者改动小但会影响数值稳定性。你要的凭证：各方案下的显存峰值与最终精度对比。
梯度累积能替代大批次吗？
结论：数学上接近，速度上不等价。它用多步小批次换一个大批次的效果，能突破显存限制，但每一步都要完整跑一遍，单步耗时不会降到跟真大批次一样。你要的凭证：两种方式下的总机时对比。
怎么找自己的拐点？
结论：固定模型与数据，只改批次，从能跑的最小值逐步加倍，记每一步的单步耗时与样本吞吐。吞吐不再涨的那个点就是拐点。当期口径下 H100 一年期 9.3 万元/台/月（32 台，IB 组网，价格 2026-09-28），拐点之后的卡时就是白花的。你要的凭证：批次扫描的完整数据。
反例：这几种调法会白烧机时
- 只拉到不报错为止。能装下不等于跑得快。
- 批次翻倍但学习率不变。收敛变差，精度反而不如以前。
- 用梯度累积去追同等速度。省显存省不了机时。
- 不记录调参开销。忽略了调参本身占掉的卡时。
相关：算力租赁专题、口径速查卡、H200 显存大在哪、利用率怎么提、多机扩展效率、checkpoint 多久存一次、训练数据放哪。
下一步
告诉我模型与显存峰值，我们给出一轮批次扫描方案，把你在哪个批次上开始变慢这个数字测出来。
价格确认 2026-09-28、货源确认 2026-10-11；资源与价格以当日书面确认结果为准。电话 18601021890 · 18911222965 微信 66212664