checkpoint 多久存一次：重跑成本与存储成本的平衡
结论：间隔由“一次重跑要多少机时”决定，写盘代价要与重跑代价大致相当（现货约 16 台）。
这个问题没有标准答案，因为分子分母都在你手里：一边是写一次 checkpoint 要停多久计算、占多少存储，另一边是故障发生后要重跑多久。把两个数估出来，间隔就自己出来了。
当期口径下，H100 一年期 9.3 万元/台/月（32 台，IB 组网）、三年期 8.5–8.9 万元/台/月（64 台，价格确认 2026-09-28）；10 月小批量现货约 16 台且为全闪配置（货源确认 2026-10-11）。机时是按时间计费的，重跑多久就是直接多花多久的钱。
事实核对：北京数位人科技有限公司 · 价格确认 2026-09-28 · 货源确认 2026-10-11 · 以当日书面确认为准。
适用条件：什么时候必须认真算间隔
- 适用一条：单次训练时长远超一个班次。跑得越久，丢一次越疼。
- 适用二条：写盘会明显拖慢训练。开销大的时候，间隔不能想当然地设短。
- 适用三条：集群有故障历史。实际故障频率是估间隔的重要输入。
不适用：几分钟就能跑完的实验、或模型小到写盘秒级完成的，不必为这个话题做额外设计，默认设置就够用。
四个变量的权衡
| 变量 | 变大会怎样 | 怎么估 | 要什么凭证 |
|---|---|---|---|
| 写一次耗时 | 停算变长，有效训练时间变少 | 实测一次完整写盘的耗时 | 写盘时长与频率记录 |
| 单次存储占用 | 保留份数多了会占满盘 | 模型大小乘优化器状态的量级 | 单份体积与保留策略 |
| 故障间隔 | 越短，越需要密的 checkpoint | 看集群历史故障记录 | 故障记录与平均间隔 |
| 恢复耗时 | 加载也占机时，不能忽略 | 实测一次从冷启到继续训练的时长 | 恢复演练结果 |
| 重跑机时成本 | 丢的时间直接乘台月价 | 按台月价折算丢失时长 | 台月价与计费口径 |
本页不提供各类模型的标准 checkpoint 间隔与写盘耗时（不属事实核范围，且强依赖你的模型与存储）；请以实测结果为凭。
四个必须问清的问题
存得太频会有什么代价？
结论：写盘会停算，而且写太多会占用带宽。大模型的一次完整 checkpoint 可能写到上盘按分钟计，存得越频，有效训练时间越少。你要的凭证：单次写盘耗时与占用的训练时间比。
存得太稀会有什么损失？
结论：一丢回到很前面的状态，白跑的机时按小时砸。当期口径下 H100 一年期 9.3 万元/台/月（32 台，IB 组网，价格 2026-09-28），丢一天的损失可以按台月价折算出来。你要的凭证：单次恢复时长与故障历史频率。
大模型怎么减少写盘开销？
结论：分层写与异步写——先把缓存层写到高速盘上，再逐渐转到冷存储，并让写盘与计算重叠。能减少停算时间，但不能完全不付代价。你要的凭证：异步写方案与实测停算时长。
怎么验证恢复真的可用？
结论：定期拿最新 checkpoint 实际恢复一次，并核对步数与优化器状态。不验证的备份等于没有备份。你要的凭证：恢复演练记录与校验结果。
反例：这几种保存策略会亏
- 只存模型权重不存优化器状态。恢复后相当于重新预热，效率打折。
- 每次都存到同一个路径。写坏一次就把上一份好的一起覆盖了。
- 从不做恢复演练。真出事时才发现加载失败。
- 为了省钱把间隔拉到一整夜。一次故障就能把省下的存储费赔进去。
相关：算力租赁专题、口径速查卡、检查点存储怎么规划、训练数据放哪、维护窗口怎么约、卡坏了多久换、存储怎么收费。
下一步
告诉我模型大小、写一次盘的实际耗时与集群历史故障间隔，我们帮你把最优间隔算出来，并给出保留份数与恢复演练方案。
价格确认 2026-09-28、货源确认 2026-10-11；资源与价格以当日书面确认结果为准。电话 18601021890 · 18911222965 微信 66212664