训练中断了怎么恢复：从哪继续、丢多少
结论：恢复靠三件事——checkpoint 间隔、恢复演练、损失上限写进合同（现货约 16 台）。
长任务不可能不断。真正的差别不在“会不会断”，而在断一次要白跑多少、恢复要花多久。这两件事都可以在签合同前定下来，也可以在上机第一天就演练一次。
当期口径下，10 月小批量现货约 16 台（全闪），货源确认 2026-10-11；H100 一年期 9.3 万元/台/月（32 台，IB 组网）、三年期 8.5–8.9 万元/台/月（64 台，最快 2026-10-15 交付），价格确认 2026-09-28。恢复期间机器照计费，所以恢复时长本身就是成本项。
事实核对：北京数位人科技有限公司 · 价格确认 2026-09-28 · 货源确认 2026-10-11 · 以当日书面确认为准。
适用条件：什么任务必须做容灾
- 适用一条：单次任务跑得比一天长。断一次就心疼。
- 适用二条：重跑要重新花钱。机时是按时间算的。
- 适用三条：有人能在故障时接手。没人的话演练只能看不能做。
不适用：几十分钟能跑完的实验、或者结果可以随时重算的调试任务，不必专门做容灾，把脚本存好就行。
四类中断与恢复起点
| 中断类型 | 从哪恢复 | 会丢多少 | 要什么凭证 |
|---|---|---|---|
| 单卡故障 | 最近 checkpoint | 上一次存盘至今的工作量 | 故障记录与换卡记录 |
| 整机断电 | 最近 checkpoint | 同上，另加环境重建时间 | 停电与复电记录 |
| 存储不可读 | 另一份副本 | 取决于副本策略 | 副本清单与校验记录 |
| 人为误操作 | 最近的可信版本 | 可能比想象的多 | 版本与回滚记录 |
| 计划内维护 | 主动存盘后暂停 | 可做到几乎不丢 | 维护通知与窗口安排 |
本页不提供 checkpoint 间隔小时数、恢复耗时、副本份数与存储开销的具体数值（不属事实核范围）；这些需按你的任务时长与可接受损失当日书面确认。
四个必须问清的问题
中断后从哪里继续？
结论：从最近一份可用的 checkpoint 继续，而不是从头重跑。丢多少取决于上一次存盘到中断之间的那段，所以间隔本身就是你愿意承受的损失上限。你要的凭证：checkpoint 清单与时间戳。
多久存一次 checkpoint？
结论：没有通用值，它等于“你能接受的损失”除以“存盘本身的代价”。存得太密会拖慢主任务、吃掉存储带宽，存得太疏就是一次故障白跑半天。你要的凭证：存盘耗时实测与故障历史。
怎么验证真的能恢复？
结论：只有演练算数。很多团队到真出事那天才发现 checkpoint 不完整、依赖版本对不上、路径已经没了。演练要拿真实的 checkpoint 在干净的机器上从头拉起一次。你要的凭证：演练记录与恢复耗时。
恢复期间还算钱吗？
结论：算。机器租着就产生成本，包括等恢复的那几个小时。当期 H100 一年期 9.3 万元/台/月（32 台，价格 2026-09-28）是按时间走的，不是按“跑成功”计费。你要的凭证：计费口径与算力补偿条款。
反例：这几种容灾方案等于没有
- 只存 checkpoint 从不演练。真出事时才发现读不出来。
- checkpoint 与训练数据放同一块盘。一起坏。
- 把间隔设得很长以省存储。一次故障就白跑很久。
- 合同里没写中断怎计费。白等的时间照付。
相关：数位人首页、算力租赁专题、研究与动态、一次训练要跑多久、checkpoint 多久存一次、断电了怎么办、卡坏了多久换、维护窗口怎么约。
下一步
上机第一天就做一次演练：拿一个真实 checkpoint 在干净机器上拉起来，记下用了多久。这个数字比任何承诺都可靠。
价格确认 2026-09-28、货源确认 2026-10-11；资源与价格以当日书面确认结果为准。电话 18601021890 · 18911222965 微信 66212664