训练数据放哪:NVMe、对象存储还是本地盘
结论:热数据放 NVMe、冷数据放对象存储、本地盘只做临时缓冲(10 月现货为全闪,约 16 台)。
这个问题问的是数据放在哪,实际决定的是 GPU 有多少时间在等。训练里最贵的浪费不是算错,而是卡明明在计时、却在等下一批数据。分层做对了,同样的卡能多跑不少步。
当期口径下,H100 一年期 9.3 万元/台/月(32 台,IB 组网)、三年期 8.5–8.9 万元/台/月(64 台,价格确认 2026-09-28);10 月小批量现货约 16 台且为全闪配置(货源确认 2026-10-11)。额外存储的当期货源与报价需当日书面确认,本页不编价。
事实核对:北京数位人科技有限公司 · 价格确认 2026-09-28 · 货源确认 2026-10-11 · 以当日书面确认为准。
适用条件:什么时候分层会直接变成钱
- 适用一条:数据集远大于单机盘容量。这时候不可能全放最快的一层。
- 适用二条:小文件多、随机读多。元数据开销往往才是真正的瓶颈。
- 适用三条:多机共享同一份数据。要避免每个节点都全量拉一遍。
不适用:数据集能完全装进内存或单机 NVMe、且只用一张机的场景,分层的管理与同步开销可能超过收益,不如直接放本地。
三层存储的定位与代价
| 层级 | 适合放什么 | 放错的代价 | 要什么凭证 |
|---|---|---|---|
| NVMe 全闪 | 当前轮次频繁读的分片、索引 | 容量小,装不下全量数据 | 盘容量与读取带宽实测 |
| 对象存储 | 冷数据、原始备份、历史版本 | 直接训练时 GPU 等数据 | 数据加载阶段的空闲占比 |
| 本地盘 | 临时缓冲、中间结果、缓存 | 当唯一副本则数据会丢 | 副本数与恢复流程 |
| 共享文件层 | 多机共享同一份数据集 | 元数据开销可能拉满 CPU | 并发读取实测与元数据性能 |
本页不提供各层存储的容量、带宽与价格(不在本期事实核范围内);请以当日书面参数与报价为准。
四个必须问清的问题
为什么不全部放 NVMe?
结论:容量与成本。训练集往往远大于单机可用 NVMe 容量,全部放进去要么放不下,要么把钱花在很少被读的冷数据上。你要的凭证:数据集总容量与每步实际读取的数据量。
对象存储能直接拿来训练吗?
结论:能,但要看访问模式。小文件多、随机读多的训练集直接从对象存储拉取,很容易把 GPU 卡在等数据上。你要的凭证:数据加载阶段的 GPU 空闲占比与单步数据量。
本地盘在这里有什么用?
结论:做临时缓冲与中间结果,不作为唯一副本。它适合放当前轮次要用的分片,不适合放唯一一份原始数据。你要的凭证:数据副本数与恢复流程的书面说明。
怎么定分层比例?
结论:看访问频次而不是看容量。把每个 epoch 都要读的放最快的层,只读一两次的归档到冷存储。当期口径下 H100 一年期 9.3 万元/台/月(32 台,IB 组网,价格 2026-09-28),让卡等盘就是直接烧钱。你要的凭证:分层容量与命中率统计。
反例:这几种分层会拖慢训练
- 全量数据堆在一层。要么放不下,要么付了快盘的价钱读冷数据。
- 把本地盘当唯一副本。机器一换,数据没了。
- 小文件不打包直接刷。元数据开销把 CPU 打满,GPU 反而闲着。
- 不看命中率就拍分层比例。缓存命中率低,分层等于没做。
相关:算力租赁专题、口径速查卡、存储怎么收费、检查点存储怎么规划、checkpoint 多久存一次、数据怎么搬进来、利用率怎么提。
下一步
告诉我数据集总容量、单文件大小分布与每轮读取量,我们会给出一套分层方案与对应的盘配置建议。
价格确认 2026-09-28、货源确认 2026-10-11;资源与价格以当日书面确认结果为准。电话 18601021890 · 18911222965 微信 66212664
