AWS 介绍 HyperPod 训练中静默数据损坏检测方法

AWS 团队发布技术博客，介绍在 Amazon SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏：非有限梯度检查、环形重放审计和权重指纹比对，再把可疑 rank 映射到节点并交由 HyperPod 替换。 该方法适用于由 Amazon EKS 编排、至少三个 GPU 节点的 HyperPod 集群，检查点需存放在 FSx for Lustre 或 S3 等共享存储上。AWS 提醒，替换节点会销毁其根卷和辅助卷，包括本地 NVMe 上的数据；在生产环境中，在尚未用自身工作负载验证这些检查的精确度之前，每次替换都应保留人工审批。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。