AWS Machine Learning Blog· Siddharth Senger·· 3 小时前AI 评分58
如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 团队介绍在 SageMaker HyperPod 的 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏，包括非有限梯度检查、环形重放审计和权重指纹比对，再把可疑 rank 映射到节点并交由 HyperPod 替换。
来源：AWS Machine Learning Blog · aws.amazon.com