AWS Machine Learning Blog· Shantanu Tripathi·· 3 小时前AI 评分58
SageMaker Inference 支持 Multi-Instance GPU 分区，提升模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 GPU 分区能力，基于 NVIDIA Multi-Instance GPU（MIG）把单块 GPU 拆成硬件隔离的多个分区，每个分区可部署不同模型。
来源：AWS Machine Learning Blog · aws.amazon.com