Deepgram 将 Nova-3 移植 Trainium2，每美元音频量提升 11%–70%

Deepgram 与 AWS 合作，把 Nova-3 语音转文字模型移植到 AWS Trainium2 上运行，并公布了推理优化实践与成本结果。在 Deepgram 面向离线、以吞吐为目标的批处理负载上，单台 Amazon EC2 trn2.3xlarge 实例运行 8 个模型副本，每美元处理的音频量比 Deepgram 原有算力方案高 11%–70%。 这一数字按评估时的实例价格计算，是相对基线配置的增益，而非每秒处理的绝对音频量；测试扫描了 1–128 的批大小以寻找吞吐最优值。优化工作包括将 Nova-3 移植到 AWS Neuron 软件栈、进行内核级调优，以及用数据并行 Rust 运行时让 Deepgram 自有模型服务器调用 Trainium。 AWS 称，这些收益可延伸至在自有 VPC 中通过 Amazon SageMaker AI 自托管 Deepgram 模型的客户。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。