Octave 分享基于 Amazon Bedrock 的多租户 AI 平台实践

Octave 在 AWS 博客中分享了其基于 Amazon Bedrock、使用 Cohere Embed v4 构建的三层多租户 AI 基础平台的设计与落地经验，并称该平台将每个用例的部署时间缩短了 50%。 据 Octave 介绍，Embed v4 支持在美国弗吉尼亚北部、欧洲爱尔兰和亚太东京三个区域进行区域内推理，满足其三项区域合规要求；模型和功能可用性因区域而异，并会随时间变化。已完成的任务简报缓存在 Amazon DynamoDB 中，并按环境设置 TTL，因此重复查看不会产生额外费用。 Octave 称，其投诉分诊助手已在生产环境运行三个月，上述数据反映的是这一期间的情况。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。