AWS 发布在 Bedrock 上用 NeMo Switchyard 路由编码代理的教程

AWS Machine Learning Blog 发布教程，介绍如何用 AWS CDK 在账户内部署开源 LLM 网关 LiteLLM 并加载 NVIDIA NeMo Switchyard 路由插件，把编码智能体的请求分发到 Amazon Bedrock 上的合适模型，并测量每解决一个任务的成本。 教程中的路由方式有两种：Stage 路由读取请求历史中的工具活动与结果，在两个候选模型间选择；Random 路由按权重分流，用于 A/B 对比。 该教程代码为示例，不用于生产环境；本地网关仍会调用 Amazon Bedrock，请求和冒烟测试都会产生计费调用；运行器会在用户机器上执行模型生成的 Python 代码。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。