AWS 详解 Bedrock 四项影响成本的推理设置

AWS 发布技术博客称，Amazon Bedrock 的缓存时长、服务层级、推理强度和 maxTokens 四项请求级设置，能在不改模型与提示词的情况下改变 token 处理量和计费费率。博客展示了如何从响应元数据、日志和账单数据验证各项设置的实际效果。 部分条件因设置而异：支持隐式提示缓存的模型可在请求中不带缓存控制即尝试复用符合条件的提示前缀；向不支持的模型发送 Flex 请求会返回 ValidationException，而非静默按 Standard 运行；AWS 称撰写时 us-west-2 的 Nova 2 Lite Flex 公布费率为 Standard 的一半，其账单也反映了这一点。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。