微软研究播客:AI 会犯哪些错,失败能教给我们什么
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规评测时出现的“意外失败”。Neville 还分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时深入检查数据的重要性。
微软研究院播客中,partner research manager Jennifer Neville 与首席应用科学家 Chad Atalla 对谈,讨论评估如何推动当前 AI 系统突破传统 benchmark 的性能边界,以及模型在超出常规评测时出现的“意外失败”。Neville 还分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时深入检查数据的重要性。
GitHub Podcast 最新一期拆解了五个 AI 开发热梗:AI 生成的代码仍需阅读和负责,但审查力度应随风险分级;Skills 与 MCP 解决不同问题,前者是打包的 Markdown 专家经验,后者是连接工具与数据的标准协议,二者可组合使用;RAG 并未消亡,检索能为模型提供训练数据外的文档、内部知识和代码库上下文,减少 token 浪费并让回答更有依据。
伯克利 EPIC Data Lab 提出近零推理成本下数据系统面临三大挑战:为智能体设计(Data Systems For Agents)、由智能体运行(Of Agents)、由智能体合成(By Agents)。GPT-4 级能力从 2023 年初约 $30/百万 token 降至如今不到 $1,部分厂商已低于 $0.10,推理价格年降幅在 9x 到 900x 之间,中位数约 50x。