Hugging Face政策主管谈AI评测可信度

Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非易事，评估结果的可复现性依赖开放权重，而当前评估方法仍是一门演进中的科学，彼此之间难以有效比较。 她指出，评估正从测试模型本身转向测试包含 harness 和智能体的整个系统，更好的 harness 能让较弱模型超越前沿模型；智能体评估既困难又昂贵。她称，若行业未来要依赖评测，测试需要整合为一门更一致的 science。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。