跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

5 条精选近 30 天 4 条共收录 13 条

更新

评测基准的精选

10月7日周三第 1–5 条
  1. Latent Space88

    OpenAI 发布内部模型产出的 722 篇数学论文,称解决 500 个开放问题中的 90 个

    OpenAI 以博客、GitHub 仓库和推文形式公开了一批来自未发布内部前沿模型的数学结果,共 722 篇手稿、归入 372 个相关结果族,来自约 4000 道研究问题的评测,平均每个结果约用 3 小时 ChatGPT Pro 思考算力,模型本身仍未发布。

    推荐理由:OpenAI 用内部模型批量产出数学结果并公开仓库,读者可据此了解这批成果的规模、算力成本与外界质疑。

10月6日周二
10月4日周日
  1. Hugging Face Blog66

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再按终端后端状态和副作用打分,而非看模型生成的文字。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定成败,并给出可复现的 OpenEnv 运行方式。

10月1日周四
8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search,面向企业复杂文档的多步检索层

    Mistral 发布 Agentic Search,一个让模型在复杂文档中导航、阅读并核实信息的多步检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环在 FinanceBench 与 OfficeQA Pro 上的准确率、token 与延迟变化,可据此判断它与一次性 RAG 的差异。