Hugging Face 发布 BenchMIRT：审计 LLM 基准测试到底在测什么
Hugging Face 推出 BenchMIRT，一种基于多维 Item Response Theory 的方法，可在单个题目层面审计 LLM 基准测试实际测量的能力。
#评测/基准
#评测/基准
今日 0 条Hugging Face BlogAI 评分4646
Hugging Face BlogAI 评分4242 Open ASR Leaderboard 新增首个全球南方语言：Monsoon 印地语与印度英语评测集
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 中引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上的首个 Indic 语言。
Import AIAI 评分3636 Import AI 469：科学 AI、RSI 模拟器与 Zuck 的技术悲观主义
DiG-bench 发布，一个由 70 款隐藏规则游戏组成的基准，测试模型通过探索发现环境规则的能力。Opus 5 和 Fable 5（配合 Claude Code）表现最好，是仅有的能在最难的 Tier 7 得分（0.2）的模型，但远低于人类 100% 的成绩。Inherent 则发布 Faraday，用较小的开源权重模型监督前沿模型做科学研究。
Microsoft ResearchAI 评分4141 Microsoft Research 推出 MindTopo 基准，测试多模态模型的拓扑推理能力
Microsoft Research 发布 MindTopo 基准，评估多模态大语言模型对连续性、分离、顺序、封闭和绳结五类拓扑概念的理解，涵盖静态推理与交互规划两个层级。测试显示，专有与开源模型在静态识别上明显优于交互式规划任务，且均远低于人类水平，错误多出现在规划阶段丢失结构关系。图像与视频生成工具仅在单帧内偶尔有帮助，难以在多步操作中保持拓扑约束。
Hugging Face BlogAI 评分5151 Hume 推出 Real World VoiceEQ 基准，衡量语音 AI 的人类级质量
Hume 发布 Real World VoiceEQ 基准，基于超 100 万条人类评分，评估 40 多个专有与开源语音模型，覆盖 ASR、TTS、S2S 和语音理解的 15+ 维度、60+ 指标。评估发现 TTS 无一配置在八组能力中均进前五，语音模型听比说差，许多系统仍以转录文本为主而忽略语气、迟疑等副语言线索；部分模型疑似针对公开基准优化，SLM 自动评估仅适合明确任务，尚难替代人类听评。
Hugging Face BlogAI 评分4646 ScarfBench：评测 AI 智能体完成企业级 Java 框架迁移的基准测试
Hugging Face 推出开源基准 ScarfBench，用于评测 AI 智能体在 Spring、Jakarta EE、Quarkus 三大 Java 生态间的框架迁移能力，包含 34 个应用、102 个框架实现、204 个迁移任务和 1,331 个专家编写测试。
Google ResearchAI 评分4747 Google Research 研究：构建更好的 AI 评测基准需要多少标注者？
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了评测基准中条目数量与每条标注者人数的权衡。