Basis 使用 GPT-6 Astra 将税务工作簿处理速度提升 2 倍
Basis 的税务工作簿场景中,GPT-6 Astra 完成 50 个 tab 的税务工作簿速度比 GPT-5.6 Sol 快一倍。其对用户意图的理解更强,让 Basis 在实际使用中更有信心。
Basis 的税务工作簿场景中,GPT-6 Astra 完成 50 个 tab 的税务工作簿速度比 GPT-5.6 Sol 快一倍。其对用户意图的理解更强,让 Basis 在实际使用中更有信心。
UK AI Security Institute(AISI)开始使用 EvalEval 的基础设施公开发布评测结果,推动评测科学更可复现、可验证。
NVIDIA Vera Rubin NVL72 首次提交 MLPerf Inference v6.1 预览成绩,在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7x,在 DeepSeek-R1 上达 2.5x,使用 vLLM、Dynamo 和 TensorRT-LLM。
Hugging Face 推出 BenchMIRT,一种基于多维 Item Response Theory 的方法,可在单个题目层面审计 LLM 基准测试实际测量的能力。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 中引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集,印地语成为该多语言榜单上的首个 Indic 语言。
Google DeepMind 推出全球首个针对专有前沿 AI 模型的双盲评估,将外部评测限制在密码学安全的隔离环境中,防止模型提前接触测试题造成基准污染。Gemini Flash Lite 模型将与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下测试机密基准。
Hugging Face 复盘今年 7 月 15 日至 8 月 2 日举办的 ICML 2026 Open Reproductions 挑战赛:1,221 名社区成员用 Claude Code、Codex、Cursor 等智能体,19 天发布 6,816 份 Trackio 日志,尝试复现 2,226 篇论文,约占会议论文的 34%。
推荐理由:文中给出按声明逐条复核会议论文的结果分布和典型的证伪案例,读者可以借此理解智能体复现研究中人类角色的边界。
Microsoft Research 发布 MindTopo 基准,评估多模态大语言模型对连续性、分离、顺序、封闭和绳结五类拓扑概念的理解,涵盖静态推理与交互规划两个层级。测试显示,专有与开源模型在静态识别上明显优于交互式规划任务,且均远低于人类水平,错误多出现在规划阶段丢失结构关系。图像与视频生成工具仅在单帧内偶尔有帮助,难以在多步操作中保持拓扑约束。
DharmaOCR 在巴西葡萄牙语 OCR 基准上以 0.925 的得分领先新模型 Mistral OCR4(0.798)和 Unlimited-OCR(0.7587),证明领域专精的优势依然成立。该模型先通过葡萄牙语文档监督微调对齐词汇与文档结构,再用 DPO 从偏好数据中学习以降低输出退化率和推理成本。专项化训练使全部参数集中于单一语言,这一结构性取舍构成了对多语言模型的可量化优势。
Hume 发布 Real World VoiceEQ 基准,基于超 100 万条人类评分,评估 40 多个专有与开源语音模型,覆盖 ASR、TTS、S2S 和语音理解的 15+ 维度、60+ 指标。评估发现 TTS 无一配置在八组能力中均进前五,语音模型听比说差,许多系统仍以转录文本为主而忽略语气、迟疑等副语言线索;部分模型疑似针对公开基准优化,SLM 自动评估仅适合明确任务,尚难替代人类听评。
Hugging Face 推出开源基准 ScarfBench,用于评测 AI 智能体在 Spring、Jakarta EE、Quarkus 三大 Java 生态间的框架迁移能力,包含 34 个应用、102 个框架实现、204 个迁移任务和 1,331 个专家编写测试。
Every Eval Ever(EEE)与 Hugging Face Community Evals 实现互通,EEE 结果可经转换器同步到 Hub 模型页和基准排行榜,并带来源徽章回链完整记录。
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了评测基准中条目数量与每条标注者人数的权衡。