Simon Willison 引述 Anthropic Frontier Red Team 关于 GLM-5.3 网络攻击能力的评测
Anthropic Frontier Red Team 在内部 Binary Exploitation benchmark 的 100 个任务上评测发现，GLM-5.3 在 4% 的试验中实现完整控制流劫持，Claude Mythos Preview 为 6%，而 Claude Opus 4.6 和 GLM-5.2 均无一成功。
#评测/基准
#评测/基准
今日 1 条Simon WillisonAI 评分4747
OpenAI NewsAI 评分2424 Basis 使用 GPT-6 Astra 将税务工作簿处理速度提升 2 倍
Basis 的税务工作簿场景中，GPT-6 Astra 完成 50 个 tab 的税务工作簿速度比 GPT-5.6 Sol 快一倍。其对用户意图的理解更强，让 Basis 在实际使用中更有信心。
Hugging Face BlogAI 评分5252 UK AISI 与 EvalEval 合作公开评测结果以提升可复现性
UK AI Security Institute（AISI）开始使用 EvalEval 的基础设施公开发布评测结果，推动评测科学更可复现、可验证。
NVIDIA BlogAI 评分4242 NVIDIA Vera Rubin NVL72 首次参加 MLPerf Inference v6.1 即获领先性能
NVIDIA Vera Rubin NVL72 首次提交 MLPerf Inference v6.1 预览成绩，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7x，在 DeepSeek-R1 上达 2.5x，使用 vLLM、Dynamo 和 TensorRT-LLM。
Hugging Face BlogAI 评分4646 Hugging Face 发布 BenchMIRT：审计 LLM 基准测试到底在测什么
Hugging Face 推出 BenchMIRT，一种基于多维 Item Response Theory 的方法，可在单个题目层面审计 LLM 基准测试实际测量的能力。
Hugging Face BlogAI 评分4242 Open ASR Leaderboard 新增首个全球南方语言：Monsoon 印地语与印度英语评测集
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 中引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，印地语成为该多语言榜单上的首个 Indic 语言。
Google DeepMindAI 评分5454 Google DeepMind 试点全球首个专有前沿模型双盲评估
Google DeepMind 推出全球首个针对专有前沿 AI 模型的双盲评估，将外部评测限制在密码学安全的隔离环境中，防止模型提前接触测试题造成基准污染。Gemini Flash Lite 模型将与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下测试机密基准。
Import AIAI 评分3636 Import AI 469：科学 AI、RSI 模拟器与 Zuck 的技术悲观主义
DiG-bench 发布，一个由 70 款隐藏规则游戏组成的基准，测试模型通过探索发现环境规则的能力。Opus 5 和 Fable 5（配合 Claude Code）表现最好，是仅有的能在最难的 Tier 7 得分（0.2）的模型，但远低于人类 100% 的成绩。Inherent 则发布 Faraday，用较小的开源权重模型监督前沿模型做科学研究。
Hugging Face Blog精选AI 评分7676 Hugging Face 复盘 ICML 2026 论文复现挑战赛：1,221 人复现 2,226 篇论文
Hugging Face 复盘今年 7 月 15 日至 8 月 2 日举办的 ICML 2026 Open Reproductions 挑战赛：1,221 名社区成员用 Claude Code、Codex、Cursor 等智能体，19 天发布 6,816 份 Trackio 日志，尝试复现 2,226 篇论文，约占会议论文的 34%。
推荐理由：文中给出按声明逐条复核会议论文的结果分布和典型的证伪案例，读者可以借此理解智能体复现研究中人类角色的边界。
Hugging Face BlogAI 评分3030 DharmaOCR 如何以领域专精持续领先新发布的 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在巴西葡萄牙语 OCR 基准上以 0.925 的得分领先新模型 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587），证明领域专精的优势依然成立。该模型先通过葡萄牙语文档监督微调对齐词汇与文档结构，再用 DPO 从偏好数据中学习以降低输出退化率和推理成本。专项化训练使全部参数集中于单一语言，这一结构性取舍构成了对多语言模型的可量化优势。
Hugging Face BlogAI 评分5151 Hume 推出 Real World VoiceEQ 基准，衡量语音 AI 的人类级质量
Hume 发布 Real World VoiceEQ 基准，基于超 100 万条人类评分，评估 40 多个专有与开源语音模型，覆盖 ASR、TTS、S2S 和语音理解的 15+ 维度、60+ 指标。评估发现 TTS 无一配置在八组能力中均进前五，语音模型听比说差，许多系统仍以转录文本为主而忽略语气、迟疑等副语言线索；部分模型疑似针对公开基准优化，SLM 自动评估仅适合明确任务，尚难替代人类听评。
Import AIAI 评分4949 Import AI 464：Fable 写出 GPU kernel，RLI 显示 AI 自动化在线工作能力飙升
AI 系统 Fable 在 KernelBench-Mega 上写出首个真实且最快的 megakernel，在 RTX PRO 6000 Blackwell 上实现 18.71X 加速，超过 Claude Opus 4.8（14.4X）、GLM-5.2（11.14X）和 GPT 5.5（4.34X）。
Hugging Face BlogAI 评分4646 ScarfBench：评测 AI 智能体完成企业级 Java 框架迁移的基准测试
Hugging Face 推出开源基准 ScarfBench，用于评测 AI 智能体在 Spring、Jakarta EE、Quarkus 三大 Java 生态间的框架迁移能力，包含 34 个应用、102 个框架实现、204 个迁移任务和 1,331 个专家编写测试。
Hugging Face BlogAI 评分5252 Hugging Face 模型页现已支持展示 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 实现互通，EEE 结果可经转换器同步到 Hub 模型页和基准排行榜，并带来源徽章回链完整记录。
Google ResearchAI 评分4747 Google Research 研究：构建更好的 AI 评测基准需要多少标注者？
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了评测基准中条目数量与每条标注者人数的权衡。