Google Research 发布 MilleMiglia：用于中程物流的逼真实例生成器
Google Research 推出 MilleMiglia，一个用 C++ 编写的实例生成器，可为中程（middle-mile）物流配送问题创建逼真的基准数据，源代码和文档已在 GitHub 上开源。中程物流负责区域或洲际尺度上配送中心之间的大宗货物运输，占总物流成本的相当大比例，但因数据敏感长期缺乏公开高质量数据。该工具将问题建模为时空图上的多商品流问题，可生成保护隐私的数据以支持后续研究。
#开源/仓库
#开源/仓库
今日 0 条Google ResearchAI 评分3333
Hugging Face BlogAI 评分4646 Hugging Face 发布 BenchMIRT：审计 LLM 基准测试到底在测什么
Hugging Face 推出 BenchMIRT，一种基于多维 Item Response Theory 的方法，可在单个题目层面审计 LLM 基准测试实际测量的能力。
Google ResearchAI 评分4747 Google Research 研究：构建更好的 AI 评测基准需要多少标注者？
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了评测基准中条目数量与每条标注者人数的权衡。