跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–5 条 · 共 5 条
9月3日周四
  1. Hugging Face Blog63

    Hugging Face 用 TRL GRPO 100 步微调 LFM2.5-350M 提升结构化输出,IFStruct 从 22.6% 升至 29.7%

    Hugging Face 发布完整教程,用 TRL 库的 GRPO 结合 LoRA 微调 LiquidAI/LFM2.5-350M,仅需约 500 样本和 100 步训练即可在免费级 Colab 或 Kaggle 16 GB GPU 上完成。

    推荐理由:完整开源了小模型 GRPO 结构化输出微调的配方和评测对比,资源门槛低,方法可直接迁移到其他小模型任务。

7月31日周五
  1. Microsoft Research62

    Microsoft Research 发布 Echoverse 计算机使用 Agent 训练环境并开源四个世界

    Microsoft Research 推出 Echoverse,为计算机使用 Agent 构建了 12 个深度训练环境,包括 10 个领域世界和 2 个能力世界(日期选择器与嵌套过滤)。

    推荐理由:原文给出深度世界优于浅层世界的实验对比和开源入口,读者可以据此判断合成训练环境如何影响 Agent 训练。

7月9日周四
  1. Google Research65

    Google 发布 SensorFM:基于超一万亿分钟可穿戴数据的健康基础模型

    Google Research 发布大型传感器基础模型 SensorFM,在 500 万名同意参与者的超过一万亿分钟多模态可穿戴信号上自监督预训练。模型输入 PPG、加速度计、EDA、皮温和测高五类模态共 34 个一分钟聚合特征,采用 AIM 框架直接从不完整数据中学习。

    推荐理由:Google 自述其可穿戴基础模型的数据规模、AIM 缺失数据处理方法与下游结果,读者可了解可穿戴健康数据通用表示的可行路径。

6月25日周四
3月12日周四
  1. Google Research60

    Google 发布 Groundsource:用 Gemini 将新闻报道转化为灾害历史数据

    Google 发布 Groundsource,利用 Gemini 从 80 种语言的新闻中提取结构化洪水事件数据,构建覆盖 150 多个国家、2000 年至今的 260 万条城市山洪记录并开放获取。

    推荐理由:原文给出方法细节、准确率数字和开放数据入口,读者可据此评估 LLM 构建灾害历史数据集的可复用路径。