跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 22 条
9月29日周二
  1. AWS Machine Learning Blog67

    Grok 4.7 上架 Amazon Bedrock,支持 500K 上下文与四档推理力度

    xAI 的 Grok 4.7 上线 Amazon Bedrock,提供 500K token 上下文窗口和 low 到 xhigh 四档推理力度,通过 us.xai.grok-4.7 和 global.xai.grok-4.7 跨区域推理配置接入,支持 Responses、Chat Completions 和 Converse API。

    推荐理由:原文给出 Bedrock 上的接入方式、推理档位与 Artificial Analysis 独立评测数据,可帮助读者评估成本与接入取舍。

9月23日周三
  1. AWS Machine Learning Blog63

    OpenAI GPT-6 Sol 和 GPT-6 Luna 正式登陆 Amazon Bedrock

    OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 在 Amazon Bedrock 正式可用,API 定价显著低于 GPT-5.6 前代。GPT-6 Sol 面向推理、编码和多步骤复杂任务,内部事实性评估中事实错误约为 GPT-5.6 Sol 的一半;GPT-6 Luna 面向大规模重复性任务,支持按请求调整推理力度。

    推荐理由:原文给出两款模型的定位差异、定价变化与数据管控细节,读者可以据此为不同负载选型和评估上云方式。

9月22日周二
9月17日周四
  1. GitHub Blog · AI & ML80

    GitHub 用 Copilot 将 Copilot 智能体运行时从 TypeScript 增量迁移至 Rust

    GitHub 用 AI 智能体将 Copilot 智能体运行时完整重写为超过 800,000 行生产 Rust,通过 128 个 pull request 增量合入 main 并逐步发布,于 2026 年 8 月 21 日达成 100% Rust。

    推荐理由:作者亲历复盘用 AI 智能体将 Copilot 运行时从 TypeScript 迁移到 80 万行 Rust 的过程,给出可迁移的增量迁移、提示词缓存与多会话协作方法。

9月10日周四
  1. Hugging Face Blog60

    Hugging Face 用 Storage Bucket 和代理实现跨 Jobs 的 Async GRPO LoRA 训练,无需 NCCL

    Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中加入 LoRA 支持(PR #7017),训练器与 vLLM 副本作为独立 HF Jobs 运行,仅几 MB 的 adapter 经 Storage Bucket 挂载同步,无需 NCCL。

    推荐理由:原文给出完整的跨节点 LoRA 异步 RL 架构与五轮瓶颈调优数据,读者可以复用其中按 KV 前缀路由和 token 打包的调优方法。

9月1日周二
  1. Hugging Face Blog62

    Hugging Face 发布 @huggingface/kernels 与 207 个 WebGPU 内核

    Hugging Face WebAI 团队发布 @huggingface/kernels 库及 207 个 WebGPU 内核,每个内核以带版本、正确性与基准测试的独立仓库形式发布在 Hub 上,采用 Apache-2.0 许可。

    推荐理由:官方发布 207 个 WebGPU 内核及加载库,并给出与 ORT WebGPU 的实测对比,读者可据此评估浏览器推理的加速空间。

8月25日周二
8月21日周五
  1. Hugging Face Blog60

    Liquid AI 为 LFM2.5 系列发布 DSpark 草稿模型,推理最高提速 3.18x

    Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 三个模型发布 DSpark 草稿模型检查点,通过投机解码在不改变输出质量的前提下提升解码速度。

    推荐理由:原文给出三类模型的加速数字、质量不变的原理和 llama.cpp、SGLang 的接入命令,读者可据此评估端侧与 GPU 推理收益。

8月20日周四
  1. Mistral AI67

    Mistral 发布 Agentic Search,多步检索循环显著提升复杂文档问答精度

    Mistral 发布 Agentic Search 检索层,通过 search、open、navigate、read、grep 五个工具实现多步检索循环,让模型在长文档和多数据源中查找、验证信息。

    推荐理由:原文给出 FinanceBench 与 OfficeQA Pro 的具体精度、延迟和 token 数据,读者可据此评估检索方案是否迁移到自家场景。

8月11日周二
  1. Hugging Face Blog60

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,支持 12 种语言并降低语音生成延迟

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,参数量 364M,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,共支持 12 种语言,并提供生产级 NIM 部署容器。

    推荐理由:原文给出TTFA延迟数据和架构改进细节,读者可据此评估自部署级联语音方案相对一体化语音模型的取舍。

7月31日周五
  1. Microsoft Research62

    Microsoft Research 发布 Echoverse 计算机使用 Agent 训练环境并开源四个世界

    Microsoft Research 推出 Echoverse,为计算机使用 Agent 构建了 12 个深度训练环境,包括 10 个领域世界和 2 个能力世界(日期选择器与嵌套过滤)。

    推荐理由:原文给出深度世界优于浅层世界的实验对比和开源入口,读者可以据此判断合成训练环境如何影响 Agent 训练。

7月23日周四
  1. Hugging Face Blog68

    Hugging Face 将 Nunchaku 4-bit 扩散推理原生集成进 Diffusers

    Hugging Face 在 Diffusers 中新增 Nunchaku Lite 集成路径,可像普通 Diffusers 模型一样用 from_pretrained() 加载 Nunchaku SVDQuant 4-bit(W4A4)检查点,无需单独推理引擎或本地 CUDA 编译。

    推荐理由:官方宣布 Diffusers 原生支持 Nunchaku 4-bit 推理,附实测数据和自己量化新架构的完整工作流。

7月16日周四
  1. Hugging Face Blog85

    Hugging Face 披露由自主 AI 智能体驱动的入侵事件及应对

    Hugging Face 披露本周检测并处置了一起由自主 AI 智能体系统端到端驱动的入侵,攻击者通过恶意数据集利用两条代码执行路径获得处理节点访问权限,窃取了部分内部数据集和多项服务凭证。

    推荐理由:披露一起由自主智能体发起的入侵及 AI 取证应对细节,读者可以了解防御侧如何在护栏限制下自建可用模型能力。

7月10日周五
7月8日周三
7月7日周二
  1. Hugging Face Blog64

    Hugging Face 与 SkyPilot 推出 store: hf,实现跨云零出口费挂载 Hub 存储

    Hugging Face 与 SkyPilot 联合推出 store: hf 后端,用 hf:// URL 将 Hugging Face Bucket 或任意 Hub 仓库挂载进 SkyPilot 任务,可在 20+ 云、Kubernetes 和 Slurm 上调度,读取数据零出口费。

    推荐理由:原文给出无出口费存储接入 SkyPilot 的具体用法、基准数字和成本对比,读者可据此评估跨云 GPU 训练的存储方案。

7月1日周三
6月23日周二