Hugging Face Blog·2026-09-22 08:00· 8 天前精选AI 评分67

transformers 支持直接运行 llama.cpp GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 宣布 transformers 新增 GGUF 模型运行支持，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的量化 checkpoint，在 Apple Silicon 上本地生成。

推荐理由

官方给出了从加载、量化选择到与 llama.cpp 对比的完整路径，读者可以直接上手在 Mac 本地跑 GGUF。

来源：Hugging Face Blog · huggingface.co