Hugging Face Blog·· 6 天前精选AI 评分60
Liquid AI 发布 LFM2.5-VL-3B-DSpark 草稿模型,视觉语言模型解码提速最高 3.13x
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下加速推理。解码最高提速 3.13x(M5 Max 端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x;草稿模型增加 280M 参数(约 8.9%),首日支持 llama.cpp、MLX-VLM 和 SGLang。
推荐理由
原文给出视觉语言模型投机解码加速的具体数字、内存开销和第一天框架支持,读者可以据此评估端侧与 GPU 部署收益。
来源:Hugging Face Blog · huggingface.co