跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 27 条
9月24日周四
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-VL-3B-DSpark 草稿模型,视觉语言模型解码提速最高 3.13x

    Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下加速推理。解码最高提速 3.13x(M5 Max 端侧)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x;草稿模型增加 280M 参数(约 8.9%),首日支持 llama.cpp、MLX-VLM 和 SGLang。

    推荐理由:原文给出视觉语言模型投机解码加速的具体数字、内存开销和第一天框架支持,读者可以据此评估端侧与 GPU 部署收益。

9月4日周五
  1. Google Research63

    Google Research 与 HHMI Janelia 发布完整雄性果蝇大脑连接组图谱

    Google Research 与 HHMI Janelia、MRC 分子生物学实验室及剑桥大学等合作,在 Cell 发表雄性果蝇大脑与中枢神经系统的完整连接组,包含超过 166,000 个神经元和 1.25 亿个突触连接,是目前按神经元数量计最大的大脑图谱。

    推荐理由:官方团队说明了这份连接组图谱的规模、验证方式和可视化工具,读者可以了解它与雌性图谱互补后的研究用途。

9月3日周四
9月2日周三
  1. Google DeepMind73

    Google DeepMind 为 Gemini 推出 agentic video understanding,token 消耗最高降 88%

    Google DeepMind 发布 agentic video understanding 功能,覆盖 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite,通过智能体循环动态搜索和检视视频片段,替代固定帧率的静态处理。

    推荐理由:官方公布了具体降本增效数字和 API 启用方式,开发者可据此评估长视频分析的成本与精度取舍。

8月28日周五
8月27日周四
8月12日周三
8月11日周二
  1. Hugging Face Blog60

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,支持 12 种语言并降低语音生成延迟

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,参数量 364M,新增现代标准阿拉伯语、韩语和巴西葡萄牙语,共支持 12 种语言,并提供生产级 NIM 部署容器。

    推荐理由:原文给出TTFA延迟数据和架构改进细节,读者可据此评估自部署级联语音方案相对一体化语音模型的取舍。

8月10日周一
8月4日周二
  1. Mistral AI62

    Mistral 发布开源多模态安全分类器 Shieldstral

    Mistral 发布 3B 开源权重多模态安全分类器 Shieldstral,将内容审核建模为策略自适应的问答任务,在推理时接受自然语言策略并输出校准的安全分数。该模型在文本安全上匹敌最大 7 倍于其体量的开放护栏模型,在多模态审核上创造新 SOTA,以 Apache 2.0 协议开放权重,可在单张 16GB GPU 上运行。

    推荐理由:原文给出把内容审核改写成策略自适应问答的建模思路和数据构建方法,对做安全分类器的团队有可迁移的参考价值。

7月30日周四
7月21日周二
7月15日周三
  1. Hugging Face Blog81

    Thinking Machines 发布开源多模态大模型 Inkling 及 Inkling-Small

    Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling,总计 975B 参数、激活 41B 的 MoE 架构,原生接受图像、文本和音频输入,支持 1M 上下文,训练数据为 45 万亿 token。

    推荐理由:原文给出 Inkling 与 Inkling-Small 的架构细节、部署配置和多份基准数字,可帮助读者评估其在多模态推理场景的可用性。

7月1日周三
6月25日周四
  1. Google DeepMind71

    Gemini 3.5 Flash 内置 computer use 能力

    Google DeepMind 宣布 computer use 成为 Gemini 3.5 Flash 的内置工具,此前该能力仅以独立的 Gemini 2.5 computer use 模型提供。

    推荐理由:官方说明 computer use 从独立模型并入 Gemini 3.5 Flash 主模型的定位变化,并给出配套安全机制与使用入口,读者可据此评估迁移时机。

6月23日周二
6月9日周二
  1. Google DeepMind75

    Google DeepMind 发布 Gemma 4 12B:无编码器统一多模态模型

    Google DeepMind 发布 Gemma 4 12B,可在 16GB 内存或显存的笔记本本地运行,性能接近其 26B MoE 模型但内存占用不足一半。该模型采用无编码器统一架构,视觉与音频输入直接进入 LLM 主干,是首个支持原生音频输入的中等规模 Gemma 模型,以 Apache 2.0 许可发布,并同步推出官方 Skills 仓库。

    推荐理由:原文来自官方发布,给出架构细节、内存门槛和下载入口,可帮助读者评估在本地设备运行多模态模型的可行性。

5月18日周一
  1. Google DeepMind81

    Google DeepMind 发布 Gemini Omni Flash 多模态视频生成模型

    Google DeepMind 发布 Gemini Omni 系列首个模型 Gemini Omni Flash,可结合图像、音频、视频和文本输入生成高质量视频,并支持通过自然语言多轮编辑。

    推荐理由:官方公告说明了 Gemini Omni Flash 的视频生成与对话式编辑能力、可用入口和订阅范围,读者可据此判断它如何改变创作流程。