跳到正文

#多模态

今日 2 条
6月9日周二
  1. Google DeepMind83

    Google DeepMind 推出 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 正式推出 Gemma 4 12B 多模态模型,采用无独立编码器的统一架构,原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型,内存占用减少超一半,可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源,支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。

    推荐理由:原文解析了移除视觉和音频编码器的统一架构设计,为端侧设备部署低延迟多模态大模型提供了具体参考。

6月2日周二
  1. Together AI Blog68

    Together AI 详解 MiniMax-M3 推理优化:实现 1M 上下文与多模态高效部署

    Together AI 作为首选云合作伙伴,详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention,使预填充阶段加速超 9 倍、解码加速超 15 倍;同时借助 Rust 模型网关在 CPU 端预处理音视频,在典型智能体场景下将推理性能提升了 81% 至 125%。

    推荐理由:文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案,对长上下文大模型的生产级部署具有直接的工程参考价值。

5月18日周一
  1. Google DeepMind73

    Google DeepMind 结合街景数据升级 Project Genie:支持生成真实世界交互环境

    Google DeepMind 宣布在实验原型 Project Genie 中引入 Google 街景锚定能力,支持基于真实地理图像生成可交互的虚拟环境,并逐步向全球 Google AI Ultra 订阅用户开放。用户可以在美国地图上选点并搭配特定艺术风格与角色提示词生成对应世界,为智能体与机器人导航交互提供仿真支持。该街景生成能力目前支持美国境内地点,未来将逐步扩展至更多地区。

    推荐理由:原文展示了世界模型结合真实地理街景生成交互环境的具体方式,为智能体与机器人仿真训练提供了现实落地的参考路径。

  2. Google DeepMind87

    Google DeepMind 发布多模态模型 Gemini Omni

    Google DeepMind 推出新一代多模态生成模型 Gemini Omni,并发布该系列的首个模型 Gemini Omni Flash。该模型支持组合图像、音频、视频和文本作为输入来生成视频,并允许用户通过多轮自然语言对话连续编辑动作、角色和场景细节,同时生成内容均嵌入 SynthID 数字水印。

    推荐理由:模型结合原生多模态与物理常识推理,支持通过自然语言对话多轮编辑视频,展示了基于世界知识生成连贯动态内容的新路径。

5月17日周日
5月14日周四
  1. Together AI Blog60

    Together AI 开源视频翻译工具 Violin

    Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。

    推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。

4月30日周四
  1. Google DeepMind66

    Google DeepMind 启动 AI 协同医生研究计划

    Google DeepMind 宣布启动 AI co-clinician(AI 协同医生)研究计划,探索在医生监督下协助患者就诊的“三元护理”模式。该系统基于 Gemini 与 Project Astra 构建,具备实时音视频多模态交互能力,并采用 Planner 模块监督 Talker 模块的双智能体安全架构。

    推荐理由:该研究展示了具备音视频实时交互与双智能体安全架构的医疗辅助系统,为探索AI在医生监督下参与问诊提供了评测基准与架构参考。

4月28日周二
4月13日周一
  1. Google DeepMind67

    Google DeepMind 发布具身推理模型 Gemini Robotics-ER 1.6

    Google DeepMind 推出具身推理模型 Gemini Robotics-ER 1.6,大幅增强了空间定位、多视角理解与任务成功检测能力。该模型可原生调用搜索和 VLA 等工具,并新增结合代码执行的智能体视觉以高精度读取各类工业仪表。目前该模型已通过 Gemini API 和 Google AI Studio 向开发者开放。

    推荐理由:新模型结合视觉推理与代码执行实现了工业仪表读取,为机器人多视角任务规划和成功判定提供了实用参考。

3月18日周三
  1. Together AI Blog67

    Together AI 扩展微调服务,新增工具调用、推理及视觉模型微调支持

    Together AI 宣布对其微调服务进行重大扩展,原生支持工具调用、链式推理思考轨迹以及视觉语言模型(VLM)微调。底层训练技术栈通过集成 SonicMoE 算子与定制 CUDA 内核,将 100B+ 参数模型的训练吞吐量最高提升至 6 倍,并支持最高 100GB 的数据集以及运行前的成本与耗时预估。

    推荐理由:原文给出了工具调用、推理链与视觉微调的具体参数配置与吞吐量实测数据,读者可以据此评估复杂智能体工作流的后训练可行性与成本。

2月12日周四
12月30日周二
  1. Ahead of AI38

    LLM 研究论文:2025 年清单(7 月至 12 月)

    Ahead of AI 整理并发布了 2025 年 7 月至 12 月的大语言模型(LLM)研究论文清单,涵盖模型架构、高效训练与多模态等领域。清单重点归纳了推理模型的训练与推理时策略、推理时缩放(Inference-Time Scaling)、强化学习、基于扩散的语言模型及预训练数据集等前沿方向。