跳到正文

#多模态

今日 2 条
5月14日周四
  1. Together AI Blog60

    Together AI 开源视频翻译工具 Violin

    Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。

    推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。

4月30日周四
  1. Google DeepMind66

    Google DeepMind 启动 AI 协同医生研究计划

    Google DeepMind 宣布启动 AI co-clinician(AI 协同医生)研究计划,探索在医生监督下协助患者就诊的“三元护理”模式。该系统基于 Gemini 与 Project Astra 构建,具备实时音视频多模态交互能力,并采用 Planner 模块监督 Talker 模块的双智能体安全架构。

    推荐理由:该研究展示了具备音视频实时交互与双智能体安全架构的医疗辅助系统,为探索AI在医生监督下参与问诊提供了评测基准与架构参考。

4月28日周二
4月13日周一
  1. Google DeepMind67

    Google DeepMind 发布具身推理模型 Gemini Robotics-ER 1.6

    Google DeepMind 推出具身推理模型 Gemini Robotics-ER 1.6,大幅增强了空间定位、多视角理解与任务成功检测能力。该模型可原生调用搜索和 VLA 等工具,并新增结合代码执行的智能体视觉以高精度读取各类工业仪表。目前该模型已通过 Gemini API 和 Google AI Studio 向开发者开放。

    推荐理由:新模型结合视觉推理与代码执行实现了工业仪表读取,为机器人多视角任务规划和成功判定提供了实用参考。

3月18日周三
  1. Together AI Blog67

    Together AI 扩展微调服务,新增工具调用、推理及视觉模型微调支持

    Together AI 宣布对其微调服务进行重大扩展,原生支持工具调用、链式推理思考轨迹以及视觉语言模型(VLM)微调。底层训练技术栈通过集成 SonicMoE 算子与定制 CUDA 内核,将 100B+ 参数模型的训练吞吐量最高提升至 6 倍,并支持最高 100GB 的数据集以及运行前的成本与耗时预估。

    推荐理由:原文给出了工具调用、推理链与视觉微调的具体参数配置与吞吐量实测数据,读者可以据此评估复杂智能体工作流的后训练可行性与成本。

2月12日周四