跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

13条精选相关主题多模态AI 视频产品更新

最新精选

第 1–13 条 · 共 13 条
10月29日周四
  1. The Decoder76

    Nvidia 开源 Nemotron 3.5 Transcribe,整合语音转录、翻译与说话人识别

    Nvidia 开源语音识别模型 Nemotron 3.5 Transcribe,在单个模型内整合了语音转录、英译、说话人识别和内容问答能力。该模型拥有 30B 参数且每步仅激活约 4B,支持单张 GPU 运行,可处理长达 1 小时、最多 8 人的录音,并在多个开源 ASR 与说话人识别基准中排名前列。

    推荐理由:该模型通过指令将转录、分离和翻译整合进单张GPU可跑的架构中,为本地部署长音频分析提供了低门槛方案。

10月28日周三
  1. NVIDIA Blog63

    NVIDIA RTX Spark 笔记本迎来更新:支持 Nemotron 3.5 语音模型与前后台 GPU 调度

    NVIDIA 宣布搭载 Grace Blackwell 架构的 RTX Spark 系列 Windows 笔记本上市,起售价 2,599 美元并带来多项端侧 AI 更新。平台新增开源语音模型 Nemotron 3.5 Transcribe,支持 40 种语言的听写、说话人识别与翻译;NVIDIA App 同步上线资源管理功能,允许用户自主权衡前台应用与后台 Agent 的 GPU 算力分配。

    推荐理由:原文给出了软硬件协同管理与端侧多模型支持的细节,读者可以据此评估本地 AI 工作流与算力调度的可行性。

10月21日周三
  1. The Decoder77

    Mistral AI 发布 Voxtral 3 实时语音智能体模型栈

    Mistral AI 推出 Voxtral 3 系列模型,打造支持实时倾听、思考与发音的完整语音智能体技术栈。系统包含覆盖 50 多种语言的语音转文字模型 Voxtral Small Transcribe 3、支持 35 种以上语言与 50 种方言情绪适配的 Voxtral Mini TTS 3,以及基于 LiveKit 的智能体 SDK。

    推荐理由:原文给出了全流程实时语音架构与计费细节,读者可以据此评估将端到端语音与工具调用集成到企业私有环境的可行性。

9月25日周五
9月23日周三
9月16日周三
9月10日周四
8月27日周四
7月30日周四
  1. Google DeepMind63

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music

    Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5,并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度,增强了歌词生成的结构感知与提示词遵循能力,同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。

    推荐理由:该模型重点增强了旋律复杂度与人声情感表现,创作者可借此了解其在歌词对齐及节奏控制上的能力演进。

6月9日周二
  1. Google DeepMind81

    Google 发布 Gemini 3.5 Live Translate 语音同传模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制,能够流式连续生成并保留说话人的语调与语速,音频内嵌 SynthID 水印。

    推荐理由:原文给出了流式同传的具体延迟表现与多端落地渠道,读者可以据此评估实时语音翻译在实际业务中的接入可行性。

5月29日周五
  1. Together AI Blog60

    Together AI 如何构建极速语音转文字推理架构

    Together AI 详细披露了其构建极速语音转文字(ASR)系统的全链路工程实践,使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。

    推荐理由:文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节,为高并发语音模型部署提供了可复现的系统级方案。

5月14日周四
  1. Together AI Blog60

    Together AI 开源视频翻译工具 Violin

    Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。

    推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。

3月12日周四
  1. Together AI Blog67

    Together AI 推出实时语音智能体统一构建方案

    Together AI 推出实时语音智能体统一方案,将 STT、LLM 与 TTS 部署在同机房同一集群内,实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型,提供单一 API 与计费界面,同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。

    推荐理由:原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案,为解决语音对话多服务跳转延迟提供了工程参考。