跳到正文

#语音

今日 0 条
10月29日周四
  1. The Decoder76

    Nvidia 开源 Nemotron 3.5 Transcribe,整合语音转录、翻译与说话人识别

    Nvidia 开源语音识别模型 Nemotron 3.5 Transcribe,在单个模型内整合了语音转录、英译、说话人识别和内容问答能力。该模型拥有 30B 参数且每步仅激活约 4B,支持单张 GPU 运行,可处理长达 1 小时、最多 8 人的录音,并在多个开源 ASR 与说话人识别基准中排名前列。

    推荐理由:该模型通过指令将转录、分离和翻译整合进单张GPU可跑的架构中,为本地部署长音频分析提供了低门槛方案。

10月28日周三
  1. TechCrunch · AI70

    Nvidia 发布开源语音转录模型 Nemotron 3.5 Transcribe

    Nvidia 发布开源权重语音转录模型 Nemotron 3.5 Transcribe 及 Granary 语音数据集第 2 版。该模型拥有 30B 参数,支持在单个芯片上运行,可转录多达 40 种语言,支持 31 种语言与英语互译,并能处理长达 1 小时音频及分离最多 8 位说话人。目前该模型仅适用于录制音频而非实时流媒体,主要面向商务会议与医疗转写等场景。

10月25日周日
  1. TechCrunch · AI61

    Block 发布全双工本地语音模型 Dessa

    Block 旗下研究实验室发布全双工语音模型 Dessa,完全基于人类语音训练,支持同时听说并展现笑声、哭腔和停顿等自然情感表达。该模型跳过传统文本中转流水线,可在 MacBook M4 Max 等消费级硬件上本地运行;目前尚未公开开放,官方正招募安全研究人员开展测试。

10月24日周六
  1. The Decoder59

    Block 推出语音模型 Dessa:完全基于人类语音训练以捕捉情绪

    Block 推出语音 AI 模型 Dessa,完全不依赖文本数据从零基于人类语音训练,可直接处理音频并实时捕捉情绪、讽刺、笑声与停顿。该模型支持全双工通信,可实现边听边说,并能在配备 M4 Max 的 MacBook Pro 上本地运行。Dessa 目前尚未公开上线,团队正面向安全研究人员开放测试报名以排查潜在风险。

  2. The Verge · AI59

    Block 发布端到端语音模型 Dessa

    Jack Dorsey 旗下的 Block 推出端到端语音模型 Dessa,该模型完全从零基于人类对话训练,可在搭载 M4 Max 的 MacBook Pro 上本地运行。团队指出传统语音模型将语音拍平成文本会丢失情绪感知与节奏,Dessa 旨在通过纯语音交互提升安全与共情理解,目前计划先向部分 AI 安全研究人员提供早期访问权限。

10月21日周三
  1. The Decoder73

    Elevenlabs 发布两款 Eleven Realtime 实时语音模型

    Elevenlabs 发布名为 Eleven Realtime 的两款实时语音到语音模型 v1 Max 与 v1 Mini。其中 v1 Max 面向客服等复杂任务,在 Big Bench Audio 基准测试中得分为 98.8%,响应时间为 0.57 秒;轻量版 v1 Mini 主打低成本自然对话,能准确识别用户是否讲完还是仅在附和。

  2. The Decoder77

    Mistral AI 发布 Voxtral 3 实时语音智能体模型栈

    Mistral AI 推出 Voxtral 3 系列模型,打造支持实时倾听、思考与发音的完整语音智能体技术栈。系统包含覆盖 50 多种语言的语音转文字模型 Voxtral Small Transcribe 3、支持 35 种以上语言与 50 种方言情绪适配的 Voxtral Mini TTS 3,以及基于 LiveKit 的智能体 SDK。

    推荐理由:原文给出了全流程实时语音架构与计费细节,读者可以据此评估将端到端语音与工具调用集成到企业私有环境的可行性。

10月2日周五
  1. The Decoder59

    Tavus 推出实时视频交互模型 Griffin,近半数受试者在通话中误认为真人

    Tavus 推出用于实时面对面双向视频对话的交互模型 Griffin,测试中有 48% 的受试者在一分钟视频通话中将其误认为真人。该模型可同步处理并生成语音、面部表情、语调与手势,在拟真度测试中获得 3.83 分,接近人类得分的 3.92 分。目前精简版本 Griffin-Lite 已向指定测试人员开放研究预览,主要面向辅导教学与客服支持等场景。

9月24日周四
9月23日周三
9月16日周三
9月10日周四
8月27日周四
7月30日周四
  1. Google DeepMind63

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music

    Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5,并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度,增强了歌词生成的结构感知与提示词遵循能力,同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。

    推荐理由:该模型重点增强了旋律复杂度与人声情感表现,创作者可借此了解其在歌词对齐及节奏控制上的能力演进。

6月9日周二
  1. Google DeepMind81

    Google 发布 Gemini 3.5 Live Translate 语音同传模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制,能够流式连续生成并保留说话人的语调与语速,音频内嵌 SynthID 水印。

    推荐理由:原文给出了流式同传的具体延迟表现与多端落地渠道,读者可以据此评估实时语音翻译在实际业务中的接入可行性。

4月16日周四