跳到正文

#语音

今日 0 条
10月1日周四
  1. arXiv cs.AI53

    AI 语音智能体的人设与说服框架:针对儿童的 2×2 田野实验

    慕尼黑工业大学与麻省理工学院团队通过公开的德国圣诞老人电话热线开展 2×2 田野实验,评估大语言模型语音智能体的人设与说服框架对儿童行为的影响。在符合标准的 89 场对话中(中位年龄 6 岁),说服性话术框架将儿童提出亲社会愿望的概率从 11.6% 显著提升至 45.7%,而人设权威度的影响接近于零。

  2. arXiv cs.AI28

    迈向模型即库(MaaL):面向低资源非洲语言的离线社区化 AI

    研究者提出了 Model as a Library(MaaL)软件架构,将小型社区语音模型打包为端侧依赖项,为低资源非洲语言提供完全离线、杜绝生成式模型幻觉的结构化数据收集能力。MaaL 在部署时直接通过说话人录制的少量样本录入词表,并利用关键词识别将封闭词表表单转换为完全在端侧填写与提交的语音表单。

  3. arXiv cs.AI47

    VAmoS Part Deux:更难、更真实的语音智能体模拟基准

    VAmoS Energy 语音智能体基准测试推出,通过 100 通公用事业账单与缴费电话评估智能体处理多请求和带状态工具调用的能力。测试覆盖 14 种语音技术栈,任务完成率仅为 17.3% 至 44.7%,Grok Voice 表现领先,Gemini 3.8 Live 与 GPT-Live 紧随其后。背景电视声音会导致综合完成率从 38.7% 骤降至 8.6%。

  4. Solidot75

    意大利银行高管遭遇 Deepfake 语音诈骗损失逾 1 亿美元

    意大利私人银行 Fideuram 总裁遭遇结合 WhatsApp 伪造信息与 Deepfake 仿声电话的定向诈骗,导致该机构被骗走 9500 万欧元(约 1.08 亿美元)后离职。骗子利用 AI 模型模仿大型律所合伙人声音促成海外转账,目前在多国机构协助下已追回 5300 万欧元,其余资金已被转移并兑换为加密货币。

  5. Nature59

    AI 语音时钟可通过声音特征评估衰老速度与认知障碍

    科研人员在《Science Advances》发表成果,开发出基于机器学习的语音时钟,仅需 4 分钟语音录音即可评估个体的衰老速度。该模型从 2928 名受试者的录音中提取音调、语速和词汇范围等 700 多项特征,发现预测年龄与实际年龄的差距与轻度认知障碍及阿尔茨海默病等认知问题高度相关。该方法无需脑部扫描或血液检测,为低资源地区提供了一种低成本的无创监测工具。

  6. arXiv cs.AI40

    AVIO:学习在音视频场景中添加与移除发声物体

    研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench,以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本,关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练,使单个模型既能执行纯指令编辑,也支持通过可选视觉引导控制物体的外观与位置。

9月29日周二
  1. Science News22

    播客《The Deep End》回归,探索是什么让你的声音独一无二

    Science News 旗下播客《The Deep End》推出新一季《Talk to Me》,聚焦 AI 声音克隆与脑植入技术如何重塑人类声音。全季共 6 集,深入探讨声音丧失后的重建历程,涵盖通过脑植入物将思维转化为语音、借助 AI 克隆声音演出脱口秀以及合成声音演唱等真实案例。该节目自 10 月 6 日起每周二更新上线。

9月26日周六
  1. AWS Machine Learning Blog44

    在 Amazon SageMaker AI 上使用 Qwen3-TTS 部署实时个性化语音

    用户现可通过 Amazon SageMaker JumpStart 将开源模型 Qwen3-TTS-12Hz-1.7B-Base 部署至全托管实时推理端点。该模型由阿里巴巴千问团队开发,覆盖中英等 10 种语言,仅需数秒参考音频即可实现跨语种声音克隆并输出 24 kHz 音频。部署方案基于预构建的 vLLM-Omni 容器,支持低延迟流式生成且无需管理底层 GPU 服务器。

9月25日周五
9月24日周四
  1. Apple ML Research34

    半监督联邦 ASR 实用方案:在线伪标签与服务端更新稳定化

    Apple ML Research 提出一种半监督联邦语音识别(ASR)方案,通过协同设计客户端在线伪标签生成与服务端标注数据更新,解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型,在 11 组对比中有 9 组超越先前最强方法,域内平均提升 20.8%,跨域提升 10.0%,显著缩小了与全监督联邦学习的差距。

  2. Apple ML Research38

    Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器

    Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器,以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器,并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下,学生模型相对教师模型的 WER 差距保持在 1.9% 以内,比同容量独立训练模型相对提升 3.9%。

9月23日周三
9月16日周三
  1. Google AI Blog42

    Google:让 AI 适用于每一种语言与每个人

    Google 宣布其产品已支持超 300 种语言,并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译,并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外,Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma,无需联网即可运行。

9月10日周四
8月27日周四
7月30日周四
  1. Google DeepMind63

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music

    Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5,并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度,增强了歌词生成的结构感知与提示词遵循能力,同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。

    推荐理由:该模型重点增强了旋律复杂度与人声情感表现,创作者可借此了解其在歌词对齐及节奏控制上的能力演进。

6月9日周二
  1. Google DeepMind81

    Google 发布 Gemini 3.5 Live Translate 语音同传模型

    Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制,能够流式连续生成并保留说话人的语调与语速,音频内嵌 SynthID 水印。

    推荐理由:原文给出了流式同传的具体延迟表现与多端落地渠道,读者可以据此评估实时语音翻译在实际业务中的接入可行性。

5月29日周五
  1. Together AI Blog60

    Together AI 如何构建极速语音转文字推理架构

    Together AI 详细披露了其构建极速语音转文字(ASR)系统的全链路工程实践,使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。

    推荐理由:文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节,为高并发语音模型部署提供了可复现的系统级方案。

5月14日周四
  1. Together AI Blog60

    Together AI 开源视频翻译工具 Violin

    Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。

    推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。

4月16日周四
3月16日周一
3月12日周四
  1. Together AI Blog67

    Together AI 推出实时语音智能体统一构建方案

    Together AI 推出实时语音智能体统一方案,将 STT、LLM 与 TTS 部署在同机房同一集群内,实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型,提供单一 API 与计费界面,同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。

    推荐理由:原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案,为解决语音对话多服务跳转延迟提供了工程参考。

2月23日周一
  1. Together AI Blog55

    Together AI 研究揭示语音模型在街道识别中的缺陷并提出跨语言合成数据解法

    Together AI 研究发现主流语音识别模型在转录多语言背景发音的街道名称时平均错误率达 39%,非英语母语者的识别准确率比英语母语者低 18%。为此团队提出基于 XTTS 的跨语言风格迁移技术生成口音合成数据,仅使用不到 1,000 条训练样本就使 Whisper-Base 等模型的识别相对准确率提升最高 60%。