跳到正文

#语音

今日 0 条
11月2日周一
  1. Scientific American53

    如何辨别一段录音是否由 AI 生成

    随着仅需数秒音频即可克隆人声,人类仅凭耳朵已很难分辨真伪,当前检测手段正转向利用声波抖动、振幅微扰等音频取证特征与 AI 检测模型。加州大学伯克利分校实验显示听众识别人声克隆的准确率仅约 60%,现代克隆工具还能主动加入呼吸与停顿以掩盖破绽,且现有检测模型在跨工具识别和电话降质场景下仍有明显盲区。在音频中嵌入不可见数字水印是当前颇具前景的防御方式,但防范伪造仍需音频取证技术持续迭代。

  2. arXiv stat.ML34

    变分分解自动编码改善潜在表示解耦

    研究人员提出变分分解自动编码(VDA)框架及其实现模型 DecVAEs,通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构,并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明,DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。

10月31日周六
  1. arXiv cs.LG35

    通过循环实现深度:迈向超高效端侧 ASR

    研究人员提出一种块循环 ASR 架构,通过权重共享的循环块替代参数化深度,以减少一个数量级的参数实现超高效端侧语音识别。在 Open ASR Leaderboard 基准测试中,仅含两个共享块的模型平均可恢复大模型 97.4% 的准确率。该架构复用权重以降低内存访问与推理能耗,并支持轻量级 MoE-LoRA 适配以实现低成本端侧个性化。

10月30日周五
  1. TechCrunch · AI68

    Granola 推出跨应用语音听写功能

    AI 会议记录工具 Granola 推出跨应用语音听写功能,直接与 Wispr 展开竞争。Mac 用户按 Fn 键即可在任意应用中语音输入,系统会自动清洗与格式化文本,且不限字数免费开放。该功能后续将登陆 iOS 和 Windows,体现出消费级语音应用正向多功能输入工具融合。

  2. TechCrunch · AI62

    亚马逊升级 Alexa 购物功能,支持管理清单、订阅及修改配送说明

    亚马逊在假期季前为 Alexa 增加了 100 多项购物相关能力,支持管理清单与订阅、更新配送说明以及解决账单支付问题。用户可以通过语音直接调整商品订阅发货周期、修改配送地址或送达备注,并查询 Prime 与 Audible 订阅状态。亚马逊表示今年其智能体功能的使用人数增长了 8 倍,过去 12 个月内已有超过 4 亿消费者使用 Alexa 进行购物。

10月29日周四
  1. arXiv cs.LG36

    低资源诊所离线呼吸音筛查中特征缩放效果优于架构选择

    低资源诊所离线呼吸音分类研究表明,特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78,表现媲美 1.13M 参数的卷积循环网络(0.75 至 0.77)。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms,但经典模型避免了 449 MB 的 PyTorch 运行时依赖。

  2. The Decoder76

    Nvidia 开源 Nemotron 3.5 Transcribe,整合语音转录、翻译与说话人识别

    Nvidia 开源语音识别模型 Nemotron 3.5 Transcribe,在单个模型内整合了语音转录、英译、说话人识别和内容问答能力。该模型拥有 30B 参数且每步仅激活约 4B,支持单张 GPU 运行,可处理长达 1 小时、最多 8 人的录音,并在多个开源 ASR 与说话人识别基准中排名前列。

    推荐理由:该模型通过指令将转录、分离和翻译整合进单张GPU可跑的架构中,为本地部署长音频分析提供了低门槛方案。

10月28日周三
  1. TechCrunch · AI70

    Nvidia 发布开源语音转录模型 Nemotron 3.5 Transcribe

    Nvidia 发布开源权重语音转录模型 Nemotron 3.5 Transcribe 及 Granary 语音数据集第 2 版。该模型拥有 30B 参数,支持在单个芯片上运行,可转录多达 40 种语言,支持 31 种语言与英语互译,并能处理长达 1 小时音频及分离最多 8 位说话人。目前该模型仅适用于录制音频而非实时流媒体,主要面向商务会议与医疗转写等场景。

  2. NVIDIA Blog63

    NVIDIA RTX Spark 笔记本迎来更新:支持 Nemotron 3.5 语音模型与前后台 GPU 调度

    NVIDIA 宣布搭载 Grace Blackwell 架构的 RTX Spark 系列 Windows 笔记本上市,起售价 2,599 美元并带来多项端侧 AI 更新。平台新增开源语音模型 Nemotron 3.5 Transcribe,支持 40 种语言的听写、说话人识别与翻译;NVIDIA App 同步上线资源管理功能,允许用户自主权衡前台应用与后台 Agent 的 GPU 算力分配。

    推荐理由:原文给出了软硬件协同管理与端侧多模型支持的细节,读者可以据此评估本地 AI 工作流与算力调度的可行性。

  3. Science News69

    脑机接口如何将大脑想法转化为语音

    脑机接口系统通过在大脑运动皮层植入电极阵列并结合机器学习算法,成功将渐冻症患者尝试说话时的神经电信号实时解码为语音。临床试验数据显示,受试者在近两年居家使用中平均交流速度达每分钟 56 词,句子解码正确率约为 92%。该技术帮助重度失语患者恢复了日常工作与家庭沟通能力,但仍面临对话节奏慢和硬件连接等挑战。

10月26日周一
10月25日周日
  1. TechCrunch · AI61

    Block 发布全双工本地语音模型 Dessa

    Block 旗下研究实验室发布全双工语音模型 Dessa,完全基于人类语音训练,支持同时听说并展现笑声、哭腔和停顿等自然情感表达。该模型跳过传统文本中转流水线,可在 MacBook M4 Max 等消费级硬件上本地运行;目前尚未公开开放,官方正招募安全研究人员开展测试。

10月24日周六
  1. The Decoder59

    Block 推出语音模型 Dessa:完全基于人类语音训练以捕捉情绪

    Block 推出语音 AI 模型 Dessa,完全不依赖文本数据从零基于人类语音训练,可直接处理音频并实时捕捉情绪、讽刺、笑声与停顿。该模型支持全双工通信,可实现边听边说,并能在配备 M4 Max 的 MacBook Pro 上本地运行。Dessa 目前尚未公开上线,团队正面向安全研究人员开放测试报名以排查潜在风险。

  2. Science News27

    人类的声音:脑机接口与 AI 声音重建技术

    脑机接口技术通过解码大脑向发声肌肉发送的指令,正帮助因神经退行性疾病或脑损伤失语的患者重新说话。ALS 患者 Casey Harrell 借助该技术重获发声交流能力,相关讨论亦涉及 AI 声音克隆及声音被滥用劫持的潜在风险。此外,本期还涉及针对僵人综合征的 CAR T 细胞疗法测试,以及 OpenAI 宣布解开数学难题所引发的成果归属争议。

  3. The Verge · AI59

    Block 发布端到端语音模型 Dessa

    Jack Dorsey 旗下的 Block 推出端到端语音模型 Dessa,该模型完全从零基于人类对话训练,可在搭载 M4 Max 的 MacBook Pro 上本地运行。团队指出传统语音模型将语音拍平成文本会丢失情绪感知与节奏,Dessa 旨在通过纯语音交互提升安全与共情理解,目前计划先向部分 AI 安全研究人员提供早期访问权限。

10月23日周五
  1. 量子位33

    声网 CEO 赵斌提出五级对话能力框架,实时互动迈入对话 AGI 时代

    声网创始人兼 CEO 赵斌在 iRTE2026 上提出“五级对话能力”框架,勾勒对话式 AI 从 L1 基础应答演进至 L5 深度关系沟通的路径。他指出实时互动对象正扩展到人与 Agent,需依托全球实时传输网络与全双工交互支撑实时智能协同。声网正通过对话式 AI 引擎及配套 SDK、Skills 等工具,帮助开发者构建具备执行能力的智能体。

  2. AWS Machine Learning Blog55

    Amazon Polly 生成式语音引擎迎来重大升级

    Amazon Polly 宣布对其生成式语音引擎进行重大升级,在保持现有 API 调用和价格不变的前提下,提供更自然、更准确的低延迟语音输出。本次升级新增覆盖 9 个区域的 14 种新声音,首次正式支持印地语和芬兰语,使生成式语音库扩展至 11 种语言共 57 种声音。系统显著优化了数字、货币及地址的朗读准确率,并在 11 个 AWS 区域正式可用。

  3. TechCrunch · AI48

    Nirva 融资 $33M 打造仅收录佩戴者声音的 AI 吊坠

    AI 穿戴硬件初创公司 Nirva 宣布完成 2500 万美元 Pre-A 轮融资,累计融资达 $33M,用于开发仅收录佩戴者语音的首饰级吊坠设备。该硬件重约 8 克且续航可达 3 天,通过声纹建模自动过滤周围人声,并在处理后默认不保留音频与转录文本。设备售价 $249,定于 11 月开启预购并于年底前向早期用户发货。

10月22日周四
10月21日周三
  1. The Verge · AI65

    Google 将 Gemini 对话式导航功能引入 Apple CarPlay

    Google 宣布将 Gemini 对话式导航功能引入 Apple CarPlay,即日起向美国司机推出并逐步推向全球。CarPlay 用户可在车载界面的 Google Maps 中点击 Gemini 图标唤醒语音助手,支持多轮问询推荐地点、规划避开收费站的路线以及语音报告交通状况。本次更新未包含昨日在 Android Auto 上线、可访问 Gmail 和日历等应用数据的个人智能功能。

  2. arXiv stat.ML34

    MiCLA:面向复音音频表征学习的混合到成分隐空间对齐框架

    研究人员提出自监督预训练框架 MiCLA,通过合成 log-mel 混合将复音音频的混合表征与其成分片段进行双向隐空间对齐。微调评测中,MiCLA 在 AS-20K 上达到 43.2% mAP,在 AS-2M 上达到 50.3% mAP,并在冻结凸门控探测(CGP)下取得同类评估模型中的最高 mAP。实验表明该定向对齐机制有效提升了多声音事件的表征与联合检索能力。

  3. The Decoder73

    Elevenlabs 发布两款 Eleven Realtime 实时语音模型

    Elevenlabs 发布名为 Eleven Realtime 的两款实时语音到语音模型 v1 Max 与 v1 Mini。其中 v1 Max 面向客服等复杂任务,在 Big Bench Audio 基准测试中得分为 98.8%,响应时间为 0.57 秒;轻量版 v1 Mini 主打低成本自然对话,能准确识别用户是否讲完还是仅在附和。

  4. The Decoder77

    Mistral AI 发布 Voxtral 3 实时语音智能体模型栈

    Mistral AI 推出 Voxtral 3 系列模型,打造支持实时倾听、思考与发音的完整语音智能体技术栈。系统包含覆盖 50 多种语言的语音转文字模型 Voxtral Small Transcribe 3、支持 35 种以上语言与 50 种方言情绪适配的 Voxtral Mini TTS 3,以及基于 LiveKit 的智能体 SDK。

    推荐理由:原文给出了全流程实时语音架构与计费细节,读者可以据此评估将端到端语音与工具调用集成到企业私有环境的可行性。

10月20日周二
  1. Science News69

    AI 声音克隆如何帮失声渐冻症患者重建身份认同

    Science News 报道展示了高保真 AI 声音克隆技术如何帮助肌萎缩侧索硬化(ALS)患者重获自身原本的声音,从而维系身份认同与情感连接。患者利用 ElevenLabs 等技术并借助患病前的录音资料,即可生成具备自然语调和呼吸节奏的个人语音,该能力甚至促使部分重症患者改变了延长生命的医疗决策。

10月19日周一
  1. arXiv cs.LG37

    面向自发语音的抗噪强制对齐方法

    新研究提出一种面向自发嘈杂语音的抗噪强制对齐方法,结合上采样 WavLM 特征、显式发音事件单元与判别式投影改进 GMM-HMM 架构。该流程基于 149h 音频自引导训练且无需人工边界标注,在 Buckeye 和 FluencyBank 数据集上的词边界 MAE 分别达到 20.6ms 和 76.9ms,比最强基准低 19% 和 17%。

10月16日周五
  1. 量子位30

    网易叭哥说上线“用户荣誉联创计划”,投入10万元征集产品建议

    网易首个AI原生语音Agent「网易叭哥说」上线“用户荣誉联创计划”,投入10万元征集产品建议,设置11个名额且单人最高可得5万元。该产品能将自然口语直接转化为结构化高质量文本,口语输出效率达键盘打字的5倍,并支持124个语种实时互译及数据全程本地处理。入选用户除奖金外还将获得联创聘书、定制纪念工卡及面试直通等权益。

  2. arXiv cs.LG31

    用于认知障碍检测的以任务为中心多模态学习

    研究人员提出一种非接触式多模态筛查框架,利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中,单模态视频模型在指令朗读(Command-Reading)任务上准确率为 0.65(AUC 0.69),音频模型在问答(Question-Answering)任务上准确率为 0.67(AUC 0.73)。

  3. arXiv cs.AI34

    AegisVox:长语音临床信息保护与隐私解耦框架

    研究人员提出长语音隐私保护框架 AegisVox,通过分配一致的替代声音并使用文档级一致的替换词来编辑含标识符的对话轮次。在 390 场共 63.6 小时的公开模拟或非患者对话测试中,文本转语音渲染实现了 535/601 处计划替换,基于编解码器的语音编辑器实现了 453/601 处。

10月15日周四
  1. Science News66

    脑机接口植入物如何帮助失语患者重获声音

    脑机接口结合机器学习技术正在帮助因渐冻症等神经疾病失语的患者直接通过大脑信号重建语言交流能力。加州大学戴维斯分校等研究团队通过在患者大脑运动皮层植入电极阵列,采集神经电信号并由算法解码为音素和词句,受试患者已借此累计交流近 200 万字;此外,Paradromics 等机构也在推进小型化便携植入设备,探索低延迟实时语音和情绪语调的解码还原。