如何辨别一段录音是否由 AI 生成
随着仅需数秒音频即可克隆人声,人类仅凭耳朵已很难分辨真伪,当前检测手段正转向利用声波抖动、振幅微扰等音频取证特征与 AI 检测模型。加州大学伯克利分校实验显示听众识别人声克隆的准确率仅约 60%,现代克隆工具还能主动加入呼吸与停顿以掩盖破绽,且现有检测模型在跨工具识别和电话降质场景下仍有明显盲区。在音频中嵌入不可见数字水印是当前颇具前景的防御方式,但防范伪造仍需音频取证技术持续迭代。
随着仅需数秒音频即可克隆人声,人类仅凭耳朵已很难分辨真伪,当前检测手段正转向利用声波抖动、振幅微扰等音频取证特征与 AI 检测模型。加州大学伯克利分校实验显示听众识别人声克隆的准确率仅约 60%,现代克隆工具还能主动加入呼吸与停顿以掩盖破绽,且现有检测模型在跨工具识别和电话降质场景下仍有明显盲区。在音频中嵌入不可见数字水印是当前颇具前景的防御方式,但防范伪造仍需音频取证技术持续迭代。
研究人员提出变分分解自动编码(VDA)框架及其实现模型 DecVAEs,通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构,并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明,DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。
研究人员提出一种块循环 ASR 架构,通过权重共享的循环块替代参数化深度,以减少一个数量级的参数实现超高效端侧语音识别。在 Open ASR Leaderboard 基准测试中,仅含两个共享块的模型平均可恢复大模型 97.4% 的准确率。该架构复用权重以降低内存访问与推理能耗,并支持轻量级 MoE-LoRA 适配以实现低成本端侧个性化。
AI 会议记录工具 Granola 推出跨应用语音听写功能,直接与 Wispr 展开竞争。Mac 用户按 Fn 键即可在任意应用中语音输入,系统会自动清洗与格式化文本,且不限字数免费开放。该功能后续将登陆 iOS 和 Windows,体现出消费级语音应用正向多功能输入工具融合。
亚马逊在假期季前为 Alexa 增加了 100 多项购物相关能力,支持管理清单与订阅、更新配送说明以及解决账单支付问题。用户可以通过语音直接调整商品订阅发货周期、修改配送地址或送达备注,并查询 Prime 与 Audible 订阅状态。亚马逊表示今年其智能体功能的使用人数增长了 8 倍,过去 12 个月内已有超过 4 亿消费者使用 Alexa 进行购物。
语音 AI 基础设施厂商 Deepgram 宣布收购开源框架 Pipecat 的开发商 Daily,交易金额未披露。双方承诺 Pipecat 将保持永久开源与供应商中立,并联合推出用于语音 Agent 的开放协议 Real-Time Context Standard (RCS)。
低资源诊所离线呼吸音分类研究表明,特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78,表现媲美 1.13M 参数的卷积循环网络(0.75 至 0.77)。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms,但经典模型避免了 449 MB 的 PyTorch 运行时依赖。
Nvidia 开源语音识别模型 Nemotron 3.5 Transcribe,在单个模型内整合了语音转录、英译、说话人识别和内容问答能力。该模型拥有 30B 参数且每步仅激活约 4B,支持单张 GPU 运行,可处理长达 1 小时、最多 8 人的录音,并在多个开源 ASR 与说话人识别基准中排名前列。
推荐理由:该模型通过指令将转录、分离和翻译整合进单张GPU可跑的架构中,为本地部署长音频分析提供了低门槛方案。
Nvidia 发布开源权重语音转录模型 Nemotron 3.5 Transcribe 及 Granary 语音数据集第 2 版。该模型拥有 30B 参数,支持在单个芯片上运行,可转录多达 40 种语言,支持 31 种语言与英语互译,并能处理长达 1 小时音频及分离最多 8 位说话人。目前该模型仅适用于录制音频而非实时流媒体,主要面向商务会议与医疗转写等场景。
NVIDIA 宣布搭载 Grace Blackwell 架构的 RTX Spark 系列 Windows 笔记本上市,起售价 2,599 美元并带来多项端侧 AI 更新。平台新增开源语音模型 Nemotron 3.5 Transcribe,支持 40 种语言的听写、说话人识别与翻译;NVIDIA App 同步上线资源管理功能,允许用户自主权衡前台应用与后台 Agent 的 GPU 算力分配。
推荐理由:原文给出了软硬件协同管理与端侧多模型支持的细节,读者可以据此评估本地 AI 工作流与算力调度的可行性。
Retell 采用 OpenAI 模型支撑每月 1 亿次通话。在 Retell 的语音智能体基准评测中,GPT-6 Astra 位列第一;同时 Codex 助力该公司实现了每名员工 $1.6M 的年化营收运行率。
脑机接口系统通过在大脑运动皮层植入电极阵列并结合机器学习算法,成功将渐冻症患者尝试说话时的神经电信号实时解码为语音。临床试验数据显示,受试者在近两年居家使用中平均交流速度达每分钟 56 词,句子解码正确率约为 92%。该技术帮助重度失语患者恢复了日常工作与家庭沟通能力,但仍面临对话节奏慢和硬件连接等挑战。
麦考瑞大学网络安全教授 Dali Kaafar 创立 Apate.ai 平台,通过部署超过 25 万名具备独立人设与口语习惯的 AI 接线员接听诈骗电话,累计产生 250 万次虚假对话并耗费骗子 17 年通话时间。
Block 旗下研究实验室发布全双工语音模型 Dessa,完全基于人类语音训练,支持同时听说并展现笑声、哭腔和停顿等自然情感表达。该模型跳过传统文本中转流水线,可在 MacBook M4 Max 等消费级硬件上本地运行;目前尚未公开开放,官方正招募安全研究人员开展测试。
Block 推出语音 AI 模型 Dessa,完全不依赖文本数据从零基于人类语音训练,可直接处理音频并实时捕捉情绪、讽刺、笑声与停顿。该模型支持全双工通信,可实现边听边说,并能在配备 M4 Max 的 MacBook Pro 上本地运行。Dessa 目前尚未公开上线,团队正面向安全研究人员开放测试报名以排查潜在风险。
脑机接口技术通过解码大脑向发声肌肉发送的指令,正帮助因神经退行性疾病或脑损伤失语的患者重新说话。ALS 患者 Casey Harrell 借助该技术重获发声交流能力,相关讨论亦涉及 AI 声音克隆及声音被滥用劫持的潜在风险。此外,本期还涉及针对僵人综合征的 CAR T 细胞疗法测试,以及 OpenAI 宣布解开数学难题所引发的成果归属争议。
Jack Dorsey 旗下的 Block 推出端到端语音模型 Dessa,该模型完全从零基于人类对话训练,可在搭载 M4 Max 的 MacBook Pro 上本地运行。团队指出传统语音模型将语音拍平成文本会丢失情绪感知与节奏,Dessa 旨在通过纯语音交互提升安全与共情理解,目前计划先向部分 AI 安全研究人员提供早期访问权限。
研究人员提出多模态情绪识别框架 MERP,通过将多模态序列映射至固定大小的潜在库,解决部署时模态缺失导致的性能下降问题。在测试期 20% 随机模态缺失下,MERP 在 CMU-MOSEI 和 M3ED 上的 micro-F1 分数分别达 0.563 和 0.780,在仅音频极端设置下保持 0.473 micro-F1,相关代码已开源。
科大讯飞在2026全球1024开发者节发布星辰TaaS平台、智能体协同平台Agent OS以及端云一体星火X2.6模型。星火X2.6将上下文窗口扩容至百万tokens并开源4B端侧模型,通过端云协同训练机制将路由准确率提升至96.1%;同期发布的SparkAudio 1.0语音大模型使响应时延降低15%、调用成本下降60%。
声网创始人兼 CEO 赵斌在 iRTE2026 上提出“五级对话能力”框架,勾勒对话式 AI 从 L1 基础应答演进至 L5 深度关系沟通的路径。他指出实时互动对象正扩展到人与 Agent,需依托全球实时传输网络与全双工交互支撑实时智能协同。声网正通过对话式 AI 引擎及配套 SDK、Skills 等工具,帮助开发者构建具备执行能力的智能体。
AWS 介绍了在 Amazon SageMaker AI 上通过双向流部署 Kokoro-82M 语音合成模型的低延迟方案,智能体每生成完一个单句即刻启动合成,无需等待完整回复生成完毕。
Amazon Polly 宣布对其生成式语音引擎进行重大升级,在保持现有 API 调用和价格不变的前提下,提供更自然、更准确的低延迟语音输出。本次升级新增覆盖 9 个区域的 14 种新声音,首次正式支持印地语和芬兰语,使生成式语音库扩展至 11 种语言共 57 种声音。系统显著优化了数字、货币及地址的朗读准确率,并在 11 个 AWS 区域正式可用。
AI 穿戴硬件初创公司 Nirva 宣布完成 2500 万美元 Pre-A 轮融资,累计融资达 $33M,用于开发仅收录佩戴者语音的首饰级吊坠设备。该硬件重约 8 克且续航可达 3 天,通过声纹建模自动过滤周围人声,并在处理后默认不保留音频与转录文本。设备售价 $249,定于 11 月开启预购并于年底前向早期用户发货。
AWS 针对 Amazon SageMaker AI 上的 TTS 部署提出基于实测指标的自动扩缩容方案,以取代传统凭空猜测配置的做法。该方案以 82M 参数的非自回归模型 Kokoro-82M 为例,利用其实测的最大并发量 Q_max 与扩容耗时 T_total 计算扩缩容阈值。
研究人员推出双语评测基准 DuplexLedger,包含 1,094 个持久会话与 6,564 个同会话问题,用于评估全双工语音 AI 智能体在听写交互中的事务性记忆能力。
研究人员提出免训练框架 Omni-Woodpecker(OWP),通过跨模态冲突检测与隐藏状态正交分解,在解码前抑制误导性先验并恢复有效证据,从而修正 Omni LLM 的跨模态模型幻觉。
研究人员提出边缘端智能体框架 MedPAO-Assist,可直接基于放射科医生的听写与语音指令生成结构化报告,支持胸部 X 光、胸部 CT、腹部 CT 和脑部 MRI 四类影像模态。
Google 宣布将 Gemini 对话式导航功能引入 Apple CarPlay,即日起向美国司机推出并逐步推向全球。CarPlay 用户可在车载界面的 Google Maps 中点击 Gemini 图标唤醒语音助手,支持多轮问询推荐地点、规划避开收费站的路线以及语音报告交通状况。本次更新未包含昨日在 Android Auto 上线、可访问 Gmail 和日历等应用数据的个人智能功能。
研究人员提出自监督预训练框架 MiCLA,通过合成 log-mel 混合将复音音频的混合表征与其成分片段进行双向隐空间对齐。微调评测中,MiCLA 在 AS-20K 上达到 43.2% mAP,在 AS-2M 上达到 50.3% mAP,并在冻结凸门控探测(CGP)下取得同类评估模型中的最高 mAP。实验表明该定向对齐机制有效提升了多声音事件的表征与联合检索能力。
Elevenlabs 发布名为 Eleven Realtime 的两款实时语音到语音模型 v1 Max 与 v1 Mini。其中 v1 Max 面向客服等复杂任务,在 Big Bench Audio 基准测试中得分为 98.8%,响应时间为 0.57 秒;轻量版 v1 Mini 主打低成本自然对话,能准确识别用户是否讲完还是仅在附和。
Mistral AI 推出 Voxtral 3 系列模型,打造支持实时倾听、思考与发音的完整语音智能体技术栈。系统包含覆盖 50 多种语言的语音转文字模型 Voxtral Small Transcribe 3、支持 35 种以上语言与 50 种方言情绪适配的 Voxtral Mini TTS 3,以及基于 LiveKit 的智能体 SDK。
推荐理由:原文给出了全流程实时语音架构与计费细节,读者可以据此评估将端到端语音与工具调用集成到企业私有环境的可行性。
Science News 报道展示了高保真 AI 声音克隆技术如何帮助肌萎缩侧索硬化(ALS)患者重获自身原本的声音,从而维系身份认同与情感连接。患者利用 ElevenLabs 等技术并借助患病前的录音资料,即可生成具备自然语调和呼吸节奏的个人语音,该能力甚至促使部分重症患者改变了延长生命的医疗决策。
Deepgram 与 AWS 合作将其 Nova-3 语音转文本模型迁移至 AWS Trainium2,并在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
新研究提出一种面向自发嘈杂语音的抗噪强制对齐方法,结合上采样 WavLM 特征、显式发音事件单元与判别式投影改进 GMM-HMM 架构。该流程基于 149h 音频自引导训练且无需人工边界标注,在 Buckeye 和 FluencyBank 数据集上的词边界 MAE 分别达到 20.6ms 和 76.9ms,比最强基准低 19% 和 17%。
网易首个AI原生语音Agent「网易叭哥说」上线“用户荣誉联创计划”,投入10万元征集产品建议,设置11个名额且单人最高可得5万元。该产品能将自然口语直接转化为结构化高质量文本,口语输出效率达键盘打字的5倍,并支持124个语种实时互译及数据全程本地处理。入选用户除奖金外还将获得联创聘书、定制纪念工卡及面试直通等权益。
研究人员提出一种非接触式多模态筛查框架,利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中,单模态视频模型在指令朗读(Command-Reading)任务上准确率为 0.65(AUC 0.69),音频模型在问答(Question-Answering)任务上准确率为 0.67(AUC 0.73)。
研究者提出 RASSG 方法,用于在流式语音交互中联合控制工具的启动与取消,以应对用户自我修正导致的失效执行。RASSG 在连续 3 次语音识别结果产生相同非空参数时启动工具,并在产生不可逆影响前的最后可行时机,结合参数失效风险与执行成本决定是否取消。
研究人员提出长语音隐私保护框架 AegisVox,通过分配一致的替代声音并使用文档级一致的替换词来编辑含标识符的对话轮次。在 390 场共 63.6 小时的公开模拟或非患者对话测试中,文本转语音渲染实现了 535/601 处计划替换,基于编解码器的语音编辑器实现了 453/601 处。
脑机接口结合机器学习技术正在帮助因渐冻症等神经疾病失语的患者直接通过大脑信号重建语言交流能力。加州大学戴维斯分校等研究团队通过在患者大脑运动皮层植入电极阵列,采集神经电信号并由算法解码为音素和词句,受试患者已借此累计交流近 200 万字;此外,Paradromics 等机构也在推进小型化便携植入设备,探索低延迟实时语音和情绪语调的解码还原。
亚马逊宣布推出 Bee Frontier 与 Bee Eclipse 两款全天候监听 AI 硬件,并上线每月 11.99 美元的 Bee Pro 订阅服务。Bee Frontier 售价 74.99 美元,支持腕带或胸针佩戴;卡片形态的磁吸设备 Bee Eclipse 售价 99.99 美元,续航达 21 天。