变分分解自动编码改善潜在表示解耦
研究人员提出变分分解自动编码（VDA）框架及其实现模型 DecVAEs，通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构，并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明，DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。
#语音
#语音
今日 0 条arXiv stat.MLAI 评分3434
arXiv cs.LGAI 评分3535 通过循环实现深度：迈向超高效端侧 ASR
研究人员提出一种块循环 ASR 架构，通过权重共享的循环块替代参数化深度，以减少一个数量级的参数实现超高效端侧语音识别。在 Open ASR Leaderboard 基准测试中，仅含两个共享块的模型平均可恢复大模型 97.4% 的准确率。该架构复用权重以降低内存访问与推理能耗，并支持轻量级 MoE-LoRA 适配以实现低成本端侧个性化。
arXiv cs.LGAI 评分3636 低资源诊所离线呼吸音筛查中特征缩放效果优于架构选择
低资源诊所离线呼吸音分类研究表明，特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78，表现媲美 1.13M 参数的卷积循环网络（0.75 至 0.77）。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms，但经典模型避免了 449 MB 的 PyTorch 运行时依赖。
NVIDIA Blog精选AI 评分6363 NVIDIA RTX Spark 笔记本迎来更新：支持 Nemotron 3.5 语音模型与前后台 GPU 调度
NVIDIA 宣布搭载 Grace Blackwell 架构的 RTX Spark 系列 Windows 笔记本上市，起售价 2,599 美元并带来多项端侧 AI 更新。平台新增开源语音模型 Nemotron 3.5 Transcribe，支持 40 种语言的听写、说话人识别与翻译；NVIDIA App 同步上线资源管理功能，允许用户自主权衡前台应用与后台 Agent 的 GPU 算力分配。
推荐理由：原文给出了软硬件协同管理与端侧多模型支持的细节，读者可以据此评估本地 AI 工作流与算力调度的可行性。
OpenAI NewsAI 评分3939 Retell 使用 OpenAI 模型支撑每月 1 亿次通话
Retell 采用 OpenAI 模型支撑每月 1 亿次通话。在 Retell 的语音智能体基准评测中，GPT-6 Astra 位列第一；同时 Codex 助力该公司实现了每名员工 $1.6M 的年化营收运行率。
arXiv cs.AIAI 评分3232 MERP：用于鲁棒多模态多标签情绪识别的潜在瓶颈框架
研究人员提出多模态情绪识别框架 MERP，通过将多模态序列映射至固定大小的潜在库，解决部署时模态缺失导致的性能下降问题。在测试期 20% 随机模态缺失下，MERP 在 CMU-MOSEI 和 M3ED 上的 micro-F1 分数分别达 0.563 和 0.780，在仅音频极端设置下保持 0.473 micro-F1，相关代码已开源。
AWS Machine Learning BlogAI 评分5454 如何在 Amazon SageMaker AI 上利用 Kokoro TTS 实现智能体低延迟语音流式传输
AWS 介绍了在 Amazon SageMaker AI 上通过双向流部署 Kokoro-82M 语音合成模型的低延迟方案，智能体每生成完一个单句即刻启动合成，无需等待完整回复生成完毕。
AWS Machine Learning BlogAI 评分5555 Amazon Polly 生成式语音引擎迎来重大升级
Amazon Polly 宣布对其生成式语音引擎进行重大升级，在保持现有 API 调用和价格不变的前提下，提供更自然、更准确的低延迟语音输出。本次升级新增覆盖 9 个区域的 14 种新声音，首次正式支持印地语和芬兰语，使生成式语音库扩展至 11 种语言共 57 种声音。系统显著优化了数字、货币及地址的朗读准确率，并在 11 个 AWS 区域正式可用。
AWS Machine Learning BlogAI 评分4444 别再凭空猜测 Amazon SageMaker AI 上的 TTS 自动扩缩容目标了
AWS 针对 Amazon SageMaker AI 上的 TTS 部署提出基于实测指标的自动扩缩容方案，以取代传统凭空猜测配置的做法。该方案以 82M 参数的非自回归模型 Kokoro-82M 为例，利用其实测的最大并发量 Q_max 与扩容耗时 T_total 计算扩缩容阈值。
arXiv cs.AIAI 评分4141 DuplexLedger：全双工语音 AI 智能体事务性记忆评测基准
研究人员推出双语评测基准 DuplexLedger，包含 1,094 个持久会话与 6,564 个同会话问题，用于评估全双工语音 AI 智能体在听写交互中的事务性记忆能力。
arXiv cs.AIAI 评分4040 Omni-Woodpecker：通过证据-先验重平衡修正 Omni LLM 模型幻觉
研究人员提出免训练框架 Omni-Woodpecker（OWP），通过跨模态冲突检测与隐藏状态正交分解，在解码前抑制误导性先验并恢复有效证据，从而修正 Omni LLM 的跨模态模型幻觉。
arXiv cs.AIAI 评分3636 MedPAO-Assist：面向放射报告结构化的边缘端多模态智能体 AI
研究人员提出边缘端智能体框架 MedPAO-Assist，可直接基于放射科医生的听写与语音指令生成结构化报告，支持胸部 X 光、胸部 CT、腹部 CT 和脑部 MRI 四类影像模态。
arXiv stat.MLAI 评分3434 MiCLA：面向复音音频表征学习的混合到成分隐空间对齐框架
研究人员提出自监督预训练框架 MiCLA，通过合成 log-mel 混合将复音音频的混合表征与其成分片段进行双向隐空间对齐。微调评测中，MiCLA 在 AS-20K 上达到 43.2% mAP，在 AS-2M 上达到 50.3% mAP，并在冻结凸门控探测（CGP）下取得同类评估模型中的最高 mAP。实验表明该定向对齐机制有效提升了多声音事件的表征与联合检索能力。
AWS Machine Learning BlogAI 评分3434 Deepgram 如何利用 AWS Trainium 大规模优化语音 AI
Deepgram 与 AWS 合作将其 Nova-3 语音转文本模型迁移至 AWS Trainium2，并在单台 Amazon EC2 trn2.3xlarge 实例上运行 8 个模型副本。
arXiv cs.LGAI 评分3737 面向自发语音的抗噪强制对齐方法
新研究提出一种面向自发嘈杂语音的抗噪强制对齐方法，结合上采样 WavLM 特征、显式发音事件单元与判别式投影改进 GMM-HMM 架构。该流程基于 149h 音频自引导训练且无需人工边界标注，在 Buckeye 和 FluencyBank 数据集上的词边界 MAE 分别达到 20.6ms 和 76.9ms，比最强基准低 19% 和 17%。
arXiv cs.LGAI 评分3131 用于认知障碍检测的以任务为中心多模态学习
研究人员提出一种非接触式多模态筛查框架，利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中，单模态视频模型在指令朗读（Command-Reading）任务上准确率为 0.65（AUC 0.69），音频模型在问答（Question-Answering）任务上准确率为 0.67（AUC 0.73）。
arXiv cs.AIAI 评分3838 RASSG：面向流式工具执行的自我修正感知语义留存门控
研究者提出 RASSG 方法，用于在流式语音交互中联合控制工具的启动与取消，以应对用户自我修正导致的失效执行。RASSG 在连续 3 次语音识别结果产生相同非空参数时启动工具，并在产生不可逆影响前的最后可行时机，结合参数失效风险与执行成本决定是否取消。
arXiv cs.AIAI 评分3434 AegisVox：长语音临床信息保护与隐私解耦框架
研究人员提出长语音隐私保护框架 AegisVox，通过分配一致的替代声音并使用文档级一致的替换词来编辑含标识符的对话轮次。在 390 场共 63.6 小时的公开模拟或非患者对话测试中，文本转语音渲染实现了 535/601 处计划替换，基于编解码器的语音编辑器实现了 453/601 处。
Apple ML ResearchAI 评分3636 利用语音基础模型中的语言选择性维度检测语码转换
研究人员提出一种轻量级方法，直接利用预训练语音编码器中的帧级语言信息检测语音中的语码转换（CS）。该方法通过单语录音识别语言选择性隐藏状态维度，并聚合其激活状态进行预测。在 CS-FLEURS 的 14 种语言对测试中，Whisper-small 编码器取得 0.798 的平均 F1 分数，优于 CNN 基线的 0.776 和 HuBERT 线性基线的 0.751。
Apple ML ResearchAI 评分5151 Apple 研究团队探索三模态掩码扩散模型的设计空间
Apple 研究团队系统探索了三模态掩码扩散模型（MDM）的设计空间，在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程（SDE）的重参数化方法以解耦物理与逻辑批大小，并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
arXiv cs.LGAI 评分3434 CircuitTree：将神经回路组合为音节转录器
研究人员提出基于 $\Theta(N\log N)$ 树状组合调度的全新数据结构 CircuitTree，能将任意数量的可解释子网络回路组合成单个模型。该方法将从 HuBERT 剪枝得到的 39 个独立音素回路融合成具备音节分类能力的模型。在分层回路流水线中，该系统共享了 99.5% 的回路组件，并以 64.8% 的准确率转录开音节，仅比完全不共享回路的 66.0% 上限低 1.2 个百分点。
arXiv cs.AIAI 评分3535 位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位
研究提出一种黑盒因果测试方法，通过 CLAP 定位证据区域并进行频谱门控消融，用于审计大型音频语言模型（LALM）的对象幻觉。在固定持续时间下，局部消融在各测试组的表现均优于随机移除，且改进的对比解码将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。检测效果因模型而异，统一因果定位机制在 Audio Flamingo 3 等模型间无法直接迁移。
arXiv cs.AIAI 评分3333 SWEAR：通过自评难度实现分段高效音频推理
研究人员提出了面向大音频语言模型的高效推理框架 SWEAR，通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号，并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明，SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。
arXiv cs.AIAI 评分5050 DuplexAgent-RSI：面向全双工语音智能体协作的递归 Harness 改进框架
研究人员提出了全双工语音协作系统 DuplexAgent 及其闭环改进框架 Duplex-Harness-RSI，将语音交互与异步委派任务的协调逻辑解耦为六个可编辑模块。系统利用模拟器自动生成带时序的测试对话，并通过委派池中的推理大语言模型与编码智能体自动诊断失败轨迹并更新模块配置。实验表明，该系统在保持低延迟打断响应的同时，提升了口语知识问答与可执行工具调用的评测表现。
arXiv cs.LGAI 评分3636 语音质量评估指标的可攻破性有多高？修正协议、评测基准与修复分析
针对语音质量预测指标易被攻破的问题，研究提出了修正评估协议与基准，实测显示 NISQA 在 90% 的语音样本中被攻破，SSL-MOS、DNSMOS 与 UTMOS 的被攻破率分别为 21%、14% 和 6%。分析指出单个攻击者成功率受随机种子影响在 0.00 至 0.38 间大幅波动，且闭环修复会导致最高 0.30 的域外系统 SRCC 损失。相关代码与测试输出已开源。
arXiv cs.LGAI 评分3939 打破微调语音识别中的对抗可迁移性
新研究提出微调框架 TransferBreaker，旨在阻断公开基座模型迁移至微调语音识别（ASR）模型的对抗扰动攻击。该框架整合了 Base Adversarial Fine-Tuning、Latent Jacobian Regularization 与 HybridGrad-AFT，在 3 种语言和 4 个大型 ASR 模型上将对抗 WER 从 92.6 降至 27.8。
arXiv cs.AIAI 评分3939 Offline AI Modules：语音优先离线架构、硬件参考栈、量化与基准评测
Offline AI Modules 提出了面向弱网环境的语音优先完全离线 AI 架构、硬件参考栈以及 2-5B 指令微调模型量化评测流程。在 NVIDIA Jetson Orin NX 与 Raspberry Pi 5 上的测试显示，Q4_K_M 为最佳量化方案。
AWS Machine Learning BlogAI 评分5050 如何使用 Amazon Bedrock AgentCore、Knowledge Bases 与 Nova Sonic 构建语音旅行管家
AWS 介绍了基于 Amazon Bedrock AgentCore、Knowledge Bases 与语音到语音模型 Amazon Nova 2.5 Sonic 构建航空语音管家的技术方案。
arXiv cs.AIAI 评分4545 无需解码的批处理语音决策：单 token 监督让冻结 LLM 听懂转录文本之外的信息
研究人员提出 DuplexJev 架构，将 ASR 编码器状态传入冻结的 LLM 并直接读取单 token 选项分布，无需自回归解码即可在 8-GPU 节点上约 0.1 s 内完成 8 段语音的 80 项决策。
arXiv cs.LGAI 评分2626 脉冲间隔变化对深度学习蝙蝠叫声分类的影响
研究表明蝙蝠叫声的脉冲间隔（IPI）自然变化对物种分类的贡献有限，且 Transformer 模型并未比 CNN 更有效利用该时序特征。在同条件实验中，PaSST 准确率在自然与归一化 IPI 下分别为 71±2.3% 和 70±6.3%，而 EfficientNet 从 47±4.7% 提升至 57±3.9%。跨条件测试中，经归一化训练的模型在自然测试集上准确率分别降至 50% 与 57%。
arXiv cs.LGAI 评分3434 NEUROTOKEN：基于条件流匹配的联合声源与方向 AAD 及包络解码
NEUROTOKEN 是用于听觉注意力解码（AAD）的网络，通过共享 EEG 前端与条件流匹配头 ATTUNEFLOW，基于速度残差似然比联合评估候选声源。在 KU Leuven、DTU 和 NJU 数据集的 5 s 窗口下，ATTUNEFLOW 将声源 AAD 准确率较最强非生成基线提升 9%-16%，跨受试者方差缩小约 3 倍，两项数据集的试验级融合超过 93%。
arXiv cs.LGAI 评分2626 基于音频语言模型的临床精神病学录音角色引导说话人删除验证研究
研究人员提出利用音频语言模型验证精神病学录音中指定角色说话人删除情况的方法，用于自动排查脱敏遗漏。团队在 48 段双人录音上测试了 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano 和 Nemotron-3-Nano-Omni 四款开源权重模型。经 14 种配置的集成测试，最终取得 0.478 的综合 F1 分数（精确率 0.330，召回率 0.870）。
Google AI BlogAI 评分4040 Google 汇总 2026 年 9 月最新 AI 进展
Google 盘点了 9 月的核心 AI 进展，推出具备高级推理能力与 100 万 token 上下文窗口的前沿模型 Gemini 4 Argon，主攻网络安全防御与重度工作负载。
Apple ML ResearchAI 评分3535 强化语言判别可提升多语言语音模型的语言学学习效果
在预训练中强化语言判别能力可显著缩小多语言语音模型与单语言模型的性能差距，并保留跨语言共享。在英法双语 HuBERT 实验中，引入辅助分类器或分语言 k-means 目标后，音素判别错误率从 11.6% 降至 10.4%（单语言为 10.8%），词汇与韵律指标显著改善。干预在第一迭代阶段引入收益最大，后期引入收益递减并加剧语言隔离。
arXiv cs.AIAI 评分4444 Talk2Agent：文本 AI 智能体语音接口评测基准
Talk2Agent 是针对大语言模型电脑使用智能体的语音接口评测基准，用于评估语音向智能体传递口头指令的有效性。该基准基于 WildClawBench 和 OSWorld 构建任务，覆盖专用 ASR 与音频 LLM 等接口，并提出免执行的意图保留评估框架。在 32 小时真实人类语音测试中，该指标比传统 WER/CER 的 Pearson 相关性提升 0.246。
arXiv cs.AIAI 评分3535 AI 组织倾听中的正面评价与隐性担忧：员工声音披露研究
一项针对对话式 AI 员工倾听的研究显示，20% 至 41% 的员工在问卷给出正面评分后，会在随后的自适应 AI 语音访谈中表达实质性担忧。基于一家全球管理咨询公司的 44 场访谈及 65 场会话中的 158 条防护性引述，研究发现员工披露普遍伴随淡化顾虑和转移责任等防护行为。研究据此提出受限披露模型，指出沉默依然可以存在于表达之中。
arXiv cs.AIAI 评分5353 AI 语音智能体的人设与说服框架：针对儿童的 2×2 田野实验
慕尼黑工业大学与麻省理工学院团队通过公开的德国圣诞老人电话热线开展 2×2 田野实验，评估大语言模型语音智能体的人设与说服框架对儿童行为的影响。在符合标准的 89 场对话中（中位年龄 6 岁），说服性话术框架将儿童提出亲社会愿望的概率从 11.6% 显著提升至 45.7%，而人设权威度的影响接近于零。
arXiv cs.AIAI 评分2828 迈向模型即库（MaaL）：面向低资源非洲语言的离线社区化 AI
研究者提出了 Model as a Library（MaaL）软件架构，将小型社区语音模型打包为端侧依赖项，为低资源非洲语言提供完全离线、杜绝生成式模型幻觉的结构化数据收集能力。MaaL 在部署时直接通过说话人录制的少量样本录入词表，并利用关键词识别将封闭词表表单转换为完全在端侧填写与提交的语音表单。
arXiv cs.AIAI 评分4747 VAmoS Part Deux：更难、更真实的语音智能体模拟基准
VAmoS Energy 语音智能体基准测试推出，通过 100 通公用事业账单与缴费电话评估智能体处理多请求和带状态工具调用的能力。测试覆盖 14 种语音技术栈，任务完成率仅为 17.3% 至 44.7%，Grok Voice 表现领先，Gemini 3.8 Live 与 GPT-Live 紧随其后。背景电视声音会导致综合完成率从 38.7% 骤降至 8.6%。
arXiv cs.AIAI 评分4040 AVIO：学习在音视频场景中添加与移除发声物体
研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench，以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本，关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练，使单个模型既能执行纯指令编辑，也支持通过可选视觉引导控制物体的外观与位置。