变分分解自动编码改善潜在表示解耦
研究人员提出变分分解自动编码（VDA）框架及其实现模型 DecVAEs，通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构，并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明，DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。
#语音
#语音
今日 0 条arXiv stat.MLAI 评分3434
arXiv cs.LGAI 评分3535 通过循环实现深度：迈向超高效端侧 ASR
研究人员提出一种块循环 ASR 架构，通过权重共享的循环块替代参数化深度，以减少一个数量级的参数实现超高效端侧语音识别。在 Open ASR Leaderboard 基准测试中，仅含两个共享块的模型平均可恢复大模型 97.4% 的准确率。该架构复用权重以降低内存访问与推理能耗，并支持轻量级 MoE-LoRA 适配以实现低成本端侧个性化。
arXiv cs.LGAI 评分3636 低资源诊所离线呼吸音筛查中特征缩放效果优于架构选择
低资源诊所离线呼吸音分类研究表明，特征缩放带来的提升远超模型架构选择。基于 30 个统计特征的 SVM 经标准化后宏召回率从 0.51 跃升至 0.78，表现媲美 1.13M 参数的卷积循环网络（0.75 至 0.77）。在纯 CPU 笔记本上两类模型单片段延迟均为 51 至 74 ms，但经典模型避免了 449 MB 的 PyTorch 运行时依赖。
arXiv cs.AIAI 评分3232 MERP：用于鲁棒多模态多标签情绪识别的潜在瓶颈框架
研究人员提出多模态情绪识别框架 MERP，通过将多模态序列映射至固定大小的潜在库，解决部署时模态缺失导致的性能下降问题。在测试期 20% 随机模态缺失下，MERP 在 CMU-MOSEI 和 M3ED 上的 micro-F1 分数分别达 0.563 和 0.780，在仅音频极端设置下保持 0.473 micro-F1，相关代码已开源。
arXiv cs.AIAI 评分4141 DuplexLedger：全双工语音 AI 智能体事务性记忆评测基准
研究人员推出双语评测基准 DuplexLedger，包含 1,094 个持久会话与 6,564 个同会话问题，用于评估全双工语音 AI 智能体在听写交互中的事务性记忆能力。
arXiv cs.AIAI 评分4040 Omni-Woodpecker：通过证据-先验重平衡修正 Omni LLM 模型幻觉
研究人员提出免训练框架 Omni-Woodpecker（OWP），通过跨模态冲突检测与隐藏状态正交分解，在解码前抑制误导性先验并恢复有效证据，从而修正 Omni LLM 的跨模态模型幻觉。
arXiv cs.AIAI 评分3636 MedPAO-Assist：面向放射报告结构化的边缘端多模态智能体 AI
研究人员提出边缘端智能体框架 MedPAO-Assist，可直接基于放射科医生的听写与语音指令生成结构化报告，支持胸部 X 光、胸部 CT、腹部 CT 和脑部 MRI 四类影像模态。
arXiv stat.MLAI 评分3434 MiCLA：面向复音音频表征学习的混合到成分隐空间对齐框架
研究人员提出自监督预训练框架 MiCLA，通过合成 log-mel 混合将复音音频的混合表征与其成分片段进行双向隐空间对齐。微调评测中，MiCLA 在 AS-20K 上达到 43.2% mAP，在 AS-2M 上达到 50.3% mAP，并在冻结凸门控探测（CGP）下取得同类评估模型中的最高 mAP。实验表明该定向对齐机制有效提升了多声音事件的表征与联合检索能力。
arXiv cs.LGAI 评分3737 面向自发语音的抗噪强制对齐方法
新研究提出一种面向自发嘈杂语音的抗噪强制对齐方法，结合上采样 WavLM 特征、显式发音事件单元与判别式投影改进 GMM-HMM 架构。该流程基于 149h 音频自引导训练且无需人工边界标注，在 Buckeye 和 FluencyBank 数据集上的词边界 MAE 分别达到 20.6ms 和 76.9ms，比最强基准低 19% 和 17%。
arXiv cs.LGAI 评分3131 用于认知障碍检测的以任务为中心多模态学习
研究人员提出一种非接触式多模态筛查框架，利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中，单模态视频模型在指令朗读（Command-Reading）任务上准确率为 0.65（AUC 0.69），音频模型在问答（Question-Answering）任务上准确率为 0.67（AUC 0.73）。
arXiv cs.AIAI 评分3838 RASSG：面向流式工具执行的自我修正感知语义留存门控
研究者提出 RASSG 方法，用于在流式语音交互中联合控制工具的启动与取消，以应对用户自我修正导致的失效执行。RASSG 在连续 3 次语音识别结果产生相同非空参数时启动工具，并在产生不可逆影响前的最后可行时机，结合参数失效风险与执行成本决定是否取消。
arXiv cs.AIAI 评分3434 AegisVox：长语音临床信息保护与隐私解耦框架
研究人员提出长语音隐私保护框架 AegisVox，通过分配一致的替代声音并使用文档级一致的替换词来编辑含标识符的对话轮次。在 390 场共 63.6 小时的公开模拟或非患者对话测试中，文本转语音渲染实现了 535/601 处计划替换，基于编解码器的语音编辑器实现了 453/601 处。
Science NewsAI 评分6666 脑机接口植入物如何帮助失语患者重获声音
脑机接口结合机器学习技术正在帮助因渐冻症等神经疾病失语的患者直接通过大脑信号重建语言交流能力。加州大学戴维斯分校等研究团队通过在患者大脑运动皮层植入电极阵列，采集神经电信号并由算法解码为音素和词句，受试患者已借此累计交流近 200 万字；此外，Paradromics 等机构也在推进小型化便携植入设备，探索低延迟实时语音和情绪语调的解码还原。
Apple ML ResearchAI 评分3636 利用语音基础模型中的语言选择性维度检测语码转换
研究人员提出一种轻量级方法，直接利用预训练语音编码器中的帧级语言信息检测语音中的语码转换（CS）。该方法通过单语录音识别语言选择性隐藏状态维度，并聚合其激活状态进行预测。在 CS-FLEURS 的 14 种语言对测试中，Whisper-small 编码器取得 0.798 的平均 F1 分数，优于 CNN 基线的 0.776 和 HuBERT 线性基线的 0.751。
Apple ML ResearchAI 评分5151 Apple 研究团队探索三模态掩码扩散模型的设计空间
Apple 研究团队系统探索了三模态掩码扩散模型（MDM）的设计空间，在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程（SDE）的重参数化方法以解耦物理与逻辑批大小，并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
arXiv cs.LGAI 评分3434 CircuitTree：将神经回路组合为音节转录器
研究人员提出基于 $\Theta(N\log N)$ 树状组合调度的全新数据结构 CircuitTree，能将任意数量的可解释子网络回路组合成单个模型。该方法将从 HuBERT 剪枝得到的 39 个独立音素回路融合成具备音节分类能力的模型。在分层回路流水线中，该系统共享了 99.5% 的回路组件，并以 64.8% 的准确率转录开音节，仅比完全不共享回路的 66.0% 上限低 1.2 个百分点。
arXiv cs.AIAI 评分3535 位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位
研究提出一种黑盒因果测试方法，通过 CLAP 定位证据区域并进行频谱门控消融，用于审计大型音频语言模型（LALM）的对象幻觉。在固定持续时间下，局部消融在各测试组的表现均优于随机移除，且改进的对比解码将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。检测效果因模型而异，统一因果定位机制在 Audio Flamingo 3 等模型间无法直接迁移。
arXiv cs.AIAI 评分3333 SWEAR：通过自评难度实现分段高效音频推理
研究人员提出了面向大音频语言模型的高效推理框架 SWEAR，通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号，并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明，SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。
arXiv cs.AIAI 评分5050 DuplexAgent-RSI：面向全双工语音智能体协作的递归 Harness 改进框架
研究人员提出了全双工语音协作系统 DuplexAgent 及其闭环改进框架 Duplex-Harness-RSI，将语音交互与异步委派任务的协调逻辑解耦为六个可编辑模块。系统利用模拟器自动生成带时序的测试对话，并通过委派池中的推理大语言模型与编码智能体自动诊断失败轨迹并更新模块配置。实验表明，该系统在保持低延迟打断响应的同时，提升了口语知识问答与可执行工具调用的评测表现。
arXiv cs.LGAI 评分3636 语音质量评估指标的可攻破性有多高？修正协议、评测基准与修复分析
针对语音质量预测指标易被攻破的问题，研究提出了修正评估协议与基准，实测显示 NISQA 在 90% 的语音样本中被攻破，SSL-MOS、DNSMOS 与 UTMOS 的被攻破率分别为 21%、14% 和 6%。分析指出单个攻击者成功率受随机种子影响在 0.00 至 0.38 间大幅波动，且闭环修复会导致最高 0.30 的域外系统 SRCC 损失。相关代码与测试输出已开源。
arXiv cs.LGAI 评分3939 打破微调语音识别中的对抗可迁移性
新研究提出微调框架 TransferBreaker，旨在阻断公开基座模型迁移至微调语音识别（ASR）模型的对抗扰动攻击。该框架整合了 Base Adversarial Fine-Tuning、Latent Jacobian Regularization 与 HybridGrad-AFT，在 3 种语言和 4 个大型 ASR 模型上将对抗 WER 从 92.6 降至 27.8。
arXiv cs.AIAI 评分3939 Offline AI Modules：语音优先离线架构、硬件参考栈、量化与基准评测
Offline AI Modules 提出了面向弱网环境的语音优先完全离线 AI 架构、硬件参考栈以及 2-5B 指令微调模型量化评测流程。在 NVIDIA Jetson Orin NX 与 Raspberry Pi 5 上的测试显示，Q4_K_M 为最佳量化方案。
arXiv cs.AIAI 评分4545 无需解码的批处理语音决策：单 token 监督让冻结 LLM 听懂转录文本之外的信息
研究人员提出 DuplexJev 架构，将 ASR 编码器状态传入冻结的 LLM 并直接读取单 token 选项分布，无需自回归解码即可在 8-GPU 节点上约 0.1 s 内完成 8 段语音的 80 项决策。
arXiv cs.LGAI 评分2626 脉冲间隔变化对深度学习蝙蝠叫声分类的影响
研究表明蝙蝠叫声的脉冲间隔（IPI）自然变化对物种分类的贡献有限，且 Transformer 模型并未比 CNN 更有效利用该时序特征。在同条件实验中，PaSST 准确率在自然与归一化 IPI 下分别为 71±2.3% 和 70±6.3%，而 EfficientNet 从 47±4.7% 提升至 57±3.9%。跨条件测试中，经归一化训练的模型在自然测试集上准确率分别降至 50% 与 57%。
arXiv cs.LGAI 评分3434 NEUROTOKEN：基于条件流匹配的联合声源与方向 AAD 及包络解码
NEUROTOKEN 是用于听觉注意力解码（AAD）的网络，通过共享 EEG 前端与条件流匹配头 ATTUNEFLOW，基于速度残差似然比联合评估候选声源。在 KU Leuven、DTU 和 NJU 数据集的 5 s 窗口下，ATTUNEFLOW 将声源 AAD 准确率较最强非生成基线提升 9%-16%，跨受试者方差缩小约 3 倍，两项数据集的试验级融合超过 93%。
arXiv cs.LGAI 评分2626 基于音频语言模型的临床精神病学录音角色引导说话人删除验证研究
研究人员提出利用音频语言模型验证精神病学录音中指定角色说话人删除情况的方法，用于自动排查脱敏遗漏。团队在 48 段双人录音上测试了 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano 和 Nemotron-3-Nano-Omni 四款开源权重模型。经 14 种配置的集成测试，最终取得 0.478 的综合 F1 分数（精确率 0.330，召回率 0.870）。
Apple ML ResearchAI 评分3535 强化语言判别可提升多语言语音模型的语言学学习效果
在预训练中强化语言判别能力可显著缩小多语言语音模型与单语言模型的性能差距，并保留跨语言共享。在英法双语 HuBERT 实验中，引入辅助分类器或分语言 k-means 目标后，音素判别错误率从 11.6% 降至 10.4%（单语言为 10.8%），词汇与韵律指标显著改善。干预在第一迭代阶段引入收益最大，后期引入收益递减并加剧语言隔离。
Scientific AmericanAI 评分4040 科学家正在解码大象轰鸣声呼叫，涵盖“问候”与“轻鸣”
研究人员利用机器学习分析了数百段肯尼亚非洲象的轰鸣声录音，能够以高于随机水平的准确率基于声音预测其行为。这项发表在《Scientific Reports》的研究分类了针对幼象的轻鸣、行动指令与问候等呼叫，并发现大象在协调群体行动时会出现声音逐渐相似的“声音趋同”现象。
arXiv cs.AIAI 评分4444 Talk2Agent：文本 AI 智能体语音接口评测基准
Talk2Agent 是针对大语言模型电脑使用智能体的语音接口评测基准，用于评估语音向智能体传递口头指令的有效性。该基准基于 WildClawBench 和 OSWorld 构建任务，覆盖专用 ASR 与音频 LLM 等接口，并提出免执行的意图保留评估框架。在 32 小时真实人类语音测试中，该指标比传统 WER/CER 的 Pearson 相关性提升 0.246。
arXiv cs.AIAI 评分3535 AI 组织倾听中的正面评价与隐性担忧：员工声音披露研究
一项针对对话式 AI 员工倾听的研究显示，20% 至 41% 的员工在问卷给出正面评分后，会在随后的自适应 AI 语音访谈中表达实质性担忧。基于一家全球管理咨询公司的 44 场访谈及 65 场会话中的 158 条防护性引述，研究发现员工披露普遍伴随淡化顾虑和转移责任等防护行为。研究据此提出受限披露模型，指出沉默依然可以存在于表达之中。
arXiv cs.AIAI 评分5353 AI 语音智能体的人设与说服框架：针对儿童的 2×2 田野实验
慕尼黑工业大学与麻省理工学院团队通过公开的德国圣诞老人电话热线开展 2×2 田野实验，评估大语言模型语音智能体的人设与说服框架对儿童行为的影响。在符合标准的 89 场对话中（中位年龄 6 岁），说服性话术框架将儿童提出亲社会愿望的概率从 11.6% 显著提升至 45.7%，而人设权威度的影响接近于零。
arXiv cs.AIAI 评分2828 迈向模型即库（MaaL）：面向低资源非洲语言的离线社区化 AI
研究者提出了 Model as a Library（MaaL）软件架构，将小型社区语音模型打包为端侧依赖项，为低资源非洲语言提供完全离线、杜绝生成式模型幻觉的结构化数据收集能力。MaaL 在部署时直接通过说话人录制的少量样本录入词表，并利用关键词识别将封闭词表表单转换为完全在端侧填写与提交的语音表单。
arXiv cs.AIAI 评分4747 VAmoS Part Deux：更难、更真实的语音智能体模拟基准
VAmoS Energy 语音智能体基准测试推出，通过 100 通公用事业账单与缴费电话评估智能体处理多请求和带状态工具调用的能力。测试覆盖 14 种语音技术栈，任务完成率仅为 17.3% 至 44.7%，Grok Voice 表现领先，Gemini 3.8 Live 与 GPT-Live 紧随其后。背景电视声音会导致综合完成率从 38.7% 骤降至 8.6%。
NatureAI 评分5959 AI 语音时钟可通过声音特征评估衰老速度与认知障碍
科研人员在《Science Advances》发表成果，开发出基于机器学习的语音时钟，仅需 4 分钟语音录音即可评估个体的衰老速度。该模型从 2928 名受试者的录音中提取音调、语速和词汇范围等 700 多项特征，发现预测年龄与实际年龄的差距与轻度认知障碍及阿尔茨海默病等认知问题高度相关。该方法无需脑部扫描或血液检测，为低资源地区提供了一种低成本的无创监测工具。
arXiv cs.AIAI 评分4040 AVIO：学习在音视频场景中添加与移除发声物体
研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench，以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本，关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练，使单个模型既能执行纯指令编辑，也支持通过可选视觉引导控制物体的外观与位置。
Apple ML ResearchAI 评分3434 半监督联邦 ASR 实用方案：在线伪标签与服务端更新稳定化
Apple ML Research 提出一种半监督联邦语音识别（ASR）方案，通过协同设计客户端在线伪标签生成与服务端标注数据更新，解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型，在 11 组对比中有 9 组超越先前最强方法，域内平均提升 20.8%，跨域提升 10.0%，显著缩小了与全监督联邦学习的差距。
Apple ML ResearchAI 评分3838 Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器
Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器，以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器，并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下，学生模型相对教师模型的 WER 差距保持在 1.9% 以内，比同容量独立训练模型相对提升 3.9%。
Together AI BlogAI 评分5555 Together AI 研究揭示语音模型在街道识别中的缺陷并提出跨语言合成数据解法
Together AI 研究发现主流语音识别模型在转录多语言背景发音的街道名称时平均错误率达 39%，非英语母语者的识别准确率比英语母语者低 18%。为此团队提出基于 XTTS 的跨语言风格迁移技术生成口音合成数据，仅使用不到 1,000 条训练样本就使 Whisper-Base 等模型的识别相对准确率提升最高 60%。