AI 语音智能体的人设与说服框架:针对儿童的 2×2 田野实验
慕尼黑工业大学与麻省理工学院团队通过公开的德国圣诞老人电话热线开展 2×2 田野实验,评估大语言模型语音智能体的人设与说服框架对儿童行为的影响。在符合标准的 89 场对话中(中位年龄 6 岁),说服性话术框架将儿童提出亲社会愿望的概率从 11.6% 显著提升至 45.7%,而人设权威度的影响接近于零。
慕尼黑工业大学与麻省理工学院团队通过公开的德国圣诞老人电话热线开展 2×2 田野实验,评估大语言模型语音智能体的人设与说服框架对儿童行为的影响。在符合标准的 89 场对话中(中位年龄 6 岁),说服性话术框架将儿童提出亲社会愿望的概率从 11.6% 显著提升至 45.7%,而人设权威度的影响接近于零。
研究者提出了 Model as a Library(MaaL)软件架构,将小型社区语音模型打包为端侧依赖项,为低资源非洲语言提供完全离线、杜绝生成式模型幻觉的结构化数据收集能力。MaaL 在部署时直接通过说话人录制的少量样本录入词表,并利用关键词识别将封闭词表表单转换为完全在端侧填写与提交的语音表单。
VAmoS Energy 语音智能体基准测试推出,通过 100 通公用事业账单与缴费电话评估智能体处理多请求和带状态工具调用的能力。测试覆盖 14 种语音技术栈,任务完成率仅为 17.3% 至 44.7%,Grok Voice 表现领先,Gemini 3.8 Live 与 GPT-Live 紧随其后。背景电视声音会导致综合完成率从 38.7% 骤降至 8.6%。
意大利私人银行 Fideuram 总裁遭遇结合 WhatsApp 伪造信息与 Deepfake 仿声电话的定向诈骗,导致该机构被骗走 9500 万欧元(约 1.08 亿美元)后离职。骗子利用 AI 模型模仿大型律所合伙人声音促成海外转账,目前在多国机构协助下已追回 5300 万欧元,其余资金已被转移并兑换为加密货币。
科研人员在《Science Advances》发表成果,开发出基于机器学习的语音时钟,仅需 4 分钟语音录音即可评估个体的衰老速度。该模型从 2928 名受试者的录音中提取音调、语速和词汇范围等 700 多项特征,发现预测年龄与实际年龄的差距与轻度认知障碍及阿尔茨海默病等认知问题高度相关。该方法无需脑部扫描或血液检测,为低资源地区提供了一种低成本的无创监测工具。
研究人员提出音视频编辑框架 AVIO 与数据集 AVIOBench,以联合学习在音视频场景中添加与移除发声物体。AVIOBench 包含涵盖 1,878 个目标物体名称的 37.9 小时配对音视频样本,关联各物体的视觉呈现与声音贡献。AVIO 通过特征调制与参考帧课程训练,使单个模型既能执行纯指令编辑,也支持通过可选视觉引导控制物体的外观与位置。
语音 AI 初创公司 ElevenLabs 宣布允许员工按 $22B 估值套现部分已归属股权,较 2 月融资时的 $11B 估值翻倍。本次 $300M 的员工股票要约收购由机构投资方 Wellington 与 T. Rowe Price 联合领投。这是该公司第二次实施员工二级市场交易,成为欧洲估值最高的初创公司之一。
AWS 介绍了在 Amazon SageMaker AI 上使用 vLLM-Omni 深度学习容器部署 Qwen3-TTS 模型的实时语音方案。该方案通过基于 HTTP/2 的持久双向 WebSocket 连接实现文本流式输入,并实时返回 24 kHz PCM 音频块。
Science News 旗下播客《The Deep End》推出新一季《Talk to Me》,聚焦 AI 声音克隆与脑植入技术如何重塑人类声音。全季共 6 集,深入探讨声音丧失后的重建历程,涵盖通过脑植入物将思维转化为语音、借助 AI 克隆声音演出脱口秀以及合成声音演唱等真实案例。该节目自 10 月 6 日起每周二更新上线。
用户现可通过 Amazon SageMaker JumpStart 将开源模型 Qwen3-TTS-12Hz-1.7B-Base 部署至全托管实时推理端点。该模型由阿里巴巴千问团队开发,覆盖中英等 10 种语言,仅需数秒参考音频即可实现跨语种声音克隆并输出 24 kHz 音频。部署方案基于预构建的 vLLM-Omni 容器,支持低延迟流式生成且无需管理底层 GPU 服务器。
Google DeepMind 宣布在 Gemini Enterprise 中推出 Gemini 3.8 Live with Live Avatar,将原生实时对话与低延迟流式视频生成深度结合。
推荐理由:原文展示了流式视频生成与语音对话的结合机制,读者可参考其在后台执行异步工具调用同时维持前台交互不中断的设计。
Meta 在 Connect 2026 确立了以个人 AI 智能体 Muse 为核心的软硬件战略,Muse 新增语音、实时视频及 Mac 端电脑控制功能,并即将接入全系 Meta 眼镜。
Apple ML Research 提出一种半监督联邦语音识别(ASR)方案,通过协同设计客户端在线伪标签生成与服务端标注数据更新,解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型,在 11 组对比中有 9 组超越先前最强方法,域内平均提升 20.8%,跨域提升 10.0%,显著缩小了与全监督联邦学习的差距。
Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器,以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器,并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下,学生模型相对教师模型的 WER 差距保持在 1.9% 以内,比同容量独立训练模型相对提升 3.9%。
Simon Willison 发布交互式网页工具 Gemini 3.8 TTS Playground,支持用户输入自身 API Key 测试 Google 刚发布的 Gemini 3.8 文本转语音接口。
Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型,支持通过自然语言提示词从零定制角色声音并逐行导演对话。
推荐理由:新模型通过自然语言提示词定制角色声音并逐行导演多角色对话,为长音频创作提供了更细粒度的控制方式。
Ringg 借助 GPT-5.6 驱动多语言 AI 智能体,成功解决高达 65% 的客户来电。该智能体全面覆盖语音、聊天、WhatsApp 和网页端,相比 GPT-4.1 降低了 90% 的运行成本。
Google DeepMind 推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,主打近实时推理与语音智能体任务执行。
推荐理由:官方给出了两款实时对话模型在语音基准上的评测成绩与并行推理机制,有助于评估实时语音智能体的工程落地成本。
Google 宣布其产品已支持超 300 种语言,并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译,并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外,Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma,无需联网即可运行。
OpenAI 宣布在 API 中推出 GPT-Live-1 模型,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,并提供自定义声音以及电话网络接入支持。
推荐理由:该模型为 API 引入了全双工语音对话与电话支持,适合需要构建低延迟实时语音交互的开发者评估接入。
Google DeepMind 推出语音转文本模型 Gemini 3.5 Transcribe,专门针对实时转写与语音交互优化,支持自动清理口语填充词并纠正自我更正。
推荐理由:官方给出了详细的转写错误率与延迟对比数据,读者可据此评估其在实时语音智能体与听写场景下的可用性。
Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5,并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度,增强了歌词生成的结构感知与提示词遵循能力,同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。
推荐理由:该模型重点增强了旋律复杂度与人声情感表现,创作者可借此了解其在歌词对齐及节奏控制上的能力演进。
Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制,能够流式连续生成并保留说话人的语调与语速,音频内嵌 SynthID 水印。
推荐理由:原文给出了流式同传的具体延迟表现与多端落地渠道,读者可以据此评估实时语音翻译在实际业务中的接入可行性。
Together AI 详细披露了其构建极速语音转文字(ASR)系统的全链路工程实践,使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。
推荐理由:文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节,为高并发语音模型部署提供了可复现的系统级方案。
Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。
推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。
Google DeepMind 推出最新音频模型 Gemini 3.1 Flash TTS。该模型引入细粒度音频标签,支持用户精准引导和控制 AI 语音表达,以生成更具表现力的音频。
Together AI 在 NVIDIA GTC 2026 上宣布多项基础设施与模型服务更新,已将开源推理软件 NVIDIA Dynamo 1.0 引入自身推理栈,并支持托管 NVIDIA OpenShell 智能体运行环境。
Together AI 推出实时语音智能体统一方案,将 STT、LLM 与 TTS 部署在同机房同一集群内,实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型,提供单一 API 与计费界面,同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。
推荐理由:原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案,为解决语音对话多服务跳转延迟提供了工程参考。
Together AI 研究发现主流语音识别模型在转录多语言背景发音的街道名称时平均错误率达 39%,非英语母语者的识别准确率比英语母语者低 18%。为此团队提出基于 XTTS 的跨语言风格迁移技术生成口音合成数据,仅使用不到 1,000 条训练样本就使 Whisper-Base 等模型的识别相对准确率提升最高 60%。