在 SageMaker AI 上使用 vLLM-Omni 构建实时语音应用（第 1 部分）
AWS 介绍了在 Amazon SageMaker AI 上使用 vLLM-Omni 深度学习容器部署 Qwen3-TTS 模型的实时语音方案。该方案通过基于 HTTP/2 的持久双向 WebSocket 连接实现文本流式输入，并实时返回 24 kHz PCM 音频块。
#语音
#语音
今日 0 条AWS Machine Learning BlogAI 评分4646
AWS Machine Learning BlogAI 评分4444 在 Amazon SageMaker AI 上使用 Qwen3-TTS 部署实时个性化语音
用户现可通过 Amazon SageMaker JumpStart 将开源模型 Qwen3-TTS-12Hz-1.7B-Base 部署至全托管实时推理端点。该模型由阿里巴巴千问团队开发，覆盖中英等 10 种语言，仅需数秒参考音频即可实现跨语种声音克隆并输出 24 kHz 音频。部署方案基于预构建的 vLLM-Omni 容器，支持低延迟流式生成且无需管理底层 GPU 服务器。
Google DeepMind精选AI 评分7777 Google 推出 Gemini 3.8 Live with Live Avatar 实时数字人功能
Google DeepMind 宣布在 Gemini Enterprise 中推出 Gemini 3.8 Live with Live Avatar，将原生实时对话与低延迟流式视频生成深度结合。
推荐理由：原文展示了流式视频生成与语音对话的结合机制，读者可参考其在后台执行异步工具调用同时维持前台交互不中断的设计。
Apple ML ResearchAI 评分3434 半监督联邦 ASR 实用方案：在线伪标签与服务端更新稳定化
Apple ML Research 提出一种半监督联邦语音识别（ASR）方案，通过协同设计客户端在线伪标签生成与服务端标注数据更新，解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型，在 11 组对比中有 9 组超越先前最强方法，域内平均提升 20.8%，跨域提升 10.0%，显著缩小了与全监督联邦学习的差距。
Apple ML ResearchAI 评分3838 Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器
Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器，以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器，并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下，学生模型相对教师模型的 WER 差距保持在 1.9% 以内，比同容量独立训练模型相对提升 3.9%。
Google DeepMind精选AI 评分7979 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音生成模型
Google DeepMind 推出 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款语音生成模型，支持通过自然语言提示词从零定制角色声音并逐行导演对话。
推荐理由：新模型通过自然语言提示词定制角色声音并逐行导演多角色对话，为长音频创作提供了更细粒度的控制方式。
OpenAI NewsAI 评分2828 Ringg 的 AI 智能体借助 OpenAI 解决高达 65% 的客户来电
Ringg 借助 GPT-5.6 驱动多语言 AI 智能体，成功解决高达 65% 的客户来电。该智能体全面覆盖语音、聊天、WhatsApp 和网页端，相比 GPT-4.1 降低了 90% 的运行成本。
Google DeepMind精选AI 评分8484 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 实时对话模型
Google DeepMind 推出 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型，主打近实时推理与语音智能体任务执行。
推荐理由：官方给出了两款实时对话模型在语音基准上的评测成绩与并行推理机制，有助于评估实时语音智能体的工程落地成本。
Google AI BlogAI 评分4242 Google：让 AI 适用于每一种语言与每个人
Google 宣布其产品已支持超 300 种语言，并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译，并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外，Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma，无需联网即可运行。
OpenAI News精选AI 评分7373 OpenAI 在 API 中推出 GPT-Live-1 支持全双工语音交互
OpenAI 宣布在 API 中推出 GPT-Live-1 模型，支持自然的全双工语音对话。该模型具备更强的指令遵循能力，并提供自定义声音以及电话网络接入支持。
推荐理由：该模型为 API 引入了全双工语音对话与电话支持，适合需要构建低延迟实时语音交互的开发者评估接入。
Google DeepMind精选AI 评分7575 Google DeepMind 推出语音转文本模型 Gemini 3.5 Transcribe
Google DeepMind 推出语音转文本模型 Gemini 3.5 Transcribe，专门针对实时转写与语音交互优化，支持自动清理口语填充词并纠正自我更正。
推荐理由：官方给出了详细的转写错误率与延迟对比数据，读者可据此评估其在实时语音智能体与听写场景下的可用性。
Google DeepMind精选AI 评分6363 Google DeepMind 推出音乐生成模型 Lyria 3.5 并上线 Google Flow Music
Google DeepMind 正式推出最新音乐生成模型 Lyria 3.5，并于即日起上线 Google Flow Music。该版本提升了旋律结构的自然度与丰富度，增强了歌词生成的结构感知与提示词遵循能力，同时改善了人声情感表现与发音。创作者还可在生成过程中更便捷地调节音乐的节奏与时长。
推荐理由：该模型重点增强了旋律复杂度与人声情感表现，创作者可借此了解其在歌词对齐及节奏控制上的能力演进。
Google DeepMind精选AI 评分8181 Google 发布 Gemini 3.5 Live Translate 语音同传模型
Google DeepMind 发布最新音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时语音转语音翻译。该模型打破了回合式等待限制，能够流式连续生成并保留说话人的语调与语速，音频内嵌 SynthID 水印。
推荐理由：原文给出了流式同传的具体延迟表现与多端落地渠道，读者可以据此评估实时语音翻译在实际业务中的接入可行性。
Together AI Blog精选AI 评分6060 Together AI 如何构建极速语音转文字推理架构
Together AI 详细披露了其构建极速语音转文字（ASR）系统的全链路工程实践，使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。
推荐理由：文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节，为高并发语音模型部署提供了可复现的系统级方案。
Together AI Blog精选AI 评分6060 Together AI 开源视频翻译工具 Violin
Together AI 推出全开源视频翻译工具 Violin，基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成，并借助视觉语言模型支持基于视频音画内容的交互问答。
推荐理由：项目将语音识别、模型翻译与语音合成串联并封装为智能体技能，开发者可参考其多模态管线搭建视频本地化工具。
Google DeepMindAI 评分5858 Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 推出最新音频模型 Gemini 3.1 Flash TTS。该模型引入细粒度音频标签，支持用户精准引导和控制 AI 语音表达，以生成更具表现力的音频。
Together AI BlogAI 评分5252 Together AI 公布 NVIDIA GTC 2026 诸多集成更新：支持 Dynamo 1.0 与 Nemotron 3 Super
Together AI 在 NVIDIA GTC 2026 上宣布多项基础设施与模型服务更新，已将开源推理软件 NVIDIA Dynamo 1.0 引入自身推理栈，并支持托管 NVIDIA OpenShell 智能体运行环境。
Together AI Blog精选AI 评分6767 Together AI 推出实时语音智能体统一构建方案
Together AI 推出实时语音智能体统一方案，将 STT、LLM 与 TTS 部署在同机房同一集群内，实现从用户发话结束到首个音频 token 低于 500 毫秒的端到端延迟。平台原生集成了 Cartesia 的 Sonic 系列与 Deepgram 的 Nova-3 等模型，提供单一 API 与计费界面，同时保留了对中间文本流的检查与修改能力以满足生产级业务逻辑需求。
推荐理由：原文展示了将语音识别、模型推理与语音合成同集群部署的架构方案，为解决语音对话多服务跳转延迟提供了工程参考。
Together AI BlogAI 评分5555 Together AI 研究揭示语音模型在街道识别中的缺陷并提出跨语言合成数据解法
Together AI 研究发现主流语音识别模型在转录多语言背景发音的街道名称时平均错误率达 39%，非英语母语者的识别准确率比英语母语者低 18%。为此团队提出基于 XTTS 的跨语言风格迁移技术生成口音合成数据，仅使用不到 1,000 条训练样本就使 Whisper-Base 等模型的识别相对准确率提升最高 60%。