Square 推出新款自助点餐终端 Kiosk,支持语音与 AI 对话点餐
Square 推出全新硬件设备 Square Kiosk,配备 21.5 英寸触摸屏并引入对话式 AI 智能体语音层,允许顾客通过自然语音交流完成点餐、提问及修改餐品要求。该设备具备接近感知迎宾功能并支持多种支付方式,面向 Square Plus 或 Premium 订阅商户发售,硬件售价 1999 美元,另加每台每月 99 美元软件费。
Square 推出全新硬件设备 Square Kiosk,配备 21.5 英寸触摸屏并引入对话式 AI 智能体语音层,允许顾客通过自然语音交流完成点餐、提问及修改餐品要求。该设备具备接近感知迎宾功能并支持多种支付方式,面向 Square Plus 或 Premium 订阅商户发售,硬件售价 1999 美元,另加每台每月 99 美元软件费。
研究人员提出一种轻量级方法,直接利用预训练语音编码器中的帧级语言信息检测语音中的语码转换(CS)。该方法通过单语录音识别语言选择性隐藏状态维度,并聚合其激活状态进行预测。在 CS-FLEURS 的 14 种语言对测试中,Whisper-small 编码器取得 0.798 的平均 F1 分数,优于 CNN 基线的 0.776 和 HuBERT 线性基线的 0.751。
Apple 研究团队系统探索了三模态掩码扩散模型(MDM)的设计空间,在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程(SDE)的重参数化方法以解耦物理与逻辑批大小,并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
The Verge 实测了 Meta 推出的无摄像头版 Ray-Ban Meta Audio 智能眼镜,认为去掉摄像头显著消除了公共场合佩戴的被视作偷拍者的心理负担,但在功能有限的情况下 349 美元售价偏高。该眼镜重量为 43 至 47 克,单次充电可维持约两天日常佩戴,内置 Muse Spark 模型可处理简短日程查询与提醒,但更复杂的任务常出现混乱且存在开放式音频漏音问题。
Apple 正式发布首款家用智能带屏设备 HomeView,搭载 7 英寸方形屏幕并内置 Siri AI,售价 299 美元。该设备可充当 Matter 控制器与 Thread 边界路由器,通过面部识别与同网络 iPhone 联动调取日程和信息等个人上下文,相关数据在 A18 芯片的安全区域内处理。预购已开启,定于 11 月 13 日发货。
声音不仅关乎说话者自身,对倾听者也具有深远影响。威斯康星大学的研究显示,听到母亲的声音能降低女儿体内的压力激素皮质醇水平,而发短信则没有这种效果。播客节目《The Deep End: Talk to Me》探讨了失去声音带来的连锁反应,以及高度逼真的声音克隆(voice clone)技术如何帮助渐冻症(ALS)患者应对失去说话能力的困境。
Canonical 打造的语音转文字方案 Myna 现已推出技术预览版。该工具是 Canonical 构建上下文感知桌面努力的一部分,最初针对 Ubuntu 26.10 宣布,目前不仅支持 Ubuntu 26.10,也已面向 LTS 版本开放使用。
前 Plaud 高管 Peter Mo 创立的 AI 初创公司 Ambi 宣布累计完成 2600 万美元融资,由 Luminous Ventures 和华勤技术领投,同时推出支持 iPhone、Mac 和 Apple Watch 的环境监听应用。
研究人员提出基于 $\Theta(N\log N)$ 树状组合调度的全新数据结构 CircuitTree,能将任意数量的可解释子网络回路组合成单个模型。该方法将从 HuBERT 剪枝得到的 39 个独立音素回路融合成具备音节分类能力的模型。在分层回路流水线中,该系统共享了 99.5% 的回路组件,并以 64.8% 的准确率转录开音节,仅比完全不共享回路的 66.0% 上限低 1.2 个百分点。
研究提出一种黑盒因果测试方法,通过 CLAP 定位证据区域并进行频谱门控消融,用于审计大型音频语言模型(LALM)的对象幻觉。在固定持续时间下,局部消融在各测试组的表现均优于随机移除,且改进的对比解码将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。检测效果因模型而异,统一因果定位机制在 Audio Flamingo 3 等模型间无法直接迁移。
研究人员提出了面向大音频语言模型的高效推理框架 SWEAR,通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号,并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明,SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。
PolyAI 与 Otter 等业内高管认为,尽管全双工模型已取得进展,语音 AI 仍未迎来属于它的 ChatGPT 时刻。当前技术痛点包括推理速度不够快、ASR 模型常遗漏关键关键词而影响准确率,以及情绪表达不足。高管指出下一阶段需加快推理以实现自然对话,并提升透明度以告知用户正在与 AI 交互或被录音。
广东保伦电子牵头研发的多源音视频协同调度与全数字会议系统两项科技成果通过专家鉴定,整体技术达到国际先进水平。其中音视频项目实现了码流16Mb/s下传输1080P画质、本地端到端时延10ms以内及多路视频毫秒级低延迟边缘推理;会议系统项目攻克了128路话筒并发低时延技术,并实现链路故障10ms内拓扑重构与隔离切换。
苹果在一份监管文件中披露,已达成协议向个性化音频初创公司 Huxe 的部分员工提供工作邀约,并获得其知识产权的非独占许可。Huxe 由曾参与 NotebookLM 的开发者创办,并在 5 月 21 日宣布关停服务、下架应用并删除用户数据。文件未透露接受邀约的具体人员名单与苹果的后续业务规划。
研究人员提出了全双工语音协作系统 DuplexAgent 及其闭环改进框架 Duplex-Harness-RSI,将语音交互与异步委派任务的协调逻辑解耦为六个可编辑模块。系统利用模拟器自动生成带时序的测试对话,并通过委派池中的推理大语言模型与编码智能体自动诊断失败轨迹并更新模块配置。实验表明,该系统在保持低延迟打断响应的同时,提升了口语知识问答与可执行工具调用的评测表现。
Simon Willison 借助 ChatGPT 桌面端 Codex 的语音对话模式,在做饭期间通过纯语音交互为其个人博客开发了通讯(Newsletters)索引页面。
针对语音质量预测指标易被攻破的问题,研究提出了修正评估协议与基准,实测显示 NISQA 在 90% 的语音样本中被攻破,SSL-MOS、DNSMOS 与 UTMOS 的被攻破率分别为 21%、14% 和 6%。分析指出单个攻击者成功率受随机种子影响在 0.00 至 0.38 间大幅波动,且闭环修复会导致最高 0.30 的域外系统 SRCC 损失。相关代码与测试输出已开源。
AI 硬件初创公司 Natura 推出售价 $99 的智能戒指 Interface,支持用户通过按压操作直接调用 Claude、ChatGPT 等 AI 智能体处理日常任务。该设备兼具心率、HRV 及睡眠等健康监测功能,充满电后续航达 6 至 12 天。产品预计下月开启预订并在 12 月或 1 月发货,免费试用 3 至 6 个月后每月收取 $9 订阅费。
新研究提出微调框架 TransferBreaker,旨在阻断公开基座模型迁移至微调语音识别(ASR)模型的对抗扰动攻击。该框架整合了 Base Adversarial Fine-Tuning、Latent Jacobian Regularization 与 HybridGrad-AFT,在 3 种语言和 4 个大型 ASR 模型上将对抗 WER 从 92.6 降至 27.8。
Offline AI Modules 提出了面向弱网环境的语音优先完全离线 AI 架构、硬件参考栈以及 2-5B 指令微调模型量化评测流程。在 NVIDIA Jetson Orin NX 与 Raspberry Pi 5 上的测试显示,Q4_K_M 为最佳量化方案。
AWS 介绍了基于 Amazon Bedrock AgentCore、Knowledge Bases 与语音到语音模型 Amazon Nova 2.5 Sonic 构建航空语音管家的技术方案。
部分搭载 Alexa Plus 的 Amazon Echo 智能音箱出现诡异 Bug,会在与用户对话中途连续数分钟反复念诵或唱出“lalala”,且被询问时完全意识不到自身异常。过去数周多款 Echo 设备用户在 Reddit 报告了该现象;亚马逊回应称该 Bug 仅影响少数 Alexa Plus 用户,目前正在制作修复补丁。
《Science News》播客《The Deep End》探讨了声音与人类身份认同的关系,记录了渐冻症(ALS)患者 Jules Rodriguez 通过眼动打字与 AI 克隆声音重新发声的故事。研究表明人脑存在早期激活的声音敏感区域,能从听觉信号中直接获取情感与身体信息。该系列将进一步展现 AI 技术为失语者发声以及重塑人声连接的深远影响。
Google 正在测试将 Gemini 的“Call for Me”AI 功能拓展至个人通话,或可代表用户向亲友拨打电话传递简短信息。APK 拆解显示其功能界面为“Gemini Calling”,主要支持类似短信的简要传话场景,例如告知迟到或询问晚餐安排。相关代码还出现了精细化权限设置,允许用户自主管理 Gemini 的应用访问权限或选择拒收自动化来电。
研究人员提出 DuplexJev 架构,将 ASR 编码器状态传入冻结的 LLM 并直接读取单 token 选项分布,无需自回归解码即可在 8-GPU 节点上约 0.1 s 内完成 8 段语音的 80 项决策。
研究表明蝙蝠叫声的脉冲间隔(IPI)自然变化对物种分类的贡献有限,且 Transformer 模型并未比 CNN 更有效利用该时序特征。在同条件实验中,PaSST 准确率在自然与归一化 IPI 下分别为 71±2.3% 和 70±6.3%,而 EfficientNet 从 47±4.7% 提升至 57±3.9%。跨条件测试中,经归一化训练的模型在自然测试集上准确率分别降至 50% 与 57%。
NEUROTOKEN 是用于听觉注意力解码(AAD)的网络,通过共享 EEG 前端与条件流匹配头 ATTUNEFLOW,基于速度残差似然比联合评估候选声源。在 KU Leuven、DTU 和 NJU 数据集的 5 s 窗口下,ATTUNEFLOW 将声源 AAD 准确率较最强非生成基线提升 9%-16%,跨受试者方差缩小约 3 倍,两项数据集的试验级融合超过 93%。
Stability AI 正将业务重心转向面向音乐专业人士的 AI 工具开发,由董事会成员 Sean Parker 与首席执行官 Prem Akkaraju 共同主导。公司获得来自索尼、华纳和环球音乐等机构的 7600 万美元融资及正版曲库训练授权,并已推出三款音频模型与音乐编辑软件。该软件支持通过文本提示生成完整器乐曲或短片段,后续更新还将支持哼唱旋律或节奏口技输入。
AI 音乐生成平台 Suno 推出新功能 Speech,支持用户输入文本与风格描述后同步生成带有匹配背景音乐的单轨朗诵音频。该功能适用于诗歌、冥想和睡前故事,目前测试版在口音表现上仍有瑕疵;Suno 未透露该模型的训练数据来源,且当前正面临主流唱片公司的版权侵权诉讼。
研究人员提出利用音频语言模型验证精神病学录音中指定角色说话人删除情况的方法,用于自动排查脱敏遗漏。团队在 48 段双人录音上测试了 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano 和 Nemotron-3-Nano-Omni 四款开源权重模型。经 14 种配置的集成测试,最终取得 0.478 的综合 F1 分数(精确率 0.330,召回率 0.870)。
Google 盘点了 9 月的核心 AI 进展,推出具备高级推理能力与 100 万 token 上下文窗口的前沿模型 Gemini 4 Argon,主攻网络安全防御与重度工作负载。
在预训练中强化语言判别能力可显著缩小多语言语音模型与单语言模型的性能差距,并保留跨语言共享。在英法双语 HuBERT 实验中,引入辅助分类器或分语言 k-means 目标后,音素判别错误率从 11.6% 降至 10.4%(单语言为 10.8%),词汇与韵律指标显著改善。干预在第一迭代阶段引入收益最大,后期引入收益递减并加剧语言隔离。
AI 音乐生成平台 Suno 推出语音生成功能 Speech 并开启公测,支持基于提示词或脚本同时生成配音及配套背景音乐,音频最长可达约 8 分钟。该功能在网页和移动端的创建页面开放,提供简单与高级两种模式,用户可调节声音性别、说话风格,并支持一键关闭背景音乐输出纯净语音。
微软 AI 发布实时转写模型 MAI-Transcribe-2-Streaming 与两款文本转语音模型 MAI-Voice-2.1 及 Flash 版本。MAI-Transcribe-2-Streaming 支持 60 种语言,首批局部结果输出延迟略高于 100 毫秒,年底前推广价为每小时音频 $0.54。
Tavus 推出用于实时面对面双向视频对话的交互模型 Griffin,测试中有 48% 的受试者在一分钟视频通话中将其误认为真人。该模型可同步处理并生成语音、面部表情、语调与手势,在拟真度测试中获得 3.83 分,接近人类得分的 3.92 分。目前精简版本 Griffin-Lite 已向指定测试人员开放研究预览,主要面向辅导教学与客服支持等场景。
研究人员利用机器学习分析了数百段肯尼亚非洲象的轰鸣声录音,能够以高于随机水平的准确率基于声音预测其行为。这项发表在《Scientific Reports》的研究分类了针对幼象的轻鸣、行动指令与问候等呼叫,并发现大象在协调群体行动时会出现声音逐渐相似的“声音趋同”现象。
Airbnb 联合创始人兼 CEO Brian Chesky 在专访中表示,单纯的聊天界面不适合电商和旅行浏览,消费级 AI 普及需要底层操作系统与互操作协议支持。
听力技术初创公司 Legato 宣布其 AI 助听眼镜 Legato Frames 正式发售,起售价 999 美元,主要面向轻中度听力损失成年人群。该设备通过端侧 AI 区分背景噪音与人声并针对性放大,配合开放式双扬声器定向消音系统减少 99% 的漏音,且不包含摄像头或录音功能。整机含镜片重 34 克,续航达 10-12 小时,支持处方镜片与蓝牙音频串流。
Talk2Agent 是针对大语言模型电脑使用智能体的语音接口评测基准,用于评估语音向智能体传递口头指令的有效性。该基准基于 WildClawBench 和 OSWorld 构建任务,覆盖专用 ASR 与音频 LLM 等接口,并提出免执行的意图保留评估框架。在 32 小时真实人类语音测试中,该指标比传统 WER/CER 的 Pearson 相关性提升 0.246。
一项针对对话式 AI 员工倾听的研究显示,20% 至 41% 的员工在问卷给出正面评分后,会在随后的自适应 AI 语音访谈中表达实质性担忧。基于一家全球管理咨询公司的 44 场访谈及 65 场会话中的 158 条防护性引述,研究发现员工披露普遍伴随淡化顾虑和转移责任等防护行为。研究据此提出受限披露模型,指出沉默依然可以存在于表达之中。