Together AI 研究揭示语音模型在街道识别中的缺陷并提出跨语言合成数据解法

Together AI 研究发现主流语音识别模型在转录多语言背景发音的街道名称时平均错误率达 39%，非英语母语者的识别准确率比英语母语者低 18%。为此团队提出基于 XTTS 的跨语言风格迁移技术生成口音合成数据，仅使用不到 1,000 条训练样本就使 Whisper-Base 等模型的识别相对准确率提升最高 60%。