Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器

Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器，以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器，并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下，学生模型相对教师模型的 WER 差距保持在 1.9% 以内，比同容量独立训练模型相对提升 3.9%。