逆向 KL 策略蒸馏：统计学保证与理论极限

一项新理论研究揭示了逆向 KL 策略蒸馏的统计学界限与样本复杂度差异。在在线蒸馏中，若教师模型仅反馈学生生成动作的概率，所需数据量会大幅增加；而离线蒸馏无论教师提供完整分布还是单一动作概率，均可达到相同的 minimax 速率。研究还提出了轨迹损失截断、重要性比率截断与策略空间学习技术，以实现最优在线蒸馏保证。