基于最坏情况约束强化学习蒸馏大语言模型推理能力

针对大语言模型推理蒸馏中学生模型逻辑有缺陷但答案侥幸正确的奖励黑客问题，研究者提出基于最坏情况约束强化学习的推理蒸馏方法。该方法构建了无需状态增广的约束 MDP，利用低方差策略梯度分解与奖励转换，对轨迹各前缀严格施加最坏情况硬约束。在数学推理与代码生成实验中，该方法在保持纯强化学习高答案正确率的同时显著降低逻辑违规，取得了最高的严格推理成功率。