跳到正文
原文
arXiv cs.AI· Yashuo Luo, Qianren Mao, Ziqi Qin, Junnan Liu, Haitao Li, Qili Zhang, Yuan Gao, Zhijun Chen, Xu Wang·· 6 天前AI 评分40

CARD:从解题轨迹到教学轨迹的认知对齐推理蒸馏

From Solver Trajectories to Teaching Trajectories: Cognition-Aligned Reasoning Distillation

AI 导读

研究人员提出基于强化学习的认知对齐推理蒸馏框架 CARD,直接将大推理模型的解题轨迹转化为适配小模型认知的教学轨迹。该框架无需昂贵的重新采样,通过分布对齐奖励(匹配学生预测分布)与逻辑连贯奖励(减少误导性错误步骤)进行优化。实验表明,CARD 的域内蒸馏表现优于原始教师轨迹,并在分布外场景取得显著提升,相关代码已开源。

来源:arXiv cs.AI · arxiv.org