arXiv cs.AI· Yan Wang·· 11 天前AI 评分44
TraceForge:用自身思维进行知识蒸馏
TraceForge: Distilling with Your Own Thinking
AI 导读
TraceForge 提出了一种以学生模型自身风格生成推理过程(reasoning trace)的知识蒸馏方法,解决前沿模型隐藏推理链的问题。该方法通过监督与对抗两阶段训练,生成 trace 的真实度评分达 0.68(经 critic 筛选达 0.82),优于真实 trace 的 0.66。
来源:arXiv cs.AI · arxiv.org