跳到正文
原文
arXiv cs.AI· Yan Wang·· 11 天前AI 评分44

TraceForge:用自身思维进行知识蒸馏

TraceForge: Distilling with Your Own Thinking

AI 导读

TraceForge 提出了一种以学生模型自身风格生成推理过程(reasoning trace)的知识蒸馏方法,解决前沿模型隐藏推理链的问题。该方法通过监督与对抗两阶段训练,生成 trace 的真实度评分达 0.68(经 critic 筛选达 0.82),优于真实 trace 的 0.66。

来源:arXiv cs.AI · arxiv.org