arXiv cs.LG· Zhexi Lu, Subhajit Chaudhury, Tejaswini Pedapati, Keerthiram Murugesan, Lei Yu·· 2026-10-02AI 评分35
激活条件自蒸馏（ACSD）
Activation-Conditioned Self-Distillation
AI 导读
研究者提出激活条件自蒸馏（ACSD），通过对比自生成轨迹的激活提取导向向量指导学生模型，无需参考文本或更新教师参数即可提供密集推理监督。ACSD 在 5 个模型上均取得最高平均数学准确率；在 DeepSeek-R1-0528-Qwen3-8B 上，数学平均准确率达 71.9%，LiveCodeBench v6 pass@12 达 70.9%，均高于 OPSD 基线。
来源：arXiv cs.LG · arxiv.org