arXiv cs.LG· Qijia He, Zequn Li, Spencer Luo, Tianle Chen, Pradyumna Narayana, Zixian Ma, Ranjay Krishna, Lan Nie, Sugato Basu·· 19 天前AI 评分34
DTDD：通过分歧触发动态蒸馏实现可靠的同策略监督
DTDD: Divergence-Triggered Dynamic Distillation for Reliable On-Policy Supervision
AI 导读
研究人员提出自适应同策略蒸馏框架 DTDD，通过分段级学生与教师分歧动态触发教师接管，以解决长链推理和多轮智能体中监督不可靠的问题。DTDD 将预热后的峰值梯度范数降低 8.6x，从基础初始化达到 21.3% 保留数学准确率所需的优化步数减少 2.6x。在 ALFWorld 基准中，其在 LoRA 和智能体代码上的性能分别提升 4.8 和 4.1 个百分点。
来源：arXiv cs.LG · arxiv.org