arXiv stat.ML· Aryan Das, Vinay Kumar Verma, Aakansha Mishra·· 16 小时前AI 评分36
Muon-RT：通过复用教师轨迹实现大语言模型自蒸馏的无动量 Muon
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
AI 导读
研究者提出 Muon-RT，通过复用 EMA 教师与学生的位移消除隐藏权重的动量缓冲区，大幅降低大语言模型自蒸馏显存。在 Qwen2.5-7B-Instruct 微调中，Muon-RT 相比 AdamW 和带动量的 Muon 准确率分别提升 2.6 和 5.4 分，持久显存减少 42% 与 27%。
来源：arXiv stat.ML · arxiv.org