arXiv cs.AI· Yunbo Long, WenJie Chen, Jiaquan Zhang, Guangya Hao, Zihang Zeng, Pengze Li, Xi Chen·· 27 天前AI 评分35
SPECTRUM：面向循环自蒸馏的近端谱调制
SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation
AI 导读
SPECTRUM 提出一种面向循环自蒸馏代码生成的近端谱调制方法，通过重估 KV 几何结构防止正确实现的多样性收缩。在 MBPP 五轮实验中，SPECTRUM 保留了初始模型 89.9% 的 64 样本正确 AST 丰富度，显著高于标准自蒸馏的 66.4%。在无需额外训练或重校准下，所得学生模型在 HumanEval+ 和 APPS Intro 上也保持了更高的多样性。
来源：arXiv cs.AI · arxiv.org