arXiv cs.LG· Heng Liang, Xinwen Zhang, Hongchang Gao·· 27 天前AI 评分34
BiToK-SD：面向大语言模型自蒸馏的双层 Top-K Token 选择方法
Learning What to Distill: Bilevel Top-K Token Selection for Self-Distillation in Large Language Models
AI 导读
研究人员提出面向大语言模型 on-policy 自蒸馏的 BiToK-SD 方法，通过双层优化自适应学习在哪些 token 位置执行蒸馏。该方法在底层将 Top-K token 选择建模为可微阈值松弛，在上层对选定位置实施知识蒸馏，使选择位置能够随学生策略自适应调整。在数学推理基准测试中，BiToK-SD 仅需轻量额外计算便在所有对比方法中取得最佳平均表现。
来源：arXiv cs.LG · arxiv.org