arXiv cs.LG· Xiuqi Liu, Oveys Delafrooz Noroozi, Upamanyu Madhow·· 4 天前AI 评分33
MASS：面向防泄漏推理的多掩码选择性自蒸馏
MASS: Multi-mask Selective Self-Distillation for Leakage-Resilient Reasoning
AI 导读
研究提出多掩码选择性自蒸馏方法 MASS，用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布，聚合互补的教师预测并自适应聚焦关键跨度，选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上，MASS 的性能持续优于强自蒸馏基线。
来源：arXiv cs.LG · arxiv.org