arXiv cs.LG· Haifeng Wu, Srinivasan Manoharan, Jian Wan, Fangbo Tu, Junhua Zhao, Xin Chen·· 29 天前AI 评分32
面向高效大语言模型任务路由的学生指导教师蒸馏：对标 Jev 风格 System-1 分类器
Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers
AI 导读
研究提出一种用于 60 类大语言模型任务路由的学生指导教师蒸馏方案，由轻量 ModernBERT 召回 top-k 候选，再由 DeBERTa-v3 零样本分类器重排并迭代训练。最优学生模型在 200 个样本评估集上实现 77.5% 的教师一致性，Coverage@16 达 91-100%。研究还发现将未截断类别直接置零用于 KL 蒸馏会破坏暗知识并引入系统性偏差。
来源：arXiv cs.LG · arxiv.org