arXiv cs.LG· Narayanan Sadagopan, Yilan Chen, Vijay Lingam·· 19 天前AI 评分35
基于局部信任域优化的策略内知识蒸馏 Token 效用
Token Utility for On-Policy Distillation via Local Trust-Region Optimization
AI 导读
研究者基于局部信任域优化直接从蒸馏目标推导 token 效用，并提出连续、均值归一化的 token 加权方法 Fisher Utility Weighting（FUW）。
来源：arXiv cs.LG · arxiv.org