arXiv cs.LG· Shijie Li, Yilin Gao, Tieyuan Chen, Yun Luo, Weiyao Lin, Hang Yu·· 11 天前AI 评分35
GIFT：面向蒸馏增强推理强化学习的梯度感知过滤方法
GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL
AI 导读
研究人员提出 GIFT 方法，通过 token 级别的梯度几何分解解决蒸馏增强推理强化学习（RL）中的目标冲突问题。该方法将蒸馏梯度分解为衡量冲突的平行分量与量化指引价值的正交分量，并结合覆盖退火（coverage annealing）调度优先剔除冲突更新。在数学与逻辑推理基准测试中，GIFT 在困难数学推理任务上取得最高达 9.5% 的相对提升。
来源：arXiv cs.LG · arxiv.org