arXiv cs.LG· Tiejin Chen, Maunil Vyas, Huaiyuan Yao, Hua Wei·· 16 小时前AI 评分45
Steering Vectors 作为 LLM 后训练的训练信号
Steering Vectors as a Training Signal in LLM Post-Training
AI 导读
新研究提出将转向向量（Steering Vectors）引入 LLM 后训练，用于在监督微调（SFT）、知识蒸馏与强化学习（RLVR）中指导参数更新。在监督设定中，从思考模式教师模型蒸馏时注入该向量可带来最高 12% 的性能提升；在 GRPO 强化学习中，它可作为优势修复机制从全错样本中恢复有效学习信号。该方法代码已开源。
来源：arXiv cs.LG · arxiv.org