arXiv cs.LG· David Arbour, Erfan Jahanparast, Serina Chang, Avi Feller·· 6 天前AI 评分35
Neyman 正交激活导向方法
Neyman Orthogonal Activation Steering
AI 导读
该研究提出 Neyman 正交激活导向方法,将大语言模型激活导向形式化为结果回归平均梯度的估计问题,明确区分了目标导向与恢复估计器。该方法将传统二元对比标签扩展至对数概率或 oracle 评分等连续结果,并结合基于 Stein score 的互补估计器,构建出具备双重稳健性的正交化估计器。团队已在多个 benchmark 数据集上验证了该框架的有效性。
来源:arXiv cs.LG · arxiv.org