跳到正文
原文
arXiv cs.LG· David Arbour, Erfan Jahanparast, Serina Chang, Avi Feller·· 6 天前AI 评分35

Neyman 正交激活导向方法

Neyman Orthogonal Activation Steering

AI 导读

该研究提出 Neyman 正交激活导向方法,将大语言模型激活导向形式化为结果回归平均梯度的估计问题,明确区分了目标导向与恢复估计器。该方法将传统二元对比标签扩展至对数概率或 oracle 评分等连续结果,并结合基于 Stein score 的互补估计器,构建出具备双重稳健性的正交化估计器。团队已在多个 benchmark 数据集上验证了该框架的有效性。

来源:arXiv cs.LG · arxiv.org