跳到正文
原文
arXiv cs.LG· Deepanshu Raj·· 2 小时前AI 评分41

对比激活添加(CAA)能引导多远?模型行为与能力前沿研究

How Far Can You Steer? Behavior-Capability Frontiers in Contrastive Activation Addition

AI 导读

一项研究针对对比激活添加(CAA)构建了行为-能力前沿,评估激活引导在限制能力损失下的可用边界。在 4 个指令微调模型与 7 种行为的评测中,行为效果泛化表现达 $\rho = 0.945$,联合存活率在 1% 和 3% 能力损失预算下分别为 37.5% 与 72.7%。评测显示满足基准保护的干预仍可能损伤未测试能力,激活引导受模型与层级等多重约束。

来源:arXiv cs.LG · arxiv.org