arXiv cs.LG· Deepanshu Raj·· 2 小时前AI 评分41
对比激活添加(CAA)能引导多远?模型行为与能力前沿研究
How Far Can You Steer? Behavior-Capability Frontiers in Contrastive Activation Addition
AI 导读
一项研究针对对比激活添加(CAA)构建了行为-能力前沿,评估激活引导在限制能力损失下的可用边界。在 4 个指令微调模型与 7 种行为的评测中,行为效果泛化表现达 $\rho = 0.945$,联合存活率在 1% 和 3% 能力损失预算下分别为 37.5% 与 72.7%。评测显示满足基准保护的干预仍可能损伤未测试能力,激活引导受模型与层级等多重约束。
来源:arXiv cs.LG · arxiv.org