arXiv cs.LG· Ankush Checkervarty·· 25 天前AI 评分36
激活探针所需的合成数据量取决于覆盖度而非难度
Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs
AI 导读
研究发现激活探针所需的合成数据量取决于覆盖度而非难度：在 Gemma-3-27B-IT 上，高风险与有害概念仅需 80 个合成样本即可接近平台期，而指令探针需数倍样本。各类评估分布达到半增益中位数均仅需 7-11 个同类样本，跨类别迁移能力的差异决定了不同概念对数据广度的依赖程度。相关评估套件与生成数据集已开源。
来源：arXiv cs.LG · arxiv.org