arXiv cs.LG· Kamil Faber, Katarzyna Filus, {\L}ukasz Pawela·· 15 天前AI 评分35
稀疏自编码器可诱导局部几何以缓解灾难性遗忘
Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting
AI 导读
SAGA 方法利用稀疏自编码器（SAE）构建局部低秩几何约束，有效缓解持续学习中的灾难性遗忘。该方法结合重放样本与编码器 Jacobian 惩罚关键表征漂移，后续任务训练无需保留 SAE。在预训练 ViT-B/16 上，其在 CIFAR-100、CUB-200 和 ImageNet-R 较最强基线准确率分别提升 12.15、4.79 和 3.22 个百分点。
来源：arXiv cs.LG · arxiv.org