arXiv cs.LG· Angela Tang, Vishesh Anand, Gon\c{c}alo Paulo·· 11 天前AI 评分49
追溯预训练过程中的阈下学习现象
Tracing Subliminal Learning Through Pretraining
AI 导读
研究发现大语言模型在通过硬标签或软标签蒸馏时，会继承教师模型无关特性的“阈下学习”现象，且该迁移在不同初始化权重、预训练数据顺序、语料、模型大小及架构下均持续存在。实验基于 Pythia、PolyPythia 和 DataDecide OLMo 模型，表明传递与获取偏好的能力在预训练检查点中独立发展，并在角色反转时呈现出强不对称性。相比硬标签蒸馏，软标签蒸馏只需更少训练即可产生更一致的偏好迁移。
来源：arXiv cs.LG · arxiv.org