arXiv cs.AI· Jiaqi Tian, Ting Long·· 22 天前AI 评分37
通过表征几何正则化缓解大语言模型自我提升中的能力退化
Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization
AI 导读
研究人员提出表征几何正则化（RGR），通过提升类内紧凑度和类间分离度来保持大语言模型在后训练期间的表征几何结构，从而缓解在线自蒸馏（OPSD）导致的能力退化。OPSD 在优化过程中会使隐藏表征的几何特性恶化，导致模型遗忘早期已掌握的查询。实验表明，RGR 可无缝集成到现有 OPSD 方法中，在保留能力提升的同时普遍缓解退化，代码已开源。
来源：arXiv cs.AI · arxiv.org