arXiv stat.ML· Matteo Benati, Alessandro Londei, Denise Lanzieri, Raffaello Mastromarino, Vittorio Loreto·· 12 天前AI 评分39
通过 Dreaming Learning 缓解模型崩溃
Mitigating Model Collapse through Dreaming Learning
AI 导读
研究提出利用高温采样训练的 Dreaming Learning 方法，以缓解生成模型在合成数据训练中出现的多样性丧失与模型崩溃。该方法通过展平预测分布使学习算子的特征值远离单位圆，从而持续维持对状态空间的探索能力。经 5000 代迭代测量，该缓解效果在 LSTM 语言模型及 124M 参数的 GPT-2 上均得到验证。
来源：arXiv stat.ML · arxiv.org