Google 提出用于大语言模型持续学习的睡眠框架

Google 联合康奈尔大学等提出睡眠框架，通过交替运行清醒交互与离线睡眠阶段，使大语言模型在持续学习中保留知识并避免灾难性遗忘。在离线睡眠期，模型通过 MoE 结构动态扩展低秩专家参数，结合在策略蒸馏将短期记忆转化为长期参数，并通过做梦阶段生成合成样本进行自监督提升。