arXiv cs.LG· Zhe Zhou·· 15 天前AI 评分35
测试时持续学习中的绑定特异性重学习节省现象
Binding-Specific Relearning Savings for Test-Time Continual Learning
AI 导读
研究发现语言模型在经历无复述持续微调发生部分遗忘后,重新学习原事实绑定的速度显著快于对照组。在 Qwen2.5-1.5B 上的实验显示,预先学习能使恢复该事实所需的优化器更新减少约 18%,且该重学习优势在排除实体熟悉度等干扰后依然成立。这表明当前仅凭输出准确率的评估方式低估了先前学习经验对模型的持久影响。
来源:arXiv cs.LG · arxiv.org