arXiv cs.LG· Haaris Mian, Miles Cranmer, Alessandro Favero, Payel Mukhopadhyay·· 16 小时前AI 评分34
物理基础模型 Walrus-1.3B 如何在仿真到真实适应中发生遗忘
Frozen in Time: How a Physics Foundation Model Forgets Under Sim-to-Real Adaptation
AI 导读
研究针对连续介质动力学科学基础模型 Walrus-1.3B 的两阶段仿真到真实适应展开，揭示了微调过程中严重的灾难性遗忘现象。在圆柱绕流仿真微调仅 20 个 epoch 后，模型在原预训练数据集上的单步误差最高增加达 35x，后续适应真实实验数据则进一步加剧性能下滑。在真实数据微调中仅重放 1% 的仿真数据，即可恢复大部分丢失的仿真性能并保留对实验动态的适应。
来源：arXiv cs.LG · arxiv.org