arXiv cs.LG· Jiayi Li, Guancheng Zhou, Yisi Luo, Ruihua Chen, Penghao Jiang, Deyu Meng, Flora D. Salim, Piotr Koniusz·· 4 天前AI 评分36
HotPOT：面向大规模 PDE 预训练的异构物理专家算子 Transformer
HotPOT: Operator Transformer with Heterogeneous Physics Experts for Large-Scale PDE Pre-training
AI 导读
HotPOT 是一种面向大规模 PDE 预训练的算子 Transformer，采用共享编码器结合异构神经-数值专家来建模方程演化。在 5 个 PDE 族和 6 种设定下，HotPOT 在微调前后的全部 24 组同规模对比中均优于 MoE-POT，rollout 误差平均降低 50.7%。其 17M 模型超越了更大规模的 MoE-POT，且性能优势可延伸至未见物理条件下的零样本预测。
来源：arXiv cs.LG · arxiv.org