arXiv cs.LG· Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo·· 16 小时前AI 评分35
FARO：基于跨块等风险贡献预算分配的函数空间自适应优化器
FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation
AI 导读
新研究提出函数空间自适应优化器 FARO，以参数块为单元，利用等风险贡献（ERC）原则自适应分配更新预算。在 FineWeb 训练的 GPT 风格模型上，FARO-Adaptive 取得 3.2780 nats，持平手工设计的 NorMuonAndAdam（3.2794 nats）；FARO-ERC 在 6 个种子下平均进一步降低 0.0136 nats 损失且不增加额外显存与耗时，代码已开源。
来源：arXiv cs.LG · arxiv.org