arXiv cs.LG· Priya Kasimbeg (Alice), Ahmed Khaled (Alice), Aahlad Chandrabhatta (Alice), Yifan Wang (Alice), Andy Liu (Alice), Niccol\`o Ajroldi (Alice), David Tweedle (Alice), Xingyu (Alice), Yang, Isaac Patole, Frank Schneider, George E. Dahl·· 22 天前AI 评分39
迈向更易调优的训练算法：AlgoPerf 最新评测结果
Towards Easier-to-Tune Training Algorithms: New Results from AlgoPerf
AI 导读
更新后的 AlgoPerf V1 基准发布最新评测结果，在要求 9 个工作负载共用单一配置的自调优规则下，Schedule-Free AdamW 在 13 个 PyTorch 与 JAX 提交算法中排名第一。分析表明，矩阵预处理与两循环方法虽样本效率良好，但需更激进的计算优化才能提升实际耗时竞争力，且学习率与动量跨领域依然高度敏感。
来源：arXiv cs.LG · arxiv.org