反应式优化器 OPAL

研究人员提出反应式优化器 OPAL，利用预训练大语言模型智能体在单次训练中实时监测训练动态并重写可执行的优化器代码。该方法无需针对优化器的元训练，可直接调整学习率调度、优化器结构、数值精度和动量，在语言建模与图像生成任务中匹配或超越了固定训练配方。实验表明其能有效应对数据损坏并减少过拟合，代码已开源。