基于粒子的广义随机优化方法研究

研究者提出了一类基于扩散的广义随机粒子优化方法，用于解决损失函数梯度难以直接计算的问题，涵盖生成模型训练、微调和隐变量模型学习等场景。该方法引入平均场动力学及其相互作用粒子近似，在适定性与联合收缩性假设下证明了指数收敛性，并给出了连续时间粒子系统的非渐近误差界。基于该框架开发的高阶 Langevin 和动量优化器已在最大边际似然估计与基于能量的模型训练中完成评估。