arXiv cs.LG· M. Berk Sahin, Ege C. Kaya, Arda Fazla, Behzad Sharif, Abolfazl Hashemi·· 22 天前AI 评分33
针对状态相关重尾噪声的鲁棒朗之万采样算法及其在 LLM 微调中的应用
Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning
AI 导读
研究人员放宽了全局 Lipschitz 梯度与有界噪声方差假设，提出适用于状态相关重尾噪声及广义平滑条件的鲁棒朗之万采样算法 RA-LMC。该方法结合鲁棒估计与噪声感知步长，在不依赖耗散性假设下建立了基于 Fisher 信息的非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中，RA-LMC 在准确率和不确定性量化上达到或超越了现有基准。
来源：arXiv cs.LG · arxiv.org