arXiv cs.LG· Siliang Zeng, Luca Viano, Chenliang Li, Jiaxiang Li, Volkan Cevher, Markus Wulfmeier, Stefano Ermon, Alfredo Garcia, Mingyi Hong·· 7 天前AI 评分33
大语言模型的人类反馈对齐：数学基础与算法设计
Aligning Large Language Models with Human Feedback: Mathematical Foundations and Algorithm Design
AI 导读
该综述系统梳理了大语言模型与人类偏好对齐的数学基础和算法框架，涵盖监督微调（SFT）、RLHF 以及 DPO 等主流对齐技术。文章探讨了从人类偏好中学习的理论底层，建立了其与逆强化学习（IRL）和离散选择模型的联系，并详细分析了前沿算法的优缺点及实际落地实现要点。
来源：arXiv cs.LG · arxiv.org