arXiv stat.ML· Erhan Xu, Kai Ye, Hongyi Zhou, Luhan Zhu, Francesco Quinzan, Chengchun Shi·· 6 天前AI 评分40
大语言模型的双重稳健对齐
Doubly Robust Alignment for Large Language Models
AI 导读
研究者提出了一种面向大语言模型的双重稳健偏好优化算法，旨在解决 RLHF 因偏好模型或参考策略设定错误导致微调偏差的问题。该算法只要在偏好模型或参考策略其中之一设定正确时即可保持一致性，理论和实践性能均优于现有 SOTA 算法。该论文已被 NeurIPS 2025 接收，相关代码已开源。
来源：arXiv stat.ML · arxiv.org