arXiv cs.LG· Duc Anh Vu, Thong Nguyen, Hoang Pham, Ponhvoan Srey, Luu Anh Tuan·· 2 小时前AI 评分35
面向多目标对齐的目标条件主动偏好学习
Objective-Conditioned Active Preference Learning for Multi-Objective Alignment
AI 导读
研究人员提出 OGC-DPO 主动学习框架，用于降低大语言模型在多目标对齐中的标注成本。该方法将响应对与目标组合视为独立查询，无需外部奖励模型，直接通过策略自身的隐式梯度选择最能扩展各目标梯度覆盖的样本。实验表明，OGC-DPO 在相同标注成本下效果优于现有方法，并证实有信息量的偏好冲突能提供有用的策略训练信号。
来源：arXiv cs.LG · arxiv.org