面向个性化偏好优化的梯度对齐偏好对选择

针对大语言模型个性化对齐需求，研究提出 GAP-DPO 迭代算法，通过效用感知与几何对齐的偏好对选择优化偏好学习。该算法分析了期望用户效用梯度与 DPO 更新方向的一阶交互，并借助逐轮重新生成控制分布偏移。在个性化文本生成基准测试中，GAP-DPO 相比标准 DPO 变体在风格保真度、偏好对齐度和生成质量上均有一致提升。