直接偏好优化（DPO）的不确定性归一化边际方法

UNM-DPO 算法将偏好强度边际与可学习的提示词尺度相结合，解决了传统 DPO 无法显式建模偏好强度与提示词不确定性的问题。基于 Llama-3.1-8B-Instruct，引入长度归一化的 ULNM-DPO-WR 在 HelpSteer2 和 HelpSteer3 对阵 DPO 分别取得 68.00% 与 65.31% 的平局调整胜率，且生成文本更短。