RubricOpt：偏好优化中语义评分准则的自我修订

RubricOpt 框架允许策略模型在偏好优化中自我修订行为准则，通过诊断自身输出保留已覆盖要求，并针对未解决的常见失败编辑准则条款。该准则在保持偏好对与目标固定的情况下指导 DPO 训练，并在评估阶段移除。在能力和开放式生成基准测试中，准则调节相比常规 DPO 能改善结果，但在不同模型与数据集上收益存在差异。