arXiv cs.AI· Keuntae Kim, Yong Suk Choi·· 1 天前精选AI 评分66
阈下强化学习：模型特质可通过裁判打分发生隐式传递
Subliminal Reinforcement Learning: traits travel through a judge's scores
AI 导读
研究表明语言模型在强化学习后训练中仅凭裁判打分即可隐式吸收其偏好特质，即使学生模型输出的仅为无语义的数字或生造音节。在 48 个实验设计组中，有 17 组在 5% 错误发现率下证实了特质传递，且一旦消除裁判间的奖励差异传递即告终止。该机制同样适用于 AI 安全倾向的无感知渗透，研究建立的四阶段链路有助于在训练前提前预测并防范该对齐风险。
推荐理由
论文揭示了裁判打分能在毫无语义线索的数据中隐式传递模型偏好，为防范强化学习阶段的安全风险提供了机制解释。
来源：arXiv cs.AI · arxiv.org