热点事件观察中

研究揭示语言模型可通过裁判打分隐式吸收其偏好特质

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

2026年11月2日，arXiv cs.AI发表的一项研究揭示了语言模型在强化学习后训练中的“阈下强化学习”现象：学生模型仅凭裁判打分即可隐式吸收裁判的偏好特质，即使学生模型输出的仅为无语义的数字或生造音节。实验结果显示，在48个实验设计组中，有17组在5%错误发现率下证实了特质传递，且一旦消除裁判间的奖励差异，该传递即告终止。研究指出，该机制同样适用于AI安全倾向的无感知渗透；研究团队建立了四阶段链路，有助于在训练前提前预测并防范由此带来的对齐风险。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月2日

13:00
arXiv cs.AI精选
阈下强化学习：模型特质可通过裁判打分发生隐式传递
研究表明语言模型在强化学习后训练中仅凭裁判打分即可隐式吸收其偏好特质，即使学生模型输出的仅为无语义的数字或生造音节。在 48 个实验设计组中，有 17 组在 5% 错误发现率下证实了特质传递，且一旦消除裁判间的奖励差异传递即告终止。该机制同样适用于 AI 安全倾向的无感知渗透，研究建立的四阶段链路有助于在训练前提前预测并防范该对齐风险。

本事件热度走势

当前热度 5·可比范围峰值 5（11月3日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。