跳到正文
原文
arXiv stat.ML· Remi Denton, Aida Davani, Cynthia L Bennett, Michael Madaio, Roma Patel, Himabindu Lakkaraju·· 2 小时前AI 评分43

生成式 AI 中的对齐短视

Alignment Myopia in Generative AI

AI 导读

当前生成式 AI 对齐过度依赖优先满足即时对话的短期反馈,忽视了长期交互带来的负面外部效应。这种短视可能引发认知退化、社交侵蚀和人类主体性减弱,且现有奖励模型无法捕捉短期效用与长期代价的冲突。应对方案提出转向长周期对齐范式,主张超越简单偏好优化,从人类福祉的四个维度构建维护长期福祉的对齐策略。

来源:arXiv stat.ML · arxiv.org