arXiv cs.AI· Jiawei Chen, Yi Zhang, Jiawei Du, Zhonghou Lv, Tairan Chen, Junyuan Shang, Jinchang Hou, Xiao Yang, Yu Tian, Chenfu Bao, Chao Yu, Zhaoxia Yin·· 15 天前AI 评分44
重新审视大语言推理模型安全对齐中的 GRPO
Rethinking GRPO for Large Reasoning Model Safety Alignment
AI 导读
研究人员针对大语言推理模型在 GRPO 安全对齐中出现的优势崩塌与不安全多样化问题，提出了对齐框架 Beacon。该框架通过安全信号恢复（SSR）重构有效学习信号，并利用安全与效用解耦对齐（SUDA）缓解过度拒答。在 4 个 Qwen3 与 DeepSeek-R1-Distill 变体及 8 个基准测试中，该方法将平均安全错误率最多降低了 32.83 个百分点。
来源：arXiv cs.AI · arxiv.org