arXiv cs.LG· Liv G. d'Aliberti, Marwa Abdulhai, Sofiia Druchyna, Peter Henderson, Manoel Horta Ribeiro·· 25 天前AI 评分43
衡量与缓解 RLVR 中的解题模式坍缩
Measuring and Mitigating Solution Mode Collapse in RLVR
AI 导读
研究指出 RLVR（可验证奖励强化学习）后训练会导致解题模式坍缩，使模型概率集中在少数正确解法上，并为此提出了评测基准 ModeBench 与方案 Re:Max。ModeBench 能同时检验输出正确性与解题模式，Re:Max 则在回放缓冲区中为每个发现的模式存储样本并进行均匀训练。在 3 种模型规模与 2 种 RL 目标下，该方法同时提升了策略成功率与解题多样性。
来源：arXiv cs.LG · arxiv.org