arXiv cs.AI· Miaobo Hu, Shuhao Hu, Xiaobo Guo, Xin Wang, Bokun Wang, Daren Zha, Jun Xiao·· 29 天前AI 评分35
FSPO：面向受限 LLM 强化学习后训练的策略一致风险与帕累托可行控制
FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
AI 导读
FSPO 是一种面向受限 LLM 强化学习后训练的反馈状态控制器，可联合解决策略风险失真、校准偏差与多资源延续可行性问题。在匹配的 GRPO 资源预算下，FSPO 取得 66.11% 保留集与 59.43% OOD 准确率，超越强基线 PB2 的 64.47% 与 57.03%。该方法将假可行接纳率从 0.197 降至 0，并将轨迹失败率由 0.181 降至 0.083。
来源：arXiv cs.AI · arxiv.org