arXiv cs.LG· Sofia Torres, Gabriel Almeida, Carter Adams, Camila Rocha·· 27 天前AI 评分37
外部引导何时助力大语言模型推理？GA-GRPO 的偏差-方差理论
When Does External Guidance Help LLM Reasoning? A Bias-Variance Theory of Guidance-Augmented GRPO
AI 导读
研究提出 GA-GRPO 理论框架，从偏差-方差角度量化外部引导在大语言模型推理中的影响，并推导出闭式最优引导权重。该框架将 GRPO、LUFFY、ExPO 等统摄为特例，证明其收敛速率为 O(1/sqrt(T))。在 Qwen2.5-Math-7B-Base 上的 9 项基准测试显示，GA-GRPO 表现持平或超越 TAPO 等方法，同时节省 31% 的 GPU 时长。
来源：arXiv cs.LG · arxiv.org