arXiv cs.LG· Younwoo Choi, Leo Feng, Vincent Liu, Haanvid Lee·· 25 天前AI 评分36
面向大语言模型的摊销离线策略评估
Amortized Off-Policy Evaluation for LLMs
AI 导读
研究人员提出 PFN-OPE，通过摊销离线策略评估应对大语言模型持续部署中的策略偏移与奖励偏移问题。该方法只需预训练一次，测试时无需逐任务重新拟合，经单次前向传播即可输出目标策略的价值估计。在 HelpSteer2 与 UltraFeedback 上针对 Qwen、Llama 和 Gemma 策略的测试中，其在奖励偏移下的误差比最佳基线低 2.0 至 9.3 倍。
来源：arXiv cs.LG · arxiv.org