arXiv stat.ML· Jonas Schweisthal, Yuxin Wang, Athiya Deviyani, Stefan Feuerriegel, Dennis Frauen·· 26 天前AI 评分33
推理时对齐的高效 Best-of-N 策略评估
Efficient Best-of-N policy evaluation for inference-time alignment
AI 导读
一项新研究提出了面向推理时对齐的 sample-only 评估框架，无需访问模型响应似然即可评估与选择 Best-of-N（BoN）策略。该方法构建了双重稳健估计器 BoN-DR 以复用共享样本池，并设计最大化估计价值和置信下界两种规则来抑制奖励过度优化。在合成实验和 GSM8K 评测中，该框架能准确估计策略价值并筛选出有效的采样预算。
来源：arXiv stat.ML · arxiv.org