arXiv stat.ML· Nicolas Menet, Andreas Krause, Abbas Rahimi·· 8 天前AI 评分35
POETS：通过高效策略集成实现感知不确定性的 LLM 优化
POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles
AI 导读
POETS 提出了一种计算高效的策略集成 LLM 优化框架，通过共享预训练主干与独立 LoRA 分支直接捕捉认知不确定性，省去了繁琐的奖励模型训练流程。该框架在理论上近似累积遗憾界为 $O(\sqrt{T \gamma_T})$ 的 Thompson 采样，并在蛋白质搜索、分子设计及代码生成等强化学习任务中取得了 SOTA 样本效率。
来源：arXiv stat.ML · arxiv.org