arXiv stat.ML· Mohammad Pedramfar, Siamak Ravanbakhsh·· 18 天前AI 评分32
倾斜采样问题：乐观主义、后验采样与对数遗憾
The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret
AI 导读
研究人员提出了在线学习框架“倾斜采样”，旨在从未知奖励函数诱导的 Gibbs 分布中采样以生成多样化高质量输出。该框架将采样遗憾定义为温度归一化的累积 KL 散度，证明其受置信宽度平方控制，在固定温度下可实现随 $T$ 对数增长的遗憾界。研究还提出了 UCB 和 Thompson 采样对应的采样算法 UCS 与 TS$^2$，为 RLHF 等软优化场景提供了统一的遗憾分解与理论保证。
来源：arXiv stat.ML · arxiv.org