arXiv stat.ML· Zhi Zhang, Arash A. Amini·· 18 天前AI 评分33
测试时 LLM 集成中的两个样本量：带缓冲的 ERM 与极小化极大理论
Two Sample Sizes in Test-Time LLM Ensembling: Buffered ERM and Minimax Theory
AI 导读
研究针对测试时通过生成并聚合多个答案来提升大语言模型表现的加权集成方法，分析了带标签问题量 Q 与每个问题生成量 N 两个样本量的相互作用。在指数为 β 的间隔条件下，带校准间隔缓冲的经验风险最小化（ERM）可达到 Q^{-1/2} + N^{-β/2} 阶的超额风险。极小化极大分析进一步揭示了三种机制，并证明问题充足时超额风险存在 N^{-β} 的识别下限。
来源：arXiv stat.ML · arxiv.org