arXiv cs.LG· Joseph Rowan, Ashish J. Khisti·· 6 天前AI 评分34
面向引导投机推理的多重重要性采样
Multiple Importance Sampling for Guided Speculative Inference
AI 导读
研究提出将多重重要性采样(MIS)引入引导投机推理(GSI),通过多个较小大语言模型集成生成推理草稿,并由大型基础模型与过程奖励模型联合验证。该方法在理论上证明了平衡启发式(balance heuristic)的最优性,并在保持总样本数不变的同时维持了 pass-at-N 性能,有效解决了单一起草模型支撑集未能覆盖目标分布时的失效问题。
来源:arXiv cs.LG · arxiv.org