arXiv stat.ML· Seyedarmin Azizi, Erfan Baghaei Potraghloo, Minoo Ahmadi, Souvik Kundu, Massoud Pedram·· 29 天前AI 评分41
Power-SMC：面向免训练大语言模型推理的低延迟序列级幂采样
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning
AI 导读
新研究提出无需训练的采样方法 Power-SMC，通过并行维护候选序列并按重要性权重定期剪枝，在接近标准解码延迟下实现序列级幂分布采样。在 MATH500、GSM8K、GPQA 与 HumanEval 评测中，Power-SMC 准确率达到或超过 MH 采样并保留输出多样性，同时实现最高 17.6x 的推理加速，相关代码已开源。
来源：arXiv stat.ML · arxiv.org