用于 LLM 推理的稀疏强化学习松弛方法 SpaRLax

研究人员提出了名为 SpaRLax 的强化学习稀疏松弛方法，通过利用 soft-CoT 推理跨时间步的可微性，提升大语言模型软思维链训练的稳定性和有效性。该方法采用 entmax 稀疏机制自适应确定软度，在置信度高时截断长尾噪声，不确定时保留多个候选 token。在 9 个推理基准测试中，SpaRLax 的平均性能超越了基线方法。