arXiv cs.LG· Bo-Wen Zhang, Junwei He, Maoqi Liu, Feiran Li, Song-Lin Lv, Wentao Ma, Rongyi Lin, Shuhan Zhong, Lan-Zhe Guo·· 2026-10-03AI 评分34
T2SPO：面向智能体强化学习的轨迹到单步策略优化
T2SPO: Trajectory-to-Step Policy Optimization for Agentic Reinforcement Learning
AI 导读
研究人员提出强化学习方法 T2SPO，利用历史成功轨迹为大语言模型（LLM）智能体提供单步级反馈。该方法借助预训练 TabPFN 回归器估计每个状态距离成功的剩余距离并提供辅助奖励，仅通过刷新上下文融入新经验而无需更新评估器参数。在 ALFWorld 和 WebShop 上针对 1.5B 与 7B 模型的实验表明，T2SPO 的任务成功率持续优于 GRPO。
来源：arXiv cs.LG · arxiv.org