arXiv stat.ML· Shaojin Ma, Ruitao Wang, Pengyi Li, Jie Yang, Liangyu Chen, Gangyi Zhao, Hongyao Tang, Yan Zheng, Jianye Hao·· 12 天前AI 评分34
研究提出面向长程智能体的效应边际策略优化算法 EMPO
One Act, Many Masks: Effect-Marginal Policy Optimization for Long-Horizon Agents
AI 导读
研究者针对 LLM 智能体在多轮强化学习中不同文本表述导致信用与策略更新错位的问题，提出了效应边际策略优化算法 EMPO。EMPO 通过构建效应级替代目标联合更新不同文本表述，在保留原始信用信号的同时兼容轨迹级与单步信用估计，且无需额外的 critic 或 rollout。在 ALFWorld、WebShop 和 Sokoban 上的实验表明，EMPO 在任务表现和学习效率上均超越了基线方法。
来源：arXiv stat.ML · arxiv.org