arXiv cs.AI· Hyunji Alex Nam, Michael Dennis, Natasha Jaques, Minsuk Chang·· 13 天前AI 评分36
TURTLE：面向长程工具调用的自调优进化评测基准
Evolving Self-tuning Benchmarks for Long-Horizon Tool Use
AI 导读
研究提出长程工具调用基准框架 TURTLE，通过提议器、求解器与反馈生成器三类 LLM 智能体协同进化任务，实现评测集的自调优与规模化生成。在 Gemma 4 31B-it 上的实验显示，该方法在 AppWorld、$\tau$-Bench 和 AutomationBench 中显著增加了任务多样性，使 AppWorld 高难度任务占比提升 165%，并激发了更广泛的失效模式。
来源：arXiv cs.AI · arxiv.org