arXiv cs.LG· Kazuki Nakayashiki·· 6 天前AI 评分59
研究探索 LLM 编写的教训是否会将随机性传递给智能体的后续决策
Lessons from Luck: Do LLM-Written Lessons Carry Chance into an Agent's Next Decision?
AI 导读
一项预注册研究发现，自我改进智能体从偶发失败中总结的教训会误导后续决策，使得选择劣质工具的比例从 0.4% 升至 11.6%。研究在 256 个任务环境中测试了 11 个 LLM 端点的 90,084 次回答，确认优质工具偶然失败后会产生显著的运气传递效应。在提示词中加入决策质量说明或保持现状选项，可将劣质工具选择率分别降至 7.5% 和 3.1%。
来源：arXiv cs.LG · arxiv.org