arXiv cs.AI· Min-Seon Kim, Seungdong Yoa, Sanghyu Yoon, Ye Seul Sim, Suhee Yoon, Dongmin Kim, Jung-Eun Kim·· 11 小时前AI 评分46
AI 智能体只需在有用时思考
Agents, Think Only When it Helps
AI 导读
一项研究通过解耦大语言模型智能体蒸馏中的思考与动作发现,在多种基准测试和模型规模下,改变或丢弃思考对学生模型的最终性能几乎没有影响。只有当训练期间对应动作未披露思考包含的信息时,思考监督才显得至关重要。该发现挑战了蒸馏完整教师轨迹的通用做法,表明可根据信息是否在动作中体现来选择性保留思考监督以提升效率。
来源:arXiv cs.AI · arxiv.org