跳到正文
原文
arXiv cs.LG· Chinmoy Mitra, Tarek Mahmud·· 19 天前AI 评分46

超越综合准确率:提示词优化中的单项层面转变

Beyond Aggregate Accuracy: Item-Level Transitions in Prompt Optimization

AI 导读

研究人员提出反射反馈驱动提示词优化(RFDPO),通过追踪单项层面的修复、退步与结果翻转(churn)指导优化,揭示综合准确率掩盖的模型行为变化。在 GPT-5 优化、GPT-4o-mini 与 GPT-4.1 Mini 求解的五项基准测试中,9 种配置里有 5 种的 churn 至少达到净变化的 5 倍。

来源:arXiv cs.LG · arxiv.org