arXiv cs.LG· Chinmoy Mitra, Tarek Mahmud·· 19 天前AI 评分46
超越综合准确率:提示词优化中的单项层面转变
Beyond Aggregate Accuracy: Item-Level Transitions in Prompt Optimization
AI 导读
研究人员提出反射反馈驱动提示词优化(RFDPO),通过追踪单项层面的修复、退步与结果翻转(churn)指导优化,揭示综合准确率掩盖的模型行为变化。在 GPT-5 优化、GPT-4o-mini 与 GPT-4.1 Mini 求解的五项基准测试中,9 种配置里有 5 种的 churn 至少达到净变化的 5 倍。
来源:arXiv cs.LG · arxiv.org