arXiv cs.AI· Thomson Yen, Gilbert Yang, Naimeng Ye, Minghui Chen, Dong Xia, Tianyi Shen, Yechan Jeon, Yaqin Chen, Daksh Mittal, Fangyu Wu, Hongseok Namkoong·· 3 天前AI 评分45
Seq@K：在序列反馈下评估语言模型
Seq@K: Evaluating Language Models Under Sequential Feedback
AI 导读
研究人员提出评测协议 Seq@K，用于衡量大语言模型在每次失败获得反馈后能否在 K 次连续尝试内解决问题，以形式化评估模型从反馈中迭代修正的能力。在 7 个评测基准与 16 个前沿模型上的实验显示，Seq@K 呈现出与 Pass@K 显著不同的模型排名和 Pareto 前沿，并能有效刻画模型的纠错率与回答固执度等行为特征。
来源：arXiv cs.AI · arxiv.org