arXiv cs.AI· Zeyu Zheng, Yiyang Liu, Yuyang Zhao, Congmin Zheng, Jiachen Zhu, Jianian Chen, Kangning Zhang, Kayue Daniel Wong, Lingyu Yang, Rong Shan, Shihao Chen, Thomas Zhu, Wentao Zhang, Xiaopeng Li, Yan Hu, Yongxi Lin, Yuxiang Chen, Zhuoying Ou, Jianghao Lin, Jeremy Avigad, Prasad Tetali, Jingbang Chen, Sean Welleck·· 13 天前AI 评分40
ReuF2F：在形式化本科生科研问题上评测代码智能体
ReuF2F: Benchmarking Coding Agents on Formalized Undergraduate Research Problems
AI 导读
研究人员推出基于 Lean 4 的基准评测 ReuF2F，包含来自本科生科研项目（REU）的 244 个形式化开放数学问题。评测采用标准代码智能体环境，将每个问题及其逻辑否定置于 Docker 容器内的 Lean 项目中，并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。
来源：arXiv cs.AI · arxiv.org