arXiv cs.LG· Nickil Maveli, Antonio Vergari, Shay B. Cohen·· 29 天前AI 评分38
合成还是召回？评测 LLM 的算法代码检索能力
Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
AI 导读
新基准 AlgoREval 包含 14 个领域、7 种编程语言下的 77 个经典算法共 599 道题，用于评测 LLM 复现已知算法的参数化代码检索能力。在 zero-shot 下对 15 个 7B–34B 参数模型测试显示，各语言和输入表示间的检索准确率差异显著。提示词增强、SFT 与 GRPO 能有效提升表现，研究也提示 AI 算法代码须经系统性验证。
来源：arXiv cs.LG · arxiv.org