GenXR-Bench:评测用于交互式 XR 开发的代码智能体
研究人员推出首个用于端到端评测 XR 软件开发代码智能体的基准 GenXR-Bench。该基准包含 112 个专家编写的任务,涵盖 24 项功能实现、21 个缺陷修复和 67 项应用生成任务,其测试套件在消费级 XR 硬件上的盲测专家判定中达到 96.5% 的准确率。在 10 个模型的评测中,最强配置的整体 Pass@1 仅为 50.9%,暴露了智能体在传感器生命周期与空间交互语义上的不足。
研究人员推出首个用于端到端评测 XR 软件开发代码智能体的基准 GenXR-Bench。该基准包含 112 个专家编写的任务,涵盖 24 项功能实现、21 个缺陷修复和 67 项应用生成任务,其测试套件在消费级 XR 硬件上的盲测专家判定中达到 96.5% 的准确率。在 10 个模型的评测中,最强配置的整体 Pass@1 仅为 50.9%,暴露了智能体在传感器生命周期与空间交互语义上的不足。
研究团队提出了评估代码智能体备份意识的基准 RegretBench 与自动化备份层 BackUpper,用于解决智能体在修改环境状态时缺乏事前保存机制的问题。评测显示六款前沿模型平均任务完成率达 86.1%,但在产生破坏性修改前的备份率仅为 15.2%。
研究团队推出长周期测试基准 Agent4Sci,跨越 11 个领域的 20 个基准测试,评估前沿智能体提升科学机器学习最佳模型的能力。实验显示前沿智能体能在所有基准上取得进展,Claude Opus 达到 10.4% 的平均相对提升,但收益几乎完全来自机器学习工程技巧而非深层领域洞见,存在新颖性误判和过早陷入局部调优等限制。
推荐理由:论文通过 20 个科学机器学习基准揭示了前沿智能体主要依赖工程技巧而非科学洞见,并给出了通过插件技能翻倍性能的方法。
Lean Finder V2 是一种针对 Mathlib 的语义搜索框架,通过对抗训练与查询重写消除简短、模糊查询的歧义。在人工整理的 MathlibQR 基准上,该框架刷新 SOTA,较此前最优语义搜索引擎取得至少 11% 的相对提升。它在人类与编码智能体未标注查询测试中被评为最强系统,集成至 Claude Code 后提升了定理证明成功率。
研究人员提出纯测试期的随机重新掩码去噪(R²D)推理方法与轨迹校正训练(TCT),通过随机重新引入掩码来修正掩码扩散模型解码过程中的不可逆错误。该方法在逻辑任务上呈现接近对数线性的测试期扩展能力,在困难数独和 3-SAT 上分别取得超 97% 和超 99% 的准确率。在语言任务评测中,该方案在 HumanEval+ 上超越了迭代校正基准及 LLaDA2.1-mini 的官方 Q-mode 准确率。
GAV 是一个面向 PDE 智能体的科学实验环境,利用制造解方法反向构造新偏微分方程问题,实现无需单独求解即可直接验证。系统包含生成器、智能体与验证器,可依据精度与计算成本反馈迭代优化程序,并针对弱点生成测试。在数值 Navier-Stokes 任务中,GAV 将 3 个现有 PDE 智能体的平均测试误差降低了一个数量级以上,代码已开源。
SWE-Verifier 是基于 Qwen3.5-4B 训练的轻量生成模型,通过对候选动作打分来选择性触发采样、验证与重排,大幅降低代码智能体的无效开销。
一项针对 GPT-5.5 的探索性研究测试了 9 种风格的提示词,发现没有任何单一提示词在竞赛编程中表现最佳,最优选择取决于任务类型以及采用平均值还是中位数评估。研究涵盖 3 项国际信息学奥林匹克(IOI)准确率任务和 2 项 NP-hard 运行速度任务,指出均值差异多由少数离群运行导致。与人类 IOI 参赛者相比,GPT-5.5 在一项任务中超过平均选手,但另两项表现落后。
研究人员提出模拟器 SimHack,利用少量小规模参考 RL 运行学习训练动态,可在训练前预测奖励欺骗的爆发步数分布。在未见目标配方中,其预测爆发中位数的相对误差仅 11.3%,跨配方排序相关性达 0.85,并泛化至不同模型规模与学习率。通过筛选 RL 课程,它成功找到了使无欺骗训练时长延长 96.6% 的方案。
研究者提出进化编码框架 ExpEvolve,通过从程序中提取解释评分差异的高层“想法因子”,将概念层级的控制引入演化过程,以指导经验利用并在陷入瓶颈时引导探索。在 11 项开放式数学任务中,该方法显著提升了最终性能,并将样本效率最高提升至 5.0x。相关收益还成功迁移至另外 4 个 LLM 以及 MLS-Bench 的 6 项机器学习任务上。
新研究对 5 个量子代码生成测试集及自建的 QBE 基准展开审计,揭示现有大语言模型量子评测存在严重的评估器设计偏差与测试缺陷。仅改变评估器规则,GPT-6 Astra 在模型输出完全一致的前提下,QBE pass@1 便从 0% 骤增至 94.1%,同时 QuanBench-117 等基准被证实存在测试泄漏与未执行用例。研究团队已开源评测框架与审计产物。
Anthropic 开放基于 Claude Opus 5.5 的主动式 Agent 应用 Claude Duet 研究预览,面向美国 Pro 和 Max 订阅用户分批提供,可主动汇总提醒并在云端虚拟机执行任务。
Cloudflare 采用 OpenAI Daybreak 调查安全漏洞并提出修复方案以供审查。同时,其开发者正使用 Codex 加快构建速度并提升代码质量。
研究人员提出基于外部知识引导的华为昇腾 NPU 算子内核生成框架 ASCENDEVOLVE,通过索引平台文档、工具包头文件与算子库构建的知识库,为演化搜索的实现、修复和重组阶段提供任务特定的切片证据。
研究团队推出 MemDev-Bench 基准,构建了覆盖 555 个基础任务与 4,869 个关联历史任务的可执行评测环境,系统评估记忆系统对代码智能体的实际影响。评测发现记忆机制虽能改善细粒度代码定位与编辑,但也容易因智能体未重新评估经验适用性而引发错误;相比高度压缩的记忆系统,直接提供原始历史轨迹反而能借助完整过程信息大幅减少智能体的操作步骤。
研究人员提出 Ask-to-Distill 框架,无需参考答案或正确性奖励,通过冻结的学生与教师模型计算分布代理奖励,学习合成用于同策略知识蒸馏(OPD)的高价值问题。该方法在数学推理、代码生成和智能体任务中提升了平均表现与教师差距恢复率,匹配或超越了真实题库的 OPD 效果,相关代码、数据和模型已公开。
研究者提出面向编程 Agent 的可复用经验记忆框架 REM,从 Agent 的思考-行动循环内部管理记忆生命周期。该框架将完成的轨迹压缩两个数量级存为分阶段文档,按需在任务启动或 Agent 受困时分级召回,并在单次曝光后逐出高成本记录。
研究人员提出无监督工具演化框架 TEAL,能在无标注数据下为数据湖分析编程 Agent 自动构建并优化工具库与使用技能。在 KramaBench 和 LakeQA 基准测试中,TEAL 在严格步数限制下全面提升了 4 种 Worker LLM 的表现,使 Sonnet-5 在 15 步限制下的得分分别提升 9.3 分与 21.7 分。此外,基于合成问题生成的工具库表现与真实问题相当。
研究人员提出基于执行驱动交叉验证的协作测试时扩展框架 TEX,用于提升语言模型在长程任务中的测试用例生成能力。该框架并行化智能体生成测试与补丁,通过交叉执行构建 K×K 反馈矩阵指导智能体优化方案。在 SWT-Bench Verified 上,TEX 取得 86.4% 的 SOTA 成绩,相比单智能体基线提升 9.0%,且随机选择输出达 84.4% 同样超越此前 84.0% 的 SOTA。
研究人员提出 PORA(配对结果引导推理分配)方法,让 LLM 智能体在多步任务中根据剩余预算动态决定每次操作采用短推理还是长推理。在 BFCL memory 基准上,该方法超出最强现有基线 17.4-32.9 个百分点。在代码和数学任务中,PORA 达到或超过了全程使用长推理的效果,同时分别减少了 50.6% 的 actor token 和 31.2% 的模型请求。
研究人员推出基于 Lean 4 的基准评测 ReuF2F,包含来自本科生科研项目(REU)的 244 个形式化开放数学问题。评测采用标准代码智能体环境,将每个问题及其逻辑否定置于 Docker 容器内的 Lean 项目中,并基于 mini-SWE-agent 构建了统一测试框架 Leanimum-agent。
研究者提出一种用于 Lean 4 的在线步级修复模块,通过将编译器报错反馈给预训练修复模型来就地修正失败策略,而非直接丢弃。在包含 1,990 个定理的 LeanDojo 子集上,该方法相比纯采样基线实现最高 32% 的相对提升并多证明 82 个定理,且首次修复尝试即贡献了 84–96% 的总收益。该方法在 Lean Workbook 基准上同样成功复现,使求解率接近翻倍且零回归。
研究人员提出一种面向 LLM 电路生成的训练方法,通过优化 PPA 目标空间中整个电路集的质量与多样性,实现帕累托最优的 RTL 代码生成。该方案采用序列化电路生成的训练流程,并引入基于超体积贡献(HVC)的奖励函数衡量电路对帕累托前沿的贡献。
GitHub 专访了三位拥有十多年经验的 Java Champion,分享在生产与开源项目中深度使用 GitHub Copilot 的工程实践。
OpenAI 正在提升 ChatGPT 在低资源编程语言上的代码能力。官方为此推出了针对软件工程、SQLite 以及 COBOL 迁移的全新评测。
GitHub 官方介绍了在 VS Code 中无缝接续 GitHub Copilot 应用程序会话的具体工作流。用户通过点击打开即可完整保留历史对话、代码 diff 以及隔离的 git worktree,无需手动重新梳理任务背景。开发者可以在本地逐行审查代码、手动修改并运行本地测试验证,最终直接把更新推送至会话关联的 PR 分支中。
Cloudflare 分享了其内部 AI 代码审查系统的推理优化实践,通过重构提示词前缀缓存与调整模型配置,将单次审查成本从 2.43 美元降至 0.77 美元,审查耗时中位数从 4 分 09 秒压缩至 1 分 32 秒。
推荐理由:详细复盘了代码审查智能体的推理降本路径,提供了跨仓库共享提示词前缀缓存与压缩交互轮次的具体工程参考。
研究团队推出基于工件落地智能体强化学习的前端开发 AI 智能体 WebCoder,通过 Webdev-World 执行环境与工件进度驱动的奖励重分配机制支持长轨迹训练。
研究人员分析了 20 个真实 C 项目转为 Rust 后的性能退化,发现转译后的 Rust 在部分操作中比原 C 代码慢达 62.2%,并归纳出 9 类主要性能问题。团队提出基于 LLM 的性能恢复方法,结合热点分析与可复用优化规则进行上下文重写验证。在 12 个保留项目的 41 项操作测试中,该方法成功为 40 项操作加速,其中 18 项运行速度超越原始 C 代码。
最新论文研究了编码智能体执行防护机制中的提权漏洞,发现代码库中的恶意上下文可诱导智能体向用户索取过宽的白名单权限。在 Claude Code 与 Codex CLI 等平台的实测中,智能体诱导生成目标规则的成功率达 58%,并在规则获批后实现了 81.0% 的静默攻击完成率,直接穿透了人工审批的安全防线。
推荐理由:论文揭示了编码智能体白名单权限机制的安全漏洞,为评估沙箱防护和人机协同审批边界提供了实测数据。
代码评测基准若将真值信息引入任务描述容易引发过度指定,导致模型绕过原本待测的核心步骤。研究表明 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 均存在此类真值泄露问题。团队通过不同规格级别的实验提出了提取简约提示的方案,并开源相关代码与提示以提供更可靠的评测信号。
研究人员在 Lean 定理证明中测试了 Qwen3.6-27B 与 DeepSeek-Prover-V2-7B,发现让模型看到上一轮失败证明会降低成功率并加剧抄袭,而编译器错误诊断仅能部分弥补该损失。在 MiniF2F 困难问题及多达 64 次尝试的序列实验中,任何单步反馈条件在相同 token 预算下均未超越仅靠指令的独立重采样。验证器反馈虽能改善修复,但无法克服因参考失败尝试带来的性能损耗。
研究人员提出规约修复框架 DRAGO,通过确定性、特定形式体系的诊断与无参考接受谓词来纠正 LLM 生成的语义错误形式化规约。在涵盖 SMT-LIB2、MiniZinc 和 PDDL 的五个基准测试中,DRAGO 将回归率从纯 LLM 诊断的 11.8% 降至 1.3%,平均答案准确率比零样本形式化提升 12.9 个百分点、比 LLM 诊断修复提升 8.7 个百分点。
研究人员提出 Lean4AgenticRL 框架,将多级过程奖励整合至 Lean4 形式化机制中,配合工作流阶段归一化的 GRPO 算法提升智能体强化学习效果。
Benefit Street Partners 的 Anant Kumar 正在构建用于比较贷款估值和分析信贷协议的工具,并借助 Codex 进行代码审查与更快速的跟进。通过引入 Codex 辅助开发流程,该机构得以加速回答相关业务问题。
Stack Overflow for Agents 借助其 ChatGPT 插件将注册量提升至三倍,并推动 AI 智能体创建量实现最高 10 倍增长。该产品由两位工程师借助 Codex 在数周内开发上线。
Reflection AI 推出用于智能体编码的开源权重模型 Beam,具备 501B 总参数和 23B 激活参数,支持 100 万 token 上下文。该稀疏 MoE 模型权重在 Hugging Face 基于 Apache 2.0 协议开源,提供 BF16、FP8 和 NVFP4 版本。
推荐理由:原文给出了超大参数 MoE 编码模型的规格细节与分层部署路径,便于开发者评估大模型落地成本。
研究者提出了 Mallea 系统,可通过文本构建、操控并记忆由代码世界模型驱动的世界。系统由编程智能体根据提示词联合规划物体结构、属性与可执行规则,支持用户操作实时干预或通过文本请求修改属性与扩展能力,并保持未受影响的状态不变。物体纹理记忆会保留并调整白盒定义物体的外观,配合生成式渲染器将当前结构与记忆外观融合生成后续观察。
研究人员提出自主系统 AutoOnboarder,通过智能代码 Agent 监督并迭代调整基础模型、提示词及 harness 源码,解决 Agentic LLM 接入 harness 时的推理能力损失问题。
研究发现在 Verus/Rust 形式化验证任务中,传统的正确性反馈会抑制用于揭示规范不完备的反例程序。在 12 项任务与 4 个模型家族的测试中,无反馈的独立发现将认证反例生成率从 IntentShield 反馈循环的 27.1% 提升至 59.0% 以上。保留这些反例进行阶段分离式修复后,规范实现成功率达 81.3%,显著优于对比方案。