TSFLab:面向时间序列预测研究的自改进智能体无关工作台
TSFLab 是一个面向时间序列预测(TSF)研究的自改进且智能体无关工作台,通过共享资源与工具辅助编码智能体完成复现、基准测试及新方法开发。实验显示,TSFLab 在复现与基准测试中将任务完成度提升 20-163% 且单任务 fresh tokens 减少 11-66%,并在新方法开发中减少了 32.8-73.6% 的 fresh tokens 与 9.2-68.8% 的开发时间。
TSFLab 是一个面向时间序列预测(TSF)研究的自改进且智能体无关工作台,通过共享资源与工具辅助编码智能体完成复现、基准测试及新方法开发。实验显示,TSFLab 在复现与基准测试中将任务完成度提升 20-163% 且单任务 fresh tokens 减少 11-66%,并在新方法开发中减少了 32.8-73.6% 的 fresh tokens 与 9.2-68.8% 的开发时间。
研究提出世界奖励模型(WRM),让 ML 智能体直接比选更优候选程序,避免了预测中间执行结果引入的累积误差。基于该方法构建的 9B 模型 ForeCritic 在 26 个 ML 任务的 12,438 个测试对中选优准确率达 79.4%,显著优于通用 LLM 裁判的 53%–62%。
研究人员推出评测基准 DecompGym,用于评估 LLM Agent 设计与实现 Benders 分解和列生成两类优化算法的能力。该基准包含 9 个问题族的 81 个实例,针对 12 款 GPT、Claude 和 Gemini 模型展开测试,要求在 60 秒限时与 1% 目标值误差内通过代码方法审查。测试显示首轮有 2 款模型解出全部实例,引入错误诊断的反思机制可将重试成功率提升至 66%。
一项针对智能体智能合约合成的新研究设计了基于交易重放执行的评估方法,发现常规 AI 裁判与分析工具会漏检明显的逻辑错误。研究据此提出需求引出优先(elicitation-first)架构,证实写代码前向用户主动提问澄清的效果远优于事后审查或打补丁。团队已开源相关评测工具、600 个任务及全部评测结果。
研究人员构建了一种多智能体优化循环,并在 FuriosaAI RNGD NPU 上历时 12 天优化了 Gemma-4-12B 的三个解码算子。该循环通过自主建立 Rust DSL 文档知识、运行微基准测试与编译器合法性检查,结合设计树搜索探索算子实现。最终内核相比官方 baseline 取得 9.293x 几何平均加速比,相关提示词与测试工具均已开源。
针对 AI 辅助量子开源软件开发面临的验证难题与审查负担,一项新研究将可验证性列为核心要求。通过分析 5 届量子开源黑客松涉及的 110 个代码仓库及逾 1600 名参与者的调查,作者提出了要求提供可复现证据的验证规范与贡献标准。团队同时维护了一个开源配套仓库,以帮助开源项目采纳相关提议并支持成果复现。
微软研究院发布 Focus 第 97 期,公布了 ForkPilot、CABRA 等多项前沿 AI 智能体研究成果。自改进框架 ForkPilot 在 6 项 benchmark 评测中匹敌现有最佳方法,并降低最高达 59% 的处理计算需求。研究还通过 CABRA 发现理解代码是编码智能体的核心瓶颈,TeleTune 支持从日志学习技能,蛋白质模型 BioEmu2 则开启公开预览。
一项基于千问(Qwen 2.5)的研究探讨了预训练容量对因果学习的影响,发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一,但显著改善了生成表现。经反事实后训练等完整流程后,CodeGen pass@1 从 0.267 提升至 0.575,干预效果分数由 0.231 升至 0.515。此外,0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。
研究人员提出多智能体框架 Evolving Agent Teams,通过中央监督者诊断局部最优并动态重组智能体团队,结合持久化文件系统积累的演化经验突破复杂工程瓶颈。
推荐理由:论文针对编程智能体容易陷入局部最优的痛点,提出了通过中央监督者动态重组团队并积累持久经验的通用协作范式。
研究提出以群体为中心的智能体进化方法 PCE,提炼群体任务记录与修改历史来指导智能体自我改进。在相同设置下,PCE 在 SWE-bench Verified 和 Polyglot 上分别取得 72.1% 与 96.7% 的成功率,较强基线提升 3.2 和 5.9 个百分点。该方法将 SWE-bench 上群体覆盖度与最佳单体表现的差距缩减三分之一,并在 Polyglot 上完全抹平差距。
针对 LLM 服务中 GPU kernel 缺乏批次不变性(BI)影响复现性的问题,研究人员提出一种面向智能体 kernel 生成的 BI 强化插件。该工具结合静态依赖分析与动态逐位一致性验证,作为优化循环的准入门控拦截风险候选。跨 3 个智能体框架的实验表明,BI 通过率从 67.6% 提升至 91.9%,并保留了基线 91.8% 的几何平均加速比。
研究团队推出面向 AI 基础设施开发的评测基准 InfraDev,涵盖基于 Megatron-LM、vLLM 和 verl 真实 PR 构建的 36 项多 GPU 跨文件任务。
研究者通过运行原始代码的“可执行考古”方法,成功复现了赫伯特·西蒙的 Heuristic Compiler(1961)和 MIT 的编程助手原型 KBEmacs(1984)。
新基准 RefactorProof 从 185 个 VERINA 任务派生 458 个 Lean 认证变体,测试 LLM 生成证明在程序重构下的稳定性。
研究人员提出 Skill Dreaming 框架,通过从已验证的 Pull Request(PR)流中提取可执行知识,构建并持续演化代码仓库专属技能库。该技能库可指导代码智能体在实现功能的同时,协同维护相关测试、文档、兼容性及仓库规范。通过整合 PR 分析、技能管理、代码执行与持续集成,系统实现了技能演进与代码维护的端到端闭环。
研究者提出 SWE-Ladder,通过将软件修复过程分解为定位、复现与修复的阶段性特权自蒸馏,并结合 GRPO 优化端到端轨迹。在 SWE-bench Verified 基准上基于 Qwen3-4B-Instruct-2507 评测,R2E-Gym 脚手架下的 pass@1 从 9.6% 提升至 16.4%,优于纯 GRPO 的 10.4% 和全补丁 OPSD 的 12.4%。
研究者提出免训练的角色感知量化方法 RAQ-MLA,专为大模型的多头潜在注意力(MLA)Cache 设计。该方法针对 latent 和位置 key 对注意力输出的不同误差影响分别拟合可逆变换,将完整 MLA Cache 量化至每个元素约 2.5 bits。在无需训练的情况下,其理论 KV cache 容量提升 6.5x,并在 4 个 MLA 模型的推理与代码任务上保持几乎无损。
AdaPRA 是一种面向数据科学的持久化编程智能体框架,通过自适应评价准则进行过程监督,能在多次尝试中积累知识并识别纠正错误。在每项任务尝试 5 次的设置下,AdaPRA 使 80B Qwen 模型在 DSPredict-Easy 和 DSPredict-Hard 的排行榜百分位分别提升 24.5 和 14.8 点。
新评测基准 AOS-Bench 旨在评估 LLM 智能体在共享 CPU 和内存限制下调度动态任务流的能力。在 5 组模型与框架测试中,重负载导致系统成功率普遍下降 13 至 23 个点,串行调度会遗漏 73% 的重负载任务。研究同时发现,固定并发度为 2 的策略与最优智能体调度差距在 4 个点以内,且任务等待时 CPU 利用率中位数均低于 30%。
CuraLoc 提出在源码检索前进行单次规划式代码检查,以此取代传统迭代式仓库级故障定位。在 SWE-bench Verified 上搭配 GPT-5.2 时,CuraLoc 将 Func@1 准确率提升至 59.3% 且减少 90.3% 的记录 token 消耗,优于 LocAgent。
一项针对长程编码智能体上下文压缩的研究指出,现有基准测试由于目标固定且进度保存在磁盘上,对信息压缩出奇宽容,但该过程会静默丢弃大量关键任务约束。研究基于 OpenCode 框架测试了五种压缩策略与三款前沿模型,发现没有任何压缩方法优于默认的自我总结,且过度丢弃内容的策略会导致部分模型性能大幅下滑 20 分。
推荐理由:这项研究揭示了现有长程基准测试对上下文压缩的宽容假象,为设计能够保留负向约束的智能体架构提供了关键实证依据。
研究人员提出自动化管线 Poseidon,可从科学代码库大规模生成可验证的训练环境,提取数量比前序方法多近 10 倍。利用 Poseidon 构建的 Pearl 包含跨 10 个学科、7,110 个公开代码库的 97,659 个可执行环境。经 Pearl 训练的 Qwen3.5 模型(9B、27B 和 35B-A3B)在 6 个科学智能体 benchmark 上均取得持续提升。
面向生成式推荐的多智能体代码进化框架 TGR-EvoDAG 将代码演化建模为有向无环图(DAG),以维护多分支演化并融合互补创新。该框架引入阶段感知成本规划以优化 GPU-hour 预算,在 Amazon 数据集上将离线指标最高提升 37.4%。在腾讯商业媒体平台部署中,它实现离线 Hit@1 相对提升 12.16%,线上点击率(CTR)提升 0.40%。
研究团队推出 SWE-Shift 基准,用于评估编码智能体在执行任务过程中应对代码、依赖、状态及需求等动态变化的能力。该基准包含 12 类变动共 120 个场景并在 9 个干预点进行测试,评估的 17 个智能体在环境变动后的成功率均出现下降,其中 GPT-6 Astra 成功率从 67.35% 跌至 24.79%。测试还发现,工具或会话变动以及陈旧证据会导致所有受测系统的配对成功率归零。
推荐理由:该研究揭示了编码智能体在开发环境动态变化时难以保留工作成果与刷新状态,为动态协作场景提供了评测基准。
研究者提出插件框架 DELA,配合冻结的扩散语言模型(DLM)以及 Insert、Delete、Remask 和 Stop 四种显式编辑操作实现可控草稿细化。该方法采用两阶段解码,先通过快速仅追加草拟支持 KV cache 复用,再进行全篇全局细化。在数学推理与代码生成任务中,DELA 在保持主干模型冻结时比直接扩散解码最高提升 5.5 个百分点。
研究团队提出 TACS-RF 框架,由基于 Claude Opus 4.8 的编程智能体直接驱动 Cadence 与 Ansys 等工业级 EDA 工具完成射频和毫米波模块设计。
POETS 提出了一种计算高效的策略集成 LLM 优化框架,通过共享预训练主干与独立 LoRA 分支直接捕捉认知不确定性,省去了繁琐的奖励模型训练流程。该框架在理论上近似累积遗憾界为 $O(\sqrt{T \gamma_T})$ 的 Thompson 采样,并在蛋白质搜索、分子设计及代码生成等强化学习任务中取得了 SOTA 样本效率。
Liu 与 Han 的最新研究表明,为编码智能体配备复杂的运行框架会大幅增加推理成本,但在基准测试中并未带来显著的性能提升。在 SWE-bench Verified 评测中,配置庞大系统提示词的 Claude Code 与仅包含基础 Bash 工具的 mini-SWE-agent 成绩差异在 2 个百分点以内,完全处于单次运行的测量噪声区间。
UserSWE 评测基准正式提出,通过基于 20,859 次开发会话校准的动态用户与逐轮代码执行裁决,评测代码智能体在多轮交互中修复仓库级 Bug 的能力。在涵盖 42 个仓库的 72 项任务评测中,11 个智能体的表现随交互预算变化:Claude Fable 5.1 单轮解决最多任务,Claude Opus 5 在多数中间预算领先,GPT-6-Astra 则在第 8 轮胜出。
TraceForge 提出了一种以学生模型自身风格生成推理过程(reasoning trace)的知识蒸馏方法,解决前沿模型隐藏推理链的问题。该方法通过监督与对抗两阶段训练,生成 trace 的真实度评分达 0.68(经 critic 筛选达 0.82),优于真实 trace 的 0.66。
针对自我改写支架的代码智能体,新方法提出在代码编辑实际运行前结合差异特征进行线性评分,以实现低预算的递归自我改进搜索。在留出的 HumanEval+ 测试中,GPT-4o 藉此取得 87.0% 的解决率,优于 Huxley-Gödel Machine 算法的 85.1% 及初始支架的 81.2%。采用 Claude Sonnet 4.5 时该得分达 86.6%,同样超越消融对照组的 85.3%。
研究团队提出 AutoFraming,通过分析代码属性图(CPG)提取信息,引导 LLM 从 C 代码中合成包含区域隔离与数据依赖的 ACSL 框架规范。在包含 84 个真实系统函数的基准测试中,该方法无错规范合成成功率达 92.9%,较现有 SOTA 相对提升 179%,在另一 51 个函数基准上成功率达 96.1%。集成到现有合成框架时,性能最高提升 61.9%。
研究人员推出首个用于端到端评测 XR 软件开发代码智能体的基准 GenXR-Bench。该基准包含 112 个专家编写的任务,涵盖 24 项功能实现、21 个缺陷修复和 67 项应用生成任务,其测试套件在消费级 XR 硬件上的盲测专家判定中达到 96.5% 的准确率。在 10 个模型的评测中,最强配置的整体 Pass@1 仅为 50.9%,暴露了智能体在传感器生命周期与空间交互语义上的不足。
研究团队提出了评估代码智能体备份意识的基准 RegretBench 与自动化备份层 BackUpper,用于解决智能体在修改环境状态时缺乏事前保存机制的问题。评测显示六款前沿模型平均任务完成率达 86.1%,但在产生破坏性修改前的备份率仅为 15.2%。
研究团队推出长周期测试基准 Agent4Sci,跨越 11 个领域的 20 个基准测试,评估前沿智能体提升科学机器学习最佳模型的能力。实验显示前沿智能体能在所有基准上取得进展,Claude Opus 达到 10.4% 的平均相对提升,但收益几乎完全来自机器学习工程技巧而非深层领域洞见,存在新颖性误判和过早陷入局部调优等限制。
推荐理由:论文通过 20 个科学机器学习基准揭示了前沿智能体主要依赖工程技巧而非科学洞见,并给出了通过插件技能翻倍性能的方法。
Anthropic 联合 Theorem 利用 Claude 实现了软件形式化验证的自动化生成,在数周内针对 123 个开源软件库生成约 1.8 亿行数学证明代码。证明由独立程序 Rocq 自动校验且近乎无需人工干预,并在排查过程中发现了大量传统测试遗漏的隐蔽漏洞并完成修复。该技术目前受限于单线程与特定架构环境,算力消耗极高,团队计划未来将其拓展至 OpenSSL 和 glibc 等基础库。
Lean Finder V2 是一种针对 Mathlib 的语义搜索框架,通过对抗训练与查询重写消除简短、模糊查询的歧义。在人工整理的 MathlibQR 基准上,该框架刷新 SOTA,较此前最优语义搜索引擎取得至少 11% 的相对提升。它在人类与编码智能体未标注查询测试中被评为最强系统,集成至 Claude Code 后提升了定理证明成功率。
研究人员提出纯测试期的随机重新掩码去噪(R²D)推理方法与轨迹校正训练(TCT),通过随机重新引入掩码来修正掩码扩散模型解码过程中的不可逆错误。该方法在逻辑任务上呈现接近对数线性的测试期扩展能力,在困难数独和 3-SAT 上分别取得超 97% 和超 99% 的准确率。在语言任务评测中,该方案在 HumanEval+ 上超越了迭代校正基准及 LLaDA2.1-mini 的官方 Q-mode 准确率。
GAV 是一个面向 PDE 智能体的科学实验环境,利用制造解方法反向构造新偏微分方程问题,实现无需单独求解即可直接验证。系统包含生成器、智能体与验证器,可依据精度与计算成本反馈迭代优化程序,并针对弱点生成测试。在数值 Navier-Stokes 任务中,GAV 将 3 个现有 PDE 智能体的平均测试误差降低了一个数量级以上,代码已开源。
SWE-Verifier 是基于 Qwen3.5-4B 训练的轻量生成模型,通过对候选动作打分来选择性触发采样、验证与重排,大幅降低代码智能体的无效开销。