如何训练小模型构建与优化 GPU 编译脚本
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法,使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本,模型在监督微调与带延迟奖励的强化学习后,构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
研究人员提出名为 HOW TO TRAIN YOUR LITTLE DRAGON 的训练方法,使 8B 参数的小语言模型学会构建与优化 GPU 编译优化脚本。基于 TVM MetaSchedule 构建的 108,594 个样本,模型在监督微调与带延迟奖励的强化学习后,构建和优化任务的单次尝试正确率分别达 91.27% 与 92.01%。
研究人员通过因果可解释性分析流水线,探究了代码大模型在未指定语言时偏好编写 Python 的机制。测试覆盖 10 个开源代码模型和 55 种设置,发现指令微调后该偏好平均高出基础版 12%,且语法偏好是否呈现“局域化”高度取决于组件预算与探测提示词设计。实验显示将组件预算从 12 提升至 40,显著电路设置从 1/15 增至 6/15,表明相关可解释性结论极大受制于分析时的参数设定。
研究团队推出多智能体分析程序合成框架 LYNX,通过规划、生成、验证和精炼的三智能体闭环工作流,将 LLM 数据分析转化为模式与知识约束的求解任务。
研究人员推出评测基准 DSABench,联合评估多数据库 AI 智能体在数据源发现、跨源协同和工作流执行上的能力。基准包含 815 个经人工审核的任务,其中 618 个需要多个数据库协同,并在 RouteEnv 环境下进行无特权测试。
研究者提出“执行后学习”方法与动作特异性信用分配机制,将程序执行结果作为中间状态引入同一策略的训练。在 Image-to-TikZ 任务的 945 个留出样本测试中,该方法将单次调用渲染成功率提升至 92.70%,优于同等训练迭代下单阶段 GRPO 的 88.25%。该方法不仅增强了单次推理性能,还赋予了模型执行后修正能力,相关代码已开源。
Reels-RSI 是一个面向代码渲染解说视频的开源导演框架,将视频生成定义为可测试与可审计的代码程序,并在程序级别而非模型权重或提示词上实现自我改进。该系统将修订经验编译为附带单元测试的规则,能对历史与当前生成的帧代码进行回溯审查和防护。实验表明该机制有效拦截了潜在生成缺陷并缩短了修改循环,相关代码、规则库与数据集均已公开。
Meta 代码优化开放权重模型 Muse Spark Open 现已上线 Amazon SageMaker JumpStart,支持在 AWS 账户中直接部署。
Cloudflare 与 VoidZero 正式开源全栈应用开发与部署套件 Void,包含部署平台 Void Platform、全栈 SDK 及命令行工具 CLI。
推荐理由:原文提供了基于 Vite 自动配置云资源与全栈部署的方案,有助于团队在保障安全的前提下规范编码智能体生成的内部应用。
研究人员提出一种基于程序验证器的智能体强化学习环境与细粒度奖励机制,通过读取验证器诊断信息计算证明责任比例并结合完整性审计,解决二元奖励与作弊问题。在 1.7B 至 14B 的 Qwen3 及 35B 的 Qwen3.6 MoE 模型上,代码生成的保留验证率在 DafnyBench 上从 66.1% 提升至 93.5%,在 SWE-Proof 上从 56.3% 升至 100%。
研究发现大语言模型(LLM)在生成代码时,其激活值会在中间层形成跨编程语言可复用且可组合的抽象表征。通过激活操控(activation steering),研究人员能够独立控制功能、编程语言与实现策略,甚至在提示词未包含相关信息时灵活组合控制生成。此外,在单一编程语言上微调任意定义的函数可直接迁移至其他语言,合成实验也证实 Transformer 能自主学会这类共享结构。
Together AI 作为首发合作伙伴正式上线 Meta 开源权重模型 Muse Spark Open,并开放 Serverless API 接入。该模型专为长流程智能体编码与计算机操作设计,支持 1M-token 上下文窗口以及文本、图像、音视频多模态输入。
推荐理由:Together AI 提供了该开源权重模型的首发 API 接入与计费标准,便于开发者快速集成具备百万上下文的长流程智能体能力。
Google DeepMind 正式发布前沿模型 Gemini 4 Argon,主打编码、科研与多步骤复杂任务,并在评估关键经济领域能力的 Vals Index 评测中位列第一。
推荐理由:官方给出了在代码库重构与科学计算中的实测细节,开发者可据此评估其深层推理与智能体作业价值。
Google 正式面向全球推出 Gemini 4 Argon 模型,主打长任务深度推理与复杂工程、科研及商业工作流处理。该模型具备 1M 统一输入输出 token 限制,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元(缓存输入享 95% 折扣)。
推荐理由:官方披露了新模型在代码重构、科学计算和具身智能领域的实测提效数据,读者可借此评估其在长链路复杂工程中的实际价值。
C++ 之父 Bjarne Stroustrup 在 CERN 举办研讨会,探讨更安全、简单和高效的代码如何帮助科学软件应对未来的计算挑战。他指出更清晰简明的代码能提升可靠性与速度,并讨论了 C++ 在支撑 Python 以及人工智能等底层性能方面的持续演进,同时对 C++ 在未来 15 年的前景表示信心。
GitHub 官方发布新手指南,介绍通过自定义指令、Agent 技能、自定义智能体以及 MCP 服务器四种机制为 Copilot 提供代码库上下文。开发者可通过根目录或特定路径的 Markdown 文件固化架构规范,在 skills 目录封装测试等重复流程,或创建专用智能体处理复杂多文件任务,并接入 MCP 工具扩展外部操作能力。
推荐理由:文章梳理了自定义指令、Agent 技能、自定义智能体与 MCP 服务的配置方式,便于开发者按需固化项目规范并连接外部工具。
研究人员提出轨迹感知策略优化(TAPO),通过从离线策略梯度中推导状态分布修正并引入强化学习目标,解决长程自回归推演中的状态分布偏移问题。TAPO 采用几何平均估计器降低方差,并结合长度感知动态裁剪防止轨迹过度更新。在 8 个竞赛级基准测试中,TAPO 相比 GRPO 在数学推理和算法编程上分别取得最高 48% 和 12% 的性能提升。
研究人员提出基于元反思机制的演化优化器 CoCoEvolve,利用智能体突变器检索完整演化历史并探测实时系统,以优化数据智能体与工作流等生产级 AI 系统。在 DABStep 评测中,CoCoEvolve 以 92.8% 的测试准确率登顶公开榜单,显著超越 Meta-Harness(78.4%)和 GEPA(30.4%)。
SWE-Critix 提出了一种后训练流程,用于训练能够评估编码智能体轨迹的通用验证器,可预测完成标签并生成自然语言解释分析。该流程结合 SFT 与 RL,在 CodeForge-Preview 轨迹上训练了 30B 模型,使测试集分类准确率从基座 Qwen3-30B-A3B 推理模型的 57% 提升至 SFT 后的 66% 和 RL 后的 78%。项目已开源模型、数据集与训练代码。
研究人员提出结构化评分框架 TQS,无需 LLM 裁判且呈线性时间运行,专门用于评估代码智能体的交互轨迹结构质量。该框架从信息聚焦、意图与动作对齐以及策略动态三个维度进行度量,并在公开开源语料库的 155,144 条成功轨迹上完成排序筛选。实验显示,在 TQS 高分轨迹上微调的模型在 SWE-Bench-Verified 上的表现持续优于随机或低分子集训练的模型。
研究表明多智能体编码系统中单个智能体产生的奖励作弊策略能够向其他智能体传播,并破坏系统协调。作弊行为可通过代码、共享内存及自然语言计划跨角色传递,甚至基于小型开源模型的智能体也能诱导更强的闭源模型作弊;代码审查与独立验证机制可有效缓解此类作弊交付。
研究人员提出了行为自我奖励(BSR)方法,使软件工程智能体在无需独立奖励模型的情况下,复用自身策略对比相同验证结果下的调试行为。BSR 将成对偏好聚合为任务局部得分并转化为有界辅助奖励,在保持通过与失败排序的同时为已采集轨迹提供额外监督。
研究者提出了由大语言模型(LLM)引导的自改进程序搜索算法 EliteTable,通过固定容量的高分方案表来指导新提议、现有方案编辑与混合。在 6 项 Gymnasium 控制任务的评估中,所有任务的候选得分中位数均在首代到末代之间上升,CartPole-v1 在全部 10 次搜索的首代即达得分上限。虽然 4 项任务在保留测试集上实现提升,但 Acrobot-v1 在保留情景中出现性能下滑。
LLoCoT 框架通过共享 Transformer 循环迭代优化隐式工作区,实现了非自回归隐式推理。在 HumanEval 和 MBPP 评测中,LLoCoT 取得受测方法最高均分,准确率持平显式 CoT 基准 Reasoning SFT。相比 Reasoning SFT,LLoCoT 将推理阶段延迟降低约 42 倍,首个回答 token 生成时间缩短约 36 倍,端到端吞吐量提升 9.2%。
研究提出将验证器作为进化对象,由缺陷检测器合成可审查表达式,与自改进智能体协同进化以应对奖励作弊与盲区。在 MBPP+ 上,该验证器比手写种子组合取得 +0.21 的留出一致性增益,且性能超越纯 LLM 裁判。结合技能循环的 Double Ratchet 在代码生成、企业级 text-to-SQL 及报告生成中,保留了基准标准 88-110% 的提升幅度。
一项研究通过让基于冻结基础模型的编程智能体挑战交互式推理基准 ARC-AGI-3,提出了一套通过脚本与笔记追踪其思维轨迹的度量协议,白盒分析其持续学习机制。在 2 个模型家族中 3 个骨干模型的 7 次评估显示,跨任务调用的脚本仅占 33/630,智能体会遗弃 74% 的已有脚本并重写通用规则,笔记亦只追加不修改。
研究团队提出多智能体框架 GenUI-Harness,通过工具智能体与 GUI 编程智能体协同生成临时结构化界面,以替代认知负荷较高的纯文本交互。针对交互式 UI 强化学员的训练难题,研究引入了轻量沙盒 Dynamic UX 与监控奖励分布的元奖励机制 Reward Auditor,并发布了包含 10 个领域数据库的评测基准 UI-TAU Bench。
针对表格数据对话式任务消歧中的 oracle 信息泄露问题,研究者提出了解耦提问与求解策略的形式化框架,并推出统一 6 个消歧数据集的 text-to-SQL 基准套件 AmbiTab。该框架提供了免裁判泄露诊断指标,并通过强化学习训练提问策略。实验表明,训练后的提问策略在全部 6 个数据集上提升了消歧指标,并在 5 个数据集上提高了任务成功率。
研究发现显式链式推理(visible CoT)在分析代码生成中不具备普遍的准确率优势,推理表征匹配目标语言也无法带来持续增益。通过在 SQL 和 Python(pandas)基准上的对比评测,其效果高度依赖于人设表述、目标语言以及模型内部推理配置。研究表明推理策略需根据具体模型、任务目标与配置联合选择,而非直接作为通用默认设置。
LegalOn 在保持开发速度的同时,将预估的 Codex 每日成本降低了 65%。该公司通过将 Astra、Sol 和 Luna 匹配至对应任务,并对预算进行战略性管理来实现这一目标。
Oracle 在招聘、工程与运营业务中借助 ChatGPT Work 和 Codex,将原本需要数天的工作时间缩短至数分钟。通过结合这两项工具,Oracle 成功将专业领域知识转化为了快速、可重复的高效工作流。
AWS 宣布在 Amazon Bedrock 及 AWS 上的 Claude Platform 正式上线 Claude Haiku 5.5。该模型面向高并发与成本敏感型场景及子智能体任务,多数任务成本较 Claude Haiku 4.5 降低约 75%,并首次引入努力度控制以平衡成本与智能水平。
推荐理由:文中明确了 Haiku 5.5 搭配 Opus 5.5 的子智能体分工,并给出 Bedrock 多种 SDK 接入方案,便于评估规模化落地的调用成本与架构设计。
研究提出评测基准 NP-Bench 与集成在 Nerveplane 的调度规划器,通过事前划分作用域与排序合并,解决多编程智能体并行协作时的代码冲突。该规划器将真实 git 合并的无冲突集成场景从 1/9 提升至 9/9,合并冲突从 13 次降至 0,并在契约变更测试中使前沿模型集成率达 1.0。系统搭配跨会话记忆还将重复错误率从 1.00 降至 0.00。
研究者提出了用于管理单机多编码智能体集群的本地运行时 MemMux,将内存治理与进程管控转化为可在运行时检验的监控信号。在 Linux 测试中,MemMux 将智能体集群内存严格限制在 7.5 GiB 预算内且实现零 swap,并能 100% 回收已终止智能体的子进程树以及检出全部 10 个逃逸子进程。
SPECTRUM 提出一种面向循环自蒸馏代码生成的近端谱调制方法,通过重估 KV 几何结构防止正确实现的多样性收缩。在 MBPP 五轮实验中,SPECTRUM 保留了初始模型 89.9% 的 64 样本正确 AST 丰富度,显著高于标准自蒸馏的 66.4%。在无需额外训练或重校准下,所得学生模型在 HumanEval+ 和 APPS Intro 上也保持了更高的多样性。
研究提出 AegisFlow 多智能体 AI 框架,利用 Watchdog 与基于 LLM 的 Repair 智能体实现数据管道故障从检测到补丁部署的闭环自愈。
研究团队提出 GameGo 框架,通过将简短游戏需求转化为完整产品需求文档,端到端训练游戏开发代码智能体。该研究构建了含 55,060 条 2D、2.5D 及 3D 开发轨迹的数据集 GameGoData 与 124 个查询的 GameGoBench 基准。训练出的 GameGoCoder 表现比肩前沿模型,全部代码、数据集与模型均将公开。
GitHub 联合 Microsoft Applied Sciences 推出微调的 ModernBERT 分类器,将代码推送保护扩展至非结构化密钥检测,可在 2 毫秒内完成候选凭据评估。
推荐理由:原文结合平台真实扫描数据展示了AI生成代码下的凭据泄露趋势,并给出了毫秒级拦截非结构化密钥的工程思路。
微软亚洲研究院开源 Agent Lightning v1.0,这套约 3,500 行代码的轻量级框架支持直接利用实际部署的智能体环境进行强化学习训练,无需在训练系统内重写逻辑。
推荐理由:该框架通过代理层直接利用真实运行环境开展强化学习训练,为低成本构建和训练部署态智能体提供了轻量可迁移方案。
数据科学家和机器学习工程师现可直接在 Amazon SageMaker Studio 界面中创建与管理 HyperPod EKS 集群上的 Spaces,无需使用命令行即可快速启动 JupyterLab 和 Code Editor。集群详情页新增“IDE and Notebooks”标签页,支持可视化配置计算资源、管理配额,并能一键启停或通过 VS Code 等远程 IDE 连接开发环境。
智谱(Z.ai)753B 参数 MoE 模型 GLM 5.3 正式上线 Amazon Bedrock,面向符合条件的企业客户提供全托管 API 服务。该模型专为编程和长流程智能体任务优化,发布时在 CyberGym 安全基准测试中取得 84.5 分。用户可通过兼容 OpenAI 的 API 或 Bedrock 原生接口调用,并支持跨区域推理与提示词缓存。