rl_rob:从表格方法到深度策略梯度的透明化强化学习教学 Python 库
开源 Python 库 rl_rob 专为强化学习教学设计,涵盖从表格时序差分学习、线性函数逼近到深度基于价值与策略梯度方法的完整现代课程体系。该库所有算法均基于第一性原理从零编写,将核心更新规则浓缩在数行代码内直观展示。所有智能体共享统一接口,便于学习者跨阶段直接对比,并完整追踪从时序差分误差到权重变化的全过程。
开源 Python 库 rl_rob 专为强化学习教学设计,涵盖从表格时序差分学习、线性函数逼近到深度基于价值与策略梯度方法的完整现代课程体系。该库所有算法均基于第一性原理从零编写,将核心更新规则浓缩在数行代码内直观展示。所有智能体共享统一接口,便于学习者跨阶段直接对比,并完整追踪从时序差分误差到权重变化的全过程。
开源 Python 库 rc_prediction 实现了参数感知储层计算(PARC)工作流,可通过闭环自主运行生成未观测系统参数下的动力学轨迹。该库支持储层多参数训练、参数扫描、标准回声状态网络、超参数优化及基于 PyTorch 的可选 GPU 加速。在三个基准动力系统上,其展示了仅用临界前数据预测系统崩溃与估算临界参数的能力。
独立研究者发布 Metis-1.6 技术报告,推出从零训练的 Praxis(2.94B)和 Logos(10.23B)两款混合 Mamba-2 与注意力 MoE 模型。
针对 AI 辅助量子开源软件开发面临的验证难题与审查负担,一项新研究将可验证性列为核心要求。通过分析 5 届量子开源黑客松涉及的 110 个代码仓库及逾 1600 名参与者的调查,作者提出了要求提供可复现证据的验证规范与贡献标准。团队同时维护了一个开源配套仓库,以帮助开源项目采纳相关提议并支持成果复现。
威卡移动控制发布“具身智能赋能工程机械高质量数据集”并在 Hugging Face 等平台开源上线,推动工程施工向少人化迈进。该数据集首期规模达 3600 万帧,覆盖 12 类典型作业场景,以挖掘机为切入点同步对齐了视觉、激光、位姿、力馈与手柄输入五大维度数据。
研究团队基于 Nvidia DCGM 开发出 100 ms 采样间隔的细粒度监控工具,对拥有 89 节点、319 块 GPU 的集群展开实测。对 7,399 个任务的分析显示,超 70% 任务 GPU 显存占用低于 20%,50% 任务平均 SM 利用率不足 5%,且 80% 任务申请与实际时长严重不符。结果表明可通过优化调度和 GPU 多任务大幅提升利用率,该监控工具已开源。
研究者发布关于 System 1 决策模型的综合指南,探讨如何通过单次前向传播直接输出结构化决策,解决大语言模型自回归推理在路由、门控、打分和分类等常规决策中延迟高与成本贵的问题。
推荐理由:该文梳理了单次前向传播的快速决策架构,为高吞吐工作流中降低模型延迟与调用成本提供了系统参考。
研究人员提出面向代数符号回归与微分方程发现的统一框架 LegoSR,通过通用方程表示和评估流程集成了 7 个求解器。其配套的 LegoSR Agent 可自适应调整搜索策略,在含噪声常微分与偏微分方程基准上比相同预算下的通用 Agent 最高领先 29 个百分点。该框架还支持结合部分已知物理知识进行约束搜索,代码已开源。
开源框架 RSIHub 为智能体演化方法提供共享基础设施,支持构建、对比与扩展各类演化算法。其在不修改核心架构的前提下实例化了 AHE、Hyperagents、A-Evolve 与 GEPA,提供执行、评估、恢复及血缘追踪支持。基于 MiniSWE 和 Codex 在 Terminal Bench 2 与 $\tau^3$ Banking 测试,最大整体 pass@1 提升达 13.5 个百分点。
南京大学与商汤等机构联合推出开源手机智能体 OpenMobile-2,提供基于 Qwen3.5-9B 与 Qwen3.6-27B 打造的两款模型及完整训练环境。
研究团队提出开源多智能体深度研究框架 DiffResearch,将扩散语言模型作为各阶段核心以解决端到端延迟瓶颈。在 100 项 Deep Research Bench 任务中,扩散骨干网络带来约 6 倍的端到端提速,并在规划和写作阶段显著减少耗时。
推荐理由:该研究将扩散语言模型引入多智能体研究系统,通过非自回归生成缓解了长文规划与撰写的延迟瓶颈。
开源 Python 库 aggmetrics 可将基于混淆矩阵计数的二分类评估指标,通过 4 种聚合算子扩展至多分类、多标签、序数、成本敏感、软标签及交叉验证场景。该库能基于指标结构属性推断适用恒等式,并在指标被非预期使用时发出警告。项目采用 BSD-3 协议开源且仅依赖 NumPy。
研究团队推出开源一体化平台 MAI-Gym,统一了移动端、电脑和 Web 环境下的 GUI Agent 评测、数据收集与在线强化学习训练。该平台最高支持 20,000 个并行环境实例,并支持自动合成可重置的模拟应用与跨应用任务验证。
推荐理由:原文展示了通过可重置的模拟应用合成任务进行在线强化学习并直接迁移至实体手机操作,为低成本构建真实图形界面智能体提供了可行路径。
研究提出多层级 AI 可访问性模型(MAIAM),打破 API 或开源权重的二元划分,按目的、安全与能力将模型访问划分为三层。Tier 1 设能力上限,Tier 2 面向受控研发,Tier 3 前沿 AI 仅限可问责的结构化访问,以应对几百美元即可剥离开源权重安全微调的风险。该框架结合能力边界与可访问性边界,主张由监管机构推行分级准入。
一项针对 86 个开源大语言模型检查点的实测研究显示,能力相近的模型推理能效差异显著,开启思考推理模式平均会增加约 3.7 倍能耗。测试覆盖 7 个基准测试与 6 种硬件平台,发现多数配置偏离能效 Pareto 前沿,能耗比同性能配置中位数高出 2.6 至 4.8 倍。此外,FP8 量化可在分数基本不变的情况下减少约四分之一能耗,而生成 token 数量并不能完全代表实际能耗。
研究人员在网络安全威胁检测基准 CTI-REALM 上评估了 19 个开源权重模型和 7 个闭源模型,发现在放开消息轮数限制后,开源权重模型能以不足十分之一的成本匹敌最强闭源模型,甚至取得最高奖励得分。研究指出原基准的消息限制掩盖了真实表现,价格与模型能力并不完全挂钩。此外,针对工作流各阶段的细分评估显示不同模型在不同阶段各具优势,宜按阶段进行路由调用。
MirroS 团队发布开源智能体演练平台 AgentGarten,将代码驱动的确定性物理引擎与实时神经渲染器相连接。平台通过代码定义物理碰撞与几何草图,利用神经渲染器以超过 30 fps 的吞吐流式输出拟真画面,并借助智能体自主记录的文字实验手册实现跨轮次策略演进。相关技术报告与代码已同步在 GitHub 和项目主页公开。
开源权重模型即便在发布时消除了有害信息的互信息,也无法保证对微调攻击的防篡改性。由于保持功能的重参数化会改变梯度下降几何结构,研究构造出的特例显示,即便互信息量均为零,模型能力仍可在一步梯度中恢复。受控实验证实恢复速度依赖训练顺序与参数化形式,表明安全认证必须引入对攻击动力学的约束。
研究人员提出了一种名为字节化的模型改造方法,仅消耗不足1%的常规预训练算力即可将现有子词级大语言模型转换为直接处理字节的字节级模型。
研究团队推出开源 AI 科研助手 K-Dense BYOK,支持本地运行、自带模型密钥并记录哈希链实验笔记。该系统内置科学流程与模板,通过直接监控智能体动作生成只增不删的防篡改日志,旨在解决模型过度声称成果的问题。在 20 项跨学科科研测试中,其科学质量与执行表现优于两家托管平台,交付物通常附带结果复现命令,相关代码已采用 MIT 协议开源。
推荐理由:该项目通过直接监控智能体动作而非采信模型自述来记录只增不删的日志,为科研可复现性提供了可迁移的工程思路。
研究人员推出开源平台 FLIP(Federated Learning Interoperability Platform),旨在使跨大洲医疗联邦学习的训练与评估具备可重复性与可审计性。
NVIDIA 联合 Google DeepMind 及 EMBL-EBI 等机构,在 AlphaFold Database 中公开了 2800 多种病毒的蛋白质复合物 3D 预测结构数据集,并开源了用于生成的 BioNeMo Structure Prediction Pipeline 工作流。
推荐理由:合作团队通过优化推理规模化产出了数千种病毒的复合物结构并开源工作流,读者可直接借鉴其将模型推理落地于大规模科学计算的工程方案。
Together AI 联合佐治亚理工等机构开源智能体推理调度系统 ThunderAgent,通过程序级调度将单节点吞吐提升最高 2.5 倍并在 8 节点集群实现 2.4 倍加速。