SPT-Flow:连续时间世界模型中的单次积分与多样未来
研究团队提出 SPT-Flow,通过单轨迹采样潜在变量并在多个时间点将自由运行的 ODE rollout 与演示状态匹配,解决连续时间世界模型忽略随机条件的问题。
研究团队提出 SPT-Flow,通过单轨迹采样潜在变量并在多个时间点将自由运行的 ODE rollout 与演示状态匹配,解决连续时间世界模型忽略随机条件的问题。
研究人员提出 CWAM(Causal WAM),通过在预训练世界动作模型(WAM)的动作头添加稀疏路由路径,将生成动作的因果潜变量与场景干扰变量有效解耦。理论证明在稀疏约束下生成动作仅取决于动作相关潜变量,且真实结构可被识别。合成数据和真实机器人实验验证了该理论,并展示出闭环成功率等效率的提升。
研究提出一种通过动作条件价值 critic 扩展 PPO 的方法,通过对比同状态下的备选动作进行相对动作信用分配,以帮助强化学习策略跳出局部极小值。该方法结合广义优势估计(GAE)与探索噪声边界,解决了状态价值 critic 缺乏动作区分度导致的策略停滞问题。在相同的训练预算与探索设置下,扩展算法成功完成了精密插孔(peg insertion)任务,而标准 PPO 则训练失败。
研究团队提出 RBGA 算法,通过显式跟踪回合内剩余安全预算,解决灵巧操作在离线到在线安全强化学习中的探索安全性问题。该方法在每一步对比离线引导动作与在线策略动作的未来代价估计与剩余预算,实现动态动作仲裁。实验表明 RBGA 能在维持高安全表现的同时有效实现在线策略提升,相关代码已开源。
该研究提出了自主智能体(autonomous agent)的理论定义与“单一边界、四环路”构建框架,通过操作、生存、反思与学习四条环路分别组织任务执行、自我维持、元控制及受控学习。论文进一步完成了权限约束、道路封闭响应、健康维护、能力重估与跨任务学习 5 组配对仿真实验,为上述机制的可行性提供了初步验证。
研究提出一种轻量级候选形式化器(formalizer),可从任务上下文中构建显式候选列表供冻结决策模型选择,以弥合开放式任务与快速决策模型间的鸿沟。在 1,011 个 CALVIN-D 验证标注评估中,微调形式化器使本地决策模型任务成功率由 11.8% 提升至最高 52.6%,且端到端延迟仅 2.09 s,低于 Qwen3.5-27B 的 3.67 s。
研究提出一种加权适形校准方法,在部署策略变更导致分布偏移时无需重新训练世界模型,即可向目标分布传递边际覆盖保证。在 DINO 特征世界模型与 Franka 机械臂物理轨迹实验中,强偏移下普通 90% 适形集覆盖率降至 55.0%,而学习权重校准实现了 90.9% 覆盖率。相关分类器遗憾界与覆盖合成推导已在 Lean 4 中完成机器验证。
研究者提出 PoT-LIF 神经元,通过发射幅值为 2 的幂次的离散脉冲,为视觉-语言-动作(VLA)模型实现低功耗事件驱动推理。将其集成至 $\pi_{0.5}$ 模型并在 LIBERO 闭环评测中测试,Heartbeat 模式成功率达 97.25%,优于连续激活基线的 96.70%。
新提出的对抗蒸馏方法 TAD 无需在线教师打分或环境奖励,仅依靠固定教师轨迹即可对 VLA 策略进行在线蒸馏。在 ManiSkill 评测中,TAD 将 7B 规模的 OpenVLA-OFT 成功率从 26.2% 提升至 76.6%,最终成功率从 20.3% 提至 58.6%。其表现仅落后白盒在线蒸馏(OPD)0.8 至 5.0 个百分点,但需消耗 OPD 5 倍的学生交互预算。
Google DeepMind 推出新一代实时交互世界模型 Genie 4,支持在模拟运行中通过自然语言实时修改场景并原生生成环境音与交互对话。模型结合 Gemini 系列模型进行上下文因果推理和多步任务拆解,适用于机器人训练环境构建与创意原型探索,生成内容均嵌入 SynthID 数字水印。
推荐理由:该模型将语言模型的逻辑推理与像素级实时渲染结合,为机器人训练和动态交互仿真提供了可参考的实现路径。
预训练世界模型 LeWorldModel(LeWM)在微小动作变化下难以精确保留局部动作几何。在 Reacher 与 OGBench Cube 中,最小扰动尺度下模型与模拟器最敏感动作方向的中位数夹角分别相差约 36° 和 42°。扰动增加 10 倍后归一化 Gram 差异分别减少约 70% 和 47%,该结果支持按特定尺度评估动作敏感性。
研究提出面向 VLA 强化学习的 Martingale GRPO(MART-GRPO),通过鞅理论刻画反馈截断条件,解决传统 GRPO 对失败轨迹全盘惩罚导致误伤有效恢复动作的问题。
研究人员提出终身上下文自适应框架 MemCryst,在冻结大语言模型下实现记忆与技能的双向协同学习。记忆用于支持技能创建与修订,技能交互则补充新记忆,二者联合构成上下文并依据任务结果调整检索权重。在 ALFWorld 上其联合服务成功率达 63.17%,优于仅记忆的 59.83% 和仅技能的 50.50%,相关代码已开源。
DriveMind 是一种面向闭环自动驾驶的多模态大语言模型(MLLM)框架,受粒子滤波启发,可同时保留多个场景假设并随新帧动态更新权重。在 Bench2Drive 评测中,该方法将驾驶得分(DS)从 68.50 提升至 81.37,成功率(SR)从 41.36% 提升至 54.09%。其在无信号灯路口(+20.0 DS)等模糊场景提升最为显著,并改善了并道与让行等交互驾驶能力。
在双臂空间机器人协同运动控制任务中,强化学习算法 SAC 在固定基座仿真中的表现大幅优于 PPO。在 5 个随机种子测试中,SAC 平均成功率达 78.6% 且以中位数 1.6M 步达成 80% 成功率阈值,而 PPO 在 4M 步预算内未能达标且平均成功率仅 7.4%。面对未见边界目标时 SAC 仍能保持大部分性能,而 PPO 则容易陷入奖励停滞的局部最优导致性能崩溃。
HandMeThat v2 基准评测显示,多模态富化方法 CEMIR 相比结构化推理框架 FISER 在语用意图识别中并未表现出显著性能优势。在涵盖 Qwen2.5-Omni-3B 至 GPT-5 的 4 款大语言模型测试中,两者在全部 16 组难度对比及消融实验中均无统计学显著差异。研究表明任务表现主要取决于基座模型能力,合成多模态增强在文本已包含任务约束时未能带来可衡量的收益。
新研究测试了配对指令依赖性在视觉-语言-动作(VLA)语料库选择中的决策价值。在 136 个四足导航语料库实验中,该指标虽降低了平均绝对预测误差,但 primary proper-log-score 增量仅 +0.059 nats,且在预设 top-20% 对比中未带来增量选择增益。结果表明反事实响应结构被压缩为无符号统计量时,所提供的实际决策价值较为有限。
针对虚拟世界具身智能体的持续预训练研究测试了 0.8B 至 27B 规模与 50 至 1,600 小时数据,涵盖 120 种训练配置。研究拟合了验证损失与数据量、多样性及模型规模的经验扩展定律,发现数据多样性有助于向相关虚拟世界迁移。所得模型在 3D 实时环境中媲美 Minecraft 专家模型,但面对差异较大的世界仍存在泛化差距。
研究人员针对物理条件超出训练分布时预测精度下降的问题,提出了结合因果建模与显式动力学机制的世界模型。在机器人 CausalWorld 连杆质量外推测试中,该模型将超范围质量转化为稳定预测增益,150 步推演的中位数关节 R2 从 0.609 提升至 0.727。在 100 步预测中,学得力矩模型的表现达到中位数 R2 0.755-0.768,可匹敌最强的循环机器人世界模型。
研究者提出了 DoobPO 框架,利用杜布 h 变换实现生成策略的免似然强化学习微调。该方法先学习轻量比率模型表征策略更新,再通过条件漂移匹配将其蒸馏至生成策略中,统一适用于扩散模型与流模型策略,并兼容 PPO 和 GRPO 等规则。在 MuJoCo 连续控制基准测试中,DoobPO 相比竞争性扩散与流策略基线展现出强劲性能。
研究人员提出面向部署的算法 ArcFlow,支持在单一流策略中跨指定求解器步数范围训练,同时保持模型架构与部署成本不变。该方法结合了动作对齐监督、预算暴露与最差预算检查点选择。在 DM Control、机械臂操作与运动控制的 30 个任务中,ArcFlow 在 25 个任务上取得了 5 个流策略基准中最高的单步平均回报。
研究人员提出一种面向视觉-语言-动作(VLA)策略的事后核方差头方法,无需梯度更新即可直接从单模型嵌入中估计认知不确定性。在 LIBERO-10 基准上对 SmolVLA 的测试显示,该方法在主动学习演示获取与求助代理上表现媲美双模型集成,同时将不确定性评分时间最多缩短约 50 倍并大幅削减设置成本。
NVIDIA 扩展 Cosmos 平台,推出包含 5 个云原生蓝图的 Cosmos Data Factory、全新训练框架及 Cosmos 3 Nano 仿真模型变体,帮助开发者加速物理 AI 与世界模型的开发与落地。
推荐理由:这套工具通过合成数据生成与闭环仿真评测,为实体AI开发者打通了从物理场景采集到模型微调部署的完整流程。
研究人员提出具身虚拟大鼠训练系统 SCAMPER,使具身模型在目标导向行为和随机探索中均能产生自然的运动。该系统采用变分架构,结合用于控制的运动先验和用于探索的行为先验,有效利用任务结构并生成逼真行为。得益于行为先验引发的多样化动作,SCAMPER 能在稀疏奖励下学习,适用于模拟实验神经科学中的真实任务。
该学术专著为物理 AI(Physical AI)建立了统一框架,将其定义为在真实世界约束下通过持续反馈来感知、建模并作用于物理世界的人工系统。全书共 12 章、388 页并包含 64 张图表,梳理了多模态感知、世界模型、具身基础模型及软硬件协同设计等核心方法。内容重点探讨了从仿真到真实世界迁移、实时执行与安全性等挑战,旨在推动其迈向物理通用人工智能(Physical AGI)。
针对智能制造中动态环境、复杂物理约束与高可靠性要求等挑战,该综述系统梳理了 LLM 驱动的工业 AI 智能体技术体系。文章分析了五大核心挑战,建立了涵盖应用场景、具身形式与五个能力等级的统一分类法。研究进一步提出了用于闭环任务执行的四层系统架构,并梳理了工业全生命周期的代表性应用与未来方向。
研究人员提出了一种结合大语言模型与强化学习的自主建造方法,用于移动式起重机的动作规划与施工监控。该方法采用增强型 Soft Actor-Critic 强化学习算法结合机器人运动学实现起重机精准控制,并利用定制嵌入模型提取施工环境信息。系统接入 ChatGPT 5 负责实时更新施工进度、向控制系统提供安全信息并自动生成进度报告,其可行性已通过全尺寸挡土墙建造实验验证。
欧洲工业企业正全面采用 NVIDIA CUDA-X、Omniverse 以及 Cosmos 与 Nemotron 开源模型重塑工程与制造,NVIDIA 工厂运营蓝图(FOX)也已在 GitHub 提供抢先体验。
NVIDIA 创始人兼 CEO 黄仁勋在 GTC Berlin 主题演讲中发布了模块化数据中心参考设计 DSX POD,以及面向智能体安全的 NVIDIA OpenShell 参考架构。
推荐理由:原文集中呈现了从模块化硬件部署到智能体安全沙箱的完整基础设施方案,有助于了解端到端落地路径。
德国联邦政府与 NVIDIA 签署联合意向声明,双方将围绕物理 AI 模型展开联合计划,推动工业 AI 在制造与中小企业中的落地应用。NVIDIA CEO 黄仁勋同时宣布计划投资 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创企业,属于其在欧洲近 100 亿美元支持承诺的一部分。
研究人员提出世界动作评论家模型(WAC),通过提出多模态候选动作并联合学习候选条件下的未来预测与后果评估,解决反事实动作难以推理的问题。该框架利用 critic 监督在推演过程中直接塑造中间预测表征,保留区分动作质量所需的信息。应用于自动驾驶任务时,WAC 在 NAVSIM-v1 上取得了 93.4 PDMS 的成绩。
研究者提出了一个分层反馈框架,利用不同类型的反馈信息引导 LLM 为多组件信息物理系统(CPS)生成可执行计划。该方案让 LLM 同时生成结构化任务计划与信号时序逻辑(STL)约束并修正矛盾,在执行控制合成失败时提取违规约束等诊断信息以引导重新规划。在 7 个异构多组件 CPS 场景的实验中,结合 GPT-5 的规划与可行控制执行成功率达到 87.9%。
研究人员提出 SHRED 框架,无需人类驾驶演示或轨迹回放,仅通过从随机初始化开始的大规模异构自我博弈联合训练机动车、行人与骑行者。在 Waymo Open Sim Agents Challenge(WOSAC)中,SHRED 联合控制三类主体并超越了无演示基线及基于演示参考策略的先验方法,仅基于 nuPlan 地图训练的策略在 Waymo 零样本评估中仍保持相当的真实感。
研究指出有限安全评估无法防范在获得认证前保持正常、认证后才激活攻击的自适应对抗者。在RoCo协作模拟中,策略切换导致认证后36个回合中出现34次违规;AgentDojo测试中每4个任务延续会增加1.98次安全违规。采用永久撤销机制的混合似然比监控器可有效限制超额风险,在对抗控制下将每24个任务的违规数从12.00次降至3.81次。
研究发现 JEPA 世界模型中的单步预测误差无法有效表征目标导向规划性能,两者相关性在首个 epoch 后迅速饱和。在连续控制实验中,首个 epoch 保真度提升 32%、规划提升 4.4 pp,但随后的 15 个 checkpoint 中保真度再提升 15%,单步误差与规划成功率的相关性仅为 r = -0.010。
研究提出 TD-Aug 方法,通过几何时域模型采样直接想象组合已有知识可达成的新结果,以此解决离线策略在长时域下的零样本目标泛化难题。实验表明,将这些想象出的未来结果作为目标用于训练目标条件行为克隆(goal-conditioned BC)策略,能显著提升其在基于拼接的 OGBench 任务中的泛化表现。
Google 正式面向全球推出 Gemini 4 Argon 模型,主打长任务深度推理与复杂工程、科研及商业工作流处理。该模型具备 1M 统一输入输出 token 限制,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元(缓存输入享 95% 折扣)。
推荐理由:官方披露了新模型在代码重构、科学计算和具身智能领域的实测提效数据,读者可借此评估其在长链路复杂工程中的实际价值。
AlphaNIST 通过稀疏二元任务奖励在仿真环境中从零训练单一策略,在涵盖 20 项任务的 NIST Assembly Task Board #1 上达到 98.2% 的总体训练成功率,无需人类演示、密集奖励塑形或分任务调优。该框架还能在未指定顺序且仅在全部完成时给予奖励的设定下,于单回合完成 10 组装配。训练出的策略自主涌现出重定向零件、抓取规划等灵巧与类规划行为。
研究人员推出具身模拟评测基准 EmbodiedCLBench,旨在以组合泛化为核心原则,评估自进化具身智能体通过积累并重组基础任务技能来解决复杂未见任务的持续学习能力。实验显示,基础任务经验能持续提升高级任务表现且在复杂度增加时保持稳定,但该提升无法随学习样本数量扩展,现有智能体尚无法从额外经验中提取有效信息。相关代码与数据集已开源。
研究者提出用于可恢复视觉-语言-动作(VLA)模型后训练的离线目标条件策略优化框架 OGPO。该框架通过自适应重标记语义关键状态并构建目标条件过程奖励,将后训练转向关键状态可达性学习,无需在线交互即可从偏离演示的状态恢复并完成目标。在 LIBERO、MetaWorld 及扰动评测基准 LIBERO-ReAct 上,OGPO 表现均优于标准监督微调。