跳到正文

#具身智能

今日 0 条
10月10日周六
  1. arXiv cs.AI36

    用于时程不变行为克隆的自监督关键帧发现

    研究提出自监督方法 Keyframe Mnemonics,通过发现关键观测帧训练行为克隆(BC)策略,解决非马尔可夫长时程决策中的上下文保留问题。在合成记忆基准中,该策略达成 100% 成功率;在包含 23 项任务的机器人操作评测中,平均绝对成功率较最强基线提升 13.9%,并在真实机器人 20x 更长时程下保持 80% 成功率。

10月9日周五
10月8日周四
  1. arXiv cs.LG34

    目标条件策略学习中的信息视界诅咒

    研究发现在目标条件策略学习中存在“信息视界诅咒”,增大目标重标记视界会降低动作与目标的条件互信息,显著削弱策略性能与泛化。目标条件行为克隆(BC)会出现严重的视界相关性能退化,强化学习(RL)可缓解该退化,且策略敏感性会从目标转向状态。将短视界策略的输入雅可比蒸馏至长视界策略,在组合操作任务中取得了显著性能提升。

  2. arXiv cs.LG33

    用于离线视觉控制的有向时间表征 DTRC

    研究人员提出离线视觉控制方法 DTRC,在冻结的 LeWorldModel 特征上构建有向时间拟度量,以衡量时间到达成本与目标进展。该进展信号作为时间 critic 指导目标条件策略学习,使智能体在测试时无需迭代轨迹搜索即可直接执行动作。在 10 个视觉控制任务中,DTRC 的表现优于规划与直接策略基线。

  3. arXiv cs.AI38

    重新思考自动驾驶物理智能的扎根性:GroundAct 探索扎根规划

    研究人员提出自动驾驶扎根规划方法 GroundAct,通过将物理实体作为扎根单元并引入轻量级参考 token,建立从模型推理到规划动作的直接修正路径。该方法在符号推理中保持被选实体的连续状态可寻址,仅依据被引用实体的交互来纠正规划。评测表明,GroundAct 在常规、分布外和安全攸关场景的开环规划及仿真闭环测试中均表现优异。

  4. arXiv cs.AI31

    基于阿克曼转向机器人的连续环境视觉语言导航 Sim-to-Real 迁移

    该研究提出一种基于阿克曼转向移动机器人的视觉语言导航(VLN)Sim-to-Real 迁移方法,无需依赖导航图或全景视角即可在连续环境中运行。系统采用 Cross-Modal Attention(CMA)架构,结合车载相机与 LiDAR 数据,通过线性测光调整及少量真实回合微调实现实机适应并支持专用硬件离线运行。经 SPL 和 nDTW 指标评估,该方案验证了其鲁棒性与适应性。

  5. arXiv cs.AI55

    这台机器在玩耍吗?研究探索具身 AI 智能体的自发行为与自主学习

    研究人员将 AI 编码助手接入数字虚拟躯体,在未指定任何任务或奖励的极简提示下观察到了自发的具身探索与技能学习。在 13 个智能体各自长达 30 小时的运行中,AI 主动进行了爬山、堆叠积木、物理规律实验等活动,并积累了可拓展后续能力的操作技巧。论文系统分析了该行为是否符合人类与动物界关于“玩耍”的经典判定标准,探讨将自主玩耍作为机器能力发展新范式的可行性。

10月5日周一
  1. arXiv cs.AI33

    VIGOR:通过隐空间一致性实现基于模型强化学习的零样本视觉泛化

    研究人员提出 VIGOR 框架,通过非对称弱到强增强、动力学级一致性与编码器级稳定化,实现基于模型强化学习(MBRL)在未见视觉干扰下的零样本泛化。在 DeepMind Control Suite(DMC)和 Robosuite 评测中,VIGOR 超越次优基线 3.4% 和 43.6%。消融实验表明该鲁棒性由隐空间一致性驱动且具有增强不可知性。

  2. arXiv cs.AI37

    Ego2World:将第一人称烹饪视频编译为信念状态规划的可执行世界

    Ego2World 提出一种将标注的第一人称烹饪视频转化为部分可观测可执行环境的评测基准,将真实世界状态与智能体信念分开维护。在 105 个任务上评测 6 种规划器显示,已执行操作常未能达成目标;Qwen-Plus 对照实验表明,持久信念使动作有效性提升 4.15 个百分点,视觉查询减少 90.27%,但 token 消耗更高且未见完成率提升。

  3. arXiv cs.AI43

    ProWAM:基于渐进式视觉规划的世界动作建模

    研究人员提出渐进式世界动作模型 ProWAM,通过联合预测动作与有序的稀疏视觉子目标序列,为机器人控制提供显式视觉引导。该模型仅需单次视频主干前向传播缓存子目标特征,无需迭代生成完整视频,重规划时仅需轻量动作去噪。ProWAM 在 LIBERO-Plus(85.8%)和 RoboTwin(75.7%)基准刷新 SOTA,并在真实世界零样本实验中达到 70.0% 成功率。

  4. arXiv cs.LG34

    多保真策略梯度稳定数据稀缺强化学习

    研究人员提出 MFPG-PPO 算法,通过结合低保真数据构建控制变量,降低方差并解决数据稀缺下的强化学习不稳定问题。在模拟机器人运动任务中,MFPG-PPO 在最难任务下性能匹配使用 16x 高保真数据训练的 PPO。在物理 Franka 机械臂实验中,该算法无需人类演示,每次更新仅需 4 个真实机器人 episode 即可稳定学习。

  5. arXiv cs.LG44

    Co-Design Gym:具身与策略联合优化的统一基准

    研究人员推出基准测试套件 Co-Design Gym,用于联合优化智能体的具身形态与控制策略。该基准覆盖机器人操作与运动、多机器人协作、软体动力学、电网、无线网络及 F1 赛车等 20 个环境家族,共包含超过 85 个协同设计预设。此外,研究还对代表性协同设计算法展开了系统评估,为该领域的基准对比奠定了基础。

10月3日周六
  1. arXiv cs.LG42

    该动作还能解释任务吗?扩散大语言模型智能体的反向打分方法

    研究者提出免训练的 Reflect Reverse 方法,解决扩散大语言模型(dLLM)智能体因掩码解码偏差容易重复执行失败动作的问题。该方法利用掩码 dLLM 对任务 token 掩码并去噪来原生评估逆向条件概率,从而消除动作分布的失真。在 4 个多轮具身基准上的实验表明,该方法相比前向打分基线提升了任务成功率与推进率。

10月2日周五
  1. arXiv cs.AI30

    面向受控世界模型自适应的校准风险路由

    新研究提出模型校正世界模型(MC-WM),通过将初始目标数据划分为拟合、选择与校准分区,并部署标准化校准风险更低的模型族来解决仿真到目标的漂移问题。该方法结合学习到的置信度信号与确定性有效性谓词对单步想象策略更新加权,无需重写物理奖励。团队在三个受控 MuJoCo 动力学偏移场景下完成了 541 次运行执行评测。

  2. arXiv cs.AI32

    文本具身智能体何时遵从用户修正:GAVA 裁决机制研究

    GAVA 机制使文本具身智能体在面对可能错误的用户修正时,能自主在接受、拒绝、环境检查与反问之间进行裁决。在 ALFWorld 的 972 对正误干预测试中,完整局部检查使 GAVA 达到 100% 纠错准确率并降低交互成本。结合语义先验后,该方法在 340 个未见场景中进一步降低联合成本,测试准确率达 98.8% 与 98.7%。

10月1日周四
  1. arXiv stat.ML35

    从随机探索中学习规划

    新研究提出一种利用随机探索经验进行长程规划的方法,无需动作与奖励标签即可实现免策略改进训练的目标规划。该方法通过噪声对比估计训练条件能量基模型以捕获不同时间跨度的时序关系,并在测试时结合局部动力学模型评估候选动作与实时重规划。实验表明,该方案成功实现了基于状态与图像的长程迷宫规划、第一人称导航及机械臂操纵规划。

  2. arXiv cs.AI34

    ChronoSRL:面向自监督强化学习的时间几何

    研究人员提出 ChronoSRL,通过为 Critic 嵌入赋予显式时间几何,将表征距离对齐为到达目标所需时间。该方法进一步预测到达时间分布及目标附近停留时间,在 7 个标准运动与导航基准上以更小网络超越现有基线。在四足机器人 Sim-to-Real 任务中,它是唯一能稳定跟踪速度、到达目标并爬上最高箱子的自监督强化学习方法。

  3. arXiv cs.AI35

    VLA 的层级之谜:VLA 潜在接口的信息论分析

    针对视觉-语言-动作(VLA)策略潜在接口的信息论分析表明,多层融合优势有限,最佳单层随主干模型与任务基准显著变化。研究提出以动作条件 InfoNCE 作为层质量代理指标,在 LIBERO 和 CALVIN 基准上与策略成功率呈现最一致的正相关。该方法比穷举搜索节省 9-33 倍 GPU 计算量,将平均选择遗憾从选最深层的 17.89 个百分点降至 3.71 个百分点。

  4. arXiv cs.AI38

    GeoWind2Plan:用于无人机节能规划的任务级 3D 城市风场预测

    GeoWind2Plan 框架通过几何条件神经算子预测 3D 城市风场,实现无人机任务级节能路径与速度规划。该框架完成走廊局部风场推理仅需约 3 seconds,远快于传统 CFD 的约 8 hours。在 CFD 评估中,其规划航迹在顺风、逆风和侧风任务中分别降低能耗 6.9%、12.7% 和 4.5%,达到 CFD 参考节能效果的 75.0% 至 87.9%。

9月24日周四
  1. Microsoft Research56

    微软研究院提出物理 AI 机器人推理卸载架构与评测体系

    微软研究院发布针对物理 AI 与机器人推理的系统性研究,指出将模型推理从机载 GPU 卸载到边缘或云端可大幅提升任务成功率并延长续航。实测显示机载算力不足会导致建图规划变慢达 383%、VLA 动作模型准确率减半,而 Jetson Thor 等高功耗板载单元会加速消耗高达 160% 的电量。

9月22日周二
  1. NVIDIA Blog41

    NVIDIA:为什么规模化部署物理 AI 需要全层级安全

    面对自动驾驶与机器人规模化部署的安全挑战,NVIDIA 推出首个面向物理 AI 的全栈安全系统 NVIDIA Halos。该系统覆盖硬件、软件、AI 模型与仿真验证,在自动驾驶领域整合 DRIVE AGX Thor、Halos OS 与开源端到端推理视觉语言动作模型 NVIDIA Alpamayo。在机器人领域则结合 IGX Thor 模块与 Omniverse 仿真,实现全流程安全保障。

9月17日周四
  1. Apple ML Research35

    REVERSAL-BENCH:测量无重置强化学习断崖的可逆性维度与 reset oracle

    研究团队推出强化学习基准 REVERSAL-BENCH,通过连续参数 ρ ∈ [0, 1] 控制可逆性,并在 5 个物理引擎的 8 种操作场景中提供状态可恢复性验证机制 reset oracle。评测揭示了显著的可逆性断崖:无重置智能体会随 ρ 增大永久陷入不可恢复状态并导致学习停滞。团队同步发布了该基准套件、标注可恢复性的多仿真器数据集以及 reset oracle。

8月13日周四
  1. Microsoft Research45

    MindTopo 揭示视觉语言模型的空间推理能力

    微软研究院推出全新评测基准 MindTopo,用于评估视觉语言模型在连通性、包围、顺序、分离和绳结五个维度的拓扑空间推理与规划能力。评测结果显示,受测闭源与开源模型在静态推理上的表现普遍显著优于交互规划,且两者均远低于人类水平。模型失误主要出现在行动规划阶段,难以在多步动作序列中持续追踪拓扑结构演变或遵守物理约束。

7月30日周四
  1. Google DeepMind77

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2

    Google DeepMind 推出具身推理模型 Gemini Robotics ER 2,作为高层中枢为机器人提供连续视频理解、任务编排与多机协作能力。该模型支持边执行动作边规划后续步骤,可调度底层 VLA 模型及外部工具,在任务进度分类和关键时刻识别上分别取得 57.4% 与 91.3% 的准确率。

    推荐理由:该模型作为高层大脑支持边行动边规划与多机协同,读者可以了解具身智能在任务编排与进度感知上的系统设计。

7月28日周二
6月9日周二
  1. Google DeepMind46

    Google DeepMind 赋能欧洲机器人的未来

    Google DeepMind 推出机器人加速器项目 Google DeepMind Accelerator: Robotics,入选了来自欧洲的 15 家早期初创公司。入选企业将在 3 个月内获得 Google 专家的密集指导,并直接使用其 AI 技术栈及 Gemini 机器人模型。该项目涵盖制造、医疗和高级导航等具身智能领域,助力团队将前沿 AI 研究转化为现实物理应用。

5月18日周一
  1. Google DeepMind73

    Google DeepMind 结合街景数据升级 Project Genie:支持生成真实世界交互环境

    Google DeepMind 宣布在实验原型 Project Genie 中引入 Google 街景锚定能力,支持基于真实地理图像生成可交互的虚拟环境,并逐步向全球 Google AI Ultra 订阅用户开放。用户可以在美国地图上选点并搭配特定艺术风格与角色提示词生成对应世界,为智能体与机器人导航交互提供仿真支持。该街景生成能力目前支持美国境内地点,未来将逐步扩展至更多地区。

    推荐理由:原文展示了世界模型结合真实地理街景生成交互环境的具体方式,为智能体与机器人仿真训练提供了现实落地的参考路径。

4月20日周一
  1. Berkeley AI Research43

    面向长视距世界模型的基于梯度规划:GRASP

    研究人员提出了面向学习型世界模型的新型基于梯度规划器 GRASP,旨在解决长视距规划脆弱且易陷入局部最优的问题。GRASP 将轨迹提升为虚拟状态以实现跨时间并行优化,并直接在状态迭代中引入随机性来辅助探索。同时,该方法通过重塑梯度为动作提供清晰优化信号,避免了高维视觉模型中脆弱的状态输入梯度。

4月13日周一
  1. Google DeepMind67

    Google DeepMind 发布具身推理模型 Gemini Robotics-ER 1.6

    Google DeepMind 推出具身推理模型 Gemini Robotics-ER 1.6,大幅增强了空间定位、多视角理解与任务成功检测能力。该模型可原生调用搜索和 VLA 等工具,并新增结合代码执行的智能体视觉以高精度读取各类工业仪表。目前该模型已通过 Gemini API 和 Google AI Studio 向开发者开放。

    推荐理由:新模型结合视觉推理与代码执行实现了工业仪表读取,为机器人多视角任务规划和成功判定提供了实用参考。