面向实时 iOS 应用 UI 导航的规划-定位智能体在线密集强化学习
研究人员提出一种在实时 iOS 应用上训练 UI 导航智能体的在线强化学习框架，将智能体解耦为规划智能体与 UI 定位模型。系统结合 LLM-as-a-Judge 密集奖励与 GiGPPO 算法，调度数百台并发虚拟 iOS 设备训练。
#多模态
#多模态
今日 0 条Apple ML ResearchAI 评分5050 arXiv cs.LGAI 评分3333 面向模态缺失多模态联邦学习的角色感知服务端优化 RASO
针对模态缺失下的多模态联邦学习（MFL），研究人员提出角色感知服务端优化（RASO），协调贡献客户端选择与特定角色的服务端更新。该方法依据预测依赖性及本地优化参与情况筛选贡献客户端，保留编码器动量，并将共享预测模块同步至当前聚合。跨数据集和融合架构的实验验证了 RASO 在模态缺失场景下的有效性。
arXiv cs.LGAI 评分3131 MOSAIC：通过模态分区梯度路由解决任务-模态不均衡依赖
研究提出 MOSAIC 架构，通过保留单模态表征并引入模态间跨注意力受控交互，利用特定模态损失引导梯度路由，以解决多任务场景中任务对模态的不均衡依赖。在日常日语会话语料库 CEJC 的 4 个任务测试中，MOSAIC 相比传统融合基线将平均 macro-F1 提升了 7.4 点，同时骨干网络参数量减少了 72%。
The DecoderAI 评分6060 Adobe 联合团队提出 EditAgent，让 AI 智能体像专业修图师一样调度工具
Adobe Research 与加州大学圣地亚哥分校研究人员推出图像编辑智能体 EditAgent，通过并行调用专用工具并基于量化验证数据筛选最佳结果。在 600 项编辑测试中，标准大语言模型结合编辑区特写、变化图及色彩亮度统计后，挑选可用方案的准确率达到 81.3%，超过了专门微调的 EditScore-72B。该系统还能防止后续步骤破坏先前的编辑成果，并产出高质量数据反哺编辑器微调。
The DecoderAI 评分5757 Google 联合团队提出 StreamVibe 视频智能体：探索主动判断介入时机
Google 与斯坦福、牛津等机构联合推出 StreamVibe 视频智能体，旨在让 AI 在观察用户工作时自主判断何时该保持安静或主动提供指导。研究团队构建了涵盖 183 小时日常与软件录屏的 4,100 个基准样本，并基于 Qwen3.5-9B 与强化学习训练出 StreamVibe-VL 模型，搭配独立记忆系统跟踪任务状态以减少不必要打扰。
arXiv cs.AIAI 评分3434 A-RSI：面向零数据多模态自我改进的自适应任务刷新
A-RSI 提出了一种面向零数据多模态自我改进的自适应任务刷新方法，通过监控训练日志中的奖励变化与准确率，在学习信号下降时更新任务池。该方法利用静态程序库生成多模态问题并导出可独立核验的答案，全流程无需外部训练数据或人工标注。在包含 11 个基准的主测试集上，A-RSI 仅凭 800 个新任务将平均成绩从 57.77 提升至 61.05。
arXiv cs.AIAI 评分3030 BridgeRouter：基于跨模态桥接组合的增益感知实例路由
BridgeRouter 提出增益感知实例路由机制，无需重训主干即可将预训练 EEG 基础模型按样本分流至最优跨模态桥接路径。推理时仅观测目标模态且只执行单条路径，增益达标时选用最优路由，否则回退至默认求解器（SBS）。在 FOG 和 ISRUC 评测中，其平衡准确率达 81.38% 与 62.92%，较单一基线分别提高 11.49 和 3.83 个百分点。
arXiv cs.AIAI 评分2626 何为食物相似性？印度菜的视觉表征与检索
一项研究基于扩展的 Khana 数据集与 7 种预训练视觉表征，评估了印度菜在卷积、Transformer、自监督及图文对齐模型中的图像检索与邻域结构。分析表明图像级邻域在不同表征间差异显著且常跨越菜品家族，聚合后的菜品级视觉结构与基于食谱计算的相似度关联较弱。结果证明食物相似度高度依赖表征形式与模态，仅靠识别性能无法充分刻画食物间的关联结构。
arXiv cs.LGAI 评分4343 Jailbreak Connectivity：实现多样化、可迁移与通用的多模态大语言模型越狱框架
研究人员提出越狱框架 Jailbreak Connectivity（JC），通过在图像空间优化连续对抗路径，实现面向多模态大语言模型（MLLM）的多样化、可迁移与通用越狱攻击。
arXiv cs.LGAI 评分3636 基于查询-视觉交互分解的视觉 Token 剪枝
研究人员提出免训练的查询感知视觉 token 剪枝方法 QViD，利用 Transformer 注意力中查询-视觉交互矩阵的低秩特性捕捉相关语义。图像与视频理解评测基准实验显示，QViD 在匹配的 token 预算下持续提升性能，且在激进压缩场景下收益最为显著。
arXiv cs.AIAI 评分4949 GUI-JEPA：基于候选条件 JEPA 隐空间的移动 GUI Agent 快速动作策略
研究人员提出首个基于联合嵌入预测架构（JEPA）的无解码器移动 GUI Agent 动作策略 GUI-JEPA。它利用在未标注 GUI 截图上预训练的隐空间，通过轻量级评分头在单次批处理中为候选动作打分，避免了传统 VLM 逐 token 解码的高耗时与显存占用。
arXiv cs.AIAI 评分3636 面向多模态心智理论的视角界定证据校准 PIP-ToM
研究提出证据容许性接口 PIP-ToM，通过构建智能体专属证据库并校准假设评分，解决多模态心智理论（Multimodal ToM）中的视角泄露与来源混淆问题。该方法确保仅将智能体可访问、保留信息源且具备诊断性的证据纳入心理状态假设评估，同时保留底层贝叶斯推理过程。
arXiv cs.AIAI 评分3434 AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA 是一种兼容 SFT 的插件架构，通过双向预测跨模态掩蔽中间状态提升视觉到符号翻译对不完美数据的容错能力。在 WildMol 基准 Simple 测试集中，AC-JEPA 基于干净数据取得 76.07% 准确率，优于单独 SFT 的 67.40%。使用伪标签自训练时，AC-JEPA 准确率进一步升至 80.23%，而直接 SFT 则从 67.40% 下降至 63.47%。
arXiv cs.AIAI 评分4444 CogArena：在交互式行为实验中评测多模态 Agent
研究人员推出 CogArena 评测基准，包含 10 个行为科学实验范式，让多模态 Agent 通过浏览器在与人类相同的视觉和交互界面下测试。该基准采用三级评分评估任务完成度、准确率及人类特征复现度；对 4 个多模态模型的测试显示，完成实验并不等同于能复现人类行为特征。CogArena 现已公开实验任务、评分代码与公共排行榜。
arXiv cs.AIAI 评分5656 红心代表递归：探索视觉语言模型中的视觉意义与沟通
最新研究探讨了视觉语言模型（VLM）的视觉沟通能力，发现红心等简单视觉符号能够强烈引导模型在编程等无关任务中产生递归解。这种引导效应大部分是隐式的，模型的直接解释或思考链与其观察到的实际行为存在显著分歧。研究还表明模型间存在生成与解释的鸿沟，虽然模型能创造性地利用视觉传递意义，但其表达方式往往与人类习惯不同。
arXiv cs.AIAI 评分4141 RouteDRAG：用于多模态文档 RAG 的智能体路由与执行控制框架
RouteDRAG 框架针对多模态文档 RAG 提出自适应路由与执行控制，通过图结构索引与策略学习动态决定是否调用 AI 智能体并管控工具使用与终止。在两个基准测试中，该方法仅将 79.3% 的查询分配给智能体，准确率相比短路径执行平均提升 3.47 个百分点，并以更少调用超越了全量智能体执行。该项目代码已开源。
arXiv cs.AIAI 评分3939 StruPO：从结构反馈到提示词策略，学习高保真文生图提示词编辑器
研究人员提出结构感知提示词编辑器 StruPO，通过校准场景图将外部结构反馈转化为可复用的文生图编辑策略。在 3 个 2K 提示词测试集与 4 个冻结骨干网络的实验中，该方法改善了保真度与美学权衡，并持续提升关系保真度。15 名标注员研究与自动评测表明，关系越复杂人类偏好优势越明显，且校准后可单次生成优化提示词，无需迭代重写。
arXiv cs.AIAI 评分4444 The Trinity：面向多模态智能体的能力驱动递归自我提升框架
研究提出面向多模态智能体的递归自我提升框架 The Trinity，通过 Creator、Explorer 和 Evolver 三个角色将世界生成与 Harness 演化耦合。
arXiv cs.AIAI 评分4444 InfiniteWorld：将视觉证据与已知物理规律分离
研究人员推出物理推理基准 InfiniteWorld，通过将问题与系统性修改物理参数的模拟视频配对，测试视频语言模型能否依据视觉证据进行推理。该基准涵盖定律识别、参数估计和定律归纳等 5 项任务，并提供纯文本与视频帧等 5 种配对输入设置。评测显示现有模型普遍依赖地球常规规律，在观测物理动态改变时仍频繁给出常规答案。
arXiv cs.AIAI 评分4949 掌握全部事实仍答错：视觉语言模型中的整合鸿沟
研究发现视觉语言模型普遍存在“整合鸿沟”，即模型即便能准确识别各个局部事实，在多证据联合决策时仍会出现严重失效。例如 Gemma-3-27B 能正确恢复所有孤立单项事实，但在 8 项视觉实例上的全局有效率仅有 19.75%。探测与激活替换实验表明，仅在隐藏状态表征解相关信息不足以实现可靠推理，模型改进需专门针对证据整合能力。
arXiv cs.AIAI 评分4444 Iris：支持可复用选项记忆的视觉候选类型化决策框架
研究团队推出多模态决策框架 Iris，支持图像与文本候选输入，在保证严格顺序不变性的同时实现精确缓存复用。跨请求复用图像候选使延迟在 K=256 与 K=2048 时分别降低 37x 和 191x，并在新基准上达到最高 91.7% 准确率且零翻转率。此外，Iris-4B 在 JevBench 评测中达到 100% 准确率超越 30B 模型，代码与权重已开源。
arXiv cs.AIAI 评分3434 Meta-CLIP：用于零样本疾病推理的元数据条件对比学习
研究人员提出 Meta-CLIP 框架，利用 DICOM 标头采集相似度重新加权跨模态负样本，以提升医学视觉语言预训练与零样本疾病推理表现。该方法在推理时沿用标准双编码器架构且无需输入元数据。在 CT-RATE 基准上，Meta-CLIP 较 CT-CLIP 将 macro-AUROC 提升 1.41 点，并在 5 个 CXR 基准中的 4 个取得最高 macro-AUROC，代码将公开。
arXiv cs.AIAI 评分3535 面向事件驱动 VLA 推理的 PoT-LIF 神经元
研究者提出 PoT-LIF 神经元，通过发射幅值为 2 的幂次的离散脉冲，为视觉-语言-动作（VLA）模型实现低功耗事件驱动推理。将其集成至 $\pi_{0.5}$ 模型并在 LIBERO 闭环评测中测试，Heartbeat 模式成功率达 97.25%，优于连续激活基线的 96.70%。
arXiv cs.AIAI 评分3939 TAD：仅凭教师轨迹蒸馏视觉-语言-动作（VLA）策略
新提出的对抗蒸馏方法 TAD 无需在线教师打分或环境奖励，仅依靠固定教师轨迹即可对 VLA 策略进行在线蒸馏。在 ManiSkill 评测中，TAD 将 7B 规模的 OpenVLA-OFT 成功率从 26.2% 提升至 76.6%，最终成功率从 20.3% 提至 58.6%。其表现仅落后白盒在线蒸馏（OPD）0.8 至 5.0 个百分点，但需消耗 OPD 5 倍的学生交互预算。
arXiv cs.AIAI 评分3636 SMART-Med：基于不确定性感知路由的选择性多智能体医学推理
研究人员提出本地多智能体医学推理方法 SMART-Med，通过不确定性驱动的路由机制自适应决定直接回答还是引入专家智能体协作。该方法结合新构建的数据集 MedVR-3K 并采用 GRPO 算法微调，在 Slake、PathVQA、VQA-RAD 和 PMC-VQA 四项基准上取得 6.7% 的平均提升。同时，SMART-Med 将推理时间缩短超过 3.8x，token 消耗降低 72%。
arXiv cs.AIAI 评分3838 大模型全阶段训练综合框架：从数据与分词、预训练到后训练对齐
该研究提出了涵盖大模型全阶段训练的统一划分与六维分析框架，系统梳理从数据、分词、预训练到后训练对齐的完整流程与跨阶段效应。论文系统综述了 395 篇核心文献，指出 Scaling Law 的可比性取决于数据质量与配比，RLHF 与 DPO 等偏好对齐重塑了后训练边界，且多模态训练对纯文本范式构成了结构性挑战。
arXiv cs.AIAI 评分3232 GEMS-RAG：面向工程多模态标准的图接地检索增强生成框架
研究人员提出 GEMS-RAG 框架，通过分层解析、细粒度视觉实体提取与多模态知识图谱构建，解决工程标准中跨文本条款与图表的联合推理难题。该框架在推理时融合密集、稀疏与视觉检索并结合图扩展，将图表解构成与规范关联的视觉实体。在《统一交通控制设施手册》（MUTCD）评测中，其检索与问答表现均优于纯文本、多模态及图 RAG 基准。
arXiv cs.AIAI 评分3636 Isharah-Selfie：面向单手手语的连续手语识别数据集
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie，专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子，同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战，目前数据集已开放获取。
arXiv cs.AIAI 评分3636 IRON-Meme：网络模因叙事中身份与角色结构化理解基准
研究人员推出 IRON-Meme，这是一个用于结构化理解网络模因叙事中身份与角色的人工标注评测基准，包含 1,110 个政治模因。对 9 款视觉语言模型的评估显示，前沿规模模型与推理模型表现最佳，但在低频标签上的准确率有所下降。研究还发现引入模板背景知识未能提升叙事角色分类效果，该基准与代码已公开。
arXiv cs.LGAI 评分5151 PaperScorer：论文被接收在多大程度上可预测？
研究团队提出 PaperScorer 模型家族，在去除作者身份与格式捷径后仅凭论文文本或页面截图直接预测同行评审的接受或拒绝决定。视觉模型表现最佳，在 ICLR 论文上取得 68% 准确率并在 arXiv 机器学习论文上达到 77%，超过纯文本和前沿推理模型。模型对评分极高与极低的论文预测最准确，中间分数段则保持不可预测，展示了单篇论文自身承载的审稿决策信号。
arXiv cs.LGAI 评分3535 通过按查询模态选择实现高效全模态大语言模型推理
研究提出面向全模态大语言模型（Omni-LLM）的逐查询模态选择方法，在保持模型固定的前提下自适应选取输入模态，以优化准确率与推理成本的权衡。在 WorldSense 基准上评估 Qwen2.5-Omni 与 Qwen3-Omni 发现，该方法表现均优于全模态输入基线。
arXiv cs.LGAI 评分3434 ConsMSA：面向多模态情感分析的语义分布一致性学习
针对跨模态信号中的语义冗余与冲突，研究人员提出多模态情感分析框架 ConsMSA，显式建模模态内与模态间的语义分布一致性。该方法通过计算模态内与模态间一致性得分（I²CS）并结合预测相关性，实现表征对齐正则化、自适应 token 重加权与冗余 token 剪枝。
arXiv cs.LGAI 评分3333 基于大语言模型的微服务系统自回归多模态异常检测
研究人员提出基于大语言模型（LLM）的微服务系统自回归多模态异常检测框架 LLMMAD，以解决跨模态融合忽视模态特性以及特征重构的捷径问题。该框架将多模态数据重组为统一序列交由 LLM 建模，配合模态重构头并采用预测未来状态的自回归目标。在 3 个真实数据集上的实验表明，LLMMAD 的 F1-score 分别提升 3.1%、1.4% 和 0.9%，全面优于现有 SOTA 方法。
Apple ML ResearchAI 评分3636 GHARP：基于大规模重建先验的实时 3D 高斯人头动画方法
GHARP 提出一种基于大规模重建先验的实时 3D 人头动画方法，仅需少量输入图像与表情驱动信号即可驱动头像。该方法将流程解耦为离线身份构建与面向移动设备优化的轻量化运行时动画，并利用身体对齐网络消除身体姿态模糊与时间闪烁。在 Ava-256 基准测试中，该方法达到 SOTA 质量，在高斯数量减少 8 倍的同时，在 A100 GPU 上的运行速度提升高达 13 倍。
arXiv cs.AIAI 评分3535 CASE：面向冻结多模态情感模型的混淆感知技能演化框架
研究者提出首个面向多模态情感识别（MER）的智能体技能框架 CASE，用于解决多模态大语言模型对语义相近情绪的混淆问题。该框架维护自演化的 EmotionSkills 技能库，在保持模型主干冻结的同时于推理期动态检索技能以强化边界感知推理。实验表明，CASE 将 Qwen3-VL-8B 在 CA-MER 基准上的平均准确率从 46.80% 提升至 59.13%。
arXiv cs.AIAI 评分3434 多模态嵌入框架 PILOT：超越事后奖励的特权推理探索
研究者提出多模态嵌入框架 PILOT，将推理建模为隐变量，利用训练期关联证据指导推理探索以优化嵌入表示。该框架通过先验与后验协同演化机制，在共享推理兼容奖励下将高价值探索轨迹迁移至推理阶段。在包含 78 个任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数下总分分别提升 3.2 与 3.3 分，视觉文档检索提升达 +6.1 和 +6.4 分。
arXiv cs.AIAI 评分3636 何时停止惩罚动作？面向 VLA 强化学习的 Martingale GRPO
研究提出面向 VLA 强化学习的 Martingale GRPO（MART-GRPO），通过鞅理论刻画反馈截断条件，解决传统 GRPO 对失败轨迹全盘惩罚导致误伤有效恢复动作的问题。
arXiv cs.AIAI 评分3636 基于多模态智能体实现非平稳响应科学仪器的自适应控制
研究团队提出一种基于多模态智能体的科学仪器自适应控制框架，结合确定性特征提取、双层记忆 MLLM 与独立动作校验应对非平稳响应。在 EXL-50U 的 455 炮回放中，检索上下文将动作方向一致性提升 22.4-42.7 个百分点，物理符号分类优于纯波形图像。在 5 个离子源的受监督运行中，系统在 409 炮测试中达到 86.80% 的引束率。
arXiv cs.AIAI 评分3333 多模态强化学习：从视觉亲和力到学习信用分配
研究提出插件式框架 Outcome-Conditioned Visual Credit（OVC），将多模态强化学习中的视觉关联度度量与 token 级信用分配解耦。该方法无需辅助奖励模型、过程标注或推理期模块，直接复用现有采样数据调制 token 梯度贡献。在 3 个模型上，其实例化方案使 6 项基准测试平均准确率相较 GSPO 持续提升 1.86-2.39 个百分点。
arXiv cs.AIAI 评分4343 MedCaseAgent：从多模态临床证据生成罕见病病例报告
MedCaseAgent 是一种端到端 AI 智能体推理框架，能通过动态检索医学文献与知识库，从非结构化临床记录中生成发表级的罕见病病例报告。研究团队同步开源了多模态病例语料库 MedCase-150K、评测基准 MedCase-Bench，以及基于 Qwen3.5-9B 后训练优化的开源模型。基准评测与双盲专家评审显示，其表现均超越现有的通用和专用医疗 LLM 及智能体。