跳到正文

#多模态

今日 2 条
10月23日周五
  1. TechCrunch · AI80

    OpenAI 正式全面开放决策模型 Decisions API

    OpenAI 宣布将其决策模型 Decisions API 正式面向所有客户开放,旨在提供快速且低成本的高频选择与分类能力。该接口基于 ChatGPT Luna 重构以将推理延迟压缩至 100 到 180 毫秒,并在公测版本中新增了语音与视觉多模态支持。Box、Datadog 与 Speak 等早期测试客户已使用该 API 替代部分传统大模型工作流,大幅缩短了系统响应时间。

    推荐理由:Decisions API 主打超低延迟决策,读者可以借此了解决策模型在替代传统大模型高频调用场景中的性能表现与成本优势。

10月22日周四
  1. arXiv stat.ML36

    视觉-语言-动作(VLA)策略的事后认知不确定性估计

    研究人员提出一种面向视觉-语言-动作(VLA)策略的事后核方差头方法,无需梯度更新即可直接从单模型嵌入中估计认知不确定性。在 LIBERO-10 基准上对 SmolVLA 的测试显示,该方法在主动学习演示获取与求助代理上表现媲美双模型集成,同时将不确定性评分时间最多缩短约 50 倍并大幅削减设置成本。

  2. NVIDIA Blog68

    NVIDIA 扩展 Cosmos 平台并开放世界模型训练、评测与部署工具

    NVIDIA 扩展 Cosmos 平台,推出包含 5 个云原生蓝图的 Cosmos Data Factory、全新训练框架及 Cosmos 3 Nano 仿真模型变体,帮助开发者加速物理 AI 与世界模型的开发与落地。

    推荐理由:这套工具通过合成数据生成与闭环仿真评测,为实体AI开发者打通了从物理场景采集到模型微调部署的完整流程。

  3. arXiv quant-ph33

    量子层能否为视觉语言模型带来性能与安全优势?

    基于 LLaVA-OneVision 的研究显示,在 visual projector 后插入量子层可在 Visual Spatial Reasoning 数据集达到 80.7% 准确率,较经典全微调提升 2.28 个百分点。替换最终 decoder 前馈子层可减少 13.07 million 可训练参数并保持 79.22% 准确率。研究还测试了混合模型在 6 种攻击设置下的鲁棒性,代码已开源。

  4. arXiv cs.AI37

    KPHarness:面向长周期游戏线索框架的知识与探测协同演化框架

    研究人员提出了 KPHarness,通过知识与探测协同演化来适配冻结视觉-语言-动作模型的外部执行框架。该框架将快速策略执行与慢速研究循环解耦,基于沙盒对比评估生成框架修订,并将验证后的恢复策略跨任务复用。在涵盖挖矿、战斗和合成的 Minecraft 任务及未见任务测试中,其任务覆盖率与完成度均优于固定框架及仅靠知识演化的基线。

  5. arXiv cs.AI35

    EDMA:基于熵驱动的多模态问答方法

    研究者提出基于逻辑熵驱动的多模态问答方法 EDMA,将问答形式化为迭代降熵过程以量化各模态的贡献。该方法包含单模态降熵估计、多模态融合及最大降熵轨迹选择三大机制。在标准 MMQA 基准上,EDMA 相比 Planning Prompting 平均提升 12.8 F1 和 4.6 LLM-J 点,相比 CoT 提升 18.6 F1 和 8.3 LLM-J 点。

  6. arXiv cs.AI35

    LightCRS:轻量级多领域对话式推荐系统

    研究人员提出轻量级统一多领域多模态对话推荐框架 LightCRS,通过离线预计算商品表征,线上仅用 5.3M 参数的模块融合特征并共享跨领域参数。在涵盖 25 个领域的 MM-R2A-25 基准评测中,LightCRS 的 HR@1 相比最强基线提升 35.4%,同时单次查询延迟降低 266 倍。联合多领域训练也使 HR@1 比单领域独立训练模型提升 15.2%。

  7. arXiv cs.AI38

    MAMath-Bench:多模态多智能体数学推理的过程感知与鲁棒性评测基准

    研究者推出多模态多智能体数学推理评测基准 MAMath-Bench,包含涵盖 11 个数学类别以及文本、图像、音频等模态的 1,003 道题目。该基准通过细粒度里程碑标注,从解题正确性、推理过程可靠性及对抗扰动鲁棒性三个维度展开评估。评测发现多智能体协作相比强单模型并未持续提高最终答案准确率,且当前系统面对对抗性推理错误仍较脆弱;数据集已开放获取。

10月21日周三
  1. Nature69

    Nature 刊发个人健康智能体研究:结合穿戴设备与多智能体协作架构

    该研究提出了一种名为个人健康智能体(PHA)的模块化多智能体架构,用于应对个人日常健康管理中的多样化需求。系统由中心编排器协调数据科学、领域专家和健康教练三个专业智能体,分别处理时序数据分析、循证医学推理与对话行为指导,基础模型采用 Gemini 2.0 系列。在基于 1,165 名参与者的真实代谢健康数据集及 11 项基准任务中,该架构在用户体验与专家评估上均显著优于单智能体和静态并行系统。

  2. NVIDIA Blog81

    NVIDIA 扩展开源模型矩阵,发布 Nemotron 3.5、Kumo 等多领域模型

    NVIDIA 扩展了覆盖语言、结构化数据、机器人、生物学和量子计算的开源模型家族,推出 Nemotron 3.5 Super VL、Nemotron 3.5 Bolt、Kumo 及 Cosmos 3.5 等多领域基础模型。

    推荐理由:文章系统梳理了覆盖语言、物理模拟与生物计算等领域的开源模型矩阵,读者可借此了解不同垂直业务场景下的模型选型与落地路径。

  3. 量子位70

    Meshy 推出 Meshy Edit 局部编辑功能:支持圈选用指令修改 3D 模型

    Meshy 正式上线局部编辑功能 Meshy Edit,用户圈选 3D 模型区域并输入文本描述或附带参考图,即可在约一分钟内生成保留未选中区域的新模型。新功能已向全部注册用户开放,每次编辑消耗 20 积分,目前支持 Meshy 6 和 Meshy 7.1 生成的高精度模型。修改后的模型完整保留原件,可继续编辑、下载或直接对接切片软件进行 3D 打印。

10月20日周二
  1. Scientific American62

    AI 能仅凭人脸照片预测癌症患者的死亡风险吗?

    发表在《柳叶刀·数字健康》(The Lancet Digital Health)的一项新研究显示,AI 模型能够仅凭一张面部照片预测癌症患者的死亡风险。研究人员利用 4000 万张面部图像进行预训练,并在包含 3820 名癌症患者的测试组中发现,最高风险组里超过半数患者在拍照后 90 天内去世。

  2. AWS Machine Learning Blog54

    TwelveLabs 视频大模型 Pegasus 1.5 正式上线 Amazon Bedrock

    TwelveLabs 视频语言模型 Pegasus 1.5 正式在 Amazon Bedrock 上线可用。该模型支持单次处理长达 2 小时的长视频,无需预先建立索引即可直接读取 Amazon S3 中的视频源;模型新增时序元数据生成与参考图像多模态提示功能,可根据自定义字段以 JSON 格式输出匹配片段的起止时间及结构化信息。

10月19日周一
  1. arXiv cs.AI34

    CIIR:基于类别索引接口表征学习的跨数据集通信框架

    研究人员提出模块化编解码器框架 CIIR,通过类别索引地址空间连接异构数据集,无需配对或同步的多模态样本。系统使用 128 维地址表征,新训练的无标签接收器实现了 94.7% 的宏平均地址实现准确率。冻结基础地址空间后仅训练轻量适配器接入未见过的 SVHN 数据集,在无目标端标签下达到 90.2% 的 MNIST>SVHN 和 82.3% 的 SVHN>MNIST 端到端地址迁移准确率。

  2. arXiv cs.AI43

    利用用户手册让计算机使用智能体适应新软件

    研究人员提出 MAGE 框架,利用用户手册作为程序性知识来源,提升计算机使用智能体在执行和训练两个阶段的能力。在执行时,该框架检索手册内容并生成步骤指导,同时通过环境交互调整策略;在训练时,它将手册转化为可执行的任务计划对并生成交互轨迹以优化策略,无需人工编写的演示数据。在 6 个软件上的实验表明该方法有效提高了任务成功率,相关代码已开源。

  3. arXiv cs.AI32

    ShadowFPT:利用影子触发器对联邦提示词微调进行后门攻击

    研究人员提出针对联邦提示词微调(FPT)的目标后门攻击方法 ShadowFPT,利用冻结的预训练骨干网络在表征空间植入后门。恶意客户端针对冻结的 CLIP 视觉编码器预训练可学习的影子触发器(Shadow Trigger),并仅向服务器上传与良性更新接近的提示词参数。实验显示,ShadowFPT 在主要设定下将攻击成功率从 19.81% 提升至 90.36%,同时保持了干净样本的准确率。

  4. arXiv cs.AI34

    面向动画电影社交与情绪理解的大脑对齐多模态 LLM 研究

    研究对比了基于扩散模型与自回归的多模态 LLM 与人类在三部动画短片中的心智理论(ToM)及情绪效价连续评分,并用于预测区域 fMRI 脑响应。结果显示模型能捕捉人类评分的时间变化,在效价上的对齐度普遍高于 ToM,且两者脑激活空间重叠主要分布在视觉、背侧注意及后默认模式网络区域。这证实了多模态 LLM 可作为生成具备大脑预测性社交情绪标注的可扩展工具。

  5. arXiv cs.AI37

    FlexUMM:面向统一多模态模型的灵活表征学习框架

    研究人员提出统一多模态模型框架 FlexUMM,通过动态决定何时保留共享计算、何时路由专用容量以及何时停止处理,解决理解与生成任务间的表征冲突。该灵活分配机制在减少功能间有害竞争以提升精度的同时,还能跳过不必要计算来提升效率。FlexUMM 可作为与模型无关的功能性插件,相关代码已开源。

  6. arXiv cs.AI36

    TAG-Nav:面向移动端 GUI 导航的任务无关图探索框架

    研究者提出任务无关图导航框架 TAG-Nav,通过离线探索提取应用功能、目标页面与路径点并构建目的地记忆,在无需任务特定演示的情况下为 GUI 智能体提供路由引导。评测基准 DestBench 显示,基于图的记忆将 UI-TARS-1.5-7B 的严格导航成功率从 52.4% 提升至 58.3%,并将 Qwen-VL-Max 的成功率从 59.5% 提高到 71.4%。

  7. arXiv cs.AI40

    ECHOES:结合递归历史压缩与特权策略内蒸馏的长程 GUI 智能体框架

    研究团队提出长程 GUI 智能体框架 ECHOES,采用 CTA(压缩-思考-行动)格式递归更新文本历史状态,并通过特权多图教师模型进行 token 级策略内蒸馏。配套的 PMF Gap 引导强化学习动态平衡蒸馏与任务奖励,同时构建了诊断基准 ECHOESBMK。部署时不保留历史截图即可在 4 个 GUI 基准上实现高表现与低推理成本,且支持零样本规划迁移。

10月18日周日
  1. 科学网34

    湖南重症医学领域四大智慧平台集中亮相

    湖南重症医学年会集中亮相了数智融合重症辅助诊疗系统、智雅平台、XCCM湘雅重症数据库与重症量化脑电数据分析平台四大项目。其中脓毒症1.0系统整合20余万条临床数据提供用药推荐与早期预警,智雅平台兼顾临床辅助与精细化管理。此外,脑电分析平台基于图注意力扩散识别异常,结合云端数据库与AI初筛实现区域远程协同。

10月17日周六
  1. 科学网37

    联合国教科文组织与上海开放大学联合发布教师AI能力与智能教育系列成果

    联合国教科文组织教育信息技术研究所与上海开放大学联合发布系列智能教育成果,涵盖2份分析报告、4门前沿课程、4款智能教育工具及2份评估指南。成果包含《教师AI能力框架分析报告》与《数字学习平台发展趋势分析报告》,以及教师AI能力自评工具、多智能体在线学伴工具和AI互动课件生成工具等多款轻量化应用。配套指南重点关注利用大模型进行多模态学习体验动态评估及智能体教学效果评价。

  2. Nature73

    业余爱好者借助 AI 破解历史长期未解密码

    多位业余爱好者正利用大语言模型破译尘封多年的历史密文,成功解密了二战时期的恩尼格玛电报以及 1809 年拿破仑军队的信件。模型通过图像识别、网络检索历史线索并编写算法模拟密钥,在数小时内完成了原本需要极高专业门槛的解密计算。密码学专家认可这种技术加速作用,但同时也面临大量非专业人员提交错误解密方案带来的验证负担。

  3. Solidot86

    Meta 发布开放权重模型 Muse Spark Open

    Meta 发布开放权重多模态模型 Muse Spark Open,拥有 8160 亿总参数和 420 亿激活参数,支持 100 万 Token 上下文。该模型结合苹果开源框架 MLX 针对统一内存进行了优化,两台搭载 M5 Ultra 芯片的 Mac Studio 即可部署运行。目前模型权重已在 Hugging Face 正式上线。

    推荐理由:该模型通过适配苹果 MLX 框架与统一内存架构,让超大参数规模的开放多模态模型能够在两台桌面工作站上直接本地运行。

10月16日周五
  1. 量子位85

    谷歌发布新一代旗舰模型 Gemini 4 Argon 并开启 API 限时半价

    谷歌正式面向全球开发者、企业及付费订阅用户推出 Gemini 4 Argon 模型,重点强化了长流程任务执行与多模态能力。在第三方智能指数中其高配版本追平竞品旗舰水平,API 首发推出半价优惠,并在代码库维护、机器人仿真以及科研实验设计等真实场景中完成了长流程验证。

    推荐理由:原文汇总了新模型的评测数据、成本表现与实际工程实践,读者可以直观了解其在长流程任务上的落地效果。

  2. Latent Space31

    AINews:AI 智能体反驳多语义性,大幅提升模型可解释性与对齐

    Goodfire 的 Nick Cammarata 撰文提出“神经网络本身已足够干净”,指出多语义性与特征叠加现象经 AI 智能体深入分析后被逐一破解,大幅改善了模型可解释性与对齐。同日 Meta 发布多模态 MoE 模型 Muse Spark Open,拥有 816B 总参数与 42B 激活参数,支持 1M 上下文,以 39 分位列 Artificial Analysis 美国开放权重模型榜首。

  3. 科学网31

    陈俊龙教授荣获 IEEE SMC 学会扎德开拓者奖

    华南理工大学陈俊龙教授在 IEEE SMC 2026 年会上荣获扎德开拓者奖,成为第 9 位获此最高奖项之一的国际学者。该奖表彰其在模糊逻辑的神经网络与智能系统、计算智能增量学习等方向的开拓性贡献。此外,陈俊龙团队关于基于多重堆叠宽度学习系统跨文化情绪识别的研究,还获得了 IEEE SMC 学会 Andrew P. Sage 最佳期刊论文奖。

  4. arXiv cs.AI35

    DocPilot:面向长视觉文档理解的交互式智能体编排与训练框架

    研究人员提出长视觉文档理解智能体框架 DocPilot,通过页面级导航、细粒度证据定位、局部视觉检查与代码数值推理实现多模态理解。该框架采用课程智能体训练,可将复杂文档处理能力迁移至小型模型。评测显示其在前沿 VLM 上表现提升显著,4B 参数的 DocPilot-4B 性能可抗衡更大规模模型,相关代码已开源。

  5. arXiv cs.AI42

    MSP:无需配对跨模态数据训练多模态大语言模型的模态自我博弈框架

    研究人员提出多模态大语言模型训练框架 MSP,通过模态自我博弈摆脱对真实跨模态配对数据的依赖。该方法利用未见模态的代理文本描述作为语义桥梁,使模型仅凭真实锚点模态与代理描述即可实现零样本多模态组合与推理。实验显示,MSP 在多个多模态评测基准上达到 SOTA 或极具竞争力的性能表现。

  6. arXiv cs.AI39

    EvolvingBrain:用于多模态 Agent 在开放世界中自我进化的自适应技能系统

    研究人员提出多模态 Agent 自我进化系统 EvolvingBrain,通过自适应技能系统作为核心大脑以提升开放世界交互能力。该系统包含从轨迹中提炼经验并构建包含 Domain、Plan 和 Action/Trap Skills 的分层技能自进化模块,以及利用结构化摘要记忆指导技能融合的状态感知自适应执行机制。

  7. arXiv cs.AI34

    反事实邻域风险场(CNRF):面向视觉语言模型的证据驱动选择性安全框架

    研究人员提出了反事实邻域风险场(CNRF),这是一种面向视觉语言模型(VLM)基于证据的选择性安全框架,通过构建良性与有害反事实对将邻域支持度与风险估计分离,实现选择性干预而非一刀切拒绝。在 3 个 VLM 和 5 种多模态越狱家族的测试中,CNRF 实现了 86.06-89.30% 的宏防御成功率,并在低假阳性区间有效提升了风险排序能力。