用于认知障碍检测的以任务为中心多模态学习
研究人员提出一种非接触式多模态筛查框架，利用与 Amazon Alexa 结构化语音交互期间采集的视频、音频和文本信号检测认知衰退。在任务级评测中，单模态视频模型在指令朗读（Command-Reading）任务上准确率为 0.65（AUC 0.69），音频模型在问答（Question-Answering）任务上准确率为 0.67（AUC 0.73）。
#多模态
#多模态
今日 2 条arXiv cs.LGAI 评分3131 arXiv cs.LGAI 评分3434 CogDrift-4D：用于轻度认知障碍检测的跨时间行为衰退分层多模态建模
研究人员提出 CogDrift-4D 分层 4D Transformer 框架，用于通过连续多模态行为衰退轨迹检测轻度认知障碍（MCI）。该架构结合会话内最小二乘回归斜率与会话间递归交叉注意力反馈编码器，并引入 Quality Gate 动态过滤低完整度特征。
arXiv cs.LGAI 评分3434 EEG 与文本的语义对齐：用于解码想象语音的对比学习框架
研究人员提出一种多模态对比学习框架，将 EEG 脑电信号与冻结的预训练文本编码器嵌入空间对齐，以解码想象语音。该方法在包含 5 名受试者的 Chisco 数据集上覆盖 39 个意图类别，取得了与任务优化的闭集分类器相当的解码表现。此外，最大 EEG-文本余弦相似度（MaxCosine）可作为解码可靠性指标筛选高准确率样本，评估阶段的 5 个语义维度平均一致性均超过 50% 随机基准。
量子位AI 评分7575 Apple Intelligence 计划于 12 月在华上线，合作方包含百度与阿里
苹果计划于 12 月通过系统更新在中国大陆正式上线 Apple Intelligence，首批功能覆盖 iPhone、iPad 和 Mac，暂不包含新版 Siri AI。百度将为 Siri 与视觉智能提供搜索支持，阿里则作为模型合作方接入通义万相和 Qwen 提供文本与图像生成等能力。该服务此前已通过相关备案并取得上线许可，管理层对新版 Siri AI 近期入华仍持谨慎态度。
arXiv cs.AIAI 评分4040 摄像头优先的 AI 智能体应如何工作？
针对摄像头优先 AI 智能体面临的短暂目标交互（ETI）时效难题，研究团队提出了感知截止时间契约，将硬性记忆截止时间与软性推理截止时间分离。该双截止时间架构包含常驻非语义快速路径、主动记忆机制以及由多模态模型和工具构成的延迟深思层。实测显示前沿模型短回答耗时达 1.2-9.3 s，该方案确保视觉证据在单路径推理延迟导致目标消失前被持久化保存。
arXiv cs.AIAI 评分3434 CUSE：基于反事实引导与同策略自蒸馏的多模态细粒度遗忘框架
研究人员提出针对多模态大语言模型（MLLMs）的细粒度遗忘框架 CUSE，通过反事实输入确定需遗忘的 token，并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型，对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中，CUSE 将遗忘集的 ROUGE-L 降低 33.6%，同时保留集 ROUGE-L 相比最强基线提升 1.2%。
arXiv cs.AIAI 评分3333 用于测试期类别发现的关系语义扎根框架 SEGA
研究人员提出用于测试期发现（TTD）的属性语义扎根框架 SEGA，解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间，测试时引入关系语义扎根（RSG）对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念，提升了 TTD 基线性能。
arXiv cs.AIAI 评分3939 如何构建真正衡量审美品味的评测基准 TasteBench
研究团队提出 TasteBench 基准与控制协议，在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露（得分 0.912）及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差，并发布了参考评测套件与随机化工具。
arXiv cs.AIAI 评分2727 用于高效印度手语识别的混合运动学 GCN 与弹性 Transformer 框架
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架，用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧，利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏，并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上，该方法达到 89.8% 的准确率。
arXiv cs.AIAI 评分3434 解耦多模态大语言模型遗忘中的知识遗忘与拒绝学习
研究人员提出 Forget-Aware Self-Distillation（FASD）方法，通过解耦知识遗忘与拒绝学习来解决多模态大模型遗忘中的幻觉与信息泄漏问题。该方法将目标拆分为行为通道与知识通道，前者通过掩蔽目标 token 的自蒸馏学习合理拒绝，后者独立抑制真实答案跨度。实验表明，FASD 成功遗忘目标知识并防止信息泄漏，同时保留了非目标数据的性能，相关代码和数据将在正式发表后开源。
arXiv cs.AIAI 评分3535 多模态基准真的有用吗？基于结构-响应协同校准的题目级基准诊断框架 SRCoD
研究者提出多模态基准诊断框架 SRCoD，通过结合题目结构与模型响应行为进行协同校准，实现对评测题目模态依赖性的细粒度诊断。该框架利用基准内容的信息结构作为软锚点建模条件响应，生成校准后的题目诊断画像并提供可解释归因。实验表明，SRCoD 在基准优化与人工标注验证下均优于现有基准诊断方法。
arXiv cs.AIAI 评分3434 HiPPT：基于多范围文本对齐的生理学可穿戴 PPG 表征学习框架
研究者提出基于生理学机制的可穿戴 PPG 表征学习框架 HiPPT，通过将不同监督源匹配到对应的波形证据范围，并构建了包含 20.2 万名用户逾 400 万条腕部记录的 PPG 文本语料库。
arXiv cs.AIAI 评分3636 MOSAIC：面向视觉语言模型的 patch 级训练样本归因方法
研究人员提出 MOSAIC 方法，通过学习共享的稀疏图文潜在空间，实现视觉语言模型（VLM）在图像区域与文本短语层面的细粒度训练样本归因。该方法结合 EK-FAC 将样本影响分解到具体概念并定位其贡献，已在 Qwen 与 Gemma 上完成图像描述、胸部 X 光理解和视觉问答评测。实验表明消融影响度排序的潜在特征比基于激活或频率的基准更能改变模型输出。
Apple ML ResearchAI 评分4343 基于选择的结构化推理（SSR）：迈向高效多模态搜索智能体
研究人员提出基于选择的结构化推理（SSR）框架，将多模态智能体的开放式推理重构为从预设可复用的候选推理中进行选择。在 2B 与 4B 模型及 7 个多模态搜索评测基准上的测试显示，该方法在保持任务成功率的同时，将每轮推理延迟降低超过 90%，并将每个问题的模型总推理延迟降低 28–54%。
The Decoder精选AI 评分7878 Meta 推出开源权重模型 Muse Spark Open 对标千问与智谱等竞品
Meta 推出 8160 亿参数（420 亿激活）的开源权重模型 Muse Spark Open，支持文本、图像、视频和音频输入，上下文达 100 万 token。
推荐理由：该模型在智能体与多模态基准中对标多款竞品，展示了在双台工作站本地运行超大 MoE 架构的可行性与商用边界。
The Verge · AI精选AI 评分8080 Meta 与苹果合作优化 Muse Spark Open 模型在 Mac 上的运行表现
Meta 发布拥有 816B 总参数的开源多模态模型 Muse Spark Open，并与苹果合作使其能够在搭载最新 MLX 框架的两台 Apple M5 Ultra Mac Studio 上进行桌面端本地运行。该模型主打长周期任务、复杂软件工程与多步骤推理能力，苹果也同步发布了关于 MLX 适配的技术说明。
推荐理由：原文展现了两家科技巨头在桌面端大模型运行上的合作，读者可据此了解超大参数模型在本地硬件框架下的适配进展。
The Decoder精选AI 评分7676 Nvidia 发布开源多模态智能体模型 Nemotron 3.5 Super VL
Nvidia 正式推出开源多模态模型 Nemotron 3.5 Super VL，采用 120B MoE 架构（每个 token 激活 12B 参数），专为企业级后台持续运行的 AI 智能体设计。
推荐理由：原文给出了从云端 MoE 到端侧量化版本的完整架构和实测数据，展示了企业级智能体兼顾吞吐量与私有化部署的具体路径。
NVIDIA Blog精选AI 评分7474 NVIDIA 发布 Nemotron 3.5 Super VL 及 Bolt 系列端侧模型
NVIDIA 正式发布 120B 参数的开源模型 Nemotron 3.5 Super VL，以及面向本地和边缘智能体的 Nemotron 3.5 Bolt 74B-A9B 与 Bolt E4B 两款端侧模型。
推荐理由：通过涵盖云端多模态与端侧量化模型，该系列为企业本地部署全流程智能体提供了开源权重与配套微调方案。
科学网AI 评分2121 直播预告｜大模型时代：多模态聚类是否仍有必要？
科学网等平台将于10月19日19:00举办直播，探讨大模型时代下多模态聚类的必要性与短板。郑州大学徐明亮、胡世哲团队近期在《工程·信息与电子工程（英文）》发表了一种新算法，旨在改善无需人工标注时机器对图像、文本、音视频等混合数据自动分类的痛点。活动将由中国科学报社赵广立主持，郑州大学直聘研究员胡世哲主讲。
科学网AI 评分7474 国内学者借助书生-S2大模型完成三维Ghys猜想证明
上海人工智能实验室与大湾区大学许地生团队依托书生科学多模态大模型S2，通过人机协同完成了动力系统领域三维Ghys猜想的证明。北京大学刘若川、董彬团队使用SHEAF框架对证明完成了形式化验证，相关论文已在arXiv发布，形式化代码已在GitHub开源。
Apple ML ResearchAI 评分5151 Apple 研究团队探索三模态掩码扩散模型的设计空间
Apple 研究团队系统探索了三模态掩码扩散模型（MDM）的设计空间，在文本、图像-文本与音频-文本数据上完成了从头预训练。研究提出了基于随机微分方程（SDE）的重参数化方法以解耦物理与逻辑批大小，并在 3B 规模与 6.4T tokens 训练下展示了文本生成、T2I 和 T2S 任务的统一生成表现。
Google ResearchAI 评分5757 Google Research 公布 2026 年度 10 项 AI 技术与工具进展
Google Research 在其 Research@ 活动上公布了 10 项重点 AI 技术与工具进展，全面推进科研、医疗、地理分析及企业数据决策工具的落地。
科学网AI 评分4444 青岛眼科医院发布糖尿病视网膜病变智能诊疗新成果
青岛眼科医院联合上海人工智能实验室、上海交通大学，发布糖尿病视网膜病变智能诊疗成果。团队构建并开源了多模态影像数据集 MMRDR，收录超广角成像、OCT 等影像 2.4 万余幅。此外，研发的推理增强型视觉语言模型 UWF-VLMR 可同步输出临床推理依据，诊断结论与国际临床指南契合度达 100%。
量子位精选AI 评分7676 面壁智能开源多模态模型 MiniCPM-V 4.7，35B MoE 仅需 3G 内存
面壁智能与 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.7，推出 35B-A3B MoE 与 1.3B 两个版本，其中 35B 版本仅占用约 3G 内存即可在手机离线运行。该模型采用前瞻专家调度、混合精度量化与视觉压缩等技术，在 iPhone 17 Pro Max 上解码速度超过 13 tokens/s，并已适配 iOS、安卓及鸿蒙等多个系统平台。
推荐理由：模型通过前瞻专家调度和混合精度量化降低内存占用，为端侧设备离线运行大参数多模态模型提供了实用方案。
量子位AI 评分4848 破晓智能联合天珑移动发布 SeePhys Hub 全身全模态数据采集系统
破晓智能联合天珑移动发布全身全模态数据采集系统 SeePhys Hub，旨在为具身智能补充第一视角数据中缺失的身体运动与触觉信息。该系统由四目头环、两个腕部手环、三个腰腿部动作追踪器及可选配触觉手套组成，头环相机、IMU 与 UWB 同步精度达 0.5 毫秒以内，头环重量不超过 220 克。破晓智能计划借助该方案推进全身全模态数据积累，并预计在 2027 年推出全模态世界模型。
OpenAI NewsAI 评分3333 Higgsfield 将 AI 视频生成时长从 1 分钟提升至 10 分钟以上
Higgsfield 将 AI 视频生成时长从 1 分钟拓展至 10 分钟以上。平台借助 GPT-6 Astra 为创作者提供更长视频制作能力，并结合 GPT-Image-2.5 实现精准的视觉呈现。此外，Higgsfield 还通过 GPT-Live 为创作者开辟了语音电影制作的新路径。
量子位AI 评分3939 魔法原子具身Agent框架拿下MolmoSpaces全球第一
魔法原子旗下的通用机器人VLM Agent框架EchoPolicy-0在AI2发起的MolmoSpaces评测中，以75.4%的平均成功率位列MolmoSpaces Combined榜单全球第一。其3.4B参数的自研Agent框架MagicBrain也以72.4%的平均成功率位列全球第四，并在抓取任务中取得94.4%成功率。两套方案分别通过轨迹筛选验证与视觉引导优化指令遵循，已在单臂平台完成验证。
科学网AI 评分3535 复旦大学携19项科技成果亮相第二十六届工博会
复旦大学在第二十六届工博会上展出了人工智能、电子信息等领域的19项科研成果。展品包括实现400皮秒非易失编程的二维量子闪存、累计下载量超500万次的OpenMOSS多模态大模型体系，以及端侧功耗不到20W的纯视觉机器人“旦宝”等技术样机。此外，面向制造装配的M-Worker 01拧螺丝机器人、微型超声脑机接口等成果也集中亮相。
The Decoder精选AI 评分7979 Meta 发布前沿模型 Muse Wonder 及 Muse Wonder Full
Meta 发布前沿模型 Muse Wonder 及其高阶版本 Muse Wonder Full，支持 1M 上下文窗口与多模态输入。新模型在终端交互评测 Terminal-Bench 4.0 与编码基准上表现大幅提升，并引入跨会话记忆 Active Memory 等智能体特性。虽然幻觉率有所下降，但模型的事实知识得分仍落后于主要竞品，且输入与输出 Token 价格相比前代显著上涨。
推荐理由：原文给出了模型在智能体能力上的提升与成本涨幅，有助于读者权衡其落地实用性。
NatureAI 评分5858 Nature 观点：AI 可从单夜睡眠中挖掘隐藏信号预测未来健康风险
AI 工具仅凭单夜睡眠数据即可发掘与疾病和死亡率相关的生理模式，捕捉传统睡眠测量指标遗漏的关键健康信息。发表于 Nature Communications 与 Nature Medicine 的两项研究表明，睡眠数据中蕴含的健康信息远超当前临床与科研人员的提取范围，可在疾病确诊前提供早期预警信号。
量子位AI 评分6969 何恺明团队提出视觉原生Harness框架VISTA，助力多模态模型交互推理
何恺明团队提出视觉原生Harness框架VISTA，无需重新训练即可让多模态模型在交互环境中保存原始画面并按需回看、放大细节。该框架包含视觉观测、无损视觉记忆和主动视觉检查三个组件，配合文字笔记管理状态；搭配Claude Opus 5.0通关了ARC-AGI-3全部25个公开游戏，相对人类动作效率得分达到100。
arXiv cs.LGAI 评分3333 用于情绪识别的 Dempster-Shafer 融合证据多模态 Transformer（EMT-DS）
研究者提出基于 Dempster-Shafer 融合的证据多模态 Transformer（EMT-DS），通过将预测建模为狄利克雷分布并利用登普斯特组合规则融合证据，解决多模态情绪识别中传感器损坏或冲突导致的过度自信问题。
arXiv cs.LGAI 评分2626 Kairos：迈向全模态字节级基础模型
研究人员提出了全模态字节级模型架构 Kairos，它将 LiZAttention2 混合注意力、稀疏 MoE 前馈层与多尺度字节级编解码器相结合，在文本、图像、音频等共享的统一字节空间上进行去噪训练。在 1-15M 参数规模的单句收敛性健全性检查中，测试的两种注意力变体在 3000 步时最小损失接近 10⁻³。该实验验证了架构的可优化性，后续计划通过预训练进一步验证泛化与多模态能力。
arXiv cs.AIAI 评分3333 AdaC-GRPO：通过自适应课程学习攻克长程视觉数独难题
研究人员提出 AdaC-GRPO 强化学习框架与细粒度基准 FG-Sudoku，用于解决前沿多模态大模型在长程视觉数独任务中因低成功率导致的奖励稀疏问题。该方法通过在线采样准确率动态追踪模型的最近发展区来构建训练批次。
arXiv cs.AIAI 评分4545 KnowForge：面向开放域多模态文档问答的角色专精工具智能体流水线
研究人员提出多模态文档问答流水线 KnowForge，通过混合检索知识点索引、专职搜索的 Locator 智能体与专职解析图表文本的 Deep Reader 智能体实现分工协作。
arXiv cs.AIAI 评分3535 位置重要吗？黑盒因果审计揭示 LALM 幻觉中依赖模型的音频定位
研究提出一种黑盒因果测试方法，通过 CLAP 定位证据区域并进行频谱门控消融，用于审计大型音频语言模型（LALM）的对象幻觉。在固定持续时间下，局部消融在各测试组的表现均优于随机移除，且改进的对比解码将 Qwen2-Audio 准确率从 57.1% 提升至 71.9%。检测效果因模型而异，统一因果定位机制在 Audio Flamingo 3 等模型间无法直接迁移。
arXiv cs.AIAI 评分3838 VETR：面向符号图形推理的执行落地自改进智能体框架
研究人员提出 VETR 框架，通过可执行世界表征实现符号图形推理的智能体递归自改进。该框架保留对齐的程序与渲染记录，利用执行细化器将运行时的写入与状态变化编译为受约束的替代程序，修复过程无需额外的语言模型调用。
arXiv cs.AIAI 评分3333 SWEAR：通过自评难度实现分段高效音频推理
研究人员提出了面向大音频语言模型的高效推理框架 SWEAR，通过互补的离线评估获取五维难度分数与压缩推理轨迹。该框架在监督微调阶段学习难度信号，并利用强化学习自适应分配各阶段的推理开销。在 MMAU-test-mini 和 MMAR 基准上的实验表明，SWEAR 在提升准确率的同时大幅减少了生成的 token 数量。
arXiv cs.AIAI 评分4444 Work2Skill：捕捉人类 GUI 经验以归纳可复用 AI 智能体技能
研究人员提出 Work2Skill 框架，通过捕获人类桌面 GUI 操作经验来归纳可复用的 AI 智能体技能。该框架包含用于同步记录屏幕、键鼠操作与无障碍树的 WorkRecorder，以及首个包含 350 个完整演示的多模态数据集 WorkDemo-350。
arXiv cs.AIAI 评分3434 MathVis：AI 能通过绘图进行推理吗？数学图表生成评测基准
研究人员推出 MathVis 评测基准，包含 512 个任务，用于评估大语言模型可视化前沿数学问题及图表辅助推理的能力。在严格评测中，GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 分数分别为 31.25%、26.56% 和 22.85%。