大模型全阶段训练综合框架：从数据与分词、预训练到后训练对齐
该研究提出了涵盖大模型全阶段训练的统一划分与六维分析框架，系统梳理从数据、分词、预训练到后训练对齐的完整流程与跨阶段效应。论文系统综述了 395 篇核心文献，指出 Scaling Law 的可比性取决于数据质量与配比，RLHF 与 DPO 等偏好对齐重塑了后训练边界，且多模态训练对纯文本范式构成了结构性挑战。
#多模态
#多模态
今日 2 条arXiv cs.AIAI 评分3838 arXiv cs.AIAI 评分3232 GEMS-RAG：面向工程多模态标准的图接地检索增强生成框架
研究人员提出 GEMS-RAG 框架，通过分层解析、细粒度视觉实体提取与多模态知识图谱构建，解决工程标准中跨文本条款与图表的联合推理难题。该框架在推理时融合密集、稀疏与视觉检索并结合图扩展，将图表解构成与规范关联的视觉实体。在《统一交通控制设施手册》（MUTCD）评测中，其检索与问答表现均优于纯文本、多模态及图 RAG 基准。
arXiv cs.AIAI 评分3636 Isharah-Selfie：面向单手手语的连续手语识别数据集
研究人员推出大规模阿拉伯手语数据集 Isharah-Selfie，专注于智能手机前置自拍场景下的单手连续手语识别与翻译。该数据集包含 16 位手语者录制的 8,997 个视频片段与 1,493 个独立句子，同时提供手语词序列标注与阿拉伯语翻译。基准测试表明现有方法在未见句子的泛化上仍面临严峻挑战，目前数据集已开放获取。
arXiv cs.AIAI 评分3636 IRON-Meme：网络模因叙事中身份与角色结构化理解基准
研究人员推出 IRON-Meme，这是一个用于结构化理解网络模因叙事中身份与角色的人工标注评测基准，包含 1,110 个政治模因。对 9 款视觉语言模型的评估显示，前沿规模模型与推理模型表现最佳，但在低频标签上的准确率有所下降。研究还发现引入模板背景知识未能提升叙事角色分类效果，该基准与代码已公开。
Google DeepMind精选AI 评分7777 Google DeepMind 发布实时交互世界模型 Genie 4
Google DeepMind 推出新一代实时交互世界模型 Genie 4，支持在模拟运行中通过自然语言实时修改场景并原生生成环境音与交互对话。模型结合 Gemini 系列模型进行上下文因果推理和多步任务拆解，适用于机器人训练环境构建与创意原型探索，生成内容均嵌入 SynthID 数字水印。
推荐理由：该模型将语言模型的逻辑推理与像素级实时渲染结合，为机器人训练和动态交互仿真提供了可参考的实现路径。
The Verge · AIAI 评分6767 Google 发布 Genie 4 世界模型，支持更逼真的交互体验与实时语言控制
Google 正式宣布推出 Genie 4 世界模型，可生成长达约两分钟的交互式虚拟体验。该模型支持使用自然语言提示词实时更新场景，新增了音频生成功能，并由底层的 Gemini 3.8 Flash 辅助模拟运行。目前 Genie 4 作为研究预览向受信任测试人员开放，后续将登陆 Google AI Ultra 订阅服务，主要适用于游戏原型设计、影视前期预览以及机器人训练环境构建。
The DecoderAI 评分7575 Google DeepMind 推出世界模型 Genie 4：支持实时交互生成与声音对话，结合 Gemini 进行后台规划
Google DeepMind 推出实时交互世界模型 Genie 4，支持通过键盘和文本提示词逐帧渲染交互场景，并原生生成背景音频与角色对话。模型基于 Gemini Omni 视频能力构建，并由 Gemini 3.8 Flash 等模型在后台执行多步任务规划以维持世界连贯性，还可与 Gemini Robotics 结合模拟人形机器人操作。
AWS Machine Learning BlogAI 评分5757 Property Finder 修正评测偏差并在 Amazon Bedrock 上降低视觉 AI 成本 86%
房产应用 Property Finder 发现其 96.8% 的评测标签直接继承自旧模型预测，形成循环偏差并妨碍客观模型对比。团队联合 AWS 引入独立领域专家标注构建真实基准，并通过演化提示词优化与 MIPROv2 迭代调优。
TechCrunch · AI精选AI 评分7777 Google DeepMind 发布 Genie 4 世界模型，支持实时音频与动态交互控制
Google DeepMind 发布最新世界模型 Genie 4 的研究预览版，允许用户在模拟运行中通过提示词实时修改场景，并同步生成环境音、交互对话与背景音乐。该模型将场景一致性维持时间翻倍至两分钟，能与 Gemini 结合用于机器人仿真测试和影视原型构思。目前 Genie 4 已面向受信测试者开放，后续将推向 Google AI Ultra 订阅用户及 Gemini API 合作伙伴。
推荐理由：新模型把世界模拟时长提升至两分钟并加入实时音频控制，展示了语言模型与视觉生成协同用于仿真和内容原型的路径。
arXiv cs.LGAI 评分5151 PaperScorer：论文被接收在多大程度上可预测？
研究团队提出 PaperScorer 模型家族，在去除作者身份与格式捷径后仅凭论文文本或页面截图直接预测同行评审的接受或拒绝决定。视觉模型表现最佳，在 ICLR 论文上取得 68% 准确率并在 arXiv 机器学习论文上达到 77%，超过纯文本和前沿推理模型。模型对评分极高与极低的论文预测最准确，中间分数段则保持不可预测，展示了单篇论文自身承载的审稿决策信号。
arXiv cs.LGAI 评分3535 通过按查询模态选择实现高效全模态大语言模型推理
研究提出面向全模态大语言模型（Omni-LLM）的逐查询模态选择方法，在保持模型固定的前提下自适应选取输入模态，以优化准确率与推理成本的权衡。在 WorldSense 基准上评估 Qwen2.5-Omni 与 Qwen3-Omni 发现，该方法表现均优于全模态输入基线。
arXiv cs.LGAI 评分3434 ConsMSA：面向多模态情感分析的语义分布一致性学习
针对跨模态信号中的语义冗余与冲突，研究人员提出多模态情感分析框架 ConsMSA，显式建模模态内与模态间的语义分布一致性。该方法通过计算模态内与模态间一致性得分（I²CS）并结合预测相关性，实现表征对齐正则化、自适应 token 重加权与冗余 token 剪枝。
arXiv cs.LGAI 评分3333 基于大语言模型的微服务系统自回归多模态异常检测
研究人员提出基于大语言模型（LLM）的微服务系统自回归多模态异常检测框架 LLMMAD，以解决跨模态融合忽视模态特性以及特征重构的捷径问题。该框架将多模态数据重组为统一序列交由 LLM 建模，配合模态重构头并采用预测未来状态的自回归目标。在 3 个真实数据集上的实验表明，LLMMAD 的 F1-score 分别提升 3.1%、1.4% 和 0.9%，全面优于现有 SOTA 方法。
Simon Willison精选AI 评分8181 OpenAI 发布 GPT-6.1 Terra
OpenAI 推出 GPT-6.1 Terra 模型，主打视觉推理与计算机使用能力，定位为介于 Sol 与 Luna 之间的中档选项。该模型在技术沟通和计算机使用速度上表现更突出，输入定价为每百万 token 1 美元、输出为 5 美元，成本约为 GPT-6.1 Sol 的一半。
推荐理由：原文对比了该模型在视觉与计算机使用上的速度与成本，便于开发者评估其作为中档方案的调用性价比。
Apple ML ResearchAI 评分3636 GHARP：基于大规模重建先验的实时 3D 高斯人头动画方法
GHARP 提出一种基于大规模重建先验的实时 3D 人头动画方法，仅需少量输入图像与表情驱动信号即可驱动头像。该方法将流程解耦为离线身份构建与面向移动设备优化的轻量化运行时动画，并利用身体对齐网络消除身体姿态模糊与时间闪烁。在 Ava-256 基准测试中，该方法达到 SOTA 质量，在高斯数量减少 8 倍的同时，在 A100 GPU 上的运行速度提升高达 13 倍。
科学网AI 评分6767 面壁智能联合OpenBMB开源端侧多模态模型MiniCPM V 4.7
面壁智能联合OpenBMB社区开源端侧多模态模型MiniCPM V 4.7，推出35B A3B与1B两个版本以适配不同移动终端。其中35B MoE版本采用前瞻专家调度技术实现计算与读取并行，官方测试显示预取命中率超过80%，可在保持原有路由精度下降低内存占用并提升生成速度。该项目同步配套权重分层存储、分级视觉token压缩与投机解码优化，目前已适配多家芯片厂商和主流推理框架。
科学网AI 评分2727 李琳：从油茶到课堂，AI应用要回应具体问题
中南林业科技大学李琳团队展示了AI在农林智能感知与工程教育中的落地实践。在农林方向，团队结合 GPT-4 生成图像文本描述并由 DeepSeek 展开推理诊断，同时基于100余株油茶的RGB点云推进三维补全与产量预测。在教学方面，团队借助大模型辅助题目多维认知标注，探索评估学生的真实理解与工程能力。
arXiv cs.AIAI 评分3535 CASE：面向冻结多模态情感模型的混淆感知技能演化框架
研究者提出首个面向多模态情感识别（MER）的智能体技能框架 CASE，用于解决多模态大语言模型对语义相近情绪的混淆问题。该框架维护自演化的 EmotionSkills 技能库，在保持模型主干冻结的同时于推理期动态检索技能以强化边界感知推理。实验表明，CASE 将 Qwen3-VL-8B 在 CA-MER 基准上的平均准确率从 46.80% 提升至 59.13%。
arXiv cs.AIAI 评分3434 多模态嵌入框架 PILOT：超越事后奖励的特权推理探索
研究者提出多模态嵌入框架 PILOT，将推理建模为隐变量，利用训练期关联证据指导推理探索以优化嵌入表示。该框架通过先验与后验协同演化机制，在共享推理兼容奖励下将高价值探索轨迹迁移至推理阶段。在包含 78 个任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数下总分分别提升 3.2 与 3.3 分，视觉文档检索提升达 +6.1 和 +6.4 分。
arXiv cs.AIAI 评分3636 何时停止惩罚动作？面向 VLA 强化学习的 Martingale GRPO
研究提出面向 VLA 强化学习的 Martingale GRPO（MART-GRPO），通过鞅理论刻画反馈截断条件，解决传统 GRPO 对失败轨迹全盘惩罚导致误伤有效恢复动作的问题。
arXiv cs.AIAI 评分3636 基于多模态智能体实现非平稳响应科学仪器的自适应控制
研究团队提出一种基于多模态智能体的科学仪器自适应控制框架，结合确定性特征提取、双层记忆 MLLM 与独立动作校验应对非平稳响应。在 EXL-50U 的 455 炮回放中，检索上下文将动作方向一致性提升 22.4-42.7 个百分点，物理符号分类优于纯波形图像。在 5 个离子源的受监督运行中，系统在 409 炮测试中达到 86.80% 的引束率。
arXiv cs.AIAI 评分3333 多模态强化学习：从视觉亲和力到学习信用分配
研究提出插件式框架 Outcome-Conditioned Visual Credit（OVC），将多模态强化学习中的视觉关联度度量与 token 级信用分配解耦。该方法无需辅助奖励模型、过程标注或推理期模块，直接复用现有采样数据调制 token 梯度贡献。在 3 个模型上，其实例化方案使 6 项基准测试平均准确率相较 GSPO 持续提升 1.86-2.39 个百分点。
arXiv cs.AIAI 评分4343 MedCaseAgent：从多模态临床证据生成罕见病病例报告
MedCaseAgent 是一种端到端 AI 智能体推理框架，能通过动态检索医学文献与知识库，从非结构化临床记录中生成发表级的罕见病病例报告。研究团队同步开源了多模态病例语料库 MedCase-150K、评测基准 MedCase-Bench，以及基于 Qwen3.5-9B 后训练优化的开源模型。基准评测与双盲专家评审显示，其表现均超越现有的通用和专用医疗 LLM 及智能体。
arXiv cs.AIAI 评分3737 RxnExBench：面向科学文献结构化化学反应提取的视觉语言模型评测基准
研究人员提出多模态基准 RxnExBench，包含 3,565 个专家标注反应和 2,361 个分子结构，用于评测视觉语言模型的结构化化学反应提取能力。该基准统一了 15 个反应角色与 26 个核心字段，并提出解耦分子识别与高阶推理的 Oracle-MolRec 协议。对 9 个 SOTA 模型的评测显示多模态整合与化学推理是主要瓶颈，相关数据和代码均已开源。
arXiv cs.AIAI 评分3434 PEAR：面向大视觉语言模型感知与探索的自适应优势重塑方法
研究人员提出面向大视觉语言模型的优势重塑方法 PEAR，旨在兼顾多模态推理中的视觉感知与多样化路径探索。PEAR 以视觉依赖为基础信号，仅对高熵位置补充探索增益，且视觉依赖越低增益越大，以此生成正 token 级权重重塑序列优势。在 Qwen2.5-VL-3B/7B 上的实验显示，PEAR 在多模态推理基准上取得最高平均表现，并在文本推理与通用多模态评测中领先。
arXiv cs.AIAI 评分4646 $\Psi$-0.6：统一视觉语言世界模型中的自适应思维流
统一视觉语言世界模型 $\Psi$-0.6 正式提出，其通过共享 token 接口交织图像、文本及几何运动显式表示，实现自适应的“思维流”物理推理。该模型在多视角空间推理零样本评测中超越主流开源权重模型，并支持判断移动物体是否阻碍路径等反事实模拟。借助任务反馈强化学习优化中间表示，其视觉问答准确率显著提升并能泛化至未见基准。
arXiv cs.AIAI 评分4040 DriveMind：面向闭环自动驾驶的心智演化信念追踪框架
DriveMind 是一种面向闭环自动驾驶的多模态大语言模型（MLLM）框架，受粒子滤波启发，可同时保留多个场景假设并随新帧动态更新权重。在 Bench2Drive 评测中，该方法将驾驶得分（DS）从 68.50 提升至 81.37，成功率（SR）从 41.36% 提升至 54.09%。其在无信号灯路口（+20.0 DS）等模糊场景提升最为显著，并改善了并道与让行等交互驾驶能力。
arXiv cs.AIAI 评分3535 CEMIR 对比 FISER：语用意图识别中基于推理与富化方法的比较研究
HandMeThat v2 基准评测显示，多模态富化方法 CEMIR 相比结构化推理框架 FISER 在语用意图识别中并未表现出显著性能优势。在涵盖 Qwen2.5-Omni-3B 至 GPT-5 的 4 款大语言模型测试中，两者在全部 16 组难度对比及消融实验中均无统计学显著差异。研究表明任务表现主要取决于基座模型能力，合成多模态增强在文本已包含任务约束时未能带来可衡量的收益。
科学网AI 评分5050 全国首个国家脑机接口高质量数据集建设项目在武汉启动
华中科技大学同济医学院附属同济医院牵头的全国首个国家脑机接口高质量数据集建设项目在武汉启动，拟于2027年建成投用。项目聚焦脑卒中、帕金森病等10类疾病方向并涵盖6种数据模态，重点建设意图解码与闭环调控等多模态数据集。该建设旨在打破临床数据孤岛，为模型研发与产业转化筑牢自主可控的数据底座。
科学网AI 评分4747 国家脑机接口高质量数据集建设项目在同济医院启动
国家脑机接口高质量数据集建设项目在华中科技大学同济医学院附属同济医院正式启动，国家脑机接口高质量数据集联盟同步成立。该项目总投资将超亿元，拟于2027年投用，将覆盖10类疾病方向与6种数据模态。项目旨在解决脑机接口领域的数据孤岛难题，为国产AI算法训练和临床转化提供自主可控的数据底座。
arXiv cs.AIAI 评分3232 MERP：用于鲁棒多模态多标签情绪识别的潜在瓶颈框架
研究人员提出多模态情绪识别框架 MERP，通过将多模态序列映射至固定大小的潜在库，解决部署时模态缺失导致的性能下降问题。在测试期 20% 随机模态缺失下，MERP 在 CMU-MOSEI 和 M3ED 上的 micro-F1 分数分别达 0.563 和 0.780，在仅音频极端设置下保持 0.473 micro-F1，相关代码已开源。
arXiv cs.AIAI 评分3737 SpatialBrain：从经验中成长的空间智能
SpatialBrain 是一个在保持视觉语言底座固定的前提下、通过积累决策经验来提升空间推理能力的框架。它包含融合场景观测信息的 3DFusionMemory、提供可复用工具程序的 Spatial Skill Library，以及将任务条件与决策经验关联的 Spatial Cognition。
arXiv cs.AIAI 评分3434 StochIKM：从 Kaplan-Meier 曲线自动化高保真重建个体患者数据
研究团队提出随机算法 StochIKM，利用具备视觉能力的语言模型结合严格约束，可从已发表的 Kaplan-Meier 曲线中自动化重建一组高保真的个体患者数据集。该算法以精确复现风险表、图像分辨率范围内的曲线、中位数与事件数为硬性约束条件。在模拟实验及 79 个肿瘤试验组测试中，StochIKM 复现风险表和中位数的表现均优于 LLM 改进版 IPDfromKM。
arXiv cs.AIAI 评分3434 Sketch2Sim：面向手绘电路分析的端到端模块化框架
Sketch2Sim 是一个端到端模块化框架，可直接将手绘电路图照片转换为 SPICE 兼容网表，并自动求解节点电压与电流。系统依托 1,000 个手绘 RLC 电路数据集，采用双 YOLO、CRNN 与 DBSCAN 算法完成元件检测、数值识别和节点拓扑映射。该方案还提供了综合 UI，在多种手写风格与光照下表现稳健，适用于教学与工程设计评审。
Google Research精选AI 评分6464 Google 分享将基础模型应用于全球结核病一线筛查的落地实践
Google 展示了将其医疗 AI 基础模型应用于全球结核病（TB）前线筛查的完整落地路径。通过与 Nexus AI 合作，其胸部 X 光筛查算法已获得欧盟 CE MDR Class IIb 认证并在 6 个国家落地，使胸片筛查周转时间缩短至 45 秒内，并在南非深井金矿实现了便携式离线筛查。
推荐理由：原文展示了医疗 AI 从算法论文到跨国临床认证及开源部署的完整路径，为公共卫生场景的落地提供了实践参考。
量子位AI 评分4949 达瓦科技 Scenes AI 获 NVIDIA 创业企业大奖，单张显卡运行 34B 实时世界模型
重庆达瓦科技凭借实时世界模型 Scenes AI 获得 NVIDIA 创业企业展示卓越企业奖。该模型总参数 34B，单步稀疏激活约 4B，在单张 NVIDIA GeForce RTX 消费级显卡上实现了 720P、25 帧实时输出。其推理速度相比传统视频扩散方案提升 3—5 倍、GPU 消耗降低 40%—60%，目标编辑成功率达 98.2%。
arXiv cs.LGAI 评分3434 持续同调通过多模态图神经网络实现跨物种离子通道分类
研究人员提出融合 ESM-2 序列嵌入与二硫键感知图注意力网络的多模态模型 PH-GNN，利用持续同调表征实现跨物种的毒素离子通道分类。在包含 5 个分类群、1,373 种 ColabFold 预测毒素分子的留一物种评估中，序列基线准确率跌至约 30%，其他几何先验模型聚集在 54-55%，而 PH-GNN 达到 63.4%，领先次优方法 8 个百分点以上。
arXiv cs.LGAI 评分3333 多模态推理的最小编辑策略内知识蒸馏方法
研究人员提出用于多模态推理的最小编辑策略内知识蒸馏方法，利用教师模型评估错误推理并仅对教师不认可的 token 进行针对性修正，正确推理则接受任务奖励强化学习。该方法在测试阶段无需图像描述即可达到或超越基准模型输入参考描述的性能，显著增强了几何感知能力，且使用同尺寸冻结模型作为教师同样有效。
arXiv stat.MLAI 评分3333 当重构不再足够：基于多模态学习表征的双重稳健反事实与干预中介分析
仅依赖重构等协变量目标训练的多模态表征无法保证因果识别，且双重稳健与交叉拟合均无法消除其引发的一阶表征偏差。为此，研究提出结合模态特定变分自编码器、交叉拟合双重稳健估计器及表征诊断的因果分析工作流。模拟实验表明，遗漏罕见混杂因素会导致 n = 3,000 时区间覆盖率降至 2%，而简单预测诊断可在所有重复实验中成功捕获该问题。
arXiv cs.LGAI 评分4444 KVLearn：分离式 LLM 推理系统中基于学习的 KV cache 保留框架
研究人员提出基于学习的成本感知 KV cache 保留框架 KVLearn，用于优化分离式 LLM 推理系统中的缓存准入与保留决策。该框架通过前缀复用预测器、成本感知保留评分和自适应阈值控制器协同工作，无需修改模型权重。评测显示，KVLearn 相比 LRU-Pool 将端到端首字延迟（TTFT）降低最高 38%，并减少最高 53% 的节点间传输量，代码已开源。