HotPOT：面向大规模 PDE 预训练的异构物理专家算子 Transformer
HotPOT 是一种面向大规模 PDE 预训练的算子 Transformer，采用共享编码器结合异构神经-数值专家来建模方程演化。在 5 个 PDE 族和 6 种设定下，HotPOT 在微调前后的全部 24 组同规模对比中均优于 MoE-POT，rollout 误差平均降低 50.7%。其 17M 模型超越了更大规模的 MoE-POT，且性能优势可延伸至未见物理条件下的零样本预测。
#数据/训练
#数据/训练
今日 0 条arXiv cs.LGAI 评分3636 arXiv cs.LGAI 评分2828 用于缓解不可学习数据集的梯度对抗增强框架
研究提出一种基于梯度的对抗增强框架，通过随机梯度上升学习增强策略，迫使深度神经网络在不可学习数据（ULD）保护的图像上重新学习可泛化特征。该框架利用可微数据增强流程在多达 18 种技术中高效搜索子集以最大化替代模型分类损失，并结合感知与像素正则化保留图像语义。
arXiv cs.LGAI 评分3030 数据量异质性可提升神经影像联邦学习性能
在基于结构 MRI 分类阿尔茨海默病等神经影像任务中，由数据量异质站点（1 个大站点加小站点）组成的联邦学习表现优于同质联邦，在低数据量机制下尤为显著。引入大站点通常能实现更快的收敛速度与更高的最终准确率，性能接近集中式训练，并能更好地利用 ENIGMA 等大型联盟中普遍存在的小数据量站点。
arXiv cs.LGAI 评分3535 B2P-Corr：用于不可分解相关性损失的 Batch-to-Population 梯度估计器
针对 PCC 与 CCC 等不可分解相关性指标在 mini-batch 优化中的梯度偏差，B2P-Corr 框架利用轻量全局矩草图将目标转化为可分解伪损失。该框架提出计算复杂度为 $O(B)$ 的 B2P-EMA 与 B2P-U 两个变体，分别采用指数移动平均与跨批次 U-统计量实现渐进梯度跟踪。在 2 个合成与 3 个真实数据集上的实验表明，该方法以极低开销实现了更稳定的优化与更高相关性。
arXiv cs.LGAI 评分2929 在不同 $\varepsilon$ 下重放相同梯度：针对 Adam $\varepsilon$ 固定轨迹解释的预注册检验
一项针对小型因果 Transformer 的预注册研究通过在不同 $\varepsilon$ 下重放相同梯度，直接检验了 Adam 优化器中 $\varepsilon$ 对罕见 token 嵌入行的固定轨迹解释。
arXiv cs.LGAI 评分3333 MASS：面向防泄漏推理的多掩码选择性自蒸馏
研究提出多掩码选择性自蒸馏方法 MASS，用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布，聚合互补的教师预测并自适应聚焦关键跨度，选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上，MASS 的性能持续优于强自蒸馏基线。
arXiv cs.LGAI 评分3434 地震基础模型是否只是美化版的特征提取器？
研究表明当前地震基础模型本质上仍是特征提取器，改变自监督目标只会重新分配下游技能而非全面提升性能。团队基于 Mamba 架构与 3M 窗口数据测试了 9 种模型设计，发现增加掩码压力虽使少样本 P 波拾取精度提升 6.9 点，却导致少样本分类准确率下降 9.6 点。研究指出其核心瓶颈在于单一窗口目标无法覆盖跨事件的长时间尺度。
arXiv cs.LGAI 评分3737 序列微调中如何保持模型安全：重放机制的析因与几何分析
针对 Mistral-7B 与 Llama-3-8B 序列 LoRA 微调的研究表明，Logit 蒸馏相比监督重放能以更低代价维持模型安全对齐。在 Mistral 上，监督重放虽使 HarmBench 攻击成功率降低 51.1 分，但导致过度拒绝激增 53.4 分；Logit 蒸馏仅增加 5.1 分过度拒绝即实现 5.4 分攻击降幅。结合两种策略可兼顾安全性并缓解过度拒绝。
arXiv cs.LGAI 评分3434 探究 MLP 与 Transformer 在噪声 k-parity 特征上的归纳偏置
一项研究表明，Transformer 与 MLP 在处理噪声 k-parity 特征时表现出截然相反的归纳偏置：Transformer 对噪声特征更具鲁棒性但难以学习复杂的低可用性特征，MLP 则相反且能随数据增加稳步提升。在固定训练预算下，增加训练样本数量会显著减缓 Transformer 的优化速度并降低最终准确率，导致较小数据集的表现反倒更优。
arXiv cs.LGAI 评分3535 Bi-Phase Training：高效从零预训练
研究团队提出参数高效预训练方法 Bi-Phase Training（BPT），能在显著减少可训练参数的同时保持全参数优化的高秩动态。在基于 FineWeb-Edu（10B 和 100B tokens）从零预训练 Qwen2.5（100M 至 1.5B）与 OLMo-2-1B 时，BPT 在 1.5B 规模下减少了 66% 可训练参数，取得接近全参数基线的验证困惑度与下游任务表现。
arXiv cs.LGAI 评分4141 Muon 使首个 MoE 层更难实现负载均衡
研究发现在 55M 和 108M 激活参数的 MoE 模型中，Muon 优化器会使首个 MoE 层的路由偏置跨度平均翻倍，导致预热后最繁忙专家的负载达到公平份额的 4 到 7 倍。
arXiv cs.LGAI 评分5656 Metis-1.6 技术报告：单人训练的混合 Mamba-2 与 MoE 架构语言模型
独立研究者发布 Metis-1.6 技术报告，推出从零训练的 Praxis（2.94B）和 Logos（10.23B）两款混合 Mamba-2 与注意力 MoE 模型。
arXiv cs.LGAI 评分3535 利用超参数迁移与模型集成改进数据受限缩放
研究提出结合超参数迁移幂律与集成缩放法则的方案，解决了大语言模型在数据受限缩放下超参数固定与忽视集成的局限。在 FineWeb 的 100M tokens 上训练，该方案比以往方法降低验证损失超 0.15 nats，困惑度降低 14%，并通过集成实现了性能单调提升。相关规则从小规模运行中拟合，并在高达 12 倍算力预算下完成验证。
arXiv cs.LGAI 评分4747 权重更新带来了什么：跨大语言模型训练阶段的 Leverage 分析
研究提出 Leverage 指标衡量单位权重更新的收益，发现模型不同训练阶段的更新效能跨越四个数量级。Olmo-3 和 Tülu-3 等测试显示，预训练效能处于随机水平，SFT 为随机水平 5 倍，RLVR 为 400-1,500，DPO 则达 400-23,000。若缺少 fp32 主副本，bf16 训练会冻结 36-99% 坐标并将 Leverage 降低多达 7 倍。
arXiv cs.LGAI 评分3030 面向噪声深度学习的动量引导优化器：MGO-SC 作为 Adam 式更新的一致性门控
轻量优化器 MGO-SC 通过梯度符号指数移动平均构建坐标级一致性门控，对符号波动的坐标降权以改进 Adam 类算法在噪声下的更新稳定性。其均值保持变体在 CIFAR-10 和 ResNet-18 测试中，于 40% 对称标签噪声下较 AdamW 基准提升 1.4 个百分点（Wilcoxon p<0.01）。该方法无需二阶信息或逐样本过滤，代码与原始日志已开源。
Microsoft ResearchAI 评分4444 从合成企业数据评测到 Microsoft Copilot 的真实 AI 信心
Microsoft 构建了行业评测数据生成平台，利用 O*NET 等公开数据构建全尺度合成企业环境，在不触碰客户敏感数据的前提下评测 Microsoft Copilot。该平台目前涵盖制药、资本市场及 IT 软件行业的动态工作流，通过自动化查询生成与质量框架为 Copilot 建立首个标准化评测基线。
AWS Machine Learning BlogAI 评分3535 借助 AWS Batch 配额管理实现 SageMaker Training 任务跨团队资源借贷
AWS Batch 针对 Amazon SageMaker Training 任务推出配额管理（quota management）功能，支持管理员按团队或项目划分配额份额，实现闲置 GPU 算力的跨团队出借与借用。系统提供 RESERVE、LEND 和 LEND_AND_BORROW 三种共享策略，支持通过跨份额抢占自动收回出借资源，并可开启份额内抢占优先保障高优先级任务运行。
arXiv cs.LGAI 评分4848 反应式优化器 OPAL
研究人员提出反应式优化器 OPAL，利用预训练大语言模型智能体在单次训练中实时监测训练动态并重写可执行的优化器代码。该方法无需针对优化器的元训练，可直接调整学习率调度、优化器结构、数值精度和动量，在语言建模与图像生成任务中匹配或超越了固定训练配方。实验表明其能有效应对数据损坏并减少过拟合，代码已开源。
arXiv cs.LGAI 评分3636 从分布匹配视角看 LLM 训练算法
研究提出基于分布匹配的统一框架，将现代 LLM 各阶段训练算法解释为最小化模型与目标分布间的散度。分析表明 On-Policy Distillation（OPD）仅在模型贴近目标分布时优于经典知识蒸馏（KD），并揭示了强化学习（RL）目标分布退化机制。基于此设计的 Conditional KL（CKL）正则化可在放宽奖励提升限制的同时有效保留模式多样性。
arXiv cs.LGAI 评分3434 面向单轮分布式表格学习的 Geodesic-SVDD 隐空间 Mixup
研究提出分布式表格学习框架 Geodesic-SVDD，通过测地线隐空间 Mixup 将任务重构为超球面单类密度估计，支持单轮隐私聚合。在 5 个表格基准中，该方法在 7 种联邦方法中平均 AUROC 最高，在 Covertype 上领先联邦树模型达 21 个 AUROC 点。其单轮变体仅需 1 轮通信，即可在 IID 及轻度偏斜下媲美中心化 Deep SVDD。
arXiv cs.LGAI 评分3434 隐式信念：面向战略说服的可扩展过程奖励
研究者提出 Probe-RPO 框架与仿真环境 PersuArena，通过读取被说服者的隐式信念状态提供密集过程奖励，以优化大语言模型的战略说服能力。在涵盖医疗、金融咨询等场景的实验中，Probe-RPO 取得 52.5% 的完全接受率，优于最强 GRPO 消融版本的 35.8% 与最佳现有 LLM 的 25.8%。
arXiv cs.LGAI 评分2929 FedSEAM：基于子空间专家一致性合并的大语言模型联邦持续学习框架
FedSEAM 提出了一种大语言模型联邦持续学习框架，通过将任务知识组织为稀疏专家并在任务与客户端间选择性共享内容。客户端通过子空间兼容性测试决定专家复用与扩容，服务端借助 SEAM 仅沿共识方向合并更新，并针对路由漂移和合并擦除提供保护机制。该方法已在 TRACE 基准上使用 Qwen3-4B 和 Llama-3.2-3B 完成验证。
arXiv cs.LGAI 评分2525 马尔可夫轨迹下重要性修正动量 Actor-Critic 的统一分析
研究提出了结合岭正则化 LSTD 与重要性修正动量（ICM）的 Actor-Critic 方法，首次在单条马尔可夫轨迹上建立有限时间界。在 $K$ 次更新下，归一化与非归一化步长的平均梯度范数界分别为 ${\cal O}(K^{-1/3}+\frac{1}{T})$ 与 ${\cal O}(K^{-1/4}+\frac{1}{T})$。
arXiv cs.LGAI 评分3131 数据清洗后的精确机器遗忘
新研究针对数据清洗管线提出精确机器遗忘（Exact Unlearning）方法与数据保留契约，解决删除原始记录导致此前被排除样本重新入选的问题。该方案依据设定的未来删除上限构建训练统计摘要，支持在多次删除请求后精确修复并用于岭回归等模型。在 1,001 条 AskUbuntu 开发记录测试中，精确成员修复成功通过了 13,056 次删除步骤检查。
arXiv cs.LGAI 评分4242 强化学习缩放定律实证研究
一项针对 actor-critic 算法的实证研究建立了强化学习（RL）缩放定律，可在训练算力跨越两个数量级时准确预测性能、最优资源分配与超参数配置。研究采用单智能体 Elo 分数替代传统的平均单局回报，显著提升了规律的可预测性，并据此扩大训练算力在 Craftax 环境中刷新 SOTA。
arXiv cs.LGAI 评分3535 重尾噪声下裁剪 SGD 末次迭代在未知时间范围内的代价
研究确定了光滑凸目标与重尾噪声下裁剪 SGD 末次迭代的最优时间一致收敛速率为 $\tilde O(t^{-\beta_p})$，其中指数 $\beta_p=2(p-1)/(3p-1)$。
arXiv cs.LGAI 评分3434 具有共享 KV Cache 的 LSTM 风格循环 Transformer
研究提出一种在循环核心中共享 KV cache 的 LSTM 风格循环 Transformer，在 1024 宽度下参数量减少 40.4%，持久缓存集从 15 个降至 4 个。为解决并行训练与递归生成的缓存不匹配，该方法在训练后 10% 引入一致性损失，在 FineWeb 上消除了 81%–89% 的延续损失惩罚。在 1.05B–4.19B 训练 token 下，权重绑定的损失代价在低预算时更小。
arXiv cs.LGAI 评分3939 生成式扩散模型训练的信息论缩放定律
一项新研究提出了生成式扩散模型训练的信息论缩放定律，利用可计算的“模型信息”指标刻画模型输出对具体训练集的依赖关系。研究揭示了模型经历从纯记忆过渡到不完全泛化的非线性阶段，以及模型信息线性缩放且样本质量持续改善的泛化阶段。基于该理论导出的记忆与样本质量缩放定律具备良好的域外外推能力，相关代码已在 GitHub 开源。
arXiv cs.LGAI 评分3333 基于局部稳定性样本选择的增强引导对抗训练
研究者提出增强引导对抗训练框架 AGAT，利用轻量化局部稳定性评分 ALS 筛选邻域不稳定的样本进行对抗训练。在 MNIST、CIFAR-10、CIFAR-100 和 Tiny-ImageNet-200 上的实验表明，AGAT 仅对每个 minibatch 中 20-30% 的样本应用对抗监督，即取得相当或更高的鲁棒准确率，且训练时间少于所有基线方法。
arXiv cs.LGAI 评分3232 预训练容量何时有益于因果学习？从标量预测到反事实后训练
一项基于千问（Qwen 2.5）的研究探讨了预训练容量对因果学习的影响，发现模型规模从 0.5B 扩至 1.5B 对标量估计结果不一，但显著改善了生成表现。经反事实后训练等完整流程后，CodeGen pass@1 从 0.267 提升至 0.575，干预效果分数由 0.231 升至 0.515。此外，0.5B CausalLLM 的叙述性输入比表格输入将平均 sqrt(PEHE) 改善 3.4%。
arXiv cs.AIAI 评分3535 PsyJev：通过 System-1 判断进行心理分析
研究团队推出心理分析模型 PsyJev，采用 System-1 机制直接输出指定答案的概率分布，并配套构建了包含 13 个数据集的评测基准 PsyJudgeBench。该模型通过联合监督微调结合 JA-RLCD 进行优化，基于 Qwen3.5 的 2B、4B 和 9B 版本分别取得 64.33、66.21 和 67.56 的平均测试 F1。
arXiv cs.AIAI 评分3434 AC-JEPA：面向视觉到符号翻译的锚定跨模态联合嵌入预测架构
AC-JEPA 是一种兼容 SFT 的插件架构，通过双向预测跨模态掩蔽中间状态提升视觉到符号翻译对不完美数据的容错能力。在 WildMol 基准 Simple 测试集中，AC-JEPA 基于干净数据取得 76.07% 准确率，优于单独 SFT 的 67.40%。使用伪标签自训练时，AC-JEPA 准确率进一步升至 80.23%，而直接 SFT 则从 67.40% 下降至 63.47%。
arXiv cs.AIAI 评分4040 CARD：从解题轨迹到教学轨迹的认知对齐推理蒸馏
研究人员提出基于强化学习的认知对齐推理蒸馏框架 CARD，直接将大推理模型的解题轨迹转化为适配小模型认知的教学轨迹。该框架无需昂贵的重新采样，通过分布对齐奖励（匹配学生预测分布）与逻辑连贯奖励（减少误导性错误步骤）进行优化。实验表明，CARD 的域内蒸馏表现优于原始教师轨迹，并在分布外场景取得显著提升，相关代码已开源。
arXiv cs.AIAI 评分2323 通过数据生成策略提升深度学习模型性能：橄榄树病害分类
研究人员提出一种结合传统增强、CutMix、MixUp 及 DCGANs 合成图像生成的数据策略，用于解决橄榄树病害分类中的数据不足与类别不平衡问题。该方案设计了平衡类别分布（S1）、增加单类样本量（S2）与保持平衡扩增数据集（S3）三种场景。在预训练和微调的 EfficientNetV2B0 架构测试中，实验结果显著提升了分类准确率。
AWS Machine Learning BlogAI 评分4747 在 Amazon EKS 上使用 Ray Train DLC 与 EFA 进行分布式训练
AWS 推出预构建的 Ray Train 深度学习容器（DLC），集成 PyTorch 2.13.0、Ray 2.58.0 与 EFA 网络栈，支持在 Amazon EKS 上免构建镜像开展分布式训练。
arXiv stat.MLAI 评分4040 大语言模型的双重稳健对齐
研究者提出了一种面向大语言模型的双重稳健偏好优化算法，旨在解决 RLHF 因偏好模型或参考策略设定错误导致微调偏差的问题。该算法只要在偏好模型或参考策略其中之一设定正确时即可保持一致性，理论和实践性能均优于现有 SOTA 算法。该论文已被 NeurIPS 2025 接收，相关代码已开源。
arXiv stat.MLAI 评分3333 利用目标学习进行数据公平性推断
研究人员提出利用目标学习（Targeted Learning）非参数推断框架，用于评估训练数据生成过程中的数据公平性。该方法针对人口统计学均等（demographic parity）、机会均等（equal opportunity）及条件互信息推导了相应估计量。仿真结果显示，相比固定模型推断，该数据公平性估计量提升了置信区间覆盖率，并减少了对总体不公平性的误检。
arXiv stat.MLAI 评分3030 失败风险的代价：带凸正则化的截断障碍策略梯度
针对严防预算耗尽的操作控制场景，研究提出带凸正则化的截断障碍策略梯度方法，通过在状态中保留预算并将奖励下限截断至 -m，将 m 直接作为失败风险的定价。理论证明，在足够强的凸正则化下总体训练流具备指数收敛性，成功将策略梯度的平均场收敛从相对熵拓展至权重衰减，并保证风险超出对比策略的幅度在 1/m 阶以内。
arXiv stat.MLAI 评分3232 基于半正定核密度估计的分布保真数据插补
PSD-Impute 模型利用半正定（PSD）核密度估计将完全随机缺失（MCAR）下的插补重构为凸经验风险问题，可通过牛顿内点法求解闭式边缘分布。该模型支持从同一拟合密度中生成单重与多重插补，并提供自适应超参数选择的非凸扩展。其具备统计一致性并在规则概率分布下克服维度灾难，分布精度优于主流插补 baseline。
arXiv stat.MLAI 评分3030 微调何时具备可扩展性？结构化任务转移下的带噪数据可信恢复与线性成本微调
一项新研究针对单头 Transformer 提出了两阶段微调方案，证明了在任务共享几何结构时的可验证分布外（OOD）适应。该方案将共享几何结构编码至 Key 矩阵与 Value 分解因子 C，微调时仅需优化因子 A，构成凸优化问题。