用于缓解不可学习数据集的梯度对抗增强框架
研究提出一种基于梯度的对抗增强框架,通过随机梯度上升学习增强策略,迫使深度神经网络在不可学习数据(ULD)保护的图像上重新学习可泛化特征。该框架利用可微数据增强流程在多达 18 种技术中高效搜索子集以最大化替代模型分类损失,并结合感知与像素正则化保留图像语义。
研究提出一种基于梯度的对抗增强框架,通过随机梯度上升学习增强策略,迫使深度神经网络在不可学习数据(ULD)保护的图像上重新学习可泛化特征。该框架利用可微数据增强流程在多达 18 种技术中高效搜索子集以最大化替代模型分类损失,并结合感知与像素正则化保留图像语义。
在基于结构 MRI 分类阿尔茨海默病等神经影像任务中,由数据量异质站点(1 个大站点加小站点)组成的联邦学习表现优于同质联邦,在低数据量机制下尤为显著。引入大站点通常能实现更快的收敛速度与更高的最终准确率,性能接近集中式训练,并能更好地利用 ENIGMA 等大型联盟中普遍存在的小数据量站点。
针对 PCC 与 CCC 等不可分解相关性指标在 mini-batch 优化中的梯度偏差,B2P-Corr 框架利用轻量全局矩草图将目标转化为可分解伪损失。该框架提出计算复杂度为 $O(B)$ 的 B2P-EMA 与 B2P-U 两个变体,分别采用指数移动平均与跨批次 U-统计量实现渐进梯度跟踪。在 2 个合成与 3 个真实数据集上的实验表明,该方法以极低开销实现了更稳定的优化与更高相关性。
一项针对小型因果 Transformer 的预注册研究通过在不同 $\varepsilon$ 下重放相同梯度,直接检验了 Adam 优化器中 $\varepsilon$ 对罕见 token 嵌入行的固定轨迹解释。
研究团队提出了面向十亿级视频推荐系统的生态仿真框架,对约 42K 创作者及其 12 周内的互动进行建模,以评估基于预算多臂老虎机(MAB)的公平曝光分配策略。测试表明,结合保底播放目标与均等差距奖励的方案可确保创作者每周达成 90% 的观看目标,使小型创作者每周自然触达增长约 +33%,并实现 0.819 的 Jaccard 分配稳定性。
研究提出多掩码选择性自蒸馏方法 MASS,用于提升模型的防泄漏推理能力。MASS 通过单个已验证解的多个独立掩码视图逼近多样参考分布,聚合互补的教师预测并自适应聚焦关键跨度,选择性传递可靠的 token 级别修正。在数学推理基准和多种模型族上,MASS 的性能持续优于强自蒸馏基线。
新研究提出了“期望对数密度比”(ELDR)概念,证明许多使用密度比估计(DRE)的隐式密度问题本质属于 ELDR 任务,并证明了有限样本估计的理论局限。研究指出传统 DRE 方法不适用于 ELDR 估计,为此提出了一种允许收敛至积分分布样本参与训练的修改方案。Benchmark 测试显示,该方法有效改善了 ELDR 估计误差。
针对图神经网络(GNN)的研究提出了特征对抗攻击与防御的分离原理,证明最优特征扰动可解耦为仅依赖图结构和仅依赖权重的两项。基于此开发的无梯度攻击方法 SepAttack 相比 Nettack 与 IG-Attack 在目标设定下实现最高约 70x 速度提升,且跨架构迁移性极强。衍生出的对抗训练方法 SepAT 也在二元特征基准上提升了鲁棒性。
研究团队提出无人机故障检测与溯源框架 TGTV,通过结合时空图学习与大语言模型实现可解释诊断。该框架利用图神经网络捕捉传感器时空依赖,并结合连续时间 Shapley 归因生成结构化证据包以约束大模型诊断。在 ALFA 固定翼飞行数据集测试中,TGTV 窗口级 PR-AUC 达 0.976、F1 为 0.920,飞行级故障诊断 F1 达到 0.944。
研究人员提出越狱框架 Jailbreak Connectivity(JC),通过在图像空间优化连续对抗路径,实现面向多模态大语言模型(MLLM)的多样化、可迁移与通用越狱攻击。
研究人员提出因果 Transformer 架构 CADENCE,将交易视为 token 来预测企业现金流下次支付的金额与非参数化时间分布。相比生产环境 FFT 基线,CADENCE 将单日时间预测精度提升 93.3%,next-event F1 提升 6.7%。在端到端信贷评估中,它使固定损失率下的批准率提升 18.2%,固定批准率下的损失率降低 13.1%。
一项涵盖图像分类与时间序列预测的实证研究表明,深度学习性能常呈非高斯分布,仅凭平均性能无法预测鲁棒性。通过对 186 组实验进行 18,600 次运行测试,时间序列模型的不良表现离群值达图像分类的近 3 倍,尾部风险显著更高。研究指出模型规模未系统性提升鲁棒性,高风险场景选型必须综合评估分布与尾部风险。
针对积分概率度量(IPM)在罕见事件和代表性不足群体上边界宽松失效的问题,研究人员提出其非线性推广——积分概率边界(IPB)。IPB 能在极端情况下提供紧致边界,并配备了实用估计算法,适用于模型对齐、免评判性能评估与公平性度量。在实际生成建模任务中,IPB 对罕见群体公平性差距的估计精度比现有 SOTA 提升了 15 p.p.。
研究提出一种通过动作条件价值 critic 扩展 PPO 的方法,通过对比同状态下的备选动作进行相对动作信用分配,以帮助强化学习策略跳出局部极小值。该方法结合广义优势估计(GAE)与探索噪声边界,解决了状态价值 critic 缺乏动作区分度导致的策略停滞问题。在相同的训练预算与探索设置下,扩展算法成功完成了精密插孔(peg insertion)任务,而标准 PPO 则训练失败。
研究人员利用粗糙路径特征(rough path signatures)分析腕戴加速度计数据,成功区分了高级别胶质瘤(HGG)的稳定期与疾病进展期。该方法将 BrainWear 研究患者数据转化为步行路径片段,并通过 SigMMD 及患者个性化归一化量化行走行为变化,为神经肿瘤学提供了连续监测肿瘤进展的候选数字生物标志物。
针对随机种子和 prompt 导致模型指标波动的现象,该研究提出基于置信上限的有界校正规则,在 500 个模拟单元下将误差减半以上。研究发现 prompt 设置会反转模型排名(如 ARC 上 Qwen2-1.5B 与 Llama-3.2-3B 胜负易位),对此取平均可解决 16 次反转中的 15 次,且跨种子对齐 embedding 坐标将每维信度从 0.003 提高到 0.813。
研究表明当前地震基础模型本质上仍是特征提取器,改变自监督目标只会重新分配下游技能而非全面提升性能。团队基于 Mamba 架构与 3M 窗口数据测试了 9 种模型设计,发现增加掩码压力虽使少样本 P 波拾取精度提升 6.9 点,却导致少样本分类准确率下降 9.6 点。研究指出其核心瓶颈在于单一窗口目标无法覆盖跨事件的长时间尺度。
针对 Mistral-7B 与 Llama-3-8B 序列 LoRA 微调的研究表明,Logit 蒸馏相比监督重放能以更低代价维持模型安全对齐。在 Mistral 上,监督重放虽使 HarmBench 攻击成功率降低 51.1 分,但导致过度拒绝激增 53.4 分;Logit 蒸馏仅增加 5.1 分过度拒绝即实现 5.4 分攻击降幅。结合两种策略可兼顾安全性并缓解过度拒绝。
研究团队提出参数高效方法 PairFuse,通过轻量级逐层适配器将预训练全原子表征融合至几何潜在扩散模型中,以实现统一结合剂设计。该方法通过丰富分子块特征并将成对结构信息融入去噪器,在理论上保证了几何对称性并提升了注意力表达能力。在抗体、多肽和小分子结合剂设计基准测试中,PairFuse 表现均优于原扩散模型及现有表征融合基线。
AmpRatioNet 是直接处理心电图信号的 1D 卷积神经网络,用于非静脉植入式心律转复除颤器(ICD)的 24 小时动态筛查以降低过度感知风险。基于 89 名患者的 4,605 个标注片段测试,AmpRatioNet-SE 各项指标均表现最优,易过度感知片段的误差增幅比传统算法小最多 14 倍。该方案突破了 S-ICD 的单次 10 秒筛查限制,并为 EV-ICD 提供了可行筛查路径。
新研究提出直接在粗网格上部署图神经网络(GNN)的降阶模型,无需全状态重构即可准确预测参数化非定常流动的稀疏探针与积分量。该方法表现达到甚至优于细网格代理模型,且借助频谱自适应采样将最大误差较均匀采样降低一个数量级。在训练成本更低的同时,其长时预测效果超越了参数化 DMD、U-Net 与傅里叶神经算子。
该研究在 MassSpecGym 基准上评估了通过对齐冻结质谱编码器与分子编码器进行检索的范式,指出表征的可分性并不等同于可对齐性。研究证明未接触分子结构的质谱预训练目标无法建立分子间度量关系,且基于候选分子的目标会奖励与质谱无关的诱饵先验。实验表明最终解决数据稀缺的并非架构设计,模拟质谱的效果超越了冻结几何结构。
一项研究表明,Transformer 与 MLP 在处理噪声 k-parity 特征时表现出截然相反的归纳偏置:Transformer 对噪声特征更具鲁棒性但难以学习复杂的低可用性特征,MLP 则相反且能随数据增加稳步提升。在固定训练预算下,增加训练样本数量会显著减缓 Transformer 的优化速度并降低最终准确率,导致较小数据集的表现反倒更优。
研究人员在多材料计算物理任务中评估了多种基于计算机视觉的 PDE 代理模型,发现适配 Transformer 等预训练架构面临显著实现挑战。针对多物理场与多材料数据集,该研究强调了开发适用于稀疏及不平衡数据算法、改进空间编码和物理一致性度量的必要性,同时指出了降低训练数据生成成本的关键方向。
研究人员提出时间序列分析框架 ACTS-WM,无需显式标注即可推断序列转换背后的隐式动作,构建自监督潜动作条件世界模型。该框架结合 JEPA 编码器与动作条件世界模型,基于学得的潜动作及任务信息预测目标时间序列表示。在 22 个跨领域数据集的 4 类预测与分类任务评估中,ACTS-WM 相比预训练 JEPA 编码器取得了更优的下游性能。
SAG-Sep 割平面分离器通过单次编码器前向传递对圆整容量割(RCC)节点打分,避免了迭代粗化推理。其采用稀疏增强图编码长程路径结构,并配合免训练的 Onion-Sweep 解码器快速生成结构化候选割。在 N=1000 的 NeuralSEP 基准中,SAG-Sep 相比最强基线将平均根节点差距降低 17.7%,每轮神经分离速度提升约 30 倍。
针对生成流中诱导相同连续边缘演化的不同速度场在数值离散化后表现不同的现象,新研究通过投影修正方程表征了改变边缘分布律的局部积分误差,并给出了获得更高边缘收敛阶的充分条件。研究进一步推导了仿射固定形状分布的有限步可达性与紧致 Wasserstein 误差,并针对扩散概率流 ODE 构造了可量化得分误差泄漏的斜得分扰动。
研究团队提出参数高效预训练方法 Bi-Phase Training(BPT),能在显著减少可训练参数的同时保持全参数优化的高秩动态。在基于 FineWeb-Edu(10B 和 100B tokens)从零预训练 Qwen2.5(100M 至 1.5B)与 OLMo-2-1B 时,BPT 在 1.5B 规模下减少了 66% 可训练参数,取得接近全参数基线的验证困惑度与下游任务表现。
研究发现在 55M 和 108M 激活参数的 MoE 模型中,Muon 优化器会使首个 MoE 层的路由偏置跨度平均翻倍,导致预热后最繁忙专家的负载达到公平份额的 4 到 7 倍。
研究人员推出首个仿星器引导中心模拟的大规模基准数据集 BoSS,以利用机器学习加速核聚变装置设计。该数据集包含 180,000 个不同磁流体动力学平衡构型及其模拟结果与轨迹。研究团队据此开展了用于生成优良粒子约束设计的生成建模,以及预测热沉积模式和粒子轨迹的代理模型任务。
边缘 AI 框架 TERRA 结合本地推理、无身份区域标记上报与置换不变聚合,用于高效区域火灾检测。在分布式室内 EN54 数据集测试中,TERRA-Feature 凭 24-bit 载荷取得 0.990 平均 AUPRC,TERRA-Score 仅需 6-bit 达到 0.987,二者在 FAR $\le$ 1% 下的 MDR 均为 1.81%。
独立研究者发布 Metis-1.6 技术报告,推出从零训练的 Praxis(2.94B)和 Logos(10.23B)两款混合 Mamba-2 与注意力 MoE 模型。
SAC-GCL 提出了一种用于图对比学习的结构感知压缩框架,通过结构分解提取高内聚子图并压缩为超节点,构建保留局部密度与高阶宏观结构的粗化图视图。该框架利用多种内聚子图模型生成互补视图,并通过分层视图编码器处理多分辨率信息。在 6 个基准数据集上的实验表明,该方法相比随机扰动能生成更鲁棒且具判别力的图表征。
研究者提出方程学习框架 nn-EQL,通过自定义激活函数的神经网络迭代训练、剪枝与重训练,从高维材料数据中发现紧凑且可解释的方程。该框架借助受最小描述长度(MDL)启发的评分权衡误差与稀疏度,支持逐项贡献、敏感度与不确定性诊断。团队已在 AI-Feynman 基准、异质材料有限元模拟及高通量薄膜沉积数据上验证了其有效性。
研究提出结合超参数迁移幂律与集成缩放法则的方案,解决了大语言模型在数据受限缩放下超参数固定与忽视集成的局限。在 FineWeb 的 100M tokens 上训练,该方案比以往方法降低验证损失超 0.15 nats,困惑度降低 14%,并通过集成实现了性能单调提升。相关规则从小规模运行中拟合,并在高达 12 倍算力预算下完成验证。
研究人员提出一种块循环 ASR 架构,通过权重共享的循环块替代参数化深度,以减少一个数量级的参数实现超高效端侧语音识别。在 Open ASR Leaderboard 基准测试中,仅含两个共享块的模型平均可恢复大模型 97.4% 的准确率。该架构复用权重以降低内存访问与推理能耗,并支持轻量级 MoE-LoRA 适配以实现低成本端侧个性化。
针对多版本 AI 混合部署中不同利益相关者标准冲突的问题,NeurIPS 2026 论文提出通过二元成员查询寻找混合方案,以最小化拒绝的主体数量。理论证明该问题为 APX-hard,但在候选版本数 $m$ 为常数时存在多项式时间精确算法。当仅能均匀抽样部分主体时,还可通过线性规划提供样本量与总体规模 $n$ 无关的理论保证。
研究人员提出无时钟分区不变神经网络及 Clock-Free Event(CFE)层,通过时间介导非对易(TM)模型使异步事件流处理摆脱分帧切片依赖并保持时序敏感性。CFE 层的计算复杂度随事件数呈线性增长。在初步实验中,TM 状态在 DVS128 Gesture 上比加性状态高出 3.5-9.1 分,在 SHD 与 Speech Commands 上分别领先 24.5 和 30.6 分。
研究对医学影像分类中的经典与量子分类器(QSVM、QCNN)展开公平性审计,证实量子机器学习并不天然公平,在取得竞争性总体性能的同时仍存在敏感子群差异。在 DDI 皮肤病和 CheXpert 数据集上测试 GRL 与 Equalized Odds 正则化等方案显示,QSVM 结合两者在 DDI 上的权衡接近 PanDerm,但部分配置因损失全局判别力而不具临床可接受性。
一项针对大语言模型星期流形的研究发现,其概念表征并非连续圆环,而是呈环状排列的 7 个离散状态。局部敏感度在 7 个星期处存在极小值,使得沿流形引导时呈现阶梯状映射,且中间过渡空间并未表征具体时间、不确定性或自然文本。该结果挑战了概念流形连续变化的假设,促使学界重新审视沿表征流形移动的实际含义。