BLOKS:通过草图块预条件技术扩展核求解器规模
研究人员提出基于共轭梯度的核岭回归(KRR)求解器 BLOKS,通过将块雅可比近似与草图技术结合来构建新型预条件子。该预条件子的显存开销与数据集大小及参数量均无关,支持模型扩展,并提供了高显存效率的 GPU 加速实现。在标准大规模基准测试集上,BLOKS 取得了与当前 SOTA 方法相当或更优的性能。
研究人员提出基于共轭梯度的核岭回归(KRR)求解器 BLOKS,通过将块雅可比近似与草图技术结合来构建新型预条件子。该预条件子的显存开销与数据集大小及参数量均无关,支持模型扩展,并提供了高显存效率的 GPU 加速实现。在标准大规模基准测试集上,BLOKS 取得了与当前 SOTA 方法相当或更优的性能。
研究者推导出一阶公式,用于在无需访问目标语料的前提下预测独立语料训练模型间的预期分歧,并在覆盖 50,257 个 token 的 GPT-2 词表上完成评估。在 TinyStories、WikiText-103 和 CNN/DailyMail 上,语料块从 512 增至 2,048 个仅使分歧下降 5%–40%,远低于 1/n 缩放预期的 75%。
研究提出利用引导扩散模型解决空间预测难题,在数据模型似然函数已知且可微时实现预测分布采样。该方法适用于高斯与非高斯过程模型,支持计数、区域聚合和右截断等多种数据类型,并在英国与爱尔兰的甲烷通量反演实验中完成验证。其在高维潜变量下具备良好扩展性,可有效应用于传统 MCMC 难以处理的复杂模型场景。
该研究确立了在投影 r 阶矩假设下估计带幂次切片 Wasserstein 泛函的双样本极大极小率。在样本规模 N=n∧m 条件下,当 p<r<2p 时收敛率为 N^{-(r-p)/r},r>2p 时为 N^{-1/2},两类非临界情形下插入估计量均达最优。在端点 r=p 时无法实现一致估计,而在临界阶 r=2p 时上下界仍留有对数差距。
研究人员提出基于经验神经正切核分块分解的核化参数敏感度图谱(KPSA),通过轻量核函数预估未见输入的参数敏感度,以摊销重复的反向传播计算成本。在 Transformer 的 MLP 特征激活归因测试中,KPSA 将批量查询吞吐量从 551 提升至 2,041 images/s,并将峰值 GPU 显存从 4.55GB 降至 0.44GB。
新提出的分布分析框架通过蒙特卡洛模拟构建大语言模型的经验响应分布,覆盖任务设计到持续监控的全生命周期风险管理。该方法通过引入语义干预量化分布变化,已在借款人分类与音乐专辑推荐任务中评估鲁棒性和控制有效性。由于仅依赖观测响应,该框架可直接应用于通过商业 API 访问的黑盒模型。
研究人员提出单步隐式采样器 OSIS,旨在解决高维贝叶斯后验分布中可扩展的单步摊销推理难题。该方法利用短时 MCMC 动力学为隐式建模分布的演化定义局部目标,在渐近极限下使建模分布成为 MCMC 核的不动点以完成目标采样。与多步摊销采样器及非摊销 MCMC 基线相比,OSIS 在采样时间效率上显著提升且性能良好。
最新研究建立了端到端统计保证,证明基于 Transformer 的掩码扩散模型(MDM)能有效学习具有潜结构的数据分布。在数据由隐马尔可夫树混合建模时,采用并行去掩码调度的 Transformer MDM 在 KL 散度下实现 $\varepsilon$-精确采样仅需 $\widetilde{O}(LK_{\mathrm{par}}/\varepsilon)$ 个训练样本。
一篇发表于 IJCAI-ECAI 2026 XAI 研讨会的立场论文指出,可解释 AI(XAI)特征重要性忠实度指标存在显著局限,难以严谨量化解释与模型实际运作之间的拟合程度。该研究指出了现有忠实度指标存在的 5 大主要缺陷,并提出了 4 条旨在提升其可靠性的研究方向,以解决此类量化不可行或计算成本高昂的问题。
研究者针对 METR 提出的 AI 50% 时间跨度指标,利用样条函数与项目反应理论放宽了对数线性假设,在 228 个任务和 26 个 AI 上重新计算了时间跨度估计。拟合结果显示人类用时在 2 至 30 分钟区间内难度几乎平坦,表明跨度从 3 分钟跃升至 30 分钟远比从 30 分钟跃升至 5 小时容易,研究同时提供了更优的点估计与构念效度诊断图。
研究人员证明了在单条有限马尔可夫决策过程轨迹下,采用常数步长的零初始化异步 Q-learning 最终迭代能以高概率达到至多 $\varepsilon$ 的范数误差,样本复杂度为 $\widetilde{O}(H^4/(\mu_{\min}\varepsilon^2)+\mathfrak h_\star)$ 步转移。
研究针对采用有限去噪步数训练的全离散条件扩散模型,建立了有限样本理论保证。该方法通过将 score 训练目标与采样网格对齐,联合分析了统计估计与数值离散误差。在平滑条件密度假设下,采样器的平均目标总变差(TV)误差达到 $\widetilde O_p(n^{-\beta/(d_x+d_y+2\beta)})$,在对数因子内匹配现有条件分布估计理论速率。
研究者提出一种在有限维线性不等式约束下求解线性偏微分方程的高斯过程框架,将物理信息后验作为虚拟点不等式更新的先验,使结合后的非高斯分布可通过截断高斯矩计算。在二维 Poisson 基准测试中,单调性约束使重建误差降低了 63%;在仅保留 20 个报价的标普 500 期权链上,无套利约束将外推误差降低 22%,并将日历套利发生率从 10% 降至 1%。
研究提出了一个用于推导 DP-SGD 重构攻击失真下界的信息论框架,可在模型训练前计算针对特定特征表示的重构误差。该框架利用率失真理论将条件互信息度量的泄漏量与源熵相结合,证明了任意重构攻击均存在不可避免的期望误差下界。该成果已在像素空间和 LPIPS 特征空间实现,给出了首个直接以 LPIPS 衡量的重构失真下界。
研究人员通过经验风险最小化视角,评估了先验数据拟合网络(PFN)对贝叶斯后验预测分布(PPD)的逼近质量。结果显示 PFN 总体上能很好地还原目标 PPD,但在预训练先验的罕见场景下仍存在摊销误差且扩大模型规模也难以消除,导致独立预训练的 PFN 间产生分歧。采用多种贝叶斯模型平均方法可有效减少该不确定性,并改善包括完整尺寸 TabICLv2 在内的模型预测表现。
研究人员提出离群感知注意力线性化方法(OAL),通过将贡献尺度相近的维度分组共享系数并单独处理少数离群维度,构建对序列长度具备线性复杂度的正二次核近似。在 Qwen2.5-0.5B 上,OAL 相比 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%。
研究人员提出了一种面向非高斯空间场的可扩展变分推断框架,解决了大尺度非高斯数据集中潜变量场后验分布难以解析求解的问题。该方法在变分分布族中映射先验的稀疏最近邻自回归结构,利用归一化流条件分布提升表达能力,并通过单一共享神经条件网络摊销所有变分参数。结合简化祖先集(reduced ancestor sets)的双重随机优化,实现了每次迭代对数多项式级(polylogarithmic)的复杂度。
用于 LLM 测试期锐化的幂采样在现实算力下难以收敛至目标分布,其收益大多可通过简单的 Best-of-N 结合适当评分复现。即使通过微调让模型直接拟合目标分布,带来的性能增益也充满噪声且不稳定。幂采样的实际价值不在于精确逼近目标分布,而仅在于提取基座模型已判定为高概率的序列。
研究探讨了生成式扩散模型与最优传输之间的三个核心关联,表明数据与其 Ornstein-Uhlenbeck 加噪的联合分布在任意时刻都是熵正则化最优传输问题的解,反向扩散可视为逐渐降低熵正则化的退火过程。
研究者提出了用于生成相关矩阵的 CorrFlow 模型,结合广义 Fisher 变换与置换等变的图流匹配网络,无需后处理投影即可保证生成结果 100% 落在相关性椭球面上。在 80×80 台湾股票矩阵实验中,CorrFlow 的特征切片 Wasserstein 距离达到 0.712±0.141,显著优于 CorrGAN(4.339±0.252)和图像扩散模型(4.610±0.191)。
研究证明基于优先压缩(preferent compression)的学习算法风险上界可达到 k/N + O(1/√N),消除了以往结果中多余的对数因子 O(√(ln N/N))。
研究人员提出了一种无模型且具备噪声感知的贝叶斯聚类框架,从预测性贝叶斯视角构建聚类的鞅后验(martingale posterior)。该方法避免了显式似然-先验模型设定与高成本的 MCMC 采样,支持不规则聚类形状并可并行生成后验样本。研究还引入基于 Wasserstein 的总结方法与新型噪声感知损失,将大量后验样本压缩为少量带权重的代表性结构。
研究人员针对连续动态时间规整(CDTW)计算成本过高的问题,提出了一种对 GPU 友好的高效近似求解器 FastCDTW。该算法提供针对分段线性函数的精确闭式解与针对平滑函数的无偏蒙特卡洛估计器,均支持对规整函数和输入时间序列进行梯度计算。相关方法已成功应用于时间序列平均、分类以及深度域自适应等复杂机器学习任务。
针对深度神经网络(DNN)重尾权重谱能预测模型质量却缺乏统计原理解释的问题,研究人员从统计学视角构建概率框架,仅基于最后一层权重推导 DNN 的边际似然。实验证实该边际似然在大规模卷积 DNN 与 LLM 上均可预测模型质量。通过推导服从高温 Marchenko-Pastur 分布谱的极限对数边际似然,研究证明该极限关于重尾参数呈凸性,并导出了能经验性预测模型过拟合的最佳重尾程度。
研究者提出潜在跳跃模型(LJMs)及扫描并行变分推断(SPVI),用于建模不规则观测时间序列。该方法结合事件增强路径空间 ELBO 与三角仿射扫描,以对数时间深度实现可扩展训练。在合成系统与真实时间序列测试中,LJMs 预测精度与连续时间基线相当,且训练速度比顺序基线快 1 至 2 个数量级。
针对图等非欧几里得复杂数据在严重样本失衡下检验性能大幅下降的问题,研究人员提出了 EIAD-C2ST 深度分类器双样本检验框架。该框架将多余的多数类样本转化为重复检验的统计证据,支持多种数据模态并结合表征摊销策略降低深度分类器的计算开销。理论上该方法具备渐近显著性水平与检验功效一致性保证,并在区块链取证等应用中验证了有效性。
研究人员提出一种通过线性化最优传输几何将概率测度嵌入希尔伯特空间的稀疏字典学习框架,利用稀疏自编码器参数化生成快速、可扩展的稀疏有限维编码表示。该方法在超光谱图像、几何点云以及大语言模型潜空间中的文档嵌入等多种数据模态上验证了实用性。理论上还证明了该目标在宽类 $L^2$ 值测度嵌入上的泛化界,并推导出了明确的覆盖数界与收敛速率。
研究针对带付费随机特征的在线二分类预测问题,提出在逻辑模型下协同控制预测损失与特征获取成本的方法。研究发现仅凭协方差信息已不足以决定最优逻辑损失,更低的方差甚至可能导致更高损失。在更大支出可消除独立噪声的结构序设定下,噪声结构已知时达到 $\widetilde O(\sqrt{T})$ 悔流界,未知时达到 $\widetilde O(T^{2/3})$,并在对数因子意义下匹配下界。
研究者提出了行列式比率点过程(DRPP),通过两个对称正定核的行列式之比分别对子集选择中的排斥与吸引效应进行独立建模。该方法保留了标准 DPP 的特征级可解释性,并引入辅助变量表示以实现高效 MCMC 采样与极大似然学习。实验表明,DRPP 能以远少于非对称 DPP(NDPP)的参数量拟合传递性吸引结构。
该研究证明了基于归一化重要性权重的 KL 散度熵估计器具有通用有限样本界,其期望在任意样本量下超出目标与提议分布 KL 散度的幅度最多为 log 2。该界限既不要求重要性权重有界,也不需要有限高阶矩。研究已将成果应用于基于 Soft Best-of-N 采样的生成模型测试期对齐,以及相对熵编码领域。
针对基于模拟的贝叶斯推理(SBI)在观测规模扩大时难以恢复集中后验的问题,研究提出了联合学习充分汇总统计量与后验的双向引导机制。该机制通过对统计量施加结构限制,利用统计量的后验充分性简化后验学习,同时以后验目标引导统计量趋于充分。研究还为后验估计误差及统计量偏离充分性提供了理论保证。
该研究提出了一种可扩展的行列式点过程(DPP)学习方法,用于解决大规模数据集中表达能力与计算扩展性之间的权衡难题。该方法通过非线性核函数与潜在特征建模满秩交互,为极大似然估计器设计了代理函数,并利用非线性核的随机特征进行随机优化。真实数据集上的数值实验表明,该方法显著改善了这一权衡,在具备显著参数效率的同时取得了更好的泛化性能。
研究提出反思性自我蒸馏框架 ReTeach,仅利用模型自身的生成尝试与结果级验证,通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏,在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中,ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。
研究人员提出时间感知宏步世界模型 AtomWorld-Mirror,用于模拟材料动力学中原子系统的关键演化骨干。该模型将微观事件片段提炼为关键状态间的物理可达跃迁,通过潜在宏步动态联合预测稀疏结构编辑与累积物理时间。在富铜 RPV 钢辐照老化及 Li3N 基固态电解质等 5 个原子系统中,其推理速度比逐事件模拟提升了 10^3 至 10^4 倍。
BEVPIPE 框架提出了一种利用便携式 GPU 计算 API 部署多模态 BEV 感知流水线的方法,解决了标准推理运行时与稀疏 3D 卷积等算子不匹配的部署难题。
研究人员提出 Fed-GRPO 联邦训练框架,利用 GRPO 训练中天然生成的奖励统计作为零成本信号,无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明,Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能,可无损降低 32x 通信量,且在紧缺带宽下支持高达 621x 压缩。
研究人员提出自动驾驶安全规划方法 BridgeGuard,在扩散去噪中逐步增强约束项,引导生成轨迹移向场景安全域。该方法冻结预训练感知主干与规划器,通过 DistanceFieldNet 模块预测的时变距离场注入安全约束。
LLoCoT 框架通过共享 Transformer 循环迭代优化隐式工作区,实现了非自回归隐式推理。在 HumanEval 和 MBPP 评测中,LLoCoT 取得受测方法最高均分,准确率持平显式 CoT 基准 Reasoning SFT。相比 Reasoning SFT,LLoCoT 将推理阶段延迟降低约 42 倍,首个回答 token 生成时间缩短约 36 倍,端到端吞吐量提升 9.2%。
研究提出将验证器作为进化对象,由缺陷检测器合成可审查表达式,与自改进智能体协同进化以应对奖励作弊与盲区。在 MBPP+ 上,该验证器比手写种子组合取得 +0.21 的留出一致性增益,且性能超越纯 LLM 裁判。结合技能循环的 Double Ratchet 在代码生成、企业级 text-to-SQL 及报告生成中,保留了基准标准 88-110% 的提升幅度。
通用脉冲推断框架 SpikeSSL 正式提出,其以双向 IIR 状态空间层为主干网络,用于在双光子钙成像中跨多种指示剂准确推断脉冲。在基于 33 个公开数据集构建的基准评测中,SpikeSSL 在域内与零样本留一指示剂设定下均取得 SOTA 表现。团队还通过生物物理仿真管线生成约 11,000 条模拟轨迹以提升泛化能力,代码已开源。