跳到正文

#论文/研究

今日 55 条
10月19日周一
  1. arXiv stat.ML35

    迭代算法数据自适应随时有效包络的通用构建方法

    研究人员提出了一种为大规模迭代算法构建随时有效(anytime-valid)数据自适应边界的通用方法,以支持数据依赖的动态早停。该方法将算法误差分析归约为可预测加权噪声和的时间均匀集中,并通过混合法、拼接法和乘积下注鞅给出即开即用的边界构建方案。该框架适用于随机梯度下降(SGD)、时序差分学习等场景,在 SGD 上复现并显著收紧了现有全部已知包络。

  2. arXiv stat.ML27

    格拉斯曼流形上的自适应共形预测方法

    研究人员提出一种针对格拉斯曼流形响应值回归的自适应共形预测框架,可直接在流形上构建度量球形式的输入自适应预测区域。该方法以基不变几何距离为不一致性度量并通过预测难度估计器缩放得分,在可交换性假设下保留了有限样本边际覆盖保证。合成基准与机翼逆向形状设计实验表明,其在强异方差场景能显著缩小预测区域并维持目标覆盖率。

  3. arXiv stat.ML33

    在线主动学习的最优样本选择策略研究

    研究者在高维高斯设计的高维线性分类场景下,探讨了最小化标注预算泛化误差与累积成本的最优样本查询策略。研究证明贪心短视策略对应随时间缩小的中间间隔策略,并据此设计出简单查询策略,在合成数据和真实医学图像数据集上进行了对比验证。研究还分析了两层神经网络中的短视策略,指出了朴素间隔策略失效的场景。

  4. arXiv stat.ML34

    损失函数还是架构?竞争风险生存分析中的关键因素

    在竞争风险生存分析中,解耦评估 3 种损失与 4 种主干架构的研究表明,采用删失加权直接建模累积发生率的损失起决定性作用,其收益是选择优秀主干的两倍。将该损失与 RealMLP 或 TabM 结合,在跨 20 个表格和 3 个病理图像数据集的评测中取得了最佳 Brier 分数。研究还发现常用的 C-index 无法有效区分模型差异,需采用严格适当评分规则。

  5. arXiv stat.ML25

    双重稀疏 Spiked Wigner 模型的区分性与信号恢复研究

    该研究针对具有独立稀疏噪声的双重稀疏 Spiked Wigner 模型,系统分析了稀疏秩一信号的区分性与恢复问题。在亚高斯噪声下,留一法二次阈值处理能够识别支集,配合符号同步实现精确恢复,谱细化实现强恢复,并给出了计算成本与稀疏度的明确权衡。针对连续噪声,论文提出利用未模糊信号条目的搜索算法,将图连通性确立为精确恢复的充分条件。

  6. arXiv stat.ML36

    单位级聚合破坏因果基础模型的置信区间覆盖率

    研究发现因果基础模型在聚合单位级估计时会导致置信区间覆盖率严重下降,无法为群体平均效应提供校准的不确定性。例如在 ACIC 2016 基准上,CausalPFN 的 95% 置信区间在样本超过 30 时覆盖率即低于标称值,全样本均值仅在 20% 的数据集中包含真值。通过引入能进行群体联合预测的两个神经过程模型,覆盖率在合成任务及全套 6 个基准上均得到显著改善。

  7. arXiv stat.ML32

    ReLU 神经网络对光滑函数的最优逼近研究

    该研究解决了全连接 ReLU 神经网络一致逼近 Hölder 球时与信息论效率极限存在差距的问题,针对任意 $s>0$ 和 $D\ge1$ 闭合了这一差距。宽度为 $O(N)$、深度为 $O(L)$ 且参数大小为 $O(1)$ 的网络可达到 $(N^2L^2\log N)^{-s/D}$ 阶的一致逼近误差,且不限制宽度与深度的关系。

  8. arXiv stat.ML45

    线性探针的高准确率能证明模型具有线性表征吗?

    NeurIPS 2026 入选论文指出,仅凭线性探针的高解码准确率并不足以证明视觉模型具备真正的线性世界模型,因为任何足够丰富的特征映射(包括随机核机制)都能实现线性读出。研究团队提出了反向可预测性、谱集中度和分布外泛化三项非对称诊断指标。在 6 个预训练视觉 Transformer 模型上的测试表明,预训练产生的结构远未达到真正的低维线性表征。

  9. arXiv stat.ML30

    面向策略型买家的信息源感知动态定价

    研究人员提出了面向策略型买家的信息源感知上下文动态定价框架,并开发出 SALE 定价策略。该策略利用已验证特征进行局部化价格探索,并结合已验证特征与自报告特征校正利用阶段的策略性操纵。SALE 具备自我恢复特性,能在非独立同分布买家到达下实现一致稀疏估计与次线性期望遗憾界,仿真和真实数据实验均验证了其良好性能。

  10. arXiv quant-ph32

    大误差区间下量子 PAC 学习的无条件优势

    研究者证明了在均匀分布与大误差区间下,布尔函数的量子 PAC 学习与经典 PAC 学习之间存在无条件的超多项式分离。针对优势 $\lambda(n) = n^{-\omega(1)}$,多项式时间量子学习器仅需量子随机样本即可输出多项式规模确定性经典电路并达到 $1/2+\lambda(n)$ 的一致度,而经典学习器即便使用成员查询也无法达到同等水平。

  11. arXiv quant-ph28

    参数化量子电路中的任务对齐谱归纳偏置研究

    研究人员提出在数据重上传参数化量子电路中引入固定的任务定义谱查询,以实现任务对齐的归纳偏置。通过编码查询调制现有信号频率的组合方式,可在不引入新样本信息的前提下改变电路的假设空间,适配非均匀傅里叶变换相关任务。在小规模谱任务与合成孔径雷达分类任务中,对齐查询相比查询不匹配或缺失的参数匹配电路,显著提升了小样本数据的学习表现。

  12. arXiv quant-ph33

    利用量子电路可验证结构通过 AI 智能体实现更高效编译

    研究人员提出一种利用 AI 智能体优化量子电路编译的新范式,通过将瓶颈子程序约束为经典可验证结构,并结合模糊测试等方式实现近似电路合成的高效认证。该方法适用于惯性约束核聚变中的库仑算符模拟瓶颈 $1/\sqrt{x}$ 计算、Reed-Solomon 码解码,以及二次量子化化学模拟中的量子查找表与受控 Givens 旋转。

  13. arXiv quant-ph25

    量子网络传输质量估计:计算、仿真还是学习?

    研究提出面向量子网络传输质量(QoT)估计的“计算/仿真/学习”(compute/simulate/learn)决策框架,用于为路由调度等控制面决策提供端到端保真度评估。研究表明,解析计算适用于简单场景,随机存储效应显著时必须采用仿真,而轻量级学习代理模型能以极低运行时成本逼近仿真结果以支持在线控制。该工作同时指出了 Sim-to-Real 迁移及全拓扑泛化等部署挑战。

  14. arXiv quant-ph26

    基于再生核希尔伯特空间的 IQP 特征映射量子核表达能力研究

    研究者基于再生核希尔伯特空间(RKHS)推导出 IQP 特征映射量子核生成元的傅里叶表示,发现其表达特性随带宽超参数划分为局部化、多峰与周期性三种区间。在受控合成数据集上的监督分类和无监督异常检测实验中,该结论在对比经典高斯核时得到验证。结果表明,仅当可访问频率与数据结构匹配时,IQP 核的表达能力才能转化为实际优势。

  15. arXiv quant-ph25

    ConQUESTA:拓扑感知的量子神经网络训练后结构剪枝

    研究人员提出针对量子神经网络的训练后剪枝框架 ConQUESTA,结合任务显著性与编译器成本,在显式精度约束下跨多种硬件拓扑整体转译搜索剪枝掩码。在 4、6 和 8 量子比特 QNN 的 55% 剪枝实验中,其在 Breast Cancer、Digits01 和 Iris 任务上分别实现 61.6%、72.0% 和 82.2% 的平均资源缩减。

  16. arXiv quant-ph28

    学习用于量子近似优化的参数角度

    研究人员提出通过机器学习预测量子近似优化算法(QAOA)的高质量变分角度,将耗时的单实例经典优化替换为单次前向传递。该开源模型在速度上提升了数个数量级且解的质量几乎相当,同时可泛化至 Barabási-Albert 和 2D grid 图等未知拓扑。量子硬件实验证实,该模型生成的角度在采样表现上与传统求解器无异。

  17. arXiv quant-ph27

    用于求解林德布拉德主方程的量子-经典神经网络

    研究人员提出了一种结合经典神经网络与参数化量子线路的变分框架,通过最小化残差成本函数来求解林德布拉德主方程(Lindblad master equations)。该方法在扩大的希尔伯特空间中通过纯化表示密度矩阵,确保正定性、厄米性与单位迹,并通过参数移位法则精确计算所有梯度。理论分析推导了该组合模型的覆盖数上限,数值实验验证了其在耗散量子动力学模拟中的高精度以及关于梯度浓缩的理论预测。

  18. arXiv cs.LG35

    通过学习隐式多表表征迈向先验数据拟合关系模型

    研究人员通过在大量合成关系数据库上预训练基于图的关系基座模型 Griffin,探索了先验数据拟合网络(PFN)在消息传递架构上的泛化能力。模型将预训练编码器的隐式表征直接传递给冻结的上下文预测器,无需在下游任务上进行微调。在 16 个真实关系分类任务的评估中,先模式引导后模式无关的纯合成课程学习取得了最强的冻结上下文预测表现。

  19. arXiv cs.LG34

    基于邻域标签分布的图数据标签噪声鲁棒算法 LENS

    研究人员提出端到端框架 LENS,通过度量移除特定节点时的邻域熵减小量来识别图数据中的噪声节点。该方法引入重标记机制以恢复并保留特征信息,避免直接丢弃噪声节点。实验表明,LENS 在取得 SOTA 节点分类准确率的同时,计算开销极低,运行速度比现有抗噪方法快一个数量级。

  20. arXiv cs.LG28

    TALLOP:时间受限联邦学习中本地训练与通信压缩的联合优化

    研究人员提出了面向时间受限联邦学习的联合优化框架 TALLOP,用于在每轮时间预算下权衡本地训练负载与通信压缩。该方案通过 LENS 利用早期小批量损失轨迹预测训练损失,并通过 CLEN 压缩误差模型评估压缩退化,从而选择让压缩后损失最小的分配方案。在异构联邦学习环境下的实验表明,TALLOP 相比仅优化本地训练或两者均不优化的方法,能取得有竞争力或更优的目标精度耗时。

  21. arXiv cs.LG35

    差分隐私优化中的超参数迁移:DP-μP 框架提出

    研究者提出了 DP-μP 框架,将最大更新参数化(μP)拓展至差分隐私(DP)训练场景。该框架通过分析梯度裁剪、噪声注入与特征学习的相互作用,导出基于信噪比(SNR)的逐层学习率缩放条件,并为 DP-SGD、DP-Adam 和 DP-Muon 优化器制定了具体的缩放规则。实验表明,DP-μP 在 MLP、ViT 和 GPT-2 等架构上实现了跨模型宽度的学习率零样本迁移,大幅降低计算成本。

  22. arXiv cs.LG29

    对抗训练中鲁棒性与几何精度权衡关系研究

    一项新研究给出了非参数二分类中对抗分类器几何精度与鲁棒性之间的最优定量估计。研究证明,在由对抗预算 $\varepsilon$ 衡量的鲁棒性下,稳健分类器牺牲的几何精度(基于与贝叶斯分类器的 Hausdorff 距离)至多为 $O(\sqrt{\varepsilon})$ 或 $O(\varepsilon)$。

  23. arXiv cs.LG37

    大型扩散模型不仅需要 EMA

    大型扩散模型仅靠恒定学习率搭配指数移动平均(EMA)存在优化局限,研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益,而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA,兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。

  24. arXiv cs.LG35

    面向深度学习的可扩展 Levenberg-Marquardt 训练框架

    研究人员提出多 GPU 分布式算法 LeMA,通过精确对偶形式与雅可比分片策略,将 Levenberg-Marquardt 算法的显存开销从参数量的二次方降至批大小的二次方。该方法无需 PCG 近似即可对十亿参数模型执行精确求解。在 8-GPU 节点上训练超过 10 亿参数的卷积神经网络时,LeMA 相比单 GPU 实现了 7.97x 加速比与 99.7% 的强扩展效率。

  25. arXiv cs.LG31

    用于神经网络多分类任务的特征选择层方法

    研究者提出了特征选择层(Feature Selection Layer)的多项扩展方案,这是一种用于神经网络的嵌入式特征加权机制。该方法直接将特征相关性学习融入训练过程,在识别全局相关特征上比肩现有技术,并在捕获特定标签的特征相关性方面超越了既有方法。它利用训练后神经网络的内部动态揭示特征贡献,训练完成后无需任何后处理。

  26. arXiv cs.LG35

    Transformer Programs 中准确率所掩盖的问题

    研究发现 Transformer Programs(TP)的高 token 准确率会掩盖完整的错误答案,通过程序检查能发现抽样测试遗漏的失效并指导训练优化。作者在 9 个算法任务上评估 TP,针对抽样测试达 100% 准确率但穷举失败的计数任务补充训练样本后,重训模型通过了有界域内的全量评估。分析还显示 TP 训练过程可能在后期引发准确率下降,且受限操作组合可能消耗多层结构或大查找表。

  27. arXiv cs.LG28

    部分揭示标注面板预测:预测信息增益、分配与粗化一致算子

    研究针对对话场景提出部分揭示标注面板预测任务,即利用上一轮对话中 n 个标注员中的 k 个投票来预测下一轮完整投票分布,并定义了粗化一致的面板算子。在冷启动计数负对数似然测试中,该方法相比逐级查表在 IEMOCAP、M3ED 和 EmoWOZ 上分别带来 -0.422、-0.166 和 -0.014 nats 的差异。

  28. arXiv cs.LG36

    Ori:面向极低秩 LLM 训练的漂移感知流式 k-PCA 优化器

    研究人员提出面向 LLM 训练的新型低秩优化器 Ori,利用受 Oja++ 启发的流式 k-PCA 算法实时跟踪梯度子空间漂移,在严苛的低秩约束下捕获主梯度方向。在 1B LLaMA 预训练任务中,Ori 将现有 SOTA 低秩优化器与全秩优化器的性能差距缩小了多达 69.3%。在 RoBERTa-Base 微调的 16 个任务场景中,Ori 在 10 个场景下取得最优表现,相关代码已开源。

  29. arXiv cs.LG34

    CADENCE:通过自适应预测长度提升大语言模型解码吞吐量

    研究人员提出名为 CADENCE 的上下文自适应解码方法,通过高斯预测头将未来片段表示为连续潜在向量,并利用可学习路由动态选择预测长度,实现并行推测与按需单 token 回退。骨干模型会对生成的连续内容进行验证并保留匹配前缀。在 Llama-3.1-8B-Instruct 上的 Alpaca、GSM8K 和 HumanEval 测试中,该方法相比标准贪婪解码实现了最高 1.3x 的生成吞吐量提升。

  30. arXiv cs.LG35

    跨模型表征复用校准增益研究

    研究人员提出一种无需接收端优化的迁移方法,可直接将一个模型表征学到的正向分组缩放校准增益复用至同一预训练模型的其他表征。在 Qwen3-1.7B 浮点与 GPTQ INT3 配对的双向迁移中,该方法在测试集上保留了 76.9-90.5% 的文本损失改善,且量化接收端无需改变整数编码与零点。在 Llama-3.2-3B 对照实验中,交叉安装更保留了 98.6-99.3% 的文本校准收益。

  31. arXiv cs.LG35

    离散空间贝叶斯优化的采集函数引导生成方法 AFGG

    研究人员提出离散空间贝叶斯优化方法 AFGG,将预训练生成模型与直接定义在数据空间的代理模型结合,利用采集函数倾斜分布进行候选样本生成。该方法通过扩散桥引入平滑的后验平均采集函数以恢复采样梯度,支持分类扩散模型与自回归归一化流。在分子基准评测中,流模型变体在多数情况下超越 SOTA,相关代码已开源。

  32. arXiv cs.LG38

    拒绝不等于鲁棒:自回归大语言模型中有害可达性的度量研究

    研究人员提出有界延续分析(BCA),通过将自回归生成建模为 token 前缀上的随机过程,计算模型在有限步内到达有害延续的概率。BCA 构建有界延续树并利用精确概率模型检验估计有害可达性,量化安全拒绝表象下潜藏的有害生成路径。在 4 款指令微调大语言模型和 100 个 JailbreakBench 行为上的测试表明,BCA 能有效补充攻击成功率(ASR)并指导红队测试。

  33. arXiv cs.LG34

    原生几何与线性可恢复性:对齐如何改变柏拉图表征缩放

    研究发现模型规模提升更显著改善的是线性可恢复性,而非共享的原生度量几何收敛。通过五个模型家族在天文巡天数据集上的表征测试,Ridge 对齐相比原生余弦几何显著增强了模型大小与跨数据集邻域对应关系之间的联系。这一效应在所有五个家族中均存在,且 SAE 和 BSF 稀疏特征相比密集嵌入在对齐中并未表现出优势。