大误差区间下量子 PAC 学习的无条件优势
研究者证明了在均匀分布与大误差区间下,布尔函数的量子 PAC 学习与经典 PAC 学习之间存在无条件的超多项式分离。针对优势 $\lambda(n) = n^{-\omega(1)}$,多项式时间量子学习器仅需量子随机样本即可输出多项式规模确定性经典电路并达到 $1/2+\lambda(n)$ 的一致度,而经典学习器即便使用成员查询也无法达到同等水平。
研究者证明了在均匀分布与大误差区间下,布尔函数的量子 PAC 学习与经典 PAC 学习之间存在无条件的超多项式分离。针对优势 $\lambda(n) = n^{-\omega(1)}$,多项式时间量子学习器仅需量子随机样本即可输出多项式规模确定性经典电路并达到 $1/2+\lambda(n)$ 的一致度,而经典学习器即便使用成员查询也无法达到同等水平。
研究人员提出在数据重上传参数化量子电路中引入固定的任务定义谱查询,以实现任务对齐的归纳偏置。通过编码查询调制现有信号频率的组合方式,可在不引入新样本信息的前提下改变电路的假设空间,适配非均匀傅里叶变换相关任务。在小规模谱任务与合成孔径雷达分类任务中,对齐查询相比查询不匹配或缺失的参数匹配电路,显著提升了小样本数据的学习表现。
研究人员提出一种利用 AI 智能体优化量子电路编译的新范式,通过将瓶颈子程序约束为经典可验证结构,并结合模糊测试等方式实现近似电路合成的高效认证。该方法适用于惯性约束核聚变中的库仑算符模拟瓶颈 $1/\sqrt{x}$ 计算、Reed-Solomon 码解码,以及二次量子化化学模拟中的量子查找表与受控 Givens 旋转。
研究提出面向量子网络传输质量(QoT)估计的“计算/仿真/学习”(compute/simulate/learn)决策框架,用于为路由调度等控制面决策提供端到端保真度评估。研究表明,解析计算适用于简单场景,随机存储效应显著时必须采用仿真,而轻量级学习代理模型能以极低运行时成本逼近仿真结果以支持在线控制。该工作同时指出了 Sim-to-Real 迁移及全拓扑泛化等部署挑战。
研究者基于再生核希尔伯特空间(RKHS)推导出 IQP 特征映射量子核生成元的傅里叶表示,发现其表达特性随带宽超参数划分为局部化、多峰与周期性三种区间。在受控合成数据集上的监督分类和无监督异常检测实验中,该结论在对比经典高斯核时得到验证。结果表明,仅当可访问频率与数据结构匹配时,IQP 核的表达能力才能转化为实际优势。
研究人员提出针对量子神经网络的训练后剪枝框架 ConQUESTA,结合任务显著性与编译器成本,在显式精度约束下跨多种硬件拓扑整体转译搜索剪枝掩码。在 4、6 和 8 量子比特 QNN 的 55% 剪枝实验中,其在 Breast Cancer、Digits01 和 Iris 任务上分别实现 61.6%、72.0% 和 82.2% 的平均资源缩减。
研究人员提出通过机器学习预测量子近似优化算法(QAOA)的高质量变分角度,将耗时的单实例经典优化替换为单次前向传递。该开源模型在速度上提升了数个数量级且解的质量几乎相当,同时可泛化至 Barabási-Albert 和 2D grid 图等未知拓扑。量子硬件实验证实,该模型生成的角度在采样表现上与传统求解器无异。
研究人员提出了一种结合经典神经网络与参数化量子线路的变分框架,通过最小化残差成本函数来求解林德布拉德主方程(Lindblad master equations)。该方法在扩大的希尔伯特空间中通过纯化表示密度矩阵,确保正定性、厄米性与单位迹,并通过参数移位法则精确计算所有梯度。理论分析推导了该组合模型的覆盖数上限,数值实验验证了其在耗散量子动力学模拟中的高精度以及关于梯度浓缩的理论预测。
研究人员通过在大量合成关系数据库上预训练基于图的关系基座模型 Griffin,探索了先验数据拟合网络(PFN)在消息传递架构上的泛化能力。模型将预训练编码器的隐式表征直接传递给冻结的上下文预测器,无需在下游任务上进行微调。在 16 个真实关系分类任务的评估中,先模式引导后模式无关的纯合成课程学习取得了最强的冻结上下文预测表现。
研究者提出 GR-OPD(Group-Relative On-Policy Distillation),将 token 级教师反馈聚合为校准后的序列级信用,以解耦反馈计算与信用分配。
研究人员系统解构了循环大语言模型中的拓扑结构、输入注入和循环状态设计,证实 Huginn 架构在 730M 参数及 336B token 规模下全面优于 Ouro。
研究表明在宽度为 W、深度为 D 的 ReLU 网络插值解空间中均匀随机抽取参数,模型仍能以 $\tilde O\left(\frac{wdWD}{n}\right)$ 的速率自适应泛化,而非受限于大网络的全 VC 维。
研究者提出一种在 1D 非线性可分数据上通过逻辑斯蒂损失训练的双神经元 ReLU 极小网络模型,用以分析大步长梯度下降(GD)在稳定边缘(EoS)及以上的动力学。
研究人员提出端到端框架 LENS,通过度量移除特定节点时的邻域熵减小量来识别图数据中的噪声节点。该方法引入重标记机制以恢复并保留特征信息,避免直接丢弃噪声节点。实验表明,LENS 在取得 SOTA 节点分类准确率的同时,计算开销极低,运行速度比现有抗噪方法快一个数量级。
研究人员提出了面向时间受限联邦学习的联合优化框架 TALLOP,用于在每轮时间预算下权衡本地训练负载与通信压缩。该方案通过 LENS 利用早期小批量损失轨迹预测训练损失,并通过 CLEN 压缩误差模型评估压缩退化,从而选择让压缩后损失最小的分配方案。在异构联邦学习环境下的实验表明,TALLOP 相比仅优化本地训练或两者均不优化的方法,能取得有竞争力或更优的目标精度耗时。
研究者提出了 DP-μP 框架,将最大更新参数化(μP)拓展至差分隐私(DP)训练场景。该框架通过分析梯度裁剪、噪声注入与特征学习的相互作用,导出基于信噪比(SNR)的逐层学习率缩放条件,并为 DP-SGD、DP-Adam 和 DP-Muon 优化器制定了具体的缩放规则。实验表明,DP-μP 在 MLP、ViT 和 GPT-2 等架构上实现了跨模型宽度的学习率零样本迁移,大幅降低计算成本。
一项新研究给出了非参数二分类中对抗分类器几何精度与鲁棒性之间的最优定量估计。研究证明,在由对抗预算 $\varepsilon$ 衡量的鲁棒性下,稳健分类器牺牲的几何精度(基于与贝叶斯分类器的 Hausdorff 距离)至多为 $O(\sqrt{\varepsilon})$ 或 $O(\varepsilon)$。
大型扩散模型仅靠恒定学习率搭配指数移动平均(EMA)存在优化局限,研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益,而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA,兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。
研究人员提出多 GPU 分布式算法 LeMA,通过精确对偶形式与雅可比分片策略,将 Levenberg-Marquardt 算法的显存开销从参数量的二次方降至批大小的二次方。该方法无需 PCG 近似即可对十亿参数模型执行精确求解。在 8-GPU 节点上训练超过 10 亿参数的卷积神经网络时,LeMA 相比单 GPU 实现了 7.97x 加速比与 99.7% 的强扩展效率。
研究者提出了特征选择层(Feature Selection Layer)的多项扩展方案,这是一种用于神经网络的嵌入式特征加权机制。该方法直接将特征相关性学习融入训练过程,在识别全局相关特征上比肩现有技术,并在捕获特定标签的特征相关性方面超越了既有方法。它利用训练后神经网络的内部动态揭示特征贡献,训练完成后无需任何后处理。
研究发现 Transformer Programs(TP)的高 token 准确率会掩盖完整的错误答案,通过程序检查能发现抽样测试遗漏的失效并指导训练优化。作者在 9 个算法任务上评估 TP,针对抽样测试达 100% 准确率但穷举失败的计数任务补充训练样本后,重训模型通过了有界域内的全量评估。分析还显示 TP 训练过程可能在后期引发准确率下降,且受限操作组合可能消耗多层结构或大查找表。
研究提出并发约束强化(CCR),将 3 个独立可验证问题置于单一上限训练生成中,通过共享预算促使模型在无显式长度惩罚下缩短推理。
研究人员针对条件扩散模型中的无分类器引导(CFG)机制,提出了轻量级的原型正则化(PR)方法,通过塑造潜在空间类别几何来提升引导生成质量。
研究人员推出匿名模拟数据集基准 Heuresis,用于评测 LLM 智能体在因果发现中纠正算法错误并深入挖掘数据的能力。在测试中,GPT-6.1 Sol 在全部六个数据集族上均超越了最佳可选算法,在难度最高的数据集上邻接 F1 分数提升 14%,Claude Opus 5.5 提升 7.4%。相关代码和数据将公开发布。
研究针对对话场景提出部分揭示标注面板预测任务,即利用上一轮对话中 n 个标注员中的 k 个投票来预测下一轮完整投票分布,并定义了粗化一致的面板算子。在冷启动计数负对数似然测试中,该方法相比逐级查表在 IEMOCAP、M3ED 和 EmoWOZ 上分别带来 -0.422、-0.166 和 -0.014 nats 的差异。
研究人员提出面向 LLM 训练的新型低秩优化器 Ori,利用受 Oja++ 启发的流式 k-PCA 算法实时跟踪梯度子空间漂移,在严苛的低秩约束下捕获主梯度方向。在 1B LLaMA 预训练任务中,Ori 将现有 SOTA 低秩优化器与全秩优化器的性能差距缩小了多达 69.3%。在 RoBERTa-Base 微调的 16 个任务场景中,Ori 在 10 个场景下取得最优表现,相关代码已开源。
研究人员提出名为 CADENCE 的上下文自适应解码方法,通过高斯预测头将未来片段表示为连续潜在向量,并利用可学习路由动态选择预测长度,实现并行推测与按需单 token 回退。骨干模型会对生成的连续内容进行验证并保留匹配前缀。在 Llama-3.1-8B-Instruct 上的 Alpaca、GSM8K 和 HumanEval 测试中,该方法相比标准贪婪解码实现了最高 1.3x 的生成吞吐量提升。
研究人员提出一种无需接收端优化的迁移方法,可直接将一个模型表征学到的正向分组缩放校准增益复用至同一预训练模型的其他表征。在 Qwen3-1.7B 浮点与 GPTQ INT3 配对的双向迁移中,该方法在测试集上保留了 76.9-90.5% 的文本损失改善,且量化接收端无需改变整数编码与零点。在 Llama-3.2-3B 对照实验中,交叉安装更保留了 98.6-99.3% 的文本校准收益。
研究人员提出离散空间贝叶斯优化方法 AFGG,将预训练生成模型与直接定义在数据空间的代理模型结合,利用采集函数倾斜分布进行候选样本生成。该方法通过扩散桥引入平滑的后验平均采集函数以恢复采样梯度,支持分类扩散模型与自回归归一化流。在分子基准评测中,流模型变体在多数情况下超越 SOTA,相关代码已开源。
研究人员提出有界延续分析(BCA),通过将自回归生成建模为 token 前缀上的随机过程,计算模型在有限步内到达有害延续的概率。BCA 构建有界延续树并利用精确概率模型检验估计有害可达性,量化安全拒绝表象下潜藏的有害生成路径。在 4 款指令微调大语言模型和 100 个 JailbreakBench 行为上的测试表明,BCA 能有效补充攻击成功率(ASR)并指导红队测试。
研究发现模型规模提升更显著改善的是线性可恢复性,而非共享的原生度量几何收敛。通过五个模型家族在天文巡天数据集上的表征测试,Ridge 对齐相比原生余弦几何显著增强了模型大小与跨数据集邻域对应关系之间的联系。这一效应在所有五个家族中均存在,且 SAE 和 BSF 稀疏特征相比密集嵌入在对齐中并未表现出优势。
研究人员提出条件 Diffusion Transformer 模型 OrderFlowDiT,结合非平衡最优传输(UOT)辅助损失,用于预测未归一化的买卖盘价格挂单量场。在针对 30 只美股的 1950 个验证条件下,加入 UOT 相比仅使用均方误差训练使全场传输成本降低 45.8%,传输能量得分降低 26.1%,且两项指标在所有股票上均取得改善。
研究证明以邻接矩阵多项式为滤波器的图神经网络在长程伊辛模型(LRIM)基准上存在无法通过增加多项式阶数消除的误差下限,因其在目标变化的谱等值集上取常数。具有约 50 个系数的跨步滤波器(strided filter)拟合训练标签后,测试误差比已发表最优网络低 52 倍。空洞卷积网络在 256 节点处超越已发表最优结果并在 1024 节点处持平,而标准模式的傅里叶神经算子随着网格增大差距进一步拉大。
研究人员提出 Normalizing Flow Maps(NFM),这是一种泛化了规范化流(Normalizing Flows)和流映射的精确可逆前推映射,兼顾少步生成与高效精确似然评估。
研究人员针对个性化 LLM 路由提出一种受限上下文 Bandit 算法,旨在未知用户偏好并在部署期间通过反馈进行在线学习的同时,最小化累积推理成本并保证响应质量。在逻辑偏好模型与严格可行性条件下,该算法实现了相对于最优平稳随机上下文预言机的次线性期望成本遗憾,并对累积满意度提供高概率保障。该框架还可扩展至其他具有可靠性要求的在线模型选择问题。
研究人员提出智能体强化学习框架 AlphaBet,训练单一 LLM 策略在事件解决前的多个日期自主搜索证据、推理并报告概率。基于 GLM-4.5-Air 测试,AlphaBet 将 Forecast-Dojo 的 Brier score 从 0.731 降至 0.626,FutureX 则从 0.612 降至 0.528。
研究人员提出了编辑发现优化(EDO)框架,用于在有限预算下筛选需交由高阶编辑器修改或确认的人机交互响应。基于该框架开发的在线算法 EDIT 结合自适应编辑评分、确认控制阈值和成本感知选择规则,在每轮均满足编辑器成本预算。在四个推理和事实问答基准测试中,EDIT 在编辑器成本、第一类与第二类错误之间的权衡表现均优于直接基于 LLM 的批次选择。
研究发现大语言模型在预训练与后续阶段更换优化器几乎不存在显著的失配性能惩罚,后训练优化器的选择很大程度上可独立于预训练阶段。实验通过从头预训练 1.2B Llama-3 并测试 AdamW 与 Muon 切换,发现 SFT 中 Muon 更新比例越高下游性能普遍越好,且在高达 14B 的 Llama 和千问(Qwen)开源模型 SFT 中,Muon 相比 AdamW 仍保持竞争力。
研究提出用预警名单一致性来评估临床预测中的插补策略,通过 top-k% 预警集合的 Jaccard 相似度直接衡量不同管线识别高危患者的重合度。在 PhysioNet/CinC 2019 数据集的 40,336 名患者测试中,22 对插补方法的患者级 AUROC 无显著差异,但预警名单 Jaccard 重叠度仅为 0.518 至 0.750。
研究人员提出图卷积循环网络 GCRN+,通过仅占 15.6% 的固定传感器和历史探测车数据监督,联合实现全网高速路段的即时车速推算与下一小时预测。在达拉斯-沃斯堡区域 4,127 个路段的测试中,该模型在无传感器路段上的当前小时与下一小时 RMSE 分别达 2.21 mph 和 2.39 mph,优于历史均值与现有基线。