研究提出用空电路测试硬件量子机器学习主张:在 IBM Heron 处理器上检验成交预测
一项新研究提出了用于检验硬件量子机器学习增益主张的五步测试协议,指出此前在真实量子硬件上观察到的性能优势实为硬件漂移造成的数据泄漏。研究人员在 129 量子比特的 IBM Heron 处理器上运行测试,发现完全不包含数据的空电路在任务跨越训练集与测试集划分时也会表现出虚假预测能力;在严格控制分配并消除重叠后,量子硬件特征相比经典特征并未带来额外增益。
一项新研究提出了用于检验硬件量子机器学习增益主张的五步测试协议,指出此前在真实量子硬件上观察到的性能优势实为硬件漂移造成的数据泄漏。研究人员在 129 量子比特的 IBM Heron 处理器上运行测试,发现完全不包含数据的空电路在任务跨越训练集与测试集划分时也会表现出虚假预测能力;在严格控制分配并消除重叠后,量子硬件特征相比经典特征并未带来额外增益。
研究人员提出一种适配低成本微控制器的边缘预测性维护管线,在训练中引入量子优化实现轴承振动异常检测。该方案通过变分量子本征求解器(VQE)完成特征选择,并结合泡利相关编码(PCE)训练支持免浮点运算的 OCSVM。在 Paderborn 数据集测试中,VQE 结合 Adam 在 36% 的运行中找到最优特征,最终表现与经典 OCSVM 基线相当。
研究提出一种面向量子机器学习(QML)的物理启发编码方法,将平均场计算得到的 $n$ 体电子描述符通过 $n$ 量子比特门编码,系统提升量子电路的多体表达能力。在 1 至 4 体编码的电子相关能预测基准测试中,增加体序可系统逼近全组态相互作用极限,且利用低阶信息构建非连通多粒子密度可大幅降低高阶编码的计算成本。
针对无察觉对手下的对抗性多臂老虎机,新算法在切换次数 S 未知时对任意 S 均达到 $\widetilde{\mathcal{O}}(\sqrt{(S+1)KT})$ 期望遗憾界,解决了 Auer 等人提出的公开问题。该方案将低初始学习率的 fixed-share 学习器与二歧区间子程序结合,利用随机化学习率和隐式探索寻找局部改进。当子程序积累足够优势时主学习率翻倍,从而自适应未知切换次数。
研究提出基于半非参数(SNP)密度的非高斯不确定性估计框架,通过平方概率论 Hermite 多项式保证非负密度,除多项式阶数外无需调整额外超参数即可直接解析评估概率。该方法推导了解析边缘与累积分布函数,并提出系数估计的无损凸公式。在混沌 Lorenz 系统测试中,其相较高斯混合模型与 Edgeworth 近似能更准确地表征非高斯分布。
针对宽度与深度联合缩放,该研究提出了 $\mu$P 的统一谱框架,明确了残差网络权重及每步更新范数的缩放规律。该框架揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。
该论文已被作者 Ronald Katende 撤回,原因是 Theorem 5.2 未能从引用的良性过拟合设定中建立定量相邻数据集不稳定性,导致所谓的必要性方向与稳定性边界缺乏完整证明。论文原计划通过将训练建模为函数空间轨迹并提出稳定性证书,以界定算法稳定性解释插值学习系统泛化表现的适用范围。
研究人员提出变分分解自动编码(VDA)框架及其实现模型 DecVAEs,通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构,并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明,DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。
研究团队开发出基于神经索引策略的 MILOP 算法,用于协调儿科病房稀缺的升级监护资源分配。在 CHOA 历史数据测试中,MILOP 在 87.4% 的紧急 ICU 转科前成功建议升级(强基线为 79.5%),同时节省了 13.5% 监护资源。该模型提供 19.2 小时的中位提前时间,且 99.3% 的主动转科建议此前均经过观察监护或外展评估。
因果发现方法 PCMCI$^+$ 扩展了 PCMCI,支持从存在强自相关的线性和非线性观测时间序列中同时发现滞后与同期因果关系。该方法通过优化条件集选择提升条件独立性检验可靠性,具备无序独立性,能从自相关中获益并更好控制假阳性。数值实验表明,PCMCI$^+$ 的邻接检测能力与同期方向召回率均优于 PC 等算法,且运行时间显著缩短。
该研究给出了专家问题与通用在线凸优化(OCO)交替遗憾的匹配上下界,解决其极小极大界问题。在 $d$ 专家问题与 $d$ 维通用 OCO 中,极小极大交替遗憾分别确定为 $\Theta(\log d)$ 与 $\Theta(d\log(1+T/d))$。该动态在双人零和博弈中达到 $O(\frac{\log d}{T})$ 的纳什均衡收敛率,且首次在双人一般和博弈中实现该粗相关均衡收敛率。
研究人员提出基于最优传输的松弛公平回归统一框架及 FAUST 算法,解决了敏感属性已知与未知设置下的公平与精度权衡难题。该框架通过最优传输映射刻画了 squared Wasserstein-2 与 Total Variation 惩罚下的最优预测函数,分别对应群体平滑折中与子集均等。FAUST 计算高效,在真实世界基准上持续匹配或超越 SOTA 基线。
研究人员提出了针对多项 Logit(MNL)Bandits 的高效最优实验设计框架,解决了组合动作空间下计算不可行的问题。该框架结合 0-1 混合整数线性规划(MILP)与多项式时间提升设计,基于 Kiefer-Wolfowitz 等价定理提供近似 G-最优性保证。
研究者提出 CoCP 方法,通过将预测区间参数化为中心与半径并交替优化,解决回归保形预测在异方差和偏斜分布下的中心固定与低效问题。该方法在保证有限样本边际有效性的同时,理论上可证明达到渐近条件覆盖与最优区间长度。实验表明 CoCP 能生成更紧凑的区间并提升经验条件覆盖可靠性,代码已开源。
针对重尾数据协方差估计对截断阈值敏感的问题,研究提出完全数据驱动的分位数尾部能量代理(QTES)选择规则。QTES 将交叉拟合方差凭证与留出样本估计的截断尾部能量相结合,无需任何分布先验参数。在有限 $L_4$ 矩条件下该方法具备有限样本理论保证,并在干净重尾及污染基准测试中均表现优异。
研究人员提出临界阻尼高阶朗之万动力学方法,将系统分析中的临界阻尼概念引入生成模型,把高阶朗之万动力学(HOLD)推广至任意阶。该方法在 n 维场景下推导出一套最优超参数,并给出前向过程均值和协方差的闭式解以简化实现。相关实验在 CIFAR-10 与 CelebA-HQ 256x256 数据集上开展,并通过 FID 指标进行了验证。
研究提出将老虎机遗憾、序贯检验、最佳臂识别及马尔可夫决策过程的实例相关极限统一构建为精确信息账本。该框架利用链式法则精确量化数据处理损失,并引入单参数鞅恒等式族,使除渐近步外的松弛缺陷均可由算法自身运行数据直接计算。在电影评分至发动机更换等 7 个公开来源的验证显示,该账本能有效定位标准算法与经典极限的差距。
一项针对双神经元 ReLU 教师-学生模型的研究揭示,梯度流的特征学习动力学由主导信号的平分线方向与负责专门化的分裂方向主导。理论分析证明,该模型总体平方损失中非零权重的临界点仅存在全局极小值与鞍点。从小初始化训练时,学生神经元会先向平分线鞍点塌缩,随后逃逸并专门化对齐教师神经元,呈现出多阶段对称性破缺。
研究人员提出 CWAM(Causal WAM),通过在预训练世界动作模型(WAM)的动作头添加稀疏路由路径,将生成动作的因果潜变量与场景干扰变量有效解耦。理论证明在稀疏约束下生成动作仅取决于动作相关潜变量,且真实结构可被识别。合成数据和真实机器人实验验证了该理论,并展示出闭环成功率等效率的提升。
针对冻融贝叶斯优化,研究提出一步前瞻准则 EI stopping,在无期望改善(EI)超过单步成本时终止评估。该准则在高成本下损失极小,但低成本下易过早停止,研究为此构建了两步前瞻下界证书予以修正。在 3 个超参数优化基准上,EI stopping 在多数高成本设定下不逊于修正方案,而在 2 个基准的低成本下两步修正收益更高。
针对含 $n$ 个分量的光滑凸有限和优化问题,该研究证明在个体平滑与凸性假设下可实现进一步加速,其随机二阶复杂度理论下界达 $\Omega(n+ n^{5/7} \epsilon^{-2/7})$。
研究团队推出用于 zero-shot 预测的多变量时间序列基础模型 Chronos-2,可直接从历史上下文中建模多变量序列与异构协变量的相互作用并生成概率预测。
研究表明在随机块模型中,对任意固定的公共期望度数 $d>1$,Bethe Hessian 的异常特征向量均可在低至 Kesten-Stigum 阈值处实现弱恢复。该结论打破了此前要求 $d$ 足够大的限制,且该阈值在对称双社区模型中达到信息论最优。这一结果仅使用 $n\times n$ 埃尔米特矩阵,便达到了与非回溯谱方法相匹配的恢复保证。
针对微分方程解算子在目标数据稀缺下的学习难题,研究者提出一种基于白化工具变量的结构化迁移学习方法。该方法结合预解恒等式构建无偏估计方程,通过目标岭回归先导、逐源稀疏校准与投影重拟合的三阶段估计器消除误差。理论推导给出了非渐近预测界,仿真与电子带通滤波器实验表明其性能显著优于仅目标学习及现有迁移方法。
针对依赖观测驱动的随机镜像下降(SMD)算法,一项研究突破经典的 i.i.d. 假设,提出了支持几何或多项式依赖序列的“遗忘”条件。该条件导出了平均 SMD 迭代的显式有限样本精度界,在大、小初始误差机制下分别恢复了经典的 $O(1/T)$ 与 $O(1/\sqrt{T})$ 速率,并已成功应用于含依赖回归元的高维线性回归等场景。
新研究提出了估计数据依赖事件概率的统一理论框架,涵盖经典缺失质量、后选择推断与预测器测试误差估计。框架表明经验代入估计量的误差即泛化差距,而留一法估计量可恢复 Good-Turing 估计量并在单点删除稳定下保持准确。针对自适应缺失质量估计,论文提出混合 Good-Turing 估计量,并给出基于 VC 维与互信息的误差界。
研究者提出 Muon-RT,通过复用 EMA 教师与学生的位移消除隐藏权重的动量缓冲区,大幅降低大语言模型自蒸馏显存。在 Qwen2.5-7B-Instruct 微调中,Muon-RT 相比 AdamW 和带动量的 Muon 准确率分别提升 2.6 和 5.4 分,持久显存减少 42% 与 27%。
一项新研究推导了带随机舍入(SR)的 SGD 预测误差匹配上下界,揭示了模型大小、训练时间与精度协同变化的算力缩放定律。理论表明仅前向特征舍入可保持精确计算的算力缩放,而反向舍入会改变该规律;参数平均则能改变何时以及何处需要更高精度。在固定算力预算下,低精度支持更大模型能提升预测表现,相关权衡在 MLP 和小型 Transformer 实验中得到验证。
全预测(Omniprediction)理论研究证明,算法无法对所有有界真损失同时实现次线性遗憾,但针对全体可混合真损失可达成最优的 $\widetilde{O}(T^{1/3}(\log|\mathcal{F}|)^{2/3})$ 遗憾界。
研究者提出面向隐式世界模型强化学习的密度引导自举边界,利用相对密度代理动态调整想象回报深度,以缓解复合模型误差。该方法提供硬边界与软边界门控机制,基于 Dreamer V3 实例化并证明了其门控 Bellman 算子的严格收缩性。在连续控制任务与 Atari Pong 上的实验显示,该机制显著提升了样本效率与后期训练表现。
针对带反馈图的对抗性多臂老虎机,该研究提出了达到 $\widetilde{O}(\sqrt{\alpha L^\star}+\alpha)$ 期望遗憾界的新算法,弥合了一阶界与最坏情况界在图独立数 $\alpha$ 上的差距。算法将 EXP3 与优化探索采样相结合,其不动点分布可在多项式时间内通过几何收敛迭代求解。该成果通过两层聚合机制扩展至一般强可观测图,同样具备该近最优保证。
研究提出 CABA 门控机制,通过在冻结表征上比较新旧策略并约束最差锚点的前向 KL 散度,在无需动作标签或完整轨迹的情况下验证并保留受保护行为。在受控 UCI 人类活动识别实验中,在预算 epsilon = 0.05 下,CABA 将平均遗忘率从无约束自适应的 1.01% 降至 0.00%,最终平均准确率从 93.04% 变为 88.48%。
双重校正随机块模型(DC²SBM)正式提出,通过在连边与属性生成通道分别引入拓扑度因子与属性丰度因子,实现了节点活跃度与社区成员推断的解耦。该模型采用 EM 算法推断,引入的新校正因子在后验计算中完全抵消,不产生额外计算成本。实验表明,DC²SBM 在合成与真实网络中的社区发现准确率优于 SOTA 方法,在拓扑信号较弱时优势尤为明显。
针对存在 2-Wasserstein 扰动的多元最小二乘回归,研究指出了分布鲁棒优化(DRO)在超额风险或遗憾指标上的次优性缺陷。理论分析表明 DRO 在扰动趋于 0 时可达 $O(\kappa \varepsilon^2)$ 实例最优率,但在固定扰动下存在维度依赖的失效模式。为此提出的极小化极大遗憾优化(MRO)与谱范数正则化(SNR)被证明可达极小化极大率,且分别具备精确凸重构和加速近端算法。
WASABI 是一种利用 Wasserstein 梯度流训练扩散模型以从目标玻尔兹曼分布采样的全新方法,全程仅需访问能量函数。该算法推导出的实用方案避免了计算模型自身对数密度的难解梯度,且训练完成后生成样本无需额外评估能量或梯度。在丙氨酸二肽任务中,WASABI 以减少约 3.3 倍的能量评估次数超越了最佳基线。
该专著从非渐近视角系统探讨了表格型马尔可夫决策过程的强化学习统计理论,覆盖生成模型、在线强化学习与离线强化学习三种采样机制。内容以样本复杂度分析为核心,深入解析基于模型与无模型算法的极小化极大最优设计及统计特征。专著还拓展讨论了鲁棒强化学习、竞争性多智能体、联邦强化学习及人类反馈强化学习(RLHF)等方向。
该研究提出基于 PDE 残差核的偏微分方程残差感知克里金法(PRIK),直接将全域 PDE 残差信息融入高斯过程协方差结构,且无需单独设置残差权重参数。PRIK 能使后验均值实现最小积分平方 PDE 残差,理论上具备 $H^{2}$ 拟最优性、收敛速度及非渐近界。数值实验进一步验证了其理论性质与方程求解能力。
针对偏好数据中的反转与平局噪声,研究提出 RW-DPO 方法,为样本引入可靠性权重并通过极小极大凹惩罚与策略联合优化。该方法仅对模型产生矛盾的样本进行闭式权重更新,计算开销相比 DPO 几乎可忽略。在包含 10%–30% 标签反转的大语言模型微调中,其胜率不随反转率上升而下降,且超过了在干净标签上训练的 DPO。
研究者提出用于金融时间序列生成的残差锚点神经 SDE(residual-anchor Neural SDE)架构。该架构将目标分解为捕捉上下文基线的可学习条件锚点,以及由神经 SDE 建模的随机残差动态,从而减轻随机建模负担。在真实金融时间序列与利率情景评测中,该模型能生成合理的条件路径,兼具竞争力的点预测精度与校准的不确定性估计。
研究团队提出 ReCouple 框架,通过构建粗粒化最优传输(OT)耦合,实现 Flow Matching 模型无需模拟展开(rollout-free)的后训练。该框架进一步拓展出逼近半离散 OT 的 ReCouple+,以及加入空间正则化的 ReCouple++。实验表明,该方法有效优化了低函数评估次数(NFE)下的生成质量与速度场。