CAMEL:用于超轻量级视网膜基础模型的跨架构掩码嵌入学习
研究人员提出跨架构知识蒸馏框架 CAMEL,利用嵌入学习中的非对称掩码策略,将 RETFound 等大型视网膜基础模型的知识迁移至轻量级学生模型。在 4 个数据集上的实验表明,该方法在大幅降低计算复杂度的同时保留了诊断准确率,适用于硬件受限的临床环境部署。
研究人员提出跨架构知识蒸馏框架 CAMEL,利用嵌入学习中的非对称掩码策略,将 RETFound 等大型视网膜基础模型的知识迁移至轻量级学生模型。在 4 个数据集上的实验表明,该方法在大幅降低计算复杂度的同时保留了诊断准确率,适用于硬件受限的临床环境部署。
针对 LLM 强化学习中引擎数值差异与异步采样导致的训练推理不匹配,研究提出了差异-滞后校正(DLC)。DLC 通过中心化数值差异、裁剪滞后比率,并在有效样本量降至一半以下时重新同步采样器。在 Qwen3-0.6B 与 Qwen3-1.7B 上,该方法有效防止训练崩溃,使 KL 散度维持在两次独立在线策略训练差异的两倍以内。
研究提出 GAIM 与 Q-DAIM 两种基于核插值的 KV cache 压缩方法,将注意力机制形式化为希尔伯特空间中的线性映射插值。针对二次复杂度问题,该研究结合泰勒级数、Performer 和随机傅里叶特征代理模型实现线性时间压缩,并拓展支持流式注意力。LongBench-E 基准测试显示其表现与 SOTA 相当,Q-DAIM 能有效识别 KV cache 中的信息富集区域。
研究针对用户分属重叠群体的动态推荐场景,提出三种基于 UCB 的群体感知算法,以解决忽略群体信息推荐 $K \geq 1$ 个物品时导致的线性总后悔问题。算法包括具次线性后悔保证的 Intersection-Fitting,以及采用 sleeping expert 元学习器的 Inner-Outer UCB 和 Group-Item UCB。
新研究针对具备“任意任务推理”(ATI)能力的基础模型提出了形式化理论框架,将其定义为直接将数据样本与任务映射到标签空间的系统。该框架通过“通用任务归约”视角把模型分解为编码器、模型和解码器,并将模型误差拆分为设计项与实现模型超额项。研究还提出了生成式与判别式两类构建方案,并通过 5 个真实模型案例进行了验证。
新研究发现 Diffusion Transformer 的训练加速主要源于 AdaLN-Zero 残差门控路径的重组,而非仅依赖辅助目标的特征约束。研究团队引入归一化参与率(nPR),证实更宽的门控通道参与度直接对应更好的生成质量。基于此提出的无教师模型径向正则化在 ImageNet 256×256(SiT-B/2)上实现了比 dispersive loss 更优的 FID。
TSFLab 是一个面向时间序列预测(TSF)研究的自改进且智能体无关工作台,通过共享资源与工具辅助编码智能体完成复现、基准测试及新方法开发。实验显示,TSFLab 在复现与基准测试中将任务完成度提升 20-163% 且单任务 fresh tokens 减少 11-66%,并在新方法开发中减少了 32.8-73.6% 的 fresh tokens 与 9.2-68.8% 的开发时间。
TensorSSM 提出基于动态状态空间模型(SSM)的隐式神经表征方法,通过在状态空间中记忆空间位置来生成 Tensor Core 并实现数据压缩。该方法利用 K 进制规则将模态坐标编码为由粗到细的空间 token 序列,并扩展状态空间以显式映射跨模态依赖。多项实验表明,TensorSSM 显著提升了高维张量的重建精度与存储效率。
新研究提出函数空间自适应优化器 FARO,以参数块为单元,利用等风险贡献(ERC)原则自适应分配更新预算。在 FineWeb 训练的 GPT 风格模型上,FARO-Adaptive 取得 3.2780 nats,持平手工设计的 NorMuonAndAdam(3.2794 nats);FARO-ERC 在 6 个种子下平均进一步降低 0.0136 nats 损失且不增加额外显存与耗时,代码已开源。
研究针对连续介质动力学科学基础模型 Walrus-1.3B 的两阶段仿真到真实适应展开,揭示了微调过程中严重的灾难性遗忘现象。在圆柱绕流仿真微调仅 20 个 epoch 后,模型在原预训练数据集上的单步误差最高增加达 35x,后续适应真实实验数据则进一步加剧性能下滑。在真实数据微调中仅重放 1% 的仿真数据,即可恢复大部分丢失的仿真性能并保留对实验动态的适应。
自主赫布网络 AutoHebb 实现了强归纳偏置与自主学习控制,支持在线自修改以完成零样本推理与持续学习。该网络摒弃传统梯度下降,结合内外反馈生成全局神经调节信号,进而门控三因子赫布规则更新可塑权重。结合元学习后,AutoHebb 在零样本推理与持续学习任务上超越现代学习模型,并展现出未经训练的涌现能力。
研究团队提出无监督特征选择方法 LIDFS,基于局部内在维度(LID)评估特征辨别力并降低局部冗余,无需任何标签或类别数量信息,时间复杂度为 $\mathcal{O}(d^2 n)$。在 23 个高维基准数据集上的评测显示,LIDFS 在分类评估中排名第一,在聚类评估中位列第一或并列第二,且运行速度快于同梯队竞争方法。
研究人员提出面向边缘异常检测的条件扩散精炼器 TADR,通过结合下游检测器的损失消除缺失数据插补中的平滑偏差。在 SMD 数据集评测中,TADR 相比未精炼检测器将 F1 提升了 0.338,其中异常增强目标单独贡献了 0.463。该模型仅 4.03 MB,在单 CPU 核心上 10 步采样每窗口耗时 41.4 ms,可支持约 24 路并发 1 Hz 数据流,代码已开源。
研究人员提出 PoSE 方法,利用 Flow Matching 学习变电站注入分布先验,并通过卡尔曼型修正实现物理一致的贝叶斯配电网状态估计。在 IEEE 33 节点馈线上,PoSE 将 CRPS 误差降低 6.7-7.5% 并提供高可靠的不确定性估计,在 240 节点系统上也取得最低状态误差。其快速变体单快照仅耗时 0.2-0.6s,无需重训即可适配 7 种重构拓扑。
研究人员提出利用大语言模型自动构建简单基线的方法,用于检验物理与生命科学领域深度学习模型的实际进展。
研究人员在拉高出货交易监控检测任务中评测了四种量子及混合算法,经典 XGBoost 以 61.4% 的可疑类 F1 分数取得最佳表现。其中 5 量子比特混合量子神经网络(HQNN)在 ibm_fez 硬件上取得 55.4-59.8% 的 F1 分数,优于多数经典配置。研究表明当前虽未实现量子优势,但混合模型在现有含噪硬件上已能匹敌经典调优模型。
研究人员利用投影量子核在 15、30 和 45 量子比特的噪声量子处理器上,在工程化分类问题中展现出显著优于经典方法的性能差距。误差缓解技术通过改善硬件表现并增加经典求解难度进一步拉大了该差距,且测试结果在不同量子处理单元上具有可重复性。但矩阵积态模拟结果表明,战胜 SOTA 经典模拟方法依然是核心挑战。
研究者提出一种用于量子神经网络(QNN)的固定非线性特征映射,消除了传统振幅编码因归一化导致的缩放不变性表征缺陷,且无需增加可训练参数并保留了 $\mathcal{O}(\log_2 d)$ 量子比特扩展优势。在三个经典分类基准及非线性合成数据集的测试中,该方法相比传统振幅编码和角度编码将分类准确率提升了 21% 至 44%。
新研究提出直接利用量子计算测量的固有采样噪声,替代扩散模型反向生成中需注入的随机性,从而降低测量开销。该方法结合状态自适应预算与补偿噪声,在 8 维高斯混合模型上每样本仅需 303 shots 即可达到相当的生成质量,比 1.6×10^6 的基准减少约 5300x 测量次数,并在 MNIST 潜在扩散任务中得到验证。
研究针对季节性时间序列预测提出自适应季节性量子编码方法,通过将观测数值大小与季节相位映射至不同布洛赫球面坐标,解决了量子数据重上传随线路深度增加性能退化的问题。在 ERA5-Land 东非降水数据(滞后窗口 14 个月、重上传深度 L=1-6)的测试中,该方法保持了时间相关性与频谱结构,预测精度可媲美 ARIMA、随机森林及 LSTM 等经典模型。
针对量子神经网络的表达能力差距,研究人员提出了量子 Bernstein-Kolmogorov-Arnold 逼近框架,建立了经典柯尔莫哥洛夫-阿诺尔德表示定理的量子对应版本。该构造性框架将多维算符分解为 2d+1 个对易的通用内部可观测量,证明其测量概率可精确重现目标函数的多维伯恩斯坦多项式。对于任意连续多元函数,联合量子态均一致收敛至目标输出寄存器。
研究人员提出面向量子 LDPC 码的消息传递解码器 GraphMP,无需微调即可跨码族、码尺寸和噪声模型迁移。GraphMP 结合局部消息传递与 beam search 逐步优化候选错误模式,并通过“解码器模型工厂”范式将搜索轨迹转化为数据进行知识蒸馏迭代。该设计构建了快速解码与慢速学习相结合的双循环量子-经典架构,可随量子硬件演进持续适配。
研究人员提出测量量子 umlaut 信息 $U^M$,并构建量子生成对抗框架,可直接从未知两体量子态及经典-量子信道的测量统计中估计相关性,无需重构目标态。该框架通过变分形式优化参考态与测量方案,并给出了 $U^M$ 与 $U$ 之间的间隙界。数值模拟显示估计值接近独立计算的数值基准,有助于评估量子存储与传输中的相关性保持及噪声影响。
一项新研究提出了用于检验硬件量子机器学习增益主张的五步测试协议,指出此前在真实量子硬件上观察到的性能优势实为硬件漂移造成的数据泄漏。研究人员在 129 量子比特的 IBM Heron 处理器上运行测试,发现完全不包含数据的空电路在任务跨越训练集与测试集划分时也会表现出虚假预测能力;在严格控制分配并消除重叠后,量子硬件特征相比经典特征并未带来额外增益。
研究人员提出一种适配低成本微控制器的边缘预测性维护管线,在训练中引入量子优化实现轴承振动异常检测。该方案通过变分量子本征求解器(VQE)完成特征选择,并结合泡利相关编码(PCE)训练支持免浮点运算的 OCSVM。在 Paderborn 数据集测试中,VQE 结合 Adam 在 36% 的运行中找到最优特征,最终表现与经典 OCSVM 基线相当。
研究提出一种面向量子机器学习(QML)的物理启发编码方法,将平均场计算得到的 $n$ 体电子描述符通过 $n$ 量子比特门编码,系统提升量子电路的多体表达能力。在 1 至 4 体编码的电子相关能预测基准测试中,增加体序可系统逼近全组态相互作用极限,且利用低阶信息构建非连通多粒子密度可大幅降低高阶编码的计算成本。
针对无察觉对手下的对抗性多臂老虎机,新算法在切换次数 S 未知时对任意 S 均达到 $\widetilde{\mathcal{O}}(\sqrt{(S+1)KT})$ 期望遗憾界,解决了 Auer 等人提出的公开问题。该方案将低初始学习率的 fixed-share 学习器与二歧区间子程序结合,利用随机化学习率和隐式探索寻找局部改进。当子程序积累足够优势时主学习率翻倍,从而自适应未知切换次数。
研究提出基于半非参数(SNP)密度的非高斯不确定性估计框架,通过平方概率论 Hermite 多项式保证非负密度,除多项式阶数外无需调整额外超参数即可直接解析评估概率。该方法推导了解析边缘与累积分布函数,并提出系数估计的无损凸公式。在混沌 Lorenz 系统测试中,其相较高斯混合模型与 Edgeworth 近似能更准确地表征非高斯分布。
针对宽度与深度联合缩放,该研究提出了 $\mu$P 的统一谱框架,明确了残差网络权重及每步更新范数的缩放规律。该框架揭示了残差块变换数从 k=1 到 k≥2 的结构转变,并推导出适配多种优化器的通用参数化方案。在 GPT-2 风格语言模型上的实验证实,CompleteP 风格(k≥2)参数化成功实现了稳定的特征学习与鲁棒的超参数迁移。
该论文已被作者 Ronald Katende 撤回,原因是 Theorem 5.2 未能从引用的良性过拟合设定中建立定量相邻数据集不稳定性,导致所谓的必要性方向与稳定性边界缺乏完整证明。论文原计划通过将训练建模为函数空间轨迹并提出稳定性证书,以界定算法稳定性解释插值学习系统泛化表现的适用范围。
研究人员提出变分分解自动编码(VDA)框架及其实现模型 DecVAEs,通过在分布层面进行潜在自动编码来学习与时频特征对齐的多个潜在子空间。DecVAEs 采用 encoder-only 架构,并在模拟数据及涵盖语音识别、构音障碍评估与情感语音分类的三个公开数据集上进行了测试。实验表明,DecVAEs 在解耦质量与鲁棒性上均优于传统 VAE 方法。
研究团队开发出基于神经索引策略的 MILOP 算法,用于协调儿科病房稀缺的升级监护资源分配。在 CHOA 历史数据测试中,MILOP 在 87.4% 的紧急 ICU 转科前成功建议升级(强基线为 79.5%),同时节省了 13.5% 监护资源。该模型提供 19.2 小时的中位提前时间,且 99.3% 的主动转科建议此前均经过观察监护或外展评估。
因果发现方法 PCMCI$^+$ 扩展了 PCMCI,支持从存在强自相关的线性和非线性观测时间序列中同时发现滞后与同期因果关系。该方法通过优化条件集选择提升条件独立性检验可靠性,具备无序独立性,能从自相关中获益并更好控制假阳性。数值实验表明,PCMCI$^+$ 的邻接检测能力与同期方向召回率均优于 PC 等算法,且运行时间显著缩短。
该研究给出了专家问题与通用在线凸优化(OCO)交替遗憾的匹配上下界,解决其极小极大界问题。在 $d$ 专家问题与 $d$ 维通用 OCO 中,极小极大交替遗憾分别确定为 $\Theta(\log d)$ 与 $\Theta(d\log(1+T/d))$。该动态在双人零和博弈中达到 $O(\frac{\log d}{T})$ 的纳什均衡收敛率,且首次在双人一般和博弈中实现该粗相关均衡收敛率。
研究人员提出基于最优传输的松弛公平回归统一框架及 FAUST 算法,解决了敏感属性已知与未知设置下的公平与精度权衡难题。该框架通过最优传输映射刻画了 squared Wasserstein-2 与 Total Variation 惩罚下的最优预测函数,分别对应群体平滑折中与子集均等。FAUST 计算高效,在真实世界基准上持续匹配或超越 SOTA 基线。
研究人员提出了针对多项 Logit(MNL)Bandits 的高效最优实验设计框架,解决了组合动作空间下计算不可行的问题。该框架结合 0-1 混合整数线性规划(MILP)与多项式时间提升设计,基于 Kiefer-Wolfowitz 等价定理提供近似 G-最优性保证。
研究者提出 CoCP 方法,通过将预测区间参数化为中心与半径并交替优化,解决回归保形预测在异方差和偏斜分布下的中心固定与低效问题。该方法在保证有限样本边际有效性的同时,理论上可证明达到渐近条件覆盖与最优区间长度。实验表明 CoCP 能生成更紧凑的区间并提升经验条件覆盖可靠性,代码已开源。
针对重尾数据协方差估计对截断阈值敏感的问题,研究提出完全数据驱动的分位数尾部能量代理(QTES)选择规则。QTES 将交叉拟合方差凭证与留出样本估计的截断尾部能量相结合,无需任何分布先验参数。在有限 $L_4$ 矩条件下该方法具备有限样本理论保证,并在干净重尾及污染基准测试中均表现优异。
研究人员提出临界阻尼高阶朗之万动力学方法,将系统分析中的临界阻尼概念引入生成模型,把高阶朗之万动力学(HOLD)推广至任意阶。该方法在 n 维场景下推导出一套最优超参数,并给出前向过程均值和协方差的闭式解以简化实现。相关实验在 CIFAR-10 与 CelebA-HQ 256x256 数据集上开展,并通过 FID 指标进行了验证。
研究提出将老虎机遗憾、序贯检验、最佳臂识别及马尔可夫决策过程的实例相关极限统一构建为精确信息账本。该框架利用链式法则精确量化数据处理损失,并引入单参数鞅恒等式族,使除渐近步外的松弛缺陷均可由算法自身运行数据直接计算。在电影评分至发动机更换等 7 个公开来源的验证显示,该账本能有效定位标准算法与经典极限的差距。