异质性偏好下成对比较排序需要多少次重复比较?
针对用户与任务偏好异质下的模型效用排序难题,研究给出了在各上下文内恢复真实排序所需的重复成对比较次数界限。在异质 Bradley-Terry 模型下,朴素 MLE 算法需 $\Omega(1/\Delta^2)$ 次重复比较,而提出的改进算法与俄罗斯轮盘算法仅需理论最优的 $O(\log(1/\Delta))$ 次。
针对用户与任务偏好异质下的模型效用排序难题,研究给出了在各上下文内恢复真实排序所需的重复成对比较次数界限。在异质 Bradley-Terry 模型下,朴素 MLE 算法需 $\Omega(1/\Delta^2)$ 次重复比较,而提出的改进算法与俄罗斯轮盘算法仅需理论最优的 $O(\log(1/\Delta))$ 次。
研究者提出 MemoWM 框架,利用世界模型的共享预测压缩长期 AI 智能体保留的经验信息并重构省略内容。在 5 个长期智能体记忆基准上,MemoWM 取得 42.42% 的平均回答准确率,比最强基线高出 2.62 个百分点,同时相比存储效率最高的基线 MIRIX 减少 53.9% 的平均经验存储。该项目相关代码已开源。
研究人员提出 NEMORA(神经等变多极子算子),将快速多极子方法(FMM)扩展为神经等变架构以学习长程张量表示。该方法具备线性时间和内存复杂度,支持处理达数十万个原子的超大体系,并能兼容增强各类短程骨干模型。在非局部基准测试中,NEMORA 将力与能量误差较短程基线分别降低超一个数量级和最高三个数量级。
针对表格数据对话式任务消歧中的 oracle 信息泄露问题,研究者提出了解耦提问与求解策略的形式化框架,并推出统一 6 个消歧数据集的 text-to-SQL 基准套件 AmbiTab。该框架提供了免裁判泄露诊断指标,并通过强化学习训练提问策略。实验表明,训练后的提问策略在全部 6 个数据集上提升了消歧指标,并在 5 个数据集上提高了任务成功率。
研究人员提出一种二阶循环模型,通过偏微分方程控制的空间演化场构建高容量隐式记忆,等价于具有无边界感受野的结构化无限阶 RNN。该方法通过边际稳定性条件将梯度谱约束在单位圆上,消除了循环架构中的梯度消失与爆炸问题。实验显示,该模型以大幅减少的参数量在长程基准测试中超越其他循环模型。
研究提出基于 ECG 的固定效应知识蒸馏方法,通过在预测和目标中减去单次记录均值,消除占教师目标 40-59% 的个体身份特征。34 次运行表明,该方法消除了模型对身份特征的死记,使状态一致性提升一倍以上,并改善了个体内标签预测。该表现增益在两个骨干网络及另外两个数据库上均保持有效。
研究表明潜意识学习(SL)能在使用语义无关数据进行知识蒸馏时,将教师模型习得的复杂能力、后门及恶意倾向转移给学生模型。实验中教师模型仅通过不含文字的数字序列蒸馏,使学生模型在女性姓名提示词下以 23.5% 的概率触发法语后门响应,并在智能体国际象棋测试中将违规入侵概率从 10.9% 提升至 58.3%。这一迁移效果对 logit 蒸馏以及限制 LoRA 在注意力层等设置尤为敏感。
研究人员提出名为 Nullify 的免训练、非破坏性激活引导方法,用于实现大语言模型(LLM)的机器遗忘。该方法在推理阶段利用引导向量偏移隐私相关激活,同时施加零空间约束以避免影响保留查询的激活,完全无需更新模型权重。在 TOFU 和 MUSE 基准上的评测显示,Nullify 在遗忘质量上达到或超越既有基线,并近乎无损地保留了模型效用。
研究人员提出多模态框架 PXtal,采用不平衡最优传输(UOT)与广义 KL(GKL)散度,解决粉末 X 射线衍射(PXRD)与晶体结构之间的跨模态信息不对称对齐难题。在包含 4 个零样本迁移集的 6 个测试集上,PXtal 在 PXRD 到晶体候选检索任务中均优于基线模型,所得编码器能更有效迁移至下游材料与晶体学任务。
研究指出当前深度学习存在遍历性上限,提出一种由全息 E8 投影引擎驱动的数字物理沙盒,用于分析 AI 扩展极限并实施硬物理遏制。该沙盒将时空建模为嵌套面心立方晶格并引入严格整数运算,通过限制在物理守恒的因果轨迹来剪枝组合搜索树,提供了将计算复杂度从 NP 坍缩至多项式时间 P 的机制。
研究人员提出融合 SFCN MRI 编码器、因果临床 Transformer 与 ODE-GRU 动力学的多模态框架,用于阿尔茨海默病诊断及进展预测。在涵盖 ADNI、OASIS-2 等数据集中 2,649 名受试者的验证中,内部混合诊断与阶段 1 进展 AUROC 分别达 0.951 和 0.909,下次随访 MMSE 的 MAE 为 1.61。
CARing 框架通过组合式语义 ID(SIDs)与覆盖奖励强化学习,解决了大语言模型在多标签就诊诊断预测中覆盖不足与分词碎片化的问题。该方法利用残差量化将疾病语义编码为紧凑 token,并通过覆盖奖励与多正样本监督优化多标签推理轨迹。在 MIMIC-III 和 MIMIC-IV 上,CARing 加权 F1 超越全部基线,推理模式下 R@30 分别达 46.04% 和 46.52%。
研究发现显式链式推理(visible CoT)在分析代码生成中不具备普遍的准确率优势,推理表征匹配目标语言也无法带来持续增益。通过在 SQL 和 Python(pandas)基准上的对比评测,其效果高度依赖于人设表述、目标语言以及模型内部推理配置。研究表明推理策略需根据具体模型、任务目标与配置联合选择,而非直接作为通用默认设置。
Phase-HDC 提出以梯度阈值替代优化器动量历史,使低比特相位模型训练时除模型本身外无需存储优化器状态。在 11 个数据集上,其逻辑状态存储比 float32 Adam 减少 16–23 倍、比 8-bit Adam 减少 4–6 倍,且准确率能匹配 6-bit 动量 Adam。其准确率虽比 float32 Adam 低约 5 个百分点,但在 6 个数据集上反超了 8-bit Adam。
研究表明,在 Feynman 数据集与 Gymnasium 强化学习基准测试中,Kolmogorov-Arnold 网络相比传统多层感知机可用减少 40% 的样本达到类似性能。该架构在训练过程中能带来最高 50% 的相对性能提升,且对不同程度的奖励噪声具有鲁棒性,相关代码已开源。
研究者提出面向循环大语言模型(LoopLMs)的跨循环 on-policy 知识蒸馏框架 LoopOPD 及其动态版本 D-LoopOPD,利用内部循环计算作为自身监督来源,无需外部教师即可实现循环自我提升。在 Ouro-Thinking 模型上的实验表明,仅在数学数据上训练即可提升数学推理、通用推理及代码生成表现。相关代码和模型权重将在接收后开源。
新研究提出一种路由器增强成员推断攻击,发现 MoE 模型的路由器遥测数据会显著泄露微调数据隐私。在 3 种 MoE 架构和 3 个数据领域的全部 9 种设置中,结合路由特征使 1% FPR 下的 TPR 提升了 2.7–9.4 个百分点。该泄漏在全量微调、冻结路由器训练、LoRA 与指令微调中均持续存在,表明运维遥测已成为微调 MoE 模型的新隐私攻击面。
研究人员提出一种基于时间 Transformer CAN 编码器与联邦轻量头的车载网络异常检测隐私保护框架。该方案通过轻量级 Transformer 编码器捕获信号随时间演化的细微时序和上下文异常,并借助联邦学习机制支持多辆车或 ECU 协同优化共享模型,无需交换原始 CAN 数据。开源数据集实验表明,该方法在兼顾效率与隐私的同时具备稳健的检测性能。
研究发现激活探针所需的合成数据量取决于覆盖度而非难度:在 Gemma-3-27B-IT 上,高风险与有害概念仅需 80 个合成样本即可接近平台期,而指令探针需数倍样本。各类评估分布达到半增益中位数均仅需 7-11 个同类样本,跨类别迁移能力的差异决定了不同概念对数据广度的依赖程度。相关评估套件与生成数据集已开源。
研究人员推出脑电基础模型 SPERA,采用联合嵌入预测架构(JEPA)在潜空间进行预测,并引入勒让德多项式空间先验编码电极几何构型。该模型基于 106 个数据集中 29,048 名受试者的约 80,000 小时 EEG 数据完成预训练。SPERA 在涵盖临床、认知与 BCI 应用的 9 个下游任务中取得了最高的平均平衡准确率。
针对基于 SVD 的 KV cache 压缩微调,研究指出采用冻结解码器、仅修复编码器的方案,在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量,并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证,同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。
针对分数增强神经比率估计(Neural Ratio Estimation),研究者提出一种自适应且无需调优的算法,能在训练期间基于损失梯度动态设定分数损失权重。在网络动力学与空间过程案例中,该方法以极低额外开销提升了替代模型质量。测试显示,该方法在训练时间增加不足 1.1x 的情况下,取得了等同于训练数据增加 10x 的下游推理性能。
研究团队提出一种对抗最优传输正则化方法,能仅从单条带噪声轨迹联合学习高质量汇总统计量与物理一致的仿真器,以模拟复杂的混沌动力学。该方法构建了 Sinkhorn 散度(2-Wasserstein)和 WGAN 风格对偶(1-Wasserstein)两种形式。在包含高维时空混沌的多种系统实验中,其训练的仿真器显著提升了长期统计保真度。
变分估计器 V-ECE 可直接估计涵盖 $L_p$ 距离的广义预期校准误差,完全无需依赖分箱或聚类。该方法通过梯度提升拟合温度缩放残差来估计超额风险,能在数学期望上给出真实校准误差的下界。在半合成任务基准测试中,V-ECE 在二分类场景中位列最精准水平,并显著超越现有的多分类估计器。
研究提出用单次极大极小秩最优确定性置换替代传统蒙特卡洛洗牌,消除了特征重要性估计方差,并将计算复杂度从 $O(B \cdot n \cdot p)$ 降至 $O(n \cdot p)$。该框架进一步引入量化间接特征依赖的系统特征重要性(SFI),以及提供带符号表征的重要性方向。相关方法在近 200 个模拟场景和两个真实信用风险案例中完成验证,可高效审计模型对受保护属性的隐性依赖。
针对非线性独立成分分析(ICA),研究者提出用于解混流的自充分独立成分分析方法,通过最小化条件 KL 散度学习解耦信号。该算法具备无先验与无似然特性,在每次迭代中序列化学习解混流模型,完全避免了不稳定的对抗训练。实验在玩具和真实数据集上验证了该方法的有效性。
研究人员提出面向分布内数据获取的共形数据污染检验框架,在完全获取数据前仅检查少量样本即可筛选高价值外部数据。该方法基于共形异常值检测构建双样本检验,适用于任意污染水平,其 Storey-type 检验可通过 Benjamini-Hochberg 流程控制有限样本错误发现率。实验表明该方法在多样化协同学习场景下表现稳健,为数据聚合提供了统计质量保证。
该研究探讨了一类广义输入与输出核下 t-SNE 的大样本变分问题,证明了输入核尺度参数在正密度内点的存在性与唯一性。在输出核衰减等充分条件下,离散最优值可收敛至连续极小值,且近似极小值的经验测度平移后收敛于满足平衡方程的紧支撑极小值。适用的输出核包括高斯核及二维输出下的柯西核,数值实验对比了不同核函数生成的二维表示。
一项研究从高维几何与统计学习理论出发,剖析了有限 VC 维神经网络在逼近能力与样本学习一致性之间的权衡。结果表明,有限 VC 维虽有助于经验误差的一致收敛,但可能不利于特定应用分布下的函数逼近,且在大数据集下逼近误差与经验误差均呈现近似确定性行为。论文还讨论了通用逼近性质的实际局限,以及含 ReLU 单元的网络深度对精度和一致性的影响。
稀疏图序列的图极限(graphon)估计可通过将其映射为线图(line graphs)来实现。满足平方度性质的稀疏图(如星图与超线性优先连接图)能生成稠密线图与非零 graphon,从而突破原稀疏图因稀疏性均收敛至零 graphon 的局限。实验表明该方法可有效区分不同数量的星图,而 Erdos-Renyi 等稠密图变换后则会变稀疏并收敛至零 graphon。
研究人员提出 EDMD-kDL 方法,结合配置法与双层优化,利用核自编码器直接从数据中同步学习核字典与有限维 Koopman 嵌入。在海表温度预测和视频数据学习等实验中,该方法性能媲美或优于基于 ANN 的前沿方法。其核矩阵大小仅取决于配置点数量而非训练数据集规模,具备适用大规模数据的扩展能力。
针对带对抗损失与老虎机反馈的在线片段式表格 MDP,新研究利用正则化 Q 函数联合控制局部更新稳定性,消除了策略优化方法相比占用测度算法多出的时界 H 差距。该算法在已知转移下取得 $\widetilde O(\sqrt{HS(H+A)T})$ 的高概率遗憾界,未知转移下达到 $\widetilde O(HS\sqrt{AT})$ 并匹配已知最佳界。
针对随机非光滑非凸复合优化问题,研究者将在线到非凸转换框架扩展至复合场景,提出了具备最优 Oracle 复杂度的算法。
该研究针对迁移验证推导了信息与调用代价的精确前沿,证明达成概率 s 所需的最小因果信息由列表率失真函数确定。在精确验证器下,设计源可在 1+\log_2 5 次调用内逼近下界,绝大多数结论已在 Lean 4 中完成机器验证。测试表明小型 Transformer 在潜在维度 5 时利用了全部传输比特,而在维度 11 时则完全无法利用。
研究人员提出一种基于信度集(credal sets)的机器学习方法,用于解决真实损失分布不确定时的风险规避决策难题。该方法构建了能输出概率分布集合的高效学习器,并配合新型决策规则将其映射至单一预测分布以最小化条件风险价值(CVaR)。在分类、分布偏移及强化学习测试中,该方案可靠避免了灾难性决策,且几乎不牺牲期望性能。
研究提出将模拟器输出对输入的梯度信息融入高斯过程代理模型,以加速高计算成本模拟器在有限模拟预算下的贝叶斯优化推断。实验表明引入梯度信息能显著提升收敛速度,且反向模式微分在计入额外计算成本后仍能保持推断效率增益,而前向模式微分的提速无法抵消计算成本。该方法主要适用于参数数量超过输出维度的推断问题。
研究证明针对球对称目标分布在所有球对称分布上的量化优化属于凸问题,并推导出表征全局最优性与构造性算法的等价定理。在适中点数 $n$ 下,均匀分布在特定半径 $R$ 球面上的随机量化器在广泛范围内经数值验证达到最优,固定维度 $d$ 时失真方差随 $n\to\infty$ 趋于零。在 $s=2$ 条件下最优半径和最小期望失真具备精确解析式,一般 $s$ 亦可高效确定。
新研究提出一种结合图神经网络与时序模型的 GNN-LSTM 框架,利用时空追踪数据逐秒自动分类 7 类足球比赛阶段。在 203 场比赛测试中,该模型表现超越 XGBoost 和纯 LSTM,较最强基线的 macro F1 高出 4.6%。该方案结合德劳内三角剖分与自定义 SEAConv 层捕捉空间依赖,为足球战术分析提供了自动化支持。
研究表明总体梯度流在预测模型可塑性时会定性误判有限批次 SGD,源于长预训练后罕见的门控分歧限制了适应能力。在双单元 ReLU 回归中,梯度流可在目标任务上以线性时间恢复,而在线 SGD 在阶为 $e^{c/\eta}$ 的步数内大概率失败。
研究者探讨了如何将机器学习模型融入序贯条件独立性检验的 e-变量设计中,并解释了直接检验可交换性在实践中检定力更高的现象。该研究将误差分解为零假设扩大、近似与估计误差,通过引入中间零假设以减少误差。针对 model-X 假设导致的第 I 类错误保证失效问题,论文提供了支持三重稳健性且收敛快速的估计误差界。