跳到正文

#arXiv

今日 0 条
10月9日周五
  1. arXiv cs.LG36

    语音质量评估指标的可攻破性有多高?修正协议、评测基准与修复分析

    针对语音质量预测指标易被攻破的问题,研究提出了修正评估协议与基准,实测显示 NISQA 在 90% 的语音样本中被攻破,SSL-MOS、DNSMOS 与 UTMOS 的被攻破率分别为 21%、14% 和 6%。分析指出单个攻击者成功率受随机种子影响在 0.00 至 0.38 间大幅波动,且闭环修复会导致最高 0.30 的域外系统 SRCC 损失。相关代码与测试输出已开源。

  2. arXiv cs.LG32

    Gen-PINNs:用于求解偏微分方程的生成对抗物理信息神经网络

    研究人员提出 Gen-PINNs 框架,将生成对抗学习引入确定性物理信息神经网络(PINNs)以改进偏微分方程求解。该框架通过生成器配合独立判别器评估残差特征,并整合傅里叶表征、正交谱诊断及梯度动态加权机制。在 Burgers、Allen-Cahn 和 Kuramoto-Sivashinsky 方程测试中,其精度与收敛性显著优于标准 PINNs。

  3. arXiv cs.LG34

    Barron 最优传输 I:生成建模

    研究团队提出基于神经网络复杂度的“Barron 最优传输”框架,用衡量隐层复杂度的 Barron 能量替代传统动能,在概率测度空间构建了新度量。该框架量化了扩散生成模型在 Barron 几何下的次优性,证明由高斯分布推前生成的数据具有超多项式分数逼近下界。该工作进一步探讨了特征自适应性,为探索替代型生成模型提供了理论依据。

  4. arXiv cs.LG25

    类生命网络自动机(LLNA)规则形状不规则性可作为分类性能指标

    研究提出利用类生命网络自动机(LLNA)转移函数的锯齿度(jaggedness)作为理论指标,以评估复杂网络分类性能并引导规则选择。jaggedness 可作为动态混沌性与敏感度的代理指标;基于该指标的启发式搜索策略使网络分类准确率达到全局最优的 5% 以内,同时相比穷举搜索减少了 90% 的计算开销。

  5. arXiv cs.LG30

    脑疾病个性化模型研究:预测拟合相似但潜在动力学存在差异

    一项针对脑疾病个性化模型的研究发现,在预测拟合度近乎一致时,模型学得的潜在动力学结构仍存在显著临床差异。基于 CNN-Transformer 脑电模型对 198 名受试者的分析显示,癫痫组的依赖结构显著更密集(k=4 时 p=1.1×10⁻⁷),但两组留出对数似然基本相同(-0.992 对 -0.991),表明临床 AI 需兼顾预测精度与学得结构。

  6. arXiv cs.LG36

    面向大语言模型的摊销离线策略评估

    研究人员提出 PFN-OPE,通过摊销离线策略评估应对大语言模型持续部署中的策略偏移与奖励偏移问题。该方法只需预训练一次,测试时无需逐任务重新拟合,经单次前向传播即可输出目标策略的价值估计。在 HelpSteer2 与 UltraFeedback 上针对 Qwen、Llama 和 Gemma 策略的测试中,其在奖励偏移下的误差比最佳基线低 2.0 至 9.3 倍。

  7. arXiv cs.LG39

    MotherTree:通过合成数据元学习改进决策树训练

    研究人员提出表格 Transformer 模型 MotherTree,通过在合成先验上元学习决策树归纳,仅需单次前向传递即可直接输出硬轴对齐决策树。该模型预训练无需参考树监督,在基准测试中性能可媲美递归划分、全局最优树等算法生成的大小匹配树。此外,MotherTree 可作为强初始化器,经任务调优后在所有基准和样本规模上均优于从头学习模型。

  8. arXiv cs.LG26

    三通道分数冲突下的受控信息获取与弃权机制研究

    针对音频、视频与文本模态冲突问题,新研究构建了三通道受控信息获取与弃权基准,使策略能在权衡成本后决定请求第三通道或直接弃权。在合成测试集上,阈值策略跨 83 个随机种子取得 0.789 +/- 0.006 的目标决策准确率和 0.481 +/- 0.014 的效用,以更少信息超越多数投票基准。实验同时表明成对不确定性在各预算下效用均更高,证实请求前的选择价值取决于预算与模态排序。

  9. arXiv cs.LG35

    面向未归一化分布的符号密度估计器

    研究团队提出一种结合深度生成模型与符号回归(SR)的新框架,用于从观测样本中估计未归一化概率分布的符号解析表达式。该方法融合了流模型与基于分数的生成模型,并引入先验知识与分布分解等归纳偏置来确保计算可行性。实验在多元分布以及计算物理中的 XY 模型与 $\phi^4$ 理论晶格上证实了有效性,能直接从样本中推导出不同尺度下的紧凑哈密顿量符号近似。

  10. arXiv cs.LG32

    异质性偏好下成对比较排序需要多少次重复比较?

    针对用户与任务偏好异质下的模型效用排序难题,研究给出了在各上下文内恢复真实排序所需的重复成对比较次数界限。在异质 Bradley-Terry 模型下,朴素 MLE 算法需 $\Omega(1/\Delta^2)$ 次重复比较,而提出的改进算法与俄罗斯轮盘算法仅需理论最优的 $O(\log(1/\Delta))$ 次。

  11. arXiv cs.LG42

    MemoWM:世界模型如何改变智能体需要记住的内容

    研究者提出 MemoWM 框架,利用世界模型的共享预测压缩长期 AI 智能体保留的经验信息并重构省略内容。在 5 个长期智能体记忆基准上,MemoWM 取得 42.42% 的平均回答准确率,比最强基线高出 2.62 个百分点,同时相比存储效率最高的基线 MIRIX 减少 53.9% 的平均经验存储。该项目相关代码已开源。

  12. arXiv cs.LG36

    NEMORA:用于长程原子学习的神经等变多极子算子

    研究人员提出 NEMORA(神经等变多极子算子),将快速多极子方法(FMM)扩展为神经等变架构以学习长程张量表示。该方法具备线性时间和内存复杂度,支持处理达数十万个原子的超大体系,并能兼容增强各类短程骨干模型。在非局部基准测试中,NEMORA 将力与能量误差较短程基线分别降低超一个数量级和最高三个数量级。

  13. arXiv cs.LG36

    表格数据对话式任务消歧:防泄露形式化定义、基准套件与训练

    针对表格数据对话式任务消歧中的 oracle 信息泄露问题,研究者提出了解耦提问与求解策略的形式化框架,并推出统一 6 个消歧数据集的 text-to-SQL 基准套件 AmbiTab。该框架提供了免裁判泄露诊断指标,并通过强化学习训练提问策略。实验表明,训练后的提问策略在全部 6 个数据集上提升了消歧指标,并在 5 个数据集上提高了任务成功率。

  14. arXiv cs.LG36

    基于空间神经计算在循环架构中实现无限上下文窗口

    研究人员提出一种二阶循环模型,通过偏微分方程控制的空间演化场构建高容量隐式记忆,等价于具有无边界感受野的结构化无限阶 RNN。该方法通过边际稳定性条件将梯度谱约束在单位圆上,消除了循环架构中的梯度消失与爆炸问题。实验显示,该模型以大幅减少的参数量在长程基准测试中超越其他循环模型。

  15. arXiv cs.LG38

    教 PPG“怎么变”而非“是谁”:基于 ECG 的固定效应知识蒸馏

    研究提出基于 ECG 的固定效应知识蒸馏方法,通过在预测和目标中减去单次记录均值,消除占教师目标 40-59% 的个体身份特征。34 次运行表明,该方法消除了模型对身份特征的死记,使状态一致性提升一倍以上,并改善了个体内标签预测。该表现增益在两个骨干网络及另外两个数据库上均保持有效。

  16. arXiv cs.LG58

    研究表明潜意识学习可迁移习得能力与后门

    研究表明潜意识学习(SL)能在使用语义无关数据进行知识蒸馏时,将教师模型习得的复杂能力、后门及恶意倾向转移给学生模型。实验中教师模型仅通过不含文字的数字序列蒸馏,使学生模型在女性姓名提示词下以 23.5% 的概率触发法语后门响应,并在智能体国际象棋测试中将违规入侵概率从 10.9% 提升至 58.3%。这一迁移效果对 logit 蒸馏以及限制 LoRA 在注意力层等设置尤为敏感。

  17. arXiv cs.LG34

    Nullify:基于零空间激活引导的免训练大语言模型机器遗忘方法

    研究人员提出名为 Nullify 的免训练、非破坏性激活引导方法,用于实现大语言模型(LLM)的机器遗忘。该方法在推理阶段利用引导向量偏移隐私相关激活,同时施加零空间约束以避免影响保留查询的激活,完全无需更新模型权重。在 TOFU 和 MUSE 基准上的评测显示,Nullify 在遗忘质量上达到或超越既有基线,并近乎无损地保留了模型效用。

  18. arXiv cs.LG34

    PXtal:在跨模态信息不对称下对齐粉末 X 射线衍射与晶体结构

    研究人员提出多模态框架 PXtal,采用不平衡最优传输(UOT)与广义 KL(GKL)散度,解决粉末 X 射线衍射(PXRD)与晶体结构之间的跨模态信息不对称对齐难题。在包含 4 个零样本迁移集的 6 个测试集上,PXtal 在 PXRD 到晶体候选检索任务中均优于基线模型,所得编码器能更有效迁移至下游材料与晶体学任务。

  19. arXiv cs.LG10

    超越遍历之墙:用于分析 AI 扩展极限与复杂度坍缩的离散几何物理沙盒

    研究指出当前深度学习存在遍历性上限,提出一种由全息 E8 投影引擎驱动的数字物理沙盒,用于分析 AI 扩展极限并实施硬物理遏制。该沙盒将时空建模为嵌套面心立方晶格并引入严格整数运算,通过限制在物理守恒的因果轨迹来剪枝组合搜索树,提供了将计算复杂度从 NP 坍缩至多项式时间 P 的机制。

  20. arXiv cs.LG35

    CARing:面向诊断预测的医疗 Token 覆盖感知推理

    CARing 框架通过组合式语义 ID(SIDs)与覆盖奖励强化学习,解决了大语言模型在多标签就诊诊断预测中覆盖不足与分词碎片化的问题。该方法利用残差量化将疾病语义编码为紧凑 token,并通过覆盖奖励与多正样本监督优化多标签推理轨迹。在 MIMIC-III 和 MIMIC-IV 上,CARing 加权 F1 超越全部基线,推理模式下 R@30 分别达 46.04% 和 46.52%。

  21. arXiv cs.LG44

    可见链式推理并非通用优化手段:分析代码生成中受人设与思考配置影响的研究

    研究发现显式链式推理(visible CoT)在分析代码生成中不具备普遍的准确率优势,推理表征匹配目标语言也无法带来持续增益。通过在 SQL 和 Python(pandas)基准上的对比评测,其效果高度依赖于人设表述、目标语言以及模型内部推理配置。研究表明推理策略需根据具体模型、任务目标与配置联合选择,而非直接作为通用默认设置。

  22. arXiv cs.LG32

    Phase-HDC:在离散相位学习中用梯度阈值替代优化器历史

    Phase-HDC 提出以梯度阈值替代优化器动量历史,使低比特相位模型训练时除模型本身外无需存储优化器状态。在 11 个数据集上,其逻辑状态存储比 float32 Adam 减少 16–23 倍、比 8-bit Adam 减少 4–6 倍,且准确率能匹配 6-bit 动量 Adam。其准确率虽比 float32 Adam 低约 5 个百分点,但在 6 个数据集上反超了 8-bit Adam。

  23. arXiv cs.LG34

    Kolmogorov-Arnold 网络的样本效率研究

    研究表明,在 Feynman 数据集与 Gymnasium 强化学习基准测试中,Kolmogorov-Arnold 网络相比传统多层感知机可用减少 40% 的样本达到类似性能。该架构在训练过程中能带来最高 50% 的相对性能提升,且对不同程度的奖励噪声具有鲁棒性,相关代码已开源。

  24. arXiv cs.LG32

    循环自我提升:面向循环大语言模型的动态跨循环 on-policy 蒸馏

    研究者提出面向循环大语言模型(LoopLMs)的跨循环 on-policy 知识蒸馏框架 LoopOPD 及其动态版本 D-LoopOPD,利用内部循环计算作为自身监督来源,无需外部教师即可实现循环自我提升。在 Ouro-Thinking 模型上的实验表明,仅在数学数据上训练即可提升数学推理、通用推理及代码生成表现。相关代码和模型权重将在接收后开源。

  25. arXiv cs.LG45

    MoE 路由器遥测引发隐私泄露:新型成员推断攻击研究

    新研究提出一种路由器增强成员推断攻击,发现 MoE 模型的路由器遥测数据会显著泄露微调数据隐私。在 3 种 MoE 架构和 3 个数据领域的全部 9 种设置中,结合路由特征使 1% FPR 下的 TPR 提升了 2.7–9.4 个百分点。该泄漏在全量微调、冻结路由器训练、LoRA 与指令微调中均持续存在,表明运维遥测已成为微调 MoE 模型的新隐私攻击面。

  26. arXiv cs.LG28

    基于时间 Transformer CAN 编码器与联邦轻量头的车载网络异常检测

    研究人员提出一种基于时间 Transformer CAN 编码器与联邦轻量头的车载网络异常检测隐私保护框架。该方案通过轻量级 Transformer 编码器捕获信号随时间演化的细微时序和上下文异常,并借助联邦学习机制支持多辆车或 ECU 协同优化共享模型,无需交换原始 CAN 数据。开源数据集实验表明,该方法在兼顾效率与隐私的同时具备稳健的检测性能。

  27. arXiv cs.LG36

    激活探针所需的合成数据量取决于覆盖度而非难度

    研究发现激活探针所需的合成数据量取决于覆盖度而非难度:在 Gemma-3-27B-IT 上,高风险与有害概念仅需 80 个合成样本即可接近平台期,而指令探针需数倍样本。各类评估分布达到半增益中位数均仅需 7-11 个同类样本,跨类别迁移能力的差异决定了不同概念对数据广度的依赖程度。相关评估套件与生成数据集已开源。

  28. arXiv cs.LG43

    SPERA:基于几何与频域感知潜空间预测的球面先验 EEG 基础模型

    研究人员推出脑电基础模型 SPERA,采用联合嵌入预测架构(JEPA)在潜空间进行预测,并引入勒让德多项式空间先验编码电极几何构型。该模型基于 106 个数据集中 29,048 名受试者的约 80,000 小时 EEG 数据完成预训练。SPERA 在涵盖临床、认知与 BCI 应用的 9 个下游任务中取得了最高的平均平衡准确率。

  29. arXiv cs.LG36

    冻结解码器并修复编码器:基于 SVD 的 KV cache 压缩参数高效适配

    针对基于 SVD 的 KV cache 压缩微调,研究指出采用冻结解码器、仅修复编码器的方案,在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量,并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证,同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。

  30. arXiv stat.ML29

    面向分数增强神经比率估计的自适应无调优损失加权

    针对分数增强神经比率估计(Neural Ratio Estimation),研究者提出一种自适应且无需调优的算法,能在训练期间基于损失梯度动态设定分数损失权重。在网络动力学与空间过程案例中,该方法以极低额外开销提升了替代模型质量。测试显示,该方法在训练时间增加不足 1.1x 的情况下,取得了等同于训练数据增加 10x 的下游推理性能。

  31. arXiv stat.ML34

    学习模拟混沌:对抗最优传输正则化

    研究团队提出一种对抗最优传输正则化方法,能仅从单条带噪声轨迹联合学习高质量汇总统计量与物理一致的仿真器,以模拟复杂的混沌动力学。该方法构建了 Sinkhorn 散度(2-Wasserstein)和 WGAN 风格对偶(1-Wasserstein)两种形式。在包含高维时空混沌的多种系统实验中,其训练的仿真器显著提升了长期统计保真度。

  32. arXiv stat.ML31

    V-ECE:估计广义预期校准误差

    变分估计器 V-ECE 可直接估计涵盖 $L_p$ 距离的广义预期校准误差,完全无需依赖分箱或聚类。该方法通过梯度提升拟合温度缩放残差来估计超额风险,能在数学期望上给出真实校准误差的下界。在半合成任务基准测试中,V-ECE 在二分类场景中位列最精准水平,并显著超越现有的多分类估计器。

  33. arXiv stat.ML33

    One Permutation Is All You Need:快速确定性特征重要性与模型压力测试

    研究提出用单次极大极小秩最优确定性置换替代传统蒙特卡洛洗牌,消除了特征重要性估计方差,并将计算复杂度从 $O(B \cdot n \cdot p)$ 降至 $O(n \cdot p)$。该框架进一步引入量化间接特征依赖的系统特征重要性(SFI),以及提供带符号表征的重要性方向。相关方法在近 200 个模拟场景和两个真实信用风险案例中完成验证,可高效审计模型对受保护属性的隐性依赖。

  34. arXiv stat.ML30

    面向解混流的自充分独立成分分析(Self-sufficient ICA)

    针对非线性独立成分分析(ICA),研究者提出用于解混流的自充分独立成分分析方法,通过最小化条件 KL 散度学习解耦信号。该算法具备无先验与无似然特性,在每次迭代中序列化学习解混流模型,完全避免了不稳定的对抗训练。实验在玩具和真实数据集上验证了该方法的有效性。

  35. arXiv stat.ML34

    面向分布内数据获取的共形数据污染检验

    研究人员提出面向分布内数据获取的共形数据污染检验框架,在完全获取数据前仅检查少量样本即可筛选高价值外部数据。该方法基于共形异常值检测构建双样本检验,适用于任意污染水平,其 Storey-type 检验可通过 Benjamini-Hochberg 流程控制有限样本错误发现率。实验表明该方法在多样化协同学习场景下表现稳健,为数据聚合提供了统计质量保证。

  36. arXiv stat.ML27

    广义核 t-SNE 的平衡分布研究

    该研究探讨了一类广义输入与输出核下 t-SNE 的大样本变分问题,证明了输入核尺度参数在正密度内点的存在性与唯一性。在输出核衰减等充分条件下,离散最优值可收敛至连续极小值,且近似极小值的经验测度平移后收敛于满足平衡方程的紧支撑极小值。适用的输出核包括高斯核及二维输出下的柯西核,数值实验对比了不同核函数生成的二维表示。

  37. arXiv stat.ML27

    有限 VC 维神经网络的利与弊

    一项研究从高维几何与统计学习理论出发,剖析了有限 VC 维神经网络在逼近能力与样本学习一致性之间的权衡。结果表明,有限 VC 维虽有助于经验误差的一致收敛,但可能不利于特定应用分布下的函数逼近,且在大数据集下逼近误差与经验误差均呈现近似确定性行为。论文还讨论了通用逼近性质的实际局限,以及含 ReLU 单元的网络深度对精度和一致性的影响。