跳到正文

#arXiv

今日 0 条
10月12日周一
  1. arXiv stat.ML25

    面向非高斯空间场的可扩展稀疏自回归变分推断

    研究人员提出了一种面向非高斯空间场的可扩展变分推断框架,解决了大尺度非高斯数据集中潜变量场后验分布难以解析求解的问题。该方法在变分分布族中映射先验的稀疏最近邻自回归结构,利用归一化流条件分布提升表达能力,并通过单一共享神经条件网络摊销所有变分参数。结合简化祖先集(reduced ancestor sets)的双重随机优化,实现了每次迭代对数多项式级(polylogarithmic)的复杂度。

  2. arXiv stat.ML45

    对 LLM 测试期锐化中幂采样的批判性审视

    用于 LLM 测试期锐化的幂采样在现实算力下难以收敛至目标分布,其收益大多可通过简单的 Best-of-N 结合适当评分复现。即使通过微调让模型直接拟合目标分布,带来的性能增益也充满噪声且不稳定。幂采样的实际价值不在于精确逼近目标分布,而仅在于提取基座模型已判定为高概率的序列。

  3. arXiv stat.ML35

    CorrFlow:基于相关性椭球面的精确且置换等变流匹配方法

    研究者提出了用于生成相关矩阵的 CorrFlow 模型,结合广义 Fisher 变换与置换等变的图流匹配网络,无需后处理投影即可保证生成结果 100% 落在相关性椭球面上。在 80×80 台湾股票矩阵实验中,CorrFlow 的特征切片 Wasserstein 距离达到 0.712±0.141,显著优于 CorrGAN(4.339±0.252)和图像扩散模型(4.610±0.191)。

  4. arXiv stat.ML49

    防御知识蒸馏的黑魔法:无监督发现潜意识学习

    研究人员提出一种防御大语言模型知识蒸馏潜意识学习的新方法,仅凭参数更新即可在无监督且无需预先知晓特征标签的情况下发现并恢复隐蔽传递的未对齐特征。该方法利用教师模型特征在多样化生成数据中表达一致的不对称性构建权重空间估计器,既能放大方向用于解释特征,也能将其投影消除以抑制表达。在基准测试中,该方法成功恢复了传递的偏好特征并抑制其表达,且几乎不影响任务性能。

  5. arXiv stat.ML27

    无模型贝叶斯聚类与多模态后验总结方法

    研究人员提出了一种无模型且具备噪声感知的贝叶斯聚类框架,从预测性贝叶斯视角构建聚类的鞅后验(martingale posterior)。该方法避免了显式似然-先验模型设定与高成本的 MCMC 采样,支持不规则聚类形状并可并行生成后验样本。研究还引入基于 Wasserstein 的总结方法与新型噪声感知损失,将大量后验样本压缩为少量带权重的代表性结构。

  6. arXiv stat.ML31

    连续动态时间规整的快速梯度近似方法

    研究人员针对连续动态时间规整(CDTW)计算成本过高的问题,提出了一种对 GPU 友好的高效近似求解器 FastCDTW。该算法提供针对分段线性函数的精确闭式解与针对平滑函数的无偏蒙特卡洛估计器,均支持对规整函数和输入时间序列进行梯度计算。相关方法已成功应用于时间序列平均、分类以及深度域自适应等复杂机器学习任务。

  7. arXiv stat.ML37

    深度神经网络重尾权重谱为何能预测模型质量

    针对深度神经网络(DNN)重尾权重谱能预测模型质量却缺乏统计原理解释的问题,研究人员从统计学视角构建概率框架,仅基于最后一层权重推导 DNN 的边际似然。实验证实该边际似然在大规模卷积 DNN 与 LLM 上均可预测模型质量。通过推导服从高温 Marchenko-Pastur 分布谱的极限对数边际似然,研究证明该极限关于重尾参数呈凸性,并导出了能经验性预测模型过拟合的最佳重尾程度。

  8. arXiv stat.ML33

    面向事件驱动潜在跳跃模型的扫描并行变分推断

    研究者提出潜在跳跃模型(LJMs)及扫描并行变分推断(SPVI),用于建模不规则观测时间序列。该方法结合事件增强路径空间 ELBO 与三角仿射扫描,以对数时间深度实现可扩展训练。在合成系统与真实时间序列测试中,LJMs 预测精度与连续时间基线相当,且训练速度比顺序基线快 1 至 2 个数量级。

  9. arXiv stat.ML27

    EIAD-C2ST:面向严重样本失衡复杂数据的深度非参数双样本检验

    针对图等非欧几里得复杂数据在严重样本失衡下检验性能大幅下降的问题,研究人员提出了 EIAD-C2ST 深度分类器双样本检验框架。该框架将多余的多数类样本转化为重复检验的统计证据,支持多种数据模态并结合表征摊销策略降低深度分类器的计算开销。理论上该方法具备渐近显著性水平与检验功效一致性保证,并在区块链取证等应用中验证了有效性。

  10. arXiv stat.ML34

    基于线性化最优传输的度量值数据稀疏字典学习:高效算法与样本复杂度

    研究人员提出一种通过线性化最优传输几何将概率测度嵌入希尔伯特空间的稀疏字典学习框架,利用稀疏自编码器参数化生成快速、可扩展的稀疏有限维编码表示。该方法在超光谱图像、几何点云以及大语言模型潜空间中的文档嵌入等多种数据模态上验证了实用性。理论上还证明了该目标在宽类 $L^2$ 值测度嵌入上的泛化界,并推导出了明确的覆盖数界与收敛速率。

  11. arXiv stat.ML26

    超越二阶信息:带噪声特征的付费逻辑回归

    研究针对带付费随机特征的在线二分类预测问题,提出在逻辑模型下协同控制预测损失与特征获取成本的方法。研究发现仅凭协方差信息已不足以决定最优逻辑损失,更低的方差甚至可能导致更高损失。在更大支出可消除独立噪声的结构序设定下,噪声结构已知时达到 $\widetilde O(\sqrt{T})$ 悔流界,未知时达到 $\widetilde O(T^{2/3})$,并在对数因子意义下匹配下界。

  12. arXiv stat.ML30

    用于具有不同相互作用核的吸引与排斥的广义行列式点过程

    研究者提出了行列式比率点过程(DRPP),通过两个对称正定核的行列式之比分别对子集选择中的排斥与吸引效应进行独立建模。该方法保留了标准 DPP 的特征级可解释性,并引入辅助变量表示以实现高效 MCMC 采样与极大似然学习。实验表明,DRPP 能以远少于非对称 DPP(NDPP)的参数量拟合传递性吸引结构。

  13. arXiv stat.ML34

    自归一化 KL 散度估计的通用界限研究

    该研究证明了基于归一化重要性权重的 KL 散度熵估计器具有通用有限样本界,其期望在任意样本量下超出目标与提议分布 KL 散度的幅度最多为 log 2。该界限既不要求重要性权重有界,也不需要有限高阶矩。研究已将成果应用于基于 Soft Best-of-N 采样的生成模型测试期对齐,以及相对熵编码领域。

  14. arXiv stat.ML28

    双向引导:生成式贝叶斯中汇总统计量的联合学习

    针对基于模拟的贝叶斯推理(SBI)在观测规模扩大时难以恢复集中后验的问题,研究提出了联合学习充分汇总统计量与后验的双向引导机制。该机制通过对统计量施加结构限制,利用统计量的后验充分性简化后验学习,同时以后验目标引导统计量趋于充分。研究还为后验估计误差及统计量偏离充分性提供了理论保证。

  15. arXiv stat.ML25

    基于核结构交互的可扩展行列式点过程学习

    该研究提出了一种可扩展的行列式点过程(DPP)学习方法,用于解决大规模数据集中表达能力与计算扩展性之间的权衡难题。该方法通过非线性核函数与潜在特征建模满秩交互,为极大似然估计器设计了代理函数,并利用非线性核的随机特征进行随机优化。真实数据集上的数值实验表明,该方法显著改善了这一权衡,在具备显著参数效率的同时取得了更好的泛化性能。

10月11日周日
  1. The Decoder81

    arXiv 将论文提交上限限制为每人每月 2 篇以应对 AI 论文洪流

    预印本平台 arXiv 自 2026 年 10 月 1 日起将每人每月的论文提交上限设为 2 篇,以缓解 AI 工具激增对志愿审核员带来的负荷。受 AI 工具普及推动,arXiv 月投稿量已突破 40,000 篇,其中 cs.AI 类别的投稿量在两年内增长超过六倍。该限制适用于所有学科领域的提交者本人,被拒论文同样占用额度,官方表示这是在开发自动化审核工具期间的过渡举措。

    推荐理由:原文披露了学术平台应对大模型低质投稿潮的具体限制与数据,有助于了解生成式工具对同行评议生态的实际冲击。

10月10日周六
  1. arXiv cs.AI34

    ReTeach:通过多轮反思与重试构建自教师

    研究提出反思性自我蒸馏框架 ReTeach,仅利用模型自身的生成尝试与结果级验证,通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏,在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中,ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。

  2. arXiv cs.AI38

    AtomWorld-Mirror:面向材料动力学关键演化骨干的宏步世界模型

    研究人员提出时间感知宏步世界模型 AtomWorld-Mirror,用于模拟材料动力学中原子系统的关键演化骨干。该模型将微观事件片段提炼为关键状态间的物理可达跃迁,通过潜在宏步动态联合预测稀疏结构编辑与累积物理时间。在富铜 RPV 钢辐照老化及 Li3N 基固态电解质等 5 个原子系统中,其推理速度比逐事件模拟提升了 10^3 至 10^4 倍。

  3. arXiv cs.AI37

    Fed-GRPO:基于奖励信号驱动的联邦群体相对策略优化框架

    研究人员提出 Fed-GRPO 联邦训练框架,利用 GRPO 训练中天然生成的奖励统计作为零成本信号,无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明,Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能,可无损降低 32x 通信量,且在紧缺带宽下支持高达 621x 压缩。

  4. arXiv cs.AI42

    从思维链到循环:基于循环 Transformer 的非自回归隐式推理

    LLoCoT 框架通过共享 Transformer 循环迭代优化隐式工作区,实现了非自回归隐式推理。在 HumanEval 和 MBPP 评测中,LLoCoT 取得受测方法最高均分,准确率持平显式 CoT 基准 Reasoning SFT。相比 Reasoning SFT,LLoCoT 将推理阶段延迟降低约 42 倍,首个回答 token 生成时间缩短约 36 倍,端到端吞吐量提升 9.2%。

  5. arXiv cs.AI44

    谁来验证验证器?与自改进智能体协同进化的可审查评分器

    研究提出将验证器作为进化对象,由缺陷检测器合成可审查表达式,与自改进智能体协同进化以应对奖励作弊与盲区。在 MBPP+ 上,该验证器比手写种子组合取得 +0.21 的留出一致性增益,且性能超越纯 LLM 裁判。结合技能循环的 Double Ratchet 在代码生成、企业级 text-to-SQL 及报告生成中,保留了基准标准 88-110% 的提升幅度。

  6. arXiv cs.AI33

    SpikeSSL:基于动力学状态空间层的通用脉冲推断框架

    通用脉冲推断框架 SpikeSSL 正式提出,其以双向 IIR 状态空间层为主干网络,用于在双光子钙成像中跨多种指示剂准确推断脉冲。在基于 33 个公开数据集构建的基准评测中,SpikeSSL 在域内与零样本留一指示剂设定下均取得 SOTA 表现。团队还通过生物物理仿真管线生成约 11,000 条模拟轨迹以提升泛化能力,代码已开源。

  7. arXiv cs.AI49

    追踪编程智能体玩 ARC-AGI-3 的思维轨迹:对持续学习的启示

    一项研究通过让基于冻结基础模型的编程智能体挑战交互式推理基准 ARC-AGI-3,提出了一套通过脚本与笔记追踪其思维轨迹的度量协议,白盒分析其持续学习机制。在 2 个模型家族中 3 个骨干模型的 7 次评估显示,跨任务调用的脚本仅占 33/630,智能体会遗弃 74% 的已有脚本并重写通用规则,笔记亦只追加不修改。

  8. arXiv cs.AI22

    为什么机器依然不会统治世界

    arXiv 新论文重申通用人工智能(AGI)在数学上不可实现,指出展现智能的人类复杂系统行为无法被计算机模型捕捉。研究驳斥了支持者基于 Church-Turing-Deutsch 原理的理论论据,并指出主流 benchmark 成绩已受训练数据污染、测试构建缺陷及策略性优化的破坏。作者强调,在开放、热力学复杂且非遍历环境中表现认知行为的模型未来依然无法达成。

  9. arXiv cs.AI35

    真实社交场景中从起因到后果的认知导向情感追踪

    研究人员提出认知导向情感框架 TRACE 及基准 TRACE-Bench,基于 646 个视频与 3,746 个问答对评估多模态大模型的情感追踪能力。评测发现模型表现显著落后于人类,常将外显行为误判为真实感受并在长链推理中捏造情节。基于该框架提出的结构化推理方法 TRACER,在涵盖因果推理与全链重构等 5 项任务上均超越所有基线模型。

  10. arXiv cs.AI34

    利用势函数估计自回归语言模型下的期望值

    研究人员提出一种利用势函数(potentials)提升自回归语言模型期望值估计效率的方法,通过利用采样副产物即下一 token 条件概率来加性分解测试泛函。该方法构建的估计量方差取决于所选势函数,并给出了降低方差的理论条件。针对多种被估计量和实际应用设计的势函数,在相当的计算成本下实现了方差的大幅降低。

  11. arXiv cs.AI34

    TypedBench:System One 决策模型校准度、措辞敏感度与成本评测基准

    研究团队推出决策模型评测基准 TypedBench,包含 7 个策略标签生成器与 9 个评测套件,专门评估非生成式模型的校准度、措辞敏感度与决策成本。测试覆盖托管模型、开源编码器及 0.8B-9B 参数的开源解码器系列。结果显示托管模型遵循策略但措辞敏感且置信度偏低,解码器在策略问题上准确率最低且随选项增加而性能下降。

  12. arXiv cs.AI35

    相同路径代价,不同输出效应:理解扩散模型中的扰动传播

    一项新研究提出了分析扩散模型采样扰动传播的理论框架,结合动力学分析与信息论表征,解释采样扰动如何影响最终生成输出。该研究用轨迹分布间的 KL 散度定义路径代价,并在预训练扩散模型中证实不同采样阶段与空间频率对等路径代价扰动的敏感性存在差异。该框架还成功应用于基于缓存的加速方案,可可靠识别因缓存导致较大图像误差的采样区间。

  13. arXiv cs.AI38

    RIT-RAG:利用检索诱导树导航文档语料库

    RIT-RAG 将内容检索与结构导航结合,通过检索文本块动态诱导跨文档子树,并由 LLM 智能体自主导航与筛选阅读。该方法在金融、科学与客服基准上的回答准确率均超越图结构和智能体基线。在包含 284 万技术文档网页的 EntQABench 上,其在三种 LLM 下相比最强基线提升了 6.8 至 11.4 个百分点。

  14. arXiv cs.AI35

    UniData:通用多模态指令生成流水线

    研究人员提出通用多模态指令生成流水线 UniData,可将简单的用户需求转换为多轮多模态指令。该方法结合 any-to-any 大模型生成指令并修正冗余推理流,同时构建了涵盖 9 种模态、共 20,000 条数据的 UniDataset。实验表明 UniData 在数据质量上达到 SOTA 表现,能有效增强其他多模态模型的理解与生成能力。

  15. arXiv cs.AI50

    为审稿人写作:GPT 模型中的防御性写作

    arXiv 研究显示 GPT 模型在修改论文时存在“防御性写作”现象,随版本演进倾向于收窄乃至直接撤回作者主张。测试显示 GPT-6-astra 撤回的主张中不足十分之一属于过度陈述,添加大量无依据限定词的核心原因在于迎合预期的审稿人。此类改写虽获 AI 审稿人更高评分,却降低了人类可读性,结合 AI 写作与审稿可能进一步放大该风格。

  16. arXiv cs.AI34

    RL-ARC:通过推理引导的不确定性校准大型推理模型

    研究人员提出校准感知训练框架 RL-ARC,通过联合利用推理置信度与答案置信度来校准大型推理模型。该方法将推理置信度作为辅助信号,在正确样本上应用推理引导正则化,并在错误样本上施加过度自信惩罚。分布内(ID)与分布外(OOD)实验表明,RL-ARC 在不明显牺牲推理性能的前提下改善了模型校准,并实现了自适应置信度估计。

  17. arXiv cs.AI36

    SynCo:基于多智能体强化学习的自进化 LLM 数据合成协同训练框架

    研究人员提出基于多智能体强化学习的自进化 LLM 数据合成协同训练框架 SynCo。该框架联合优化两个独立参数化的智能体:Synthesizer 根据能力状态构建训练任务,Reasoner 则从中学习并提供互补奖励,实现解题策略与训练分布的共同演进。在 8 个数学推理基准测试中,SynCo 显著优于现有合成数据方法和对照基线,大部分收益源自此前未解决的问题。

  18. arXiv cs.AI42

    EvoSim:在建模中学习,在学习中建模

    研究人员提出面向物理建模的自我演化 AI 科学家 EvoSim,可利用实验差异驱动机理与方程修正并协同更新多智能体系统。在工业电池建模测试中,其预测锂金属析出起始荷电状态的 MAE 为 1.79%,车载工况动态电压预测 RMSE 达 7.62 mV,精度超越人类专家模型。该自我演化机制使模型与物理误差较基线降低约 36%。