跳到正文

全部动态

今日 64 条
10月26日周一
  1. arXiv cs.AI41

    仅知道信任谁还不够:重复多方 LLM 谈判中的“信任-协议差距”

    重复多方 LLM 智能体谈判中存在“信任-协议差距”:智能体虽能在数轮博弈中精准识别出蓄意破坏的对手,但准确的信任评估无法直接转化为更优协议。实验表明,只有在被显式引导将信任评估纳入决策推理时,显式信任机制才能将协议达成率提升最高 23 个百分点,其效果高度取决于信任信息的运用方式。

  2. arXiv cs.AI43

    $M^3$:将多轮越狱建模为马尔可夫决策过程的多 LLM 自动化红队测试框架

    自动化红队测试框架 $M^3$ 将多轮越狱建模为有限期马尔可夫决策过程(MDP),由攻击者 LLM 基于状态 LLM 生成的内部状态对目标 LLM 发起攻击。在 2 个基准和 6 个目标模型测试中,$M^3$ 的 ASR@5 较现有方法最高提升 53%,即便采用轻量级攻击者,其 ASR@1 和 ASR@5 也分别较强算力基线提升最高 26% 与 34%。

  3. arXiv cs.AI41

    超越 On-Policy 与 Off-Policy:LLM 智能体蒸馏应在哪个层级依随学生?

    一项新研究提出分层 LLM 智能体蒸馏框架,将策略依随拆解为交互历史诱导与当前动作前缀生成两个层级。跨 3 个模型与 4 个交互环境的实验显示,学生诱导历史搭配教师动作前缀可提供最强独立训练信号,而双层级完全依随学生效果最差。此外,前期前置教师生成上下文、后期引入全 on-policy 上下文的训练调度显著优于静态混合。

  4. arXiv cs.AI42

    重试许可:AI 智能体工作流中的授权与恢复研究

    该研究针对使用工具的 AI 智能体在执行期的可靠性,将恢复决策与语言模型行为解耦,评估了工作流中的授权与恢复机制。在 LangGraph 和 Temporal 主机上执行的 336 项历史测试中,保留账本对账策略在两平台上均通过全部 42 项测试。重试前重新验证、稳定键重试和缓存重试策略则分别通过 36、31 和 30 项测试。

  5. arXiv cs.AI50

    Self-Directed Repair:将 AI 智能体的错误转化为持久经验

    研究人员提出 Self-Direction 机制,让 AI 智能体在失败后反思并将经验蒸馏至仅占基座约 0.02% 参数量的轻量低秩适配器,存入持久库按需自动路由。在基于 Qwen 模型的实验中,该机制在 GAIA、Claw-Eval 与 Terminal-Bench 2.1 上的成功率提升 8.9 至 17.0 个百分点,修正可靠性提升近一倍,且能直接泛化至数十个新任务。

  6. arXiv cs.AI47

    PaperFormalizer:基于 Lean 的作者在环论文自动形式化系统

    PaperFormalizer 是一款基于 Lean 的智能体流水线,通过“作者在环”机制帮助研究者查找证明漏洞并将 LaTeX 论文转化为 Lean 验证版本。它将论文转录为命题依赖图并审计正确性与歧义,结合 Mathlib 推进形式化证明,并在关键修正时由作者把关决策。该工具可在 Claude Code 或 Codex 中运行,并输出关联 Lean 代码的修订论文与变更报告。

  7. arXiv cs.AI18

    英语与普通话居高临下语言自动化检测

    研究人员针对英语与普通话中的居高临下式傲慢语言(PCL),提出了自动化检测系统。该研究对比了静态词嵌入结合卷积神经网络(CNN)分类,以及对预训练 BERT 嵌入进行微调两种方法。实验结果显示,基于 BERT 嵌入的微调方案表现显著更优,在开发集上取得了 0.528 的 F1 分数。

  8. arXiv cs.AI30

    权衡感知区域设计:面向企业客户与销售分配的多目标决策系统

    研究团队提出一种用于企业客户与销售分配的权衡感知多目标决策系统,将销售区域划分转化为可治理的决策流程。该系统整合了多维客户价值评分层、基于合成控制评估关系中断成本的连续性估值层,以及兼顾机会平衡的多目标优化层。生产部署与回测表明,该系统显著提升了分配依从度与机会平衡,有效引导销售能力覆盖高价值客户。

  9. arXiv stat.ML34

    SOL:基于双切片 Wasserstein 度量衡量文本分布差距

    研究人员提出文本分布距离度量 SOL,利用双切片 Wasserstein 距离比较 Transformer 隐藏状态测度,以衡量文本生成分布质量。在 Transformer 满足单射时该指标构成严格度量,专为填补扩散与流模型等非自回归语言模型的评估空白而设计。实验表明 SOL 可有效检测分布失效并提供稳定估计,已用于重新评估在 OpenWebText 上训练的多种模型。

  10. arXiv stat.ML34

    参考集重采样下 OOD 评分的判定不稳定性

    针对事后 OOD 检测器受有限参考集影响的判定波动,该研究提出衡量估计波动的“判定不稳定性”,并推导出无拟合参数的闭式解。该指标等于查询方向上的类内离散度除以所属类别参考样本数的平方根。研究还提出预测评分符号的规则,并证实由错误符号驱动的拒绝策略在所有测试数据集上均劣于随机拒绝。

  11. arXiv stat.ML28

    函数流匹配的离散化与统计一致性

    函数流匹配在有限网格观测下的统计一致性得到理论证明,研究基于 Wasserstein 距离给出了生成分布与目标分布的误差界。论文证明了训练速度目标在有限重建收敛下的均方收敛性,同时分离了观测、学习、数值与端点误差。针对表示速度场的归一化求积神经算子,建立了与传感器数量无关的稳定性及学习界,统计超额风险达到近样本量倒数速率。

  12. arXiv stat.ML26

    漂移与污染环境下基于潜在聚类几何的在线分布预测

    该研究提出一种在数据流漂移与对抗污染下的在线分布预测方法,通过潜在聚类几何的 Gibbs 拟后验平均构建预测器,并支持 reversible-jump MCMC 采样。该方法无需数据流似然,基于核混合预测族,以累积 Wasserstein-1 regret 评估针对时变真实分布的预测表现。理论表明在满足漂移约束与分段局部污染条件下,周期性重启、滑动窗口等策略能取得高概率亚线性累积 regret。

  13. arXiv stat.ML28

    级联梯度法中的瞬态放大:精确 Minimax 定律与无共振跟踪

    针对双层与双时间尺度优化中级联梯度迭代的有限时间大幅波动问题,研究证明了精确且与维度无关的 Minimax 瞬态放大公式。在对角块范数至多为 gamma、耦合范数至多为 c 时,最坏瞬态放大阶数为 1 + c/(1-gamma),且在鞅噪声下跟随者方差具有三次反谱隙缩放特征。此外,提出的前瞻 Newton 更新可消除跟随者记忆,在线性跟踪更新中达到 Minimax 最优。

  14. arXiv stat.ML44

    NeuroMAS:基于联合强化学习将多智能体系统构建为神经网络架构

    NeuroMAS 将多智能体系统建模为类似神经网络的可训练架构,以 LLM 智能体为节点、文本信号为边,通过强化学习自主协调与分工。该框架在层次化分解任务中更具参数效率,实验性能显著优于推理期和已训练的多智能体基线。研究还发现系统扩展具有路径依赖性,可通过小型系统渐进增长实现大型系统的有效训练。

  15. arXiv stat.ML35

    POETS:通过高效策略集成实现感知不确定性的 LLM 优化

    POETS 提出了一种计算高效的策略集成 LLM 优化框架,通过共享预训练主干与独立 LoRA 分支直接捕捉认知不确定性,省去了繁琐的奖励模型训练流程。该框架在理论上近似累积遗憾界为 $O(\sqrt{T \gamma_T})$ 的 Thompson 采样,并在蛋白质搜索、分子设计及代码生成等强化学习任务中取得了 SOTA 样本效率。

  16. arXiv stat.ML33

    Q-MMR:基于递归重加权与矩匹配的离线策略评估

    研究提出面向有限时域 MDP 离线策略评估的新理论框架 Q-MMR,通过值函数判别器类的矩匹配目标自顶向下学习数据标量权重,以重加权奖励逼近目标策略的期望回报。该框架仅需 $Q^\pi$ 的可实现性假设,即可为通用函数逼近建立误差不依赖函数类复杂度的无维度有限样本保证。论文还建立了其与重要性采样及线性 FQE 的理论联系,并深化了对离线强化学习中 coverage 概念的分析。

  17. arXiv stat.ML24

    基于框架理论推导 Oja 子空间规则的三因子学习规则

    研究表明,在高斯输入下等价于 Oja 子空间规则的三因子学习规则 EGHR-PCA,可通过框架理论从 Oja 子空间规则中系统性推导得出。当该学习规则在对称矩阵空间的自然框架上展开时,EGHR-PCA 的全局第三因子恰好作为框架系数出现。这为从数学规范形式推导具备生物学合理性的学习规则提供了非启发式的理论方法。

  18. arXiv stat.ML35

    Kolmogorov-Arnold 网络(KAN)的软符号化研究

    研究团队提出软符号化 Kolmogorov-Arnold 网络(S2KAN),通过在训练中引入符号基元字典与可微分门控,解决 KAN 缺乏符号保真度的问题。模型采用基于最小描述长度的目标进行端到端优化,并提出了衡量符号保真度的量化指标。在真实预测任务与合成基准中,S2KAN 显著提升了符号保真度并缩减了模型体积,同时保持了竞争力的预测精度。

  19. arXiv stat.ML28

    面向不确定性感知代理建模的保形多项式混沌展开

    研究提出一种将 jackknife 保形预测与多项式混沌展开结合的方法,为代理模型生成量化预测不确定性的预测区间。该方法利用回归线性特性通过解析闭式表达式计算留一残差,无需预留校准集或重复重训,即可使用全部数据训练。在 4 个基准模型与 2 个电气工程设计用例中,该方法在小数据集训练的低精度模型上也能达到目标覆盖率。

  20. arXiv stat.ML27

    从对决多臂老虎机到情节式 MDP:对抗偏好反馈下的学习

    该研究提出了基于状态偏好的情节式 MDP 框架,证明在对抗偏好与已知转移下,其极小极大遗憾界为 $\tilde{\Theta}(\min\{HT,(H^3SK)^{1/3}T^{2/3}\})$。这一界限由占用度量在线线性优化算法达成,且状态转移机制使 $T^{2/3}$ 遗憾项增加了 $H^{1/3}$ 因子的代价。论文还提出了具有闭式更新的策略优化算法,并将两者均扩展至未知转移场景。

  21. arXiv stat.ML30

    用于自验证集成模型(SVEM)的全模型随机置换检验启发式方法

    研究提出一种基于随机置换的启发式全模型检验方法,用于检验自验证集成模型(SVEM)拟合优度相对于常数响应零假设的显著性。该方法利用因子空间标准化预测构建参考矩阵,并通过降秩奇异值分解计算马氏距离与刀切法距离以生成联合图形汇总。仿真分析表明,即使基础 SVEM 模型的参数量超过观测样本量,该检验仍能维持名义 I 类错误率。

  22. arXiv stat.ML28

    协变量偏移下的潜空间重要性加权

    新研究提出一种针对协变量偏移的迁移学习算法,通过在低维潜空间而非高维原始空间中估计特征密度比,实现样本重加权与表征学习的结合。该方法在理论上建立了目标域过量风险率等有限样本界限,并给出了维度与方差对比分析。模拟与真实数据集实验验证了潜空间加权的性能收益,同时也揭示了其对初始化和域选择的敏感性。

  23. arXiv stat.ML35

    大批量训练中的动量:Polyak 扩大临界批量,Nesterov 提升数据效率

    研究表明,大批量训练中 Polyak 动量能扩大临界批量以支持更高并行度且不牺牲数据效率,而 Nesterov 动量通过前瞻机制抑制噪声积累,在大批量机制下实现更高的数据效率。该研究在单遍训练与幂律核回归设定下推导了临界学习率与全风险动态标度律,并给出了揭示动量角色变化的三区域批量相图。

  24. arXiv stat.ML27

    利用异方差神经网络学习双向因果相互作用

    研究者提出异方差神经网络联立方程估计器 SEM-DNN,无需外部工具变量即可从观测数据中学习双向结构性因果相互作用。该方法利用条件协方差对角化,通过包含联立系统雅可比行列式的对角高斯拟似然,联合拟合非线性均值与特征依赖方差。蒙特卡洛实验表明,在高维干扰函数与非高斯冲击下,SEM-DNN 相比参数化和核方法能更可靠地恢复结构效应。

  25. arXiv stat.ML34

    基于随机李雅普诺夫稳定性的大步长 SGD 交叉熵损失收敛性研究

    该研究通过随机李雅普诺夫稳定性,为大步长 SGD 在多分类交叉熵损失下的线性分类器和双层神经网络提供了收敛保证。分析显示 SGD 随机性会使训练在曲率振荡的稳定边缘与受控下降状态间交替,但能确保迭代在固定步数内重归稳定。这证明了即便使用大学习率也能在最优迭代(best-iterate)意义下收敛,实验同时验证了大步长 SGD 的优势。

  26. arXiv stat.ML32

    实例相关随机 Lipschitz bandit

    研究提出一种实例相关的 Lipschitz bandit 算法与分析,通过水平集次优差距积分表征遗憾,使遗憾界能自适应水平集的局部增长。当最大值点集维度 $d^\star>0$ 时,其自适应速率达到 $\tilde{\mathcal{O}}(T^{\frac{d_z+1}{\max(d_z,d^\star)+2}})$,严格优于传统 zooming 界。

  27. arXiv stat.ML44

    面向可泛化推荐的因果表征学习

    研究者提出一种基于因果表征学习(CRL)的推荐系统优化方法,通过信息论解耦准则与变分下界排除混淆变量干扰,以解决离线训练与线上服务间的分布偏移问题。该方法仅需现有日志且不增加推理成本,在 Spotify 数百万用户的生产歌单排序 A/B 测试中显著提升了听众参与度。在 KuaiRand 等数据集上的实验亦证实了其分布外泛化增益。

  28. arXiv stat.ML45

    高效基准评测本质是特征选择与多元回归

    研究提出将 LLM 高效基准评测重构为特征选择与多元回归问题,在预测阶段采用核岭回归即可显著改进现有评测方案。结合最小冗余最大相关(mRMR)算法筛选题目子集,不仅能在二元和连续指标基准上取得更小的 MAE 与 RMSE 预测误差及更高的排名相关性(Spearman $\rho$ 与 Kendall $\tau$),其采样速度也显著快于概率模型或聚类方法且稳定性更高。

  29. arXiv stat.ML29

    非平稳线性多臂老虎机最佳臂识别的复杂度研究

    该研究针对固定预算非平稳线性多臂老虎机的最佳臂识别(BAI)问题,建立了适用于任意臂集合的理论下界。针对此前 G-optimal 设计忽视几何结构导致复杂度估计过于悲观的问题,研究提出了 Adjacent-optimal 设计及 Adjacent-BAI 算法。其误差概率在常数级别上匹配该下界,确立了该设定下依赖于臂集合的复杂度。

  30. arXiv stat.ML25

    随机反问题:稳定性、正则化与 Wasserstein 梯度流

    该研究针对未知参数为随机变量的随机反问题,从直接反演、带正则化的变分形式以及梯度流优化三个维度展开理论分析。与确定性反问题所处的欧几里得或索伯列夫空间不同,该工作在概率空间下借助测度传输理论进行推导。研究表明,损失函数设计与优化过程中对度量的选取,会显著影响优化器的稳定性及相关性质。

  31. arXiv stat.ML27

    Mixed Engression:面向多元混合型响应的分布回归

    研究提出 Mixed Engression 方法,用于估计包含连续与二元分量的多元混合响应条件分布。该方法利用结合全响应和二元向量的增强能量损失拟合连续生成器并阈值化输出,给出了稀疏 ReLU 估计器的非渐近误差界与多项式收敛速率。模拟实验表明,其在全响应能量距离和重尾设定下的精度均优于对比方法。

  32. arXiv stat.ML29

    带反向耦合的 Neural LoFi:跨层特征学习的谱理论

    研究团队提出了带反向耦合的 Neural LoFi 理论框架,通过模拟反向传播中后层对前层表征的重塑作用,构建了跨层特征学习的谱理论。该算法利用上层敏感度为前序谱步骤生成样本相关的有效标签,可恢复纯前向统计无法捕获的底层特征方向。在二分类 CIFAR-10 实验中,全连接与卷积网络在同等宽度下均取得了优于前向 Neural LoFi 的准确率。

  33. arXiv stat.ML30

    Token 感知机的泛化特性:Embedding 与词表的作用

    研究人员提出可解析求解的“token 感知机”极简模型,利用副本方法揭示了 embedding 空间几何与词表对 token 预测泛化误差的影响。在连续球面 embedding 设定下,模型在样本负载达到 $\alpha_{\rm rec}=d^2/(d-1)$ 时能精确恢复 teacher 模型。面对离散词表时,贝叶斯最优学习器会优先解析词表方差最大的几何方向。

  34. arXiv stat.ML33

    情境决策:预测式还是生成式?

    一项针对情境决策的研究系统对比了“先预测后优化”(PtO)与“先生成后优化”(GtO)两种范式,深入分析了学习目标对统计精度与优化可解性的影响。理论后悔界表明平滑度差异可抵消 GtO 的高维负担,而 PtO 则面临平滑度收益与保凸性之间的权衡;结合合成实验与真实案例,该研究为不同数据规模及问题结构下的范式选择提供了实用指导。

  35. arXiv stat.ML30

    Random Jump Forests:多状态模型非参数估计工具

    研究提出 Random Jump Forests 作为多状态模型的非参数估计工具,可在无需马尔可夫假设的前提下估计条件累积转移率与状态占据概率。该方法利用单棵树划分所有转移的协变量空间,并在叶节点采用 Nelson-Aalen 估计量,理论上具备一致相合性保证。模拟与 4 个生物医学数据集验证了其预测精度,相关功能已在 R 包 JumpForests 中实现。