MS-TTRL：打破多解测试时强化学习中的频率冲突
研究团队提出 MS-TTRL，通过结果级自我验证分离正确性估计与多样性保持，解决多解测试时强化学习中的频率冲突。该方法引入三状态结果缓存，并利用置信度门控逆概率缩放强化罕见且可靠验证结果的学习信号。跨 2 个基准与 3 个骨干模型的实验表明，其恢复率较最优无标签基线平均提升 19.13 个百分点，性能接近有监督 IPS-GRPO。
全部AI 动态
全部动态
今日 2 条arXiv cs.LGAI 评分3434 arXiv cs.LGAI 评分3838 注意力头维度对语言模型的长上下文检索至关重要
在固定模型大小下，增加注意力头维度（即采用更少但更宽的头）能显著提升语言模型的长上下文检索性能，而对预训练损失和短上下文非检索任务影响微弱。分析表明较宽的头具有更高比例的检索头，从而让更多参数直接参与信息检索。消融实验显示，即便在长上下文持续预训练中冻结注意力投影权重，更宽的头依然能促进嵌入向量与 MLP 等组件更有效适应。
arXiv cs.LGAI 评分4343 Principia：面向科学发现的测试期假设与原理构建框架
研究人员提出基于 LLM 的科学发现框架 Principia，能够在测试期从输入与观测结果中构建因果假设，并将其持续演化提炼为归纳性科学原理。在分子优化、蛋白质工程、基因扰动和分子性质预测等基准测试中，Principia 表现超越了依赖内部知识、外部来源或经验总结的基线方法，生成的原理与文献一致。该项目代码已开源。
arXiv cs.LGAI 评分2626 Dual-Adaptive Z-Score PPO：基于动作置信度与归一化优势幅度的动态裁剪
研究提出 Dual-Adaptive Z-Score PPO（PPO-DAZ3），基于动作置信度与归一化优势幅度为样本动态设定裁剪区间。在经典控制基准测试中，PPO-DAZ3 在 LunarLander-v3 表现最佳，平滑优势变体 PPO-AZ3S 在 Acrobot-v1 领先，标准 PPO 则在 CartPole-v1 保持竞争力，表明自适应裁剪对高难度任务收益更显著。
arXiv cs.LGAI 评分3030 EVOLVE：基于自适应原型记忆的不确定性感知多变量时间序列异常预测
EVOLVE 提出了一个面向无监督多变量时间序列异常预测的统一框架，通过变量与上下文条件扰动及不确定性感知推理来预测未来风险。该框架利用自适应异常原型记忆在变量级别动态更新并检索扰动，结合平滑与偏差放大演化假设解码未来轨迹，并以轨迹分歧度量化异常风险。在 6 个真实基准数据集上的实验表明，EVOLVE 持续超越现有 SOTA 基线。
arXiv cs.LGAI 评分3030 CFBrainAug：用于可解释 fMRI 自闭症诊断的模块度诱导反事实脑网络增强
CFBrainAug 框架将数据增强与反事实解释统一，通过学习标签改变的脑网络辅助基于 fMRI 的自闭症谱系障碍（ASD）诊断。该方法在模块数量约束下细化拓扑相似且标签相反的网络，丰富决策边界分布，使轻量级 SVM 表现媲美图深度学习方法。在 ABIDE I 数据集的 NYU 站点上，CFBrainAug 达到 74.1% 的准确率，并通过连接差异提供内在临床解释。
arXiv cs.LGAI 评分2828 基于稀疏历史与零成本代理的跨任务神经架构搜索
新提出的跨任务神经架构搜索策略结合稀疏历史日志与零成本代理，通过冠军初始化与联合成对排序器预训练降低迁移风险。在 TransNAS-Bench-101 上，该方法将 Micro autoencoding 最差 10% 排名从 290 降至 43，Macro room layout 从 465 降至 45。
arXiv cs.LGAI 评分3333 曲率感知裁剪：利用近似二阶信息缓解 DPSGD 偏差
CA-DPSGD 框架通过利用近似二阶信息构建曲率感知裁剪空间，旨在缓解差分隐私随机梯度下降（DPSGD）中因裁剪偏差导致的几何不对齐问题。该框架集成了曲率矩阵校正估计器，并结合各向异性噪声机制以提供严格的隐私保障。实证实验表明，该方法在模型效用上优于现有的前沿梯度裁剪方法。
arXiv cs.LGAI 评分3535 稀疏性驱动多任务神经网络涌现功能模块化
稀疏诱导正则化无需预定义模块边界，即可驱动多任务神经网络自发涌现功能模块化。研究人员在多层感知机和轻量级 Transformer 中识别出被称为 functional tokens 的紧凑任务选择性子网络，发现专用化优先在深层形成，浅层则保留共享计算。这些 functional tokens 无需重新训练即可重新组合，直接重构复合计算。
arXiv cs.LGAI 评分3838 重新思考 LoRA 初始化：实现鲁棒的非对称学习率
针对 LoRA+ 采用非对称学习率易导致训练不稳定和性能崩溃的问题，研究提出了新型初始化方法 initAA。该方法将矩阵 A 的方差缩放为 $\sigma_A^2 \propto n^{-2}$ 并保持 $B_0=0$，使初始化噪声能量额外降低 $1/n$ 倍，同时保持适配器初始输出为零。
arXiv cs.LGAI 评分3838 超越数据调度：基于损失重加权的 LLM 混合数据快速预训练
研究者提出 LARE 方法，通过运行损失统计自动调整领域权重，在固定数据采样暴露量下优化 LLM 混合数据预训练。在 240B tokens 训练的 1.5B 模型上，该方法使知识、数学和代码领域的 5 项评测基准较直接混合平均提升 +7.84 pp，其中 GSM8K 和 MATH 分别提高 +17.06 pp 与 +9.00 pp。
arXiv cs.LGAI 评分4242 REACT：思维链轨迹的早期表征分析与控制
研究提出的激活干预方法 REACT 仅在思维链早期应用单次控制，将 DeepSeek-R1-Distill-Llama-8B 在 StrongREJECT-273 上的完全安全输出率从 29.06% 提升至 82.05%。评测显示干预的最佳窗口集中在前 2 至 3 个 token，并在保持良性拒绝率和有用性接近基线的同时，模型权重全程冻结且无需二次编辑。
arXiv cs.LGAI 评分4444 实证检验 Transformer 能力理论
一项新研究梳理了 Star-free、AC^0、TC^0、C-RASP、MPC、BAPO 和 Sensitivity 等 7 种 Transformer 能力理论并开展对照实验，发现没有单一理论能解释所有任务表现。
arXiv cs.LGAI 评分3434 ReMedI：用于可控分子优化的推理时精炼与自我蒸馏
研究团队提出分子优化框架 ReMedI，利用 Metropolis-Hastings 搜索在推理阶段引导分子语言模型精炼，并将搜索轨迹自我蒸馏。在 C-MuMOInstruct 和 SMDD 基准上，该方法显著提升了 3 种骨干模型的优化成功率。相比基线 C-MORAL，ReMedI 训练分子用量减少约 7.8 倍，严格成功覆盖率达到其约 2.8 倍。
arXiv cs.LGAI 评分3838 PRISM：利用隐式随机调制提升大语言模型采样多样性
研究者提出训练期框架 PRISM，通过次模筛选多教师解和特殊 token 的随机嵌入调制，将采样多样性内化为大语言模型自身的能力。在 WritingPrompts 与 BookMIA 评测中，PRISM 在两个开源模型族上取得最佳生成质量与顶尖语义多样性，并提升了数学与代码基准的采样效率。此外，该框架还能在强化学习训练中维持多样的 rollout，有效缓解多样性崩塌。
arXiv cs.LGAI 评分4242 EEG 基础模型的对照评估：随机初始化、频带功率与验证集选择探测层
针对 5 个公开 EEG 基础模型与 1 个自研 JEPA 模型的评测显示，在引入严格对照后，半数模型在睡眠和情绪任务上随机初始化即可打平或击败预训练。在情绪与运动想象任务中没有任何模型击败五频段对数功率基线，全量微调后 30 组配对仅 5 组的增益超过其种子离散度的两倍。
arXiv cs.LGAI 评分3939 GS-MoE：基于分组子空间共享与剪枝的免训练 MoE 压缩
研究人员提出免训练 MoE 压缩框架 GS-MoE，通过分组共享低秩子空间与基于 Nyström 的神经元剪枝压缩专家参数。在 DeepSeek-MoE-16B-Base 上减少 60% 模型总参数时，GS-MoE 保留了约 90% 的平均推理性能（D^2-MoE 为 73%），且域外困惑度低 20%。该框架还采用无梯度的层重要性评分进行分层预算分配，相关代码已开源。
arXiv cs.LGAI 评分2929 REDAR：面向类增量学习的强化驱动自适应正则化方法
新研究提出 REDAR 方法，将类增量学习（CIL）中的正则化强度选择建模为序列决策问题，由轻量级 RL 智能体动态输出每个阶段的知识蒸馏系数。该策略完全在初始阶段构建的伪任务上训练，部署到增量序列时无需访问历史数据。在 CIFAR-100 和 Tiny-ImageNet 上的实验表明，REDAR 相比固定基线有效减少了遗忘并提升了前向迁移性能。
arXiv cs.LGAI 评分3232 超越启发式与商业导航：救护车行程时间估算的 AI 增强决策支持系统
一项新研究提出了一种机器学习决策支持系统，利用瑞典斯科讷（Skåne）地区的真实运营数据更精准估算救护车行程时间。分析表明救护车用时受时段、日期及行程优先级显著影响，商业导航与预设救护车固定比普通乘用车快 5% 的简化假设无法捕捉应急动态。该系统还结合 SHAP 与排列重要性技术，确保模型具备可解释性并捕捉实际运营特征。
arXiv cs.LGAI 评分3737 Jacobian Lens 的数学理论
针对 Anthropic 提出的可解释性工具 Jacobian lens（J-lens），新研究建立了数学理论，证明其优先识别类似空间相干 Lyapunov 模式的相干特征。
arXiv cs.LGAI 评分4747 独立与非负相关噪声下胜者偏差的紧界
新研究证明了在独立非同分布与成对非负相关噪声下胜者偏差的紧界，全部定理均已在 Lean 4 中完成形式化验证。在 448 个语言模型和分类器选择流程测试中，候选模型各自使用独立样本时偏差达到理论上限中位数的 0.75。这表明在固定样本预算下，让所有候选模型在共享样本上评测能显著降低得分高估。
arXiv cs.LGAI 评分3434 迈向可信 AI 急救调度：不确定性感知的救护车行驶时间估算
研究人员提出一种面向急救医疗调度（EMS）的不确定性感知救护车行驶时间估算方法，以解决传统单点预测无法反映可靠性与不确定性的缺陷。该方法基于瑞典斯科讷（Skåne）地区两年的真实救护车行程数据进行评估，能生成具有稳定经验覆盖率的上下文自适应预测区间。输出的不确定性信息可直接辅助更透明、具风险敏感性的急救调度决策。
arXiv cs.LGAI 评分3737 一致性而非归一化维持循环语言模型的深度可复用性
研究表明，维持循环语言模型深度可复用性的是训练与运行循环的一致性，而非循环步之间的状态归一化。测试显示，直接从已发布的 Ouro-1.4B 与 Ouro-2.6B 移除归一化会导致二分类准确率降为 0（状态范数维持在 2.021 倍内），但在从头训练的 19M 模型中无归一化训练的外推能力更优（Cliff's delta 达 0.867）。
arXiv cs.LGAI 评分3434 超越局部精度：评测 PDE 基础模型的推演可靠性
一项针对 7 款 PDE 基础模型在 7 个二维时变数据集上的基准评测显示，短程预测优势并不意味着长程自回归推演可靠。在 144 组配对配置中，有 140 组全程 VRMSE 高于短程，中位数误差放大达 2.04 倍，表现最佳的 Walrus 误差放大中位数亦达 2.70 倍。研究指出评测应全面报告推演时程误差放大统计与失败率。
arXiv cs.LGAI 评分3737 TWIG：每个权重都是一条共享离散决策路径
研究者提出神经网络权重表示方法 TWIG，将权重转化为继承门控的共享离散决策路径，从而将剪枝、量化与低秩分解统一为单一优化。当决策采用 2 的幂次时，网络权重层可转为几乎仅由连线与加法器构成的硬件电路。在 LLM 矩阵的 3- 和 4-bit 测试中，TWIG 在同等误差下比 GPTQ 减少 9–15% 的加法操作，含强异常值的矩阵减少 20–55%。
arXiv cs.LGAI 评分3434 延迟解码与单次乘法：重新审视量化权重的点积计算
针对 1-4 bit 权重部署，研究者提出延迟解码点积重构方案，使长度为 n、k-bit 权重的点积仅需 n+2^k 次加法与至多 2^k 次解码和乘法。该方案将权重编码直接用作地址累加激活值并在末尾统一解码乘算，使乘法器数量减少 n/2^k 倍，局部权重内存缩减最高达 w_d/k。基于此设计的 SA-PE 处理单元已在 FPGA 综合中验证了硬件收益与计算等价性。
arXiv cs.LGAI 评分3131 谱聚类与密度聚类层次结构的拓扑等价性
该研究证明在适当的扩散时间下，对拉普拉斯算子诱导的扩散距离应用单链接构建的谱层次结构，在高度单调重缩放意义下与密度超水平集聚类树拓扑等价。研究进一步表明，$k$-NN 图实现通过扩散距离的一致逼近继承了该等价性，从而实现了从谱图构建到密度水平集拓扑的有限样本归约。
arXiv cs.LGAI 评分3737 大模型结构化稀疏学习：兼顾模型可压缩性与高效推理
研究人员提出 S-SALAAD 框架，在训练中联合学习低秩与结构化稀疏组件，使单个 checkpoint 能弹性适配多种内存预算。该框架支持硬件兼容稀疏模式并配备专用 CPU 与 GPU 内核，消除传统稀疏的索引与内存开销。在 Llama2 和 Qwen3 上的实验表明，其在困惑度、内存占用和推理延迟上均推进了经验 Pareto 前沿。
arXiv cs.LGAI 评分3636 扩展 Transformer 能量模型实现高质量图像合成
研究团队提出潜在空间下的 Transformer 能量模型（TEM），解决了传统能量模型在高维采样与深度架构训练中的瓶颈。通过多层能量求和与正表示对齐（PRA），TEM-XL 在无需无分类器引导的情况下，在 ImageNet 256×256 上取得 3.82 的 FID-50K，512×512 达 8.24。该方法同时验证了组合生成、zero-shot 图像修复及分布外检测能力。
arXiv cs.LGAI 评分3636 课程学习的有效性取决于奖励稀疏度与竞争最优
研究表明强化学习中课程学习的有效性取决于奖励稀疏度与竞争最优解：密集奖励下课程收益微弱，而在稀疏奖励下课程学习常是模型完成策略学习的必要条件。通过对基于 REINFORCE 的策略学习模型分析，有效课程能降低奖励稀疏度以加速训练，并通过塑造奖励景观引导智能体避开不良局部最优。
arXiv cs.LGAI 评分4545 预测关联而非干预：协变量感知时间序列基础模型的预注册因果审计
预注册因果审计显示，Chronos-2、TiRex-2、TabPFN-TS 与 TimesFM-2.5 等时间序列模型在假设查询中输出的是统计关联而非因果干预效应。在效应可识别时，Chronos-2 和 TiRex-2 仅分别恢复 75% 与 34% 的真实效应。利用 3,000 条合成序列进行干预后训练并配合低秩适应，可将混杂差距缩小 52-61%，预测成本仅增 1-3%。
arXiv cs.LGAI 评分4242 算力与数据约束下的合成数据改写缩放定律
新提出的合成数据改写缩放定律将改写算力计入成本，可预测模型大小、训练 tokens 及改写数据比例对模型损失的影响。在算力受限下，最佳改写比例随算力提升从不足 10% 增至 32%，外推训练的 22B 模型以改写器十分之一算力取得更优 BPB。在数据受限场景下，同尺寸改写器训练出的模型在 3B 及以下规模均优于纯自然数据。
arXiv cs.LGAI 评分3333 大语言模型的人类反馈对齐：数学基础与算法设计
该综述系统梳理了大语言模型与人类偏好对齐的数学基础和算法框架，涵盖监督微调（SFT）、RLHF 以及 DPO 等主流对齐技术。文章探讨了从人类偏好中学习的理论底层，建立了其与逆强化学习（IRL）和离散选择模型的联系，并详细分析了前沿算法的优缺点及实际落地实现要点。
arXiv cs.LGAI 评分3535 Cautious ConFIG：谨慎无冲突逆梯度方法
研究者提出 Cautious ConFIG 算法，通过三行代码扩展恢复与自适应优化器结合时的无冲突梯度保证，解决物理信息神经网络（PINN）训练中的梯度冲突问题。在 1D 粘性 Burgers 方程、1D 非线性薛定谔方程和 2D Kovasznay 流三个 PINN 基准测试中，该方法性能一致优于标准 ConFIG 基线，相关代码已开源。
arXiv cs.LGAI 评分3535 反思城市表征学习的多视图融合
研究人员针对城市表征学习中模态权重固化与梯度不平衡问题，提出自调节多视图学习框架 PRISM。该框架采用稀疏 MoE 路由自适应学习区域特定的视图分配，并引入受 PID 启发的调节机制来缓解训练中的梯度冲突。在 3 个大规模城市数据集上的实验表明，PRISM 取得了具竞争力的性能，且优化行为更稳定、区域表征更均衡。
arXiv cs.LGAI 评分3434 投机扩散的双重权衡
研究提出通过联合调整扩散工作量与投机解码宽容度，探索投机扩散（Speculative Diffusion）的速度与质量帕累托前沿。扩散大语言模型（dLLMs）能通过并行生成 token 作为草稿模型加速推理，投机解码本身也能放宽验证器的接受标准来实现有损快速采样。实验表明，联合调节这两项参数相比单步扩散草稿能有效扩展速度-质量帕累托前沿。
arXiv cs.LGAI 评分3838 Nestor 嵌套稀疏架构：面向可扩展预训练与持续学习
研究者提出名为 Nestor 的 Transformer 架构，通过将条件计算机制扩展至注意力算子并与 MoE 分层嵌套，在同等算力和稀疏度下的语言模型预训练表现优于传统 MoE。Nestor 还适用于持续预训练，能更高效扩展至长上下文并适应新领域，同时显著减少对旧领域的遗忘。目前该研究的代码与模型权重已在 GitHub 开源。
arXiv cs.LGAI 评分4141 CuraLoc：通过规划式代码检查实现仓库级故障定位
CuraLoc 提出在源码检索前进行单次规划式代码检查，以此取代传统迭代式仓库级故障定位。在 SWE-bench Verified 上搭配 GPT-5.2 时，CuraLoc 将 Func@1 准确率提升至 59.3% 且减少 90.3% 的记录 token 消耗，优于 LocAgent。
arXiv cs.LGAI 评分5151 PaperScorer：论文被接收在多大程度上可预测？
研究团队提出 PaperScorer 模型家族，在去除作者身份与格式捷径后仅凭论文文本或页面截图直接预测同行评审的接受或拒绝决定。视觉模型表现最佳，在 ICLR 论文上取得 68% 准确率并在 arXiv 机器学习论文上达到 77%，超过纯文本和前沿推理模型。模型对评分极高与极低的论文预测最准确，中间分数段则保持不可预测，展示了单篇论文自身承载的审稿决策信号。
arXiv cs.LGAI 评分2828 面向联邦遗忘学习的客户端选择框架 PDF：保留客户端并非同等重要
针对联邦遗忘学习，研究人员提出路径依赖客户端选择框架 PDF，通过仅挑选与目标弱耦合的 top-k 保留客户端参与少量轮次重训来消除目标影响。在 non-IID CIFAR-10 实验中，PDF 实现了 0% 遗忘准确率；相比从头重训，该方法减少了约 69% 通信量与 57%–61% 计算量，并在 CIFAR-100 上将保留准确率提升最高达 6.91 个百分点。