广延宽度神经网络的介观学习动力学
一项新研究针对网络宽度与输入维度成比例增长的两层神经网络，提出了基于重叠分布的介观学习动力学分析框架。在训练初期，高斯统计描述将动力学简化为追踪目标函数线性和二次分量的少数集体变量，随后通过过滤梯度波动的二次屏蔽机制加速单个特征的特化。该工作阐明了激活函数对特化模式的影响，揭示了网络从集体学习向个体特征发现转变的物理机制。
#数据/训练
#数据/训练
今日 0 条arXiv stat.MLAI 评分3232 arXiv stat.MLAI 评分3333 在线主动学习的最优样本选择策略研究
研究者在高维高斯设计的高维线性分类场景下，探讨了最小化标注预算泛化误差与累积成本的最优样本查询策略。研究证明贪心短视策略对应随时间缩小的中间间隔策略，并据此设计出简单查询策略，在合成数据和真实医学图像数据集上进行了对比验证。研究还分析了两层神经网络中的短视策略，指出了朴素间隔策略失效的场景。
arXiv cs.LGAI 评分3535 通过学习隐式多表表征迈向先验数据拟合关系模型
研究人员通过在大量合成关系数据库上预训练基于图的关系基座模型 Griffin，探索了先验数据拟合网络（PFN）在消息传递架构上的泛化能力。模型将预训练编码器的隐式表征直接传递给冻结的上下文预测器，无需在下游任务上进行微调。在 16 个真实关系分类任务的评估中，先模式引导后模式无关的纯合成课程学习取得了最强的冻结上下文预测表现。
arXiv cs.LGAI 评分3434 GR-OPD：面向同策略蒸馏的组内相对序列信用分配机制
研究者提出 GR-OPD（Group-Relative On-Policy Distillation），将 token 级教师反馈聚合为校准后的序列级信用，以解耦反馈计算与信用分配。
arXiv cs.LGAI 评分4343 循环大语言模型设计研究（第一部分）：拓扑结构、输入注入与循环状态
研究人员系统解构了循环大语言模型中的拓扑结构、输入注入和循环状态设计，证实 Huginn 架构在 730M 参数及 336B token 规模下全面优于 Ouro。
arXiv cs.LGAI 评分3434 “Deep lifts”研究发现：神经网络在最笨的优化器下依然能够泛化
研究表明在宽度为 W、深度为 D 的 ReLU 网络插值解空间中均匀随机抽取参数，模型仍能以 $\tilde O\left(\frac{wdWD}{n}\right)$ 的速率自适应泛化，而非受限于大网络的全 VC 维。
arXiv cs.LGAI 评分2626 非线性可分数据下的极小 ReLU 分类器：稳定边缘及以上的收敛性与隐式偏差
研究者提出一种在 1D 非线性可分数据上通过逻辑斯蒂损失训练的双神经元 ReLU 极小网络模型，用以分析大步长梯度下降（GD）在稳定边缘（EoS）及以上的动力学。
arXiv cs.LGAI 评分3434 基于邻域标签分布的图数据标签噪声鲁棒算法 LENS
研究人员提出端到端框架 LENS，通过度量移除特定节点时的邻域熵减小量来识别图数据中的噪声节点。该方法引入重标记机制以恢复并保留特征信息，避免直接丢弃噪声节点。实验表明，LENS 在取得 SOTA 节点分类准确率的同时，计算开销极低，运行速度比现有抗噪方法快一个数量级。
arXiv cs.LGAI 评分2828 TALLOP：时间受限联邦学习中本地训练与通信压缩的联合优化
研究人员提出了面向时间受限联邦学习的联合优化框架 TALLOP，用于在每轮时间预算下权衡本地训练负载与通信压缩。该方案通过 LENS 利用早期小批量损失轨迹预测训练损失，并通过 CLEN 压缩误差模型评估压缩退化，从而选择让压缩后损失最小的分配方案。在异构联邦学习环境下的实验表明，TALLOP 相比仅优化本地训练或两者均不优化的方法，能取得有竞争力或更优的目标精度耗时。
arXiv cs.LGAI 评分3535 差分隐私优化中的超参数迁移：DP-μP 框架提出
研究者提出了 DP-μP 框架，将最大更新参数化（μP）拓展至差分隐私（DP）训练场景。该框架通过分析梯度裁剪、噪声注入与特征学习的相互作用，导出基于信噪比（SNR）的逐层学习率缩放条件，并为 DP-SGD、DP-Adam 和 DP-Muon 优化器制定了具体的缩放规则。实验表明，DP-μP 在 MLP、ViT 和 GPT-2 等架构上实现了跨模型宽度的学习率零样本迁移，大幅降低计算成本。
arXiv cs.LGAI 评分3737 大型扩散模型不仅需要 EMA
大型扩散模型仅靠恒定学习率搭配指数移动平均（EMA）存在优化局限，研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益，而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA，兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。
arXiv cs.LGAI 评分3535 面向深度学习的可扩展 Levenberg-Marquardt 训练框架
研究人员提出多 GPU 分布式算法 LeMA，通过精确对偶形式与雅可比分片策略，将 Levenberg-Marquardt 算法的显存开销从参数量的二次方降至批大小的二次方。该方法无需 PCG 近似即可对十亿参数模型执行精确求解。在 8-GPU 节点上训练超过 10 亿参数的卷积神经网络时，LeMA 相比单 GPU 实现了 7.97x 加速比与 99.7% 的强扩展效率。
arXiv cs.LGAI 评分3131 用于神经网络多分类任务的特征选择层方法
研究者提出了特征选择层（Feature Selection Layer）的多项扩展方案，这是一种用于神经网络的嵌入式特征加权机制。该方法直接将特征相关性学习融入训练过程，在识别全局相关特征上比肩现有技术，并在捕获特定标签的特征相关性方面超越了既有方法。它利用训练后神经网络的内部动态揭示特征贡献，训练完成后无需任何后处理。
arXiv cs.LGAI 评分3535 Transformer Programs 中准确率所掩盖的问题
研究发现 Transformer Programs（TP）的高 token 准确率会掩盖完整的错误答案，通过程序检查能发现抽样测试遗漏的失效并指导训练优化。作者在 9 个算法任务上评估 TP，针对抽样测试达 100% 准确率但穷举失败的计数任务补充训练样本后，重训模型通过了有界域内的全量评估。分析还显示 TP 训练过程可能在后期引发准确率下降，且受限操作组合可能消耗多层结构或大查找表。
arXiv cs.LGAI 评分3535 批量上下文强化 II：RLVR 是否真的需要长 Rollout 窗口？
研究提出并发约束强化（CCR），将 3 个独立可验证问题置于单一上限训练生成中，通过共享预算促使模型在无显式长度惩罚下缩短推理。
arXiv cs.LGAI 评分3535 面向 Classifier-Free Guidance 塑造潜在几何：让潜在空间更好适配信标引导
研究人员针对条件扩散模型中的无分类器引导（CFG）机制，提出了轻量级的原型正则化（PR）方法，通过塑造潜在空间类别几何来提升引导生成质量。
arXiv cs.LGAI 评分2828 部分揭示标注面板预测：预测信息增益、分配与粗化一致算子
研究针对对话场景提出部分揭示标注面板预测任务，即利用上一轮对话中 n 个标注员中的 k 个投票来预测下一轮完整投票分布，并定义了粗化一致的面板算子。在冷启动计数负对数似然测试中，该方法相比逐级查表在 IEMOCAP、M3ED 和 EmoWOZ 上分别带来 -0.422、-0.166 和 -0.014 nats 的差异。
arXiv cs.LGAI 评分3636 Ori：面向极低秩 LLM 训练的漂移感知流式 k-PCA 优化器
研究人员提出面向 LLM 训练的新型低秩优化器 Ori，利用受 Oja++ 启发的流式 k-PCA 算法实时跟踪梯度子空间漂移，在严苛的低秩约束下捕获主梯度方向。在 1B LLaMA 预训练任务中，Ori 将现有 SOTA 低秩优化器与全秩优化器的性能差距缩小了多达 69.3%。在 RoBERTa-Base 微调的 16 个任务场景中，Ori 在 10 个场景下取得最优表现，相关代码已开源。
arXiv cs.LGAI 评分3535 AlphaBet：用于 LLM 事件预测智能体的强化学习框架
研究人员提出智能体强化学习框架 AlphaBet，训练单一 LLM 策略在事件解决前的多个日期自主搜索证据、推理并报告概率。基于 GLM-4.5-Air 测试，AlphaBet 将 Forecast-Dojo 的 Brier score 从 0.731 降至 0.626，FutureX 则从 0.612 降至 0.528。
arXiv cs.LGAI 评分4040 人机交互中的编辑发现研究
研究人员提出了编辑发现优化（EDO）框架，用于在有限预算下筛选需交由高阶编辑器修改或确认的人机交互响应。基于该框架开发的在线算法 EDIT 结合自适应编辑评分、确认控制阈值和成本感知选择规则，在每轮均满足编辑器成本预算。在四个推理和事实问答基准测试中，EDIT 在编辑器成本、第一类与第二类错误之间的权衡表现均优于直接基于 LLM 的批次选择。
arXiv cs.LGAI 评分4040 大语言模型跨训练阶段更换优化器的暂态代价研究
研究发现大语言模型在预训练与后续阶段更换优化器几乎不存在显著的失配性能惩罚，后训练优化器的选择很大程度上可独立于预训练阶段。实验通过从头预训练 1.2B Llama-3 并测试 AdamW 与 Muon 切换，发现 SFT 中 Muon 更新比例越高下游性能普遍越好，且在高达 14B 的 Llama 和千问（Qwen）开源模型 SFT 中，Muon 相比 AdamW 仍保持竞争力。
arXiv cs.LGAI 评分3434 理解随机伪梯度上外层 Nesterov 动量的稳定性
研究人员分析了分布式训练中外层 Nesterov 动量、本地步数及多节点平均对训练动态和稳定性的控制机制。针对随机二次问题，论文推导出了任意维度下的精确均方稳定性判据，揭示内部 batch size 决定了增加本地步数最终会稳定还是破坏外层迭代。研究还发现维持稳定性所需的节点数可能随本地步数呈指数增长，并提出可通过共享 mini-batch 扰动在神经网络检查点处直接探测均方动态。
arXiv cs.LGAI 评分3838 用于二值与三值 AI 模型边缘端训练的噪声整形采样与退火方法
研究者提出面向二值与三值神经网络的优化器 $\Sigma\Delta$-Sampler，通过在一阶 $\Sigma\Delta$ 噪声整形环路中嵌入随机采样与退火步骤，实现离散权重在崎岖损失地形中的平滑下降。
arXiv cs.LGAI 评分3838 平坦损失与演化特征：模加法中的 Grokking 现象研究
研究表明神经网络在训练交叉熵损失保持平坦甚至上升时仍能继续学习。在模加法任务中，采用特定更新与权重衰减的 ReLU 网络能在保持 100% 训练准确率的同时演化隐层特征，使测试准确率从 0 提升至 90% 以上。单块与双块 Transformer 实验同样证实了这一现象，证明训练损失进入平台期并不意味着学习停滞。
arXiv cs.LGAI 评分3131 联邦车联网中基于运行症状发起模型消除
研究人员针对车联网联邦学习中错误贡献仅表现为滞后路测症状的问题，提出聚合时模型消除方法 ATONE。该方法将日常驾驶误差与报告症状投影至全局增量子空间，通过单次反向计算完成贡献评分并实施两层校正。在 3 个驾驶数据集上，ATONE 在 9 个设置中的 8 个将残留危害较最强基线降低 43% 至 61%，效用与完全重新训练的差距保持在 0.36 点以内。
arXiv cs.LGAI 评分3535 预测 On-Policy 自蒸馏中特权信息的有效性
研究在 3 个多轮智能体基准与 3 种不同规模和推理模式的学生模型上评估了 16 种特权信息（PI）配置，发现信息密集轨迹和更强生成源能带来更大增益，而思考模型获益相对不稳定。
arXiv cs.LG精选AI 评分6060 研究发现良性递归自蒸馏可能导致模型渐进式失齐
最新研究指出，即使模型仅在自身安全生成内容和无害线索上进行递归自蒸馏，面对多样化有害查询时也会变得越来越不安全，研究者将该现象定义为渐进式失齐（Progressive Misalignment）。
推荐理由：该研究指出完全良性的递归自蒸馏也能引发模型渐进式失齐，为完全依赖自身数据迭代的训练方案提供了安全警示。
arXiv cs.LGAI 评分4141 Lean4AgenticRL：通过可验证多级过程奖励提升智能体强化学习
研究人员提出 Lean4AgenticRL 框架，将多级过程奖励整合至 Lean4 形式化机制中，配合工作流阶段归一化的 GRPO 算法提升智能体强化学习效果。
arXiv cs.LGAI 评分3535 稀疏自编码器可诱导局部几何以缓解灾难性遗忘
SAGA 方法利用稀疏自编码器（SAE）构建局部低秩几何约束，有效缓解持续学习中的灾难性遗忘。该方法结合重放样本与编码器 Jacobian 惩罚关键表征漂移，后续任务训练无需保留 SAE。在预训练 ViT-B/16 上，其在 CIFAR-100、CUB-200 和 ImageNet-R 较最强基线准确率分别提升 12.15、4.79 和 3.22 个百分点。
arXiv cs.LGAI 评分3535 微调更新的秩度量需要噪声基准
新研究指出，评估大语言模型微调权重更新的秩度量必须引入随机噪声与无对齐内容的对照基准。在覆盖最高 8B 参数的 13 对开源模型实验中，权重更新均呈现少数强方向叠加长尾分布的特征，且指令微调与代码、维基百科乃至乱序文本的表现高度相似，并非对齐特有。研究还证实同等大小的随机更新同样几乎不改变权重有效秩却会破坏模型，反驳了后训练仅为表层修改的推论。
arXiv cs.LGAI 评分2929 用于结构健康监测的蒙特卡洛 Dropout 不确定性量化生成对抗网络：Hawk T1A 飞机光纤布拉格光栅数据增强对比
研究人员提出一种结合条件生成对抗网络与蒙特卡洛 Dropout 不确定性量化的数据增强框架，用于航空航天结构的时序与频谱信号合成。该框架在谢菲尔德大学的 BAE Systems Hawk T1A 飞机全尺寸基准数据集上完成验证，涵盖加速度、光纤布拉格光栅应变及非线性动态响应测量。结果表明模型能准确捕捉主导结构动力学特征并输出不确定性估计，可作为数字孪生组件辅助监督损伤分类决策。
arXiv cs.LGAI 评分3535 测试时持续学习中的绑定特异性重学习节省现象
研究发现语言模型在经历无复述持续微调发生部分遗忘后，重新学习原事实绑定的速度显著快于对照组。在 Qwen2.5-1.5B 上的实验显示，预先学习能使恢复该事实所需的优化器更新减少约 18%，且该重学习优势在排除实体熟悉度等干扰后依然成立。这表明当前仅凭输出准确率的评估方式低估了先前学习经验对模型的持久影响。
Together AI Blog精选AI 评分6464 Together AI 推出 Together Post-Training 定制模型后训练服务
Together AI 推出新服务 Together Post-Training，支持开发者通过强化学习（RL）和监督微调（SFT）构建定制大语言模型。
推荐理由：原文给出了降低大模型后训练与强化学习门槛的系统架构与资源共享机制，便于团队评估自建专用模型的算力成本与落地路径。
CERNAI 评分5757 CERN 与 Mistral 达成战略合作，将研发首个对撞机物理基础模型
CERN 与 Mistral 签署意向书建立长期战略合作，将基于大型强子对撞机（LHC）数据研发对撞机物理领域的首个基础模型 Large Physics Model。该模型计划利用数十亿次模拟质子碰撞数据进行预训练，在一个模型中统一完成粒子碰撞重建、粒子识别、异常信号标记及探测器设计评估等全流程任务。双方旨在应对 LHC 已积累的约 1EB 实验数据以及未来高亮度 LHC 的数据分析挑战。
arXiv cs.AIAI 评分3434 用于语言模型同策略蒸馏的条件对比外推方法 CCE-OPD
研究者提出条件对比外推同策略蒸馏（CCE-OPD），通过掩码题目条件与对数概率对比重权化教师分布，解决学生生成前缀下教师模型误判违规推理的问题。在 200 个诊断推理状态下，该方法将偏好无效后续的比例从 27.0% 降至 16.0%。
arXiv cs.AI精选AI 评分7575 Athanor：用于自主后训练研究的智能体原生系统
研究团队推出 Athanor 系统，支持多智能体在真实 GPU 环境下自主完成大语言模型的后训练研究。在 104 小时的实验中，4 个 Claude Opus 5.5 智能体在未获指导的情况下，将 Qwen3-4B-Base 在保留测试集上的得分从 9.2 提升至 48.2，成绩比肩官方 Qwen3-4B-Instruct-2507。
推荐理由：该研究验证了多智能体自主协作开展端到端后训练的可行性，展示了算法调优与模型合并在全自动流程中的实际效果。
arXiv cs.AIAI 评分3434 学习何时撤回：微调语言智能体的课程覆盖度与规则级失效
研究人员在合成环境 NAQD-Env 中基于 Qwen2.5-3B-Instruct 进行了 LoRA 监督微调，以评估工具调用语言智能体在证据变更或权限撤销时的选择性撤回能力。
arXiv cs.AIAI 评分3939 通过对抗式元提示词演化的递归奖励改进（RRI）
研究人员提出递归奖励改进（RRI）方法，利用对抗机制防范开放式专家任务中的奖励黑客行为，并通过至多两次修复步骤修订评分准则。在 HealthBench Professional 基准上，RRI 相比仅生成基准在 9B 和 27B 参数模型上分别提升 10.9 分和 12.4 分，无需外部模型时提升 10.3 分。
arXiv cs.AIAI 评分4242 MSP：无需配对跨模态数据训练多模态大语言模型的模态自我博弈框架
研究人员提出多模态大语言模型训练框架 MSP，通过模态自我博弈摆脱对真实跨模态配对数据的依赖。该方法利用未见模态的代理文本描述作为语义桥梁，使模型仅凭真实锚点模态与代理描述即可实现零样本多模态组合与推理。实验显示，MSP 在多个多模态评测基准上达到 SOTA 或极具竞争力的性能表现。
arXiv stat.MLAI 评分2929 深度神经网络初始化方差的最优条件：基于 SGD 动力学视角
研究人员从随机梯度下降（SGD）动力学视角出发，推导出高斯分布下深度神经网络（DNN）权重初始化方差的最优数学条件。该方法通过极小化期望损失函数界限确定初始化尺度，摆脱了传统启发式设定的限制。在 MNIST 与 Fashion-MNIST 数据集上的全连接网络实验显示，满足该理论最优条件的模型最终训练损失更低，且测试准确率均优于传统的 He-normal 初始化。