差分隐私优化中的超参数迁移：DP-μP 框架提出
研究者提出了 DP-μP 框架，将最大更新参数化（μP）拓展至差分隐私（DP）训练场景。该框架通过分析梯度裁剪、噪声注入与特征学习的相互作用，导出基于信噪比（SNR）的逐层学习率缩放条件，并为 DP-SGD、DP-Adam 和 DP-Muon 优化器制定了具体的缩放规则。实验表明，DP-μP 在 MLP、ViT 和 GPT-2 等架构上实现了跨模型宽度的学习率零样本迁移，大幅降低计算成本。
#数据/训练
#数据/训练
今日 1 条arXiv cs.LGAI 评分3535 arXiv cs.LGAI 评分3737 大型扩散模型不仅需要 EMA
大型扩散模型仅靠恒定学习率搭配指数移动平均（EMA）存在优化局限，研究发现结合学习率衰减或采用 Schedule-Free 优化可实现更优表现。实测显示学习率衰减与 EMA 具有互补收益，而 Schedule-Free 无需依赖衰减时机即可在各训练阶段全面超越恒定学习率的 EMA，兼顾更低的评估目标与生成质量。该优势还成功拓展至 ReFL 和生成器端 DMD 等不同优化场景。
arXiv cs.LGAI 评分3535 面向深度学习的可扩展 Levenberg-Marquardt 训练框架
研究人员提出多 GPU 分布式算法 LeMA，通过精确对偶形式与雅可比分片策略，将 Levenberg-Marquardt 算法的显存开销从参数量的二次方降至批大小的二次方。该方法无需 PCG 近似即可对十亿参数模型执行精确求解。在 8-GPU 节点上训练超过 10 亿参数的卷积神经网络时，LeMA 相比单 GPU 实现了 7.97x 加速比与 99.7% 的强扩展效率。
arXiv cs.LGAI 评分3131 用于神经网络多分类任务的特征选择层方法
研究者提出了特征选择层（Feature Selection Layer）的多项扩展方案，这是一种用于神经网络的嵌入式特征加权机制。该方法直接将特征相关性学习融入训练过程，在识别全局相关特征上比肩现有技术，并在捕获特定标签的特征相关性方面超越了既有方法。它利用训练后神经网络的内部动态揭示特征贡献，训练完成后无需任何后处理。
arXiv cs.LGAI 评分3535 Transformer Programs 中准确率所掩盖的问题
研究发现 Transformer Programs（TP）的高 token 准确率会掩盖完整的错误答案，通过程序检查能发现抽样测试遗漏的失效并指导训练优化。作者在 9 个算法任务上评估 TP，针对抽样测试达 100% 准确率但穷举失败的计数任务补充训练样本后，重训模型通过了有界域内的全量评估。分析还显示 TP 训练过程可能在后期引发准确率下降，且受限操作组合可能消耗多层结构或大查找表。
arXiv cs.LGAI 评分3535 批量上下文强化 II：RLVR 是否真的需要长 Rollout 窗口？
研究提出并发约束强化（CCR），将 3 个独立可验证问题置于单一上限训练生成中，通过共享预算促使模型在无显式长度惩罚下缩短推理。
arXiv cs.LGAI 评分3535 面向 Classifier-Free Guidance 塑造潜在几何：让潜在空间更好适配信标引导
研究人员针对条件扩散模型中的无分类器引导（CFG）机制，提出了轻量级的原型正则化（PR）方法，通过塑造潜在空间类别几何来提升引导生成质量。
arXiv cs.LGAI 评分2828 部分揭示标注面板预测：预测信息增益、分配与粗化一致算子
研究针对对话场景提出部分揭示标注面板预测任务，即利用上一轮对话中 n 个标注员中的 k 个投票来预测下一轮完整投票分布，并定义了粗化一致的面板算子。在冷启动计数负对数似然测试中，该方法相比逐级查表在 IEMOCAP、M3ED 和 EmoWOZ 上分别带来 -0.422、-0.166 和 -0.014 nats 的差异。
arXiv cs.LGAI 评分3636 Ori：面向极低秩 LLM 训练的漂移感知流式 k-PCA 优化器
研究人员提出面向 LLM 训练的新型低秩优化器 Ori，利用受 Oja++ 启发的流式 k-PCA 算法实时跟踪梯度子空间漂移，在严苛的低秩约束下捕获主梯度方向。在 1B LLaMA 预训练任务中，Ori 将现有 SOTA 低秩优化器与全秩优化器的性能差距缩小了多达 69.3%。在 RoBERTa-Base 微调的 16 个任务场景中，Ori 在 10 个场景下取得最优表现，相关代码已开源。
arXiv cs.LGAI 评分3535 AlphaBet：用于 LLM 事件预测智能体的强化学习框架
研究人员提出智能体强化学习框架 AlphaBet，训练单一 LLM 策略在事件解决前的多个日期自主搜索证据、推理并报告概率。基于 GLM-4.5-Air 测试，AlphaBet 将 Forecast-Dojo 的 Brier score 从 0.731 降至 0.626，FutureX 则从 0.612 降至 0.528。
arXiv cs.LGAI 评分4040 人机交互中的编辑发现研究
研究人员提出了编辑发现优化（EDO）框架，用于在有限预算下筛选需交由高阶编辑器修改或确认的人机交互响应。基于该框架开发的在线算法 EDIT 结合自适应编辑评分、确认控制阈值和成本感知选择规则，在每轮均满足编辑器成本预算。在四个推理和事实问答基准测试中，EDIT 在编辑器成本、第一类与第二类错误之间的权衡表现均优于直接基于 LLM 的批次选择。
arXiv cs.LGAI 评分4040 大语言模型跨训练阶段更换优化器的暂态代价研究
研究发现大语言模型在预训练与后续阶段更换优化器几乎不存在显著的失配性能惩罚，后训练优化器的选择很大程度上可独立于预训练阶段。实验通过从头预训练 1.2B Llama-3 并测试 AdamW 与 Muon 切换，发现 SFT 中 Muon 更新比例越高下游性能普遍越好，且在高达 14B 的 Llama 和千问（Qwen）开源模型 SFT 中，Muon 相比 AdamW 仍保持竞争力。
arXiv cs.LGAI 评分3434 理解随机伪梯度上外层 Nesterov 动量的稳定性
研究人员分析了分布式训练中外层 Nesterov 动量、本地步数及多节点平均对训练动态和稳定性的控制机制。针对随机二次问题，论文推导出了任意维度下的精确均方稳定性判据，揭示内部 batch size 决定了增加本地步数最终会稳定还是破坏外层迭代。研究还发现维持稳定性所需的节点数可能随本地步数呈指数增长，并提出可通过共享 mini-batch 扰动在神经网络检查点处直接探测均方动态。
arXiv cs.LGAI 评分3838 用于二值与三值 AI 模型边缘端训练的噪声整形采样与退火方法
研究者提出面向二值与三值神经网络的优化器 $\Sigma\Delta$-Sampler，通过在一阶 $\Sigma\Delta$ 噪声整形环路中嵌入随机采样与退火步骤，实现离散权重在崎岖损失地形中的平滑下降。
arXiv cs.LGAI 评分3838 平坦损失与演化特征：模加法中的 Grokking 现象研究
研究表明神经网络在训练交叉熵损失保持平坦甚至上升时仍能继续学习。在模加法任务中，采用特定更新与权重衰减的 ReLU 网络能在保持 100% 训练准确率的同时演化隐层特征，使测试准确率从 0 提升至 90% 以上。单块与双块 Transformer 实验同样证实了这一现象，证明训练损失进入平台期并不意味着学习停滞。
arXiv cs.LGAI 评分3131 联邦车联网中基于运行症状发起模型消除
研究人员针对车联网联邦学习中错误贡献仅表现为滞后路测症状的问题，提出聚合时模型消除方法 ATONE。该方法将日常驾驶误差与报告症状投影至全局增量子空间，通过单次反向计算完成贡献评分并实施两层校正。在 3 个驾驶数据集上，ATONE 在 9 个设置中的 8 个将残留危害较最强基线降低 43% 至 61%，效用与完全重新训练的差距保持在 0.36 点以内。
arXiv cs.LGAI 评分3535 预测 On-Policy 自蒸馏中特权信息的有效性
研究在 3 个多轮智能体基准与 3 种不同规模和推理模式的学生模型上评估了 16 种特权信息（PI）配置，发现信息密集轨迹和更强生成源能带来更大增益，而思考模型获益相对不稳定。
arXiv cs.LG精选AI 评分6060 研究发现良性递归自蒸馏可能导致模型渐进式失齐
最新研究指出，即使模型仅在自身安全生成内容和无害线索上进行递归自蒸馏，面对多样化有害查询时也会变得越来越不安全，研究者将该现象定义为渐进式失齐（Progressive Misalignment）。
推荐理由：该研究指出完全良性的递归自蒸馏也能引发模型渐进式失齐，为完全依赖自身数据迭代的训练方案提供了安全警示。
arXiv cs.LGAI 评分4141 Lean4AgenticRL：通过可验证多级过程奖励提升智能体强化学习
研究人员提出 Lean4AgenticRL 框架，将多级过程奖励整合至 Lean4 形式化机制中，配合工作流阶段归一化的 GRPO 算法提升智能体强化学习效果。
arXiv cs.LGAI 评分3535 稀疏自编码器可诱导局部几何以缓解灾难性遗忘
SAGA 方法利用稀疏自编码器（SAE）构建局部低秩几何约束，有效缓解持续学习中的灾难性遗忘。该方法结合重放样本与编码器 Jacobian 惩罚关键表征漂移，后续任务训练无需保留 SAE。在预训练 ViT-B/16 上，其在 CIFAR-100、CUB-200 和 ImageNet-R 较最强基线准确率分别提升 12.15、4.79 和 3.22 个百分点。
arXiv cs.LGAI 评分3535 微调更新的秩度量需要噪声基准
新研究指出，评估大语言模型微调权重更新的秩度量必须引入随机噪声与无对齐内容的对照基准。在覆盖最高 8B 参数的 13 对开源模型实验中，权重更新均呈现少数强方向叠加长尾分布的特征，且指令微调与代码、维基百科乃至乱序文本的表现高度相似，并非对齐特有。研究还证实同等大小的随机更新同样几乎不改变权重有效秩却会破坏模型，反驳了后训练仅为表层修改的推论。
arXiv cs.LGAI 评分2929 用于结构健康监测的蒙特卡洛 Dropout 不确定性量化生成对抗网络：Hawk T1A 飞机光纤布拉格光栅数据增强对比
研究人员提出一种结合条件生成对抗网络与蒙特卡洛 Dropout 不确定性量化的数据增强框架，用于航空航天结构的时序与频谱信号合成。该框架在谢菲尔德大学的 BAE Systems Hawk T1A 飞机全尺寸基准数据集上完成验证，涵盖加速度、光纤布拉格光栅应变及非线性动态响应测量。结果表明模型能准确捕捉主导结构动力学特征并输出不确定性估计，可作为数字孪生组件辅助监督损伤分类决策。
arXiv cs.LGAI 评分3535 测试时持续学习中的绑定特异性重学习节省现象
研究发现语言模型在经历无复述持续微调发生部分遗忘后，重新学习原事实绑定的速度显著快于对照组。在 Qwen2.5-1.5B 上的实验显示，预先学习能使恢复该事实所需的优化器更新减少约 18%，且该重学习优势在排除实体熟悉度等干扰后依然成立。这表明当前仅凭输出准确率的评估方式低估了先前学习经验对模型的持久影响。
Together AI Blog精选AI 评分6464 Together AI 推出 Together Post-Training 定制模型后训练服务
Together AI 推出新服务 Together Post-Training，支持开发者通过强化学习（RL）和监督微调（SFT）构建定制大语言模型。
推荐理由：原文给出了降低大模型后训练与强化学习门槛的系统架构与资源共享机制，便于团队评估自建专用模型的算力成本与落地路径。
SolidotAI 评分7272 Meta 修改商业服务条款允许抓取客户内容训练 AI
Meta 修改商业服务条款，将于 10 月 30 日起允许使用爬虫和自动化软件抓取客户内容，用于改进 AI 模型等公司产品。News/Media Alliance 谴责该做法涉嫌违法，法律专家亦指出新增条款在程序与实质层面均存在问题。
科学网AI 评分3434 专访曾大军：国际新刊 DRA 如何重塑数据与模型学术评价
国际学术期刊 Data Research and Applications（DRA）将于2026年底正式出刊，旨在让数据和模型作为独立学术体裁获得正式学术承认。该刊设置数据论文、模型论文等六大栏目，要求模型论文以可复现为底线，并在数据规范中嵌入确权与治理要素。创刊号征稿已面向全球启动。
The Verge · AIAI 评分6060 Meta 删除或允许其抓取新闻网站训练 AI 的商业条款
Meta 更新了商业条款，彻底删除了此前被指可能允许抓取外部网站内容用于训练 AI 的争议表述。此前法律专家和媒体认为该条款可能赋予 Meta 免费抓取内容并绕过 robots.txt 的权利。Meta 发言人回应称相关条款仅适用于广告和商业产品，并未改变其网络爬虫规则，内容所有者仍可利用 robots.txt 表明偏好。
科学网AI 评分6363 北大教授董彬：AI 让数学研究进入更好的人机共进化时代
北京大学博雅特聘教授董彬指出，AI 自主验证推理能力的提升正在快速推进数学难题求解，数学家未来应更侧重提出新问题、新概念与构建新理论。他认为高校提供高价值数据与理论评测、企业负责规模化模型训练的分工正在形成，学者应主动借助 AI 拓展直觉以探索更宏大的数学空间。
Ars Technica · AIAI 评分3838 Meta 或借全面更新的商业服务条款规避数百万美元 AI 授权费
Meta 近期简化了其商业服务条款（TOS），可能以此规避数百万美元的 AI 授权费用。法律专家警告，这一条款变动实为针对 AI 数据与权利的全面掠夺。
The Verge · AIAI 评分7171 Meta 新商业条款或允许其免费抓取新闻网站内容用于 AI 训练
Meta 即将于 10 月 30 日生效的新商业条款显示，平台或被允许自动抓取企业用户关联网站的内容，并直接用于 AI 产品的研究与训练。该规定覆盖在 Facebook、Instagram、WhatsApp 和 Messenger 上推广业务的企业账户，不同意该条款的用户必须停止在平台开展商业使用。
CERNAI 评分5757 CERN 与 Mistral 达成战略合作，将研发首个对撞机物理基础模型
CERN 与 Mistral 签署意向书建立长期战略合作，将基于大型强子对撞机（LHC）数据研发对撞机物理领域的首个基础模型 Large Physics Model。该模型计划利用数十亿次模拟质子碰撞数据进行预训练，在一个模型中统一完成粒子碰撞重建、粒子识别、异常信号标记及探测器设计评估等全流程任务。双方旨在应对 LHC 已积累的约 1EB 实验数据以及未来高亮度 LHC 的数据分析挑战。
科学网AI 评分3333 北京开展科学数据中心建设项目申报工作
北京市科委、中关村管委会面向在京单位启动北京科学数据中心建设项目申报，旨在提升重点领域AI就绪科学数据供给能力。项目重点布局数理化天地生基础学科及生命科学、材料科学、量子科技等领域，建设周期不超过3年。申报项目须在实施期内对接北京市级科学数据开放共享服务平台，并具备数据检索、API调用和算力一体化服务条件。
arXiv cs.AIAI 评分3434 用于语言模型同策略蒸馏的条件对比外推方法 CCE-OPD
研究者提出条件对比外推同策略蒸馏（CCE-OPD），通过掩码题目条件与对数概率对比重权化教师分布，解决学生生成前缀下教师模型误判违规推理的问题。在 200 个诊断推理状态下，该方法将偏好无效后续的比例从 27.0% 降至 16.0%。
arXiv cs.AI精选AI 评分7575 Athanor：用于自主后训练研究的智能体原生系统
研究团队推出 Athanor 系统，支持多智能体在真实 GPU 环境下自主完成大语言模型的后训练研究。在 104 小时的实验中，4 个 Claude Opus 5.5 智能体在未获指导的情况下，将 Qwen3-4B-Base 在保留测试集上的得分从 9.2 提升至 48.2，成绩比肩官方 Qwen3-4B-Instruct-2507。
推荐理由：该研究验证了多智能体自主协作开展端到端后训练的可行性，展示了算法调优与模型合并在全自动流程中的实际效果。
arXiv cs.AIAI 评分3434 学习何时撤回：微调语言智能体的课程覆盖度与规则级失效
研究人员在合成环境 NAQD-Env 中基于 Qwen2.5-3B-Instruct 进行了 LoRA 监督微调，以评估工具调用语言智能体在证据变更或权限撤销时的选择性撤回能力。
arXiv cs.AIAI 评分3939 通过对抗式元提示词演化的递归奖励改进（RRI）
研究人员提出递归奖励改进（RRI）方法，利用对抗机制防范开放式专家任务中的奖励黑客行为，并通过至多两次修复步骤修订评分准则。在 HealthBench Professional 基准上，RRI 相比仅生成基准在 9B 和 27B 参数模型上分别提升 10.9 分和 12.4 分，无需外部模型时提升 10.3 分。
arXiv cs.AIAI 评分4242 MSP：无需配对跨模态数据训练多模态大语言模型的模态自我博弈框架
研究人员提出多模态大语言模型训练框架 MSP，通过模态自我博弈摆脱对真实跨模态配对数据的依赖。该方法利用未见模态的代理文本描述作为语义桥梁，使模型仅凭真实锚点模态与代理描述即可实现零样本多模态组合与推理。实验显示，MSP 在多个多模态评测基准上达到 SOTA 或极具竞争力的性能表现。
arXiv stat.MLAI 评分2929 深度神经网络初始化方差的最优条件：基于 SGD 动力学视角
研究人员从随机梯度下降（SGD）动力学视角出发，推导出高斯分布下深度神经网络（DNN）权重初始化方差的最优数学条件。该方法通过极小化期望损失函数界限确定初始化尺度，摆脱了传统启发式设定的限制。在 MNIST 与 Fashion-MNIST 数据集上的全连接网络实验显示，满足该理论最优条件的模型最终训练损失更低，且测试准确率均优于传统的 He-normal 初始化。
arXiv stat.MLAI 评分3535 可解主题模型中的学习理论：上下文学习先于专业化出现
一项新研究通过可解主题模型提出了序列模型的学习理论，解释了上下文预测器与专业化预测器在不同样本复杂度下的竞争机制。理论表明上下文预测器在训练早期就会出现，而存储有限主题混合的专业化预测器仅在训练 token 数量超过数据生成过程的参数量后才会形成。训练后的 Transformer 在无需拟合参数的情况下完美复现了理论预测的规模与转换分界点。
arXiv stat.MLAI 评分2626 基于轻量级离散响应连续潜变量模型的合成表格数据生成方法
研究人员提出一种用于包含连续与离散变量表格数据的轻量级建模算法，通过经验边缘分布与分位数函数将数据映射至连续潜空间，并高效拟合多元高斯等分布。针对离散变量在潜空间中对应区域而非单点的不确定性，该方法引入蒙特卡洛期望最大化（MCEM）框架，将辅助目标转化为加权潜空间似然，可直接利用传统极大似然估计器进行优化。