自适应批大小为何有助于 LLM 预训练：从无界方差视角
研究提出了广义 BG-$a$ 噪声模型与自适应批调度器，从理论上揭示了动态调整 batch size 控制方差增长对大语言模型预训练的优化机制。在 C4 数据集预训练最高 1B 参数 OLMo2 模型的实验中，该调度器在相同 token 预算下取得了低于固定小 batch 与大 batch 训练的验证损失，同时迭代步数不足小 batch 训练的 10%。
#数据/训练
#数据/训练
今日 0 条arXiv cs.LGAI 评分3636 arXiv cs.LGAI 评分4444 每个用户都需要私有 LoRA 吗？将个性化与单用户适配解耦
研究人员提出 LINEUP 框架，通过学习一组可复用的低秩个性化因子，将大语言模型的个性化表达能力与单用户适配状态解耦。该方法下每个目标用户仅需在共享校正空间优化 8 个标量，远低于评测中私有 LoRA 的 4.19M 单用户参数。在 6 项个性化任务的全部 12 项指标上 LINEUP 均取得领先，例如将 LaMP-3 的 RMSE 较最强基线降低 11.4%。
arXiv cs.LGAI 评分3636 从行为到溯源：将表格基础模型归因于合成预训练数据
研究人员利用合成任务生成器 O'PRIOR 构建可控测试基准，通过反事实重训与干预实验验证了表格基础模型的预训练数据归因。在留存的真实任务评测中，移除归因排名前 5% 的合成任务使平均 ROC-AUC 下降 0.013（随机移除仅下降 0.002±0.004），移除垫底任务则使性能提升 0.003。针对捷径任务定向移除的效果达 0.043，证明合成数据溯源可用于可验证的因果归因。
arXiv cs.LGAI 评分3535 通过核锚定局部正则化缓解固定目标异常检测器的收敛崩塌
针对固定目标异常检测器因过度优化导致残差信号消失的“收敛崩塌”问题，研究提出通过引入局部性约束进行抑制。研究首先构建了免训练且适配 CPU 的闭式解方法 KCM，在 ADBench 基准上达到了主流神经网络基线的表现。在此基础上设计的核锚定正则化器（KAR）在 3 种主干网络上有效缓解了崩塌，显著提升了长时间训练下的 AUROC。
arXiv cs.LGAI 评分3838 驱动与衰减：联合嵌入预测架构（JEPA）的训练动态分析
针对联合嵌入预测架构（JEPA）的表征崩溃问题，新研究提出了早期训练稳定性理论，通过驱动力与衰减效应的竞争机制预测相界，并在超 800 个 Tabular-JEPA 配置中得到验证。
arXiv cs.LGAI 评分3434 面向能力保持的慢-快多教师同策略蒸馏 SF-MOPD
针对多模态大语言模型在多教师蒸馏中通用能力退化的问题，研究者提出慢-快同策略蒸馏框架 SF-MOPD。该方法耦合教师直接更新的快模型与指数移动平均慢模型，在对数概率空间中仅剔除远离慢模型的更新分量。多规模实验显示，SF-MOPD 有效减轻能力干扰，在提升专用多模态能力的同时降低通用基准退化，持续优于原生 MOPD。
arXiv cs.LGAI 评分3131 基于扩散模型合成数据预训练提升人体活动识别
研究人员提出一种基于扩散模型合成数据预训练的人体活动识别方法，在 DEO 数据集上取得了 90.6% 的平衡准确率。该方案依托结合双向 GRU 与多头注意力的 CABiGRU 模型，先利用扩散模型生成的智能手表传感器合成数据进行预训练，再通过真实数据微调，有效缓解了进食与饮水等少数类动作识别的欠拟合问题。
arXiv cs.LGAI 评分3636 MuLoRA：面向持续学习的谱平衡低秩自适应
MuLoRA 针对持续学习中 LoRA 的谱可塑性崩塌问题，提出联合控制容量分配与利用的谱平衡低秩自适应机制。该方法通过历史白化构建任务自适应基，并结合动量更新的近似极正交化减少谱集中。在 5 个类增量基准和 8 个增量设置的评测中，MuLoRA 在 16 项指标中的 15 项均取得了最高平均准确率。
arXiv cs.LGAI 评分3434 机器遗忘：从数学证书到可执行证书
研究人员提出 ExecCert 框架，在发布阶段直接验证候选工件，将机器遗忘的数学保证转化为有限精度软件的可执行认证。该框架支持闭合原生证书或采用重训练参考发布验证（RRV），并包含应对连续删除的增量实现。在 4 个已发表遗忘实现中，ExecCert 消除了错误发布并收紧保守界限，在频繁检查下显著降低了开销。
arXiv cs.LGAI 评分3535 SSU-LSF：面向地表预测非平稳偏差的状态空间机器遗忘
SSU-LSF 是首个专为地球科学 Mamba 状态空间模型设计的机器遗忘框架，用于消除未记录灌溉等非平稳事件在地表预测中引入的偏差。在 CropHarvest、NDVI-LST 和 ERA5 基准测试中，该方法混杂消除率分别达 0.773、0.821 与 0.859。其在 3-5 个 epoch 内即可收敛，GPU 成本比完全重训降低 8.4 倍。
arXiv cs.LGAI 评分4141 来源识别不等于适用性测试：探究合成数据归因的局限
最新研究表明合成数据来源识别并不等同于训练适用性测试，仅凭数据溯源无法有效防止模型递归训练退化。在金融风险文本测试中，原始生成段落的模型归因准确率达 98.7%，但经复述改写后降至 53.1%，风格重写后进一步跌至 29.0%。在 3 轮生成与重新训练对比中，基于来源信息的筛选规则未能稳定减轻后续模型的退化。
arXiv cs.LGAI 评分3232 逻辑与记忆的冲突：浅层 MLP 学习高阶交互的研究
单隐层 MLP 在拟合样本时可能无法恢复底层规则，优化算法与干扰特征学习直接制约高阶交互能力的习得。在 2 至 4 阶测试中，SGD、Adam 与 Muon 在 2 阶均达 100% 峰值准确率，3 阶分别为 96.25%、50.87%、76.82%，4 阶 Muon 达 99.21%。此外，冻结干扰输入的第一层权重可将 AdamW 准确率从 44.73% 提升至 95.07%。
arXiv cs.LGAI 评分4444 Forking：数据重放下的模型突发过拟合现象
研究发现数据重放会导致带有 n-gram 记忆分支的模型在 epoch 边界处出现训练与验证损失急剧分离，形成名为“forking”的突发过拟合现象。该现象在 NanoGPT 及带有 Engram 的 DeepSeek 风格模型中均被复现，并在短预算、重度重复的 SFT 与类 RL 场景中同样存在。其成因是重复更新抑制了未见延续的概率，且低频上下文会显著放大这一损失差距。
arXiv cs.LGAI 评分2525 基于模糊认知图的可解释医疗表格数据生成方法
研究人员提出一种基于模糊认知图（FCM）的医疗表格数据合成框架，具备显式因果关系与隐私保护能力，可原生处理健康记录中的混合数据类型。在 UCI Heart Disease 数据集的 TSTR 评测中，该方法仅凭 CPU 运行即取得最高 0.81 的准确率与 0.90 的 AUROC，性能达到或超越 TVAE 和 Gaussian Copula 基准。
arXiv cs.LGAI 评分3434 T2SPO：面向智能体强化学习的轨迹到单步策略优化
研究人员提出强化学习方法 T2SPO，利用历史成功轨迹为大语言模型（LLM）智能体提供单步级反馈。该方法借助预训练 TabPFN 回归器估计每个状态距离成功的剩余距离并提供辅助奖励，仅通过刷新上下文融入新经验而无需更新评估器参数。在 ALFWorld 和 WebShop 上针对 1.5B 与 7B 模型的实验表明，T2SPO 的任务成功率持续优于 GRPO。
arXiv cs.LGAI 评分3535 基于最坏情况约束强化学习蒸馏大语言模型推理能力
针对大语言模型推理蒸馏中学生模型逻辑有缺陷但答案侥幸正确的奖励黑客问题，研究者提出基于最坏情况约束强化学习的推理蒸馏方法。该方法构建了无需状态增广的约束 MDP，利用低方差策略梯度分解与奖励转换，对轨迹各前缀严格施加最坏情况硬约束。在数学推理与代码生成实验中，该方法在保持纯强化学习高答案正确率的同时显著降低逻辑违规，取得了最高的严格推理成功率。
arXiv cs.LGAI 评分3636 零假设才是难点：生成模型记忆效应的精确检验
新研究针对生成模型记忆审计因缺乏零分布导致误判的问题，提出了面向整模型与单图像记忆的精确检验方法。经匹配对照校准后，该方法在 5% 错误发现率下将 MemBench 认证的 61 张图像确认至 36 张，校准极大值法可确认 46 张。研究推荐利用交叉欧拉示性数图谱（IECP）小尺度质量统计量检测复制图像，并检验不同模型间的复制重合。
arXiv cs.LGAI 评分3636 对谁有用？样本价值仅相对于学习器定义
新研究通过冻结子集实验表明，核心集筛选中样本的相对价值取决于目标学习器，而非由数据本身固定。在 ImageNet-100 上将 ResNet-18 宽度翻倍会使策略交叉点从每类 57 移至 85 个样本，改用 ViT 后几何覆盖策略则全程占优。该结果证明不存在通用的数据缩放定律，子集筛选策略的最佳预算必须针对具体学习器评估。
arXiv cs.LGAI 评分2626 差分隐私扩散模型通过感知裁剪目标条件化实现能源时间序列插补
研究提出一种基于感知裁剪目标条件化的差分隐私扩散模型，用于解决隐私敏感的能源时间序列插补问题。该方法采用 v-prediction 配合静态与动态损失加权，有效缓解后期低信噪比时间步的梯度放大并降低裁剪比例。在 5 个真实能源数据集的测试中，其插补效用在相同 DP-SGD 设置下均优于标准 ε-prediction 基线。
arXiv cs.LGAI 评分3030 分类器生长的四种方式及其中一种为何无法学习
研究评估了构造性分类器在训练中动态增加结构的四种生长决策，证明直接将软决策树叶节点转为门控并由子节点继承类别分布会导致新门控梯度为零且子节点梯度完全相同，使新增层级彻底无法学习。该缺陷在 Digits 数据集上相比从头训练损失了 55.6 个准确率百分点，只需对子节点进行微小随机扰动即可修复。研究还发现按残差拟合隐层单元可缩减网络规模，分裂最大期望误差叶节点可提升稀疏度。
arXiv cs.LGAI 评分3737 99% 准确率的隐形成本：IBM Telco 客户流失基准的可信度审计
针对常报告超 95% 准确率的 IBM Telco 客户流失基准，一项审计研究揭示了传统准确率与 F1 指标掩盖的多项缺陷。实验发现划分前使用 SMOTE 会使流失类 F1 虚高 13.1 个百分点；在 50 USD 挽留方案下，成本最优决策阈值比 F1 最优低 5-10 倍，每 1,000 名客户可节省约 77,000 USD。研究据此提出了四要素报告清单并发布了可复现代码。
arXiv cs.LGAI 评分3232 面向多专家区间目标的不确定性感知学习
研究人员提出一种面向多专家区间目标的不确定性感知学习方法，可保留专家个体区间并分离标签内部不精确性与专家间差异。该方法采用 Beta 分布混合模型与 Cramér 距离目标进行建模，并通过分解匹配将预测不确定性组件对齐到对应来源。在海冰浓度任务中，该模型相比硬标签将 MAE 降低了 31%，优于聚合与区间回归等基线。
arXiv cs.LGAI 评分4343 用于快速 FP4 预训练的格式感知融合技术
新研究提出格式感知融合技术，通过协同设计量化生成器、缩放域与消费者布局加速 FP4 预训练。在 Llama-3 8B 的 160B tokens 预训练中，最快定制路径达 37.9K tokens/s/GPU，显著高于 bfloat16 的 18.8K 与 Transformer Engine NVFP 的 27.6K。
arXiv cs.LGAI 评分3636 面向大语言模型的快速多项式超越函数计算
研究提出采用 3 阶或 4 阶 BF16 短多项式程序替代原生 sigmoid、tanh 与 SiLU，加速大语言模型在 GPU 特殊功能单元上的计算。
arXiv cs.LGAI 评分3434 Adam 距离自然梯度下降究竟有多远？
研究评估发现，优化器 Adam 与自然梯度下降（NGD）的几何偏差高度依赖场景，在小型神经网络中未对齐程度可达约 $10^3$。虽然高几何漂移会减慢初始优化速度，但 Adam 仍能一致收敛至低损失，且改进经验 Fisher（iEF）比标准 EF 路径更稳定。结果表明，Adam 的实用优化表现源于结构近似误差与动量平滑的平衡，而非紧随自然梯度路径。
arXiv cs.LGAI 评分3636 相同损失，不同梯度
研究表明，当概率目标依赖特殊函数递推与数值截断时，模型在同一学习状态下可能产生相同的损失却输出不同梯度，从而破坏前后向一致性并导致优化轨迹分歧。针对高维 von Mises-Fisher 学习中的梯度不匹配问题，研究者提出了固定深度的解析实现方法 AR/FR，联合构建势函数及其导数。该方法在非负浓度轴上对精确 Bessel 比值提供了一致的三阶误差界，保证了计算深度固定且保真度可验证。
arXiv cs.LGAI 评分3232 机器学习中的数值近似：多准才算足够准？
一项新研究提出通过学习目标本身来评估数值近似精度，揭示相同大小的原始误差在不同学习状态下会对损失、预测和梯度产生截然不同的影响。该研究针对 softmax 交叉熵建立了从原始误差传导至损失、预测及特征梯度的有限误差保证，可反求出给定要求下的可验证数值容差；高维 von Mises-Fisher 实验显示不同状态的容差可相差数个数量级。
arXiv cs.LGAI 评分3232 概率对比学习中共享温度是否意味着共享角尺度？
研究发现在高维分布概率对比学习中共享温度并不代表共享角尺度，ProCo 采用的精确 vMF 分数会保留类别相关的领先角增益。在 CIFAR-LT、ImageNet-LT 等数据集的 16 个冻结表示设置中，该理论预测一致性达 98.43-99.99%。受控训练表明，Pure Angular 编辑有效改善了 CIFAR-10/100 各不平衡因子及 ImageNet-LT 的表示学习。
arXiv cs.LGAI 评分3838 蒸馏扩散分数差异以实现高效训练数据归因
研究提出扩散模型训练数据归因方法 TID 及蒸馏版本 TIDE，无需重训即可根据局部分数差异高效溯源样本。TID 适用于 DDPM、EDM 与 flow matching，采用 Kronecker 分解曲率免去逐样本梯度存储。在 CIFAR-10、ArtBench-10 与 MS-COCO 评测中，TID 达到 SOTA，TIDE 将查询成本降低 4 到 5 个数量级并实现毫秒级归因。
arXiv cs.LGAI 评分3333 遗忘中的学习：随机训练动力学中的统计支持选择性保留
研究者提出了重复强化与持续遗忘（RPF）动力学框架，将遗忘作为选择机制以解释神经网络的选择性保留行为。该理论推导出特征保留边界，证明遗忘会诱导谱滤波以抑制弱成分，并在小步长近似下产生类似最小描述长度（MDL）的压缩权衡。标量记忆与非线性网络实验验证了该机制，表明其可作为超越网络架构与规模的可控归纳偏置。
arXiv cs.LGAI 评分4242 dattri-LLM：面向大语言模型规模训练数据归因的统一高效库
开源库 dattri-LLM 面向大语言模型规模提供高效训练数据归因（TDA），可在 4 张 H200 GPU 上将多种归因方法扩展至 110B 参数模型。该库无需修改训练循环即可兼容 DDP、FSDP 以及 HuggingFace Transformers、TRL 等流程，平均吞吐量达同类最快库的 3.2x。其支持梯度相似度、曲率影响力和在线数据选择等多种方法与应用，代码已开源。
arXiv cs.LGAI 评分4646 超越困惑度：抽象预训练对语言模型的持久影响
新研究发现，在小型语言模型预训练初期仅将 1% 的 token 用于抽象堆栈操作任务，即可在模型困惑度相当的情况下，将 MUSIQUE 多跳问答 F1 最高提升 3.9 分，同时改善 HOTPOTQA 和 2WIKIMULTIHOPQA 表现。该热身训练显著加速了深层顺序推理链的习得，且该优势能在后续数十亿自然语言 token 训练中持续保持。
arXiv cs.LGAI 评分3434 直接偏好优化（DPO）的不确定性归一化边际方法
UNM-DPO 算法将偏好强度边际与可学习的提示词尺度相结合，解决了传统 DPO 无法显式建模偏好强度与提示词不确定性的问题。基于 Llama-3.1-8B-Instruct，引入长度归一化的 ULNM-DPO-WR 在 HelpSteer2 和 HelpSteer3 对阵 DPO 分别取得 68.00% 与 65.31% 的平局调整胜率，且生成文本更短。
arXiv cs.LGAI 评分4949 通过对抗探针训练实现大模型对齐且不丧失可监控性
研究提出探针引导微调（probe-guided fine-tuning），直接利用检测模型内部激活不良属性的探针作为训练信号以实现对齐。采用持续更新探针的方法比 DPO 和推理期引导具有更好的安全与实用性权衡，且能更强力地防御越狱和 abliteration 攻击。微调后相关概念仍保持线性编码，确保了对模型内部表征的可监控性。
arXiv cs.LGAI 评分3535 岭回归中 Fresh Sketching 的理论与算法优势
研究证明在迭代岭回归中，每步采用全新随机草图（Fresh Sketching）相比复用草图具有可证明的优势，能仅针对当前残差解分析误差并提供更严格的收敛保证。基于最小化草图矩阵-向量积方差，该研究推导出了残差感知采样规则及混合采样近似方案。在合成数据以及基于 Qwen2.5 表征的岭探针实验中，该方法均展现出显著更快的收敛速度。
arXiv cs.LGAI 评分3535 当平坦度代理不是函数时：鲁棒性认证与训练干预
研究表明最后一层的相对平坦度代理即使作为有效曲率上界，也无法直接转化为鲁棒性认证或内在训练干预。经验风险驻点无法消除逐点一阶损失项，导致已有认证对损失增加的低估超过 210 倍，研究为此推导了规范不变的特征空间修复方案。同时行中心化可解决 softmax 平移带来的代理无界问题并恢复梯度不变性，该结论在 45 组测试与 CIFAR-10 实验中均获证实。
arXiv cs.LGAI 评分3737 ReLaG：面向潜在关系数据的可扩展划分框架
开源框架 ReLaG 针对含潜在关联的数据集，通过分层潜在变量过程、邻近图与社区检测推断关联样本，以划分出相互独立的训练和测试集。在分子与蛋白质数据集上，ReLaG 匹配现有关系感知方法且扩展性更佳，支持自适应生产数据的无标签划分与有效数据量评估。项目已开源，可通过 `pip install relag` 安装。
arXiv cs.LGAI 评分4242 重新审视奖励优化的缩放定律
最新研究提出了 AI 对齐中奖励优化的联合缩放定律，证明模型性能与偏好训练数据量 M 及 KL 散度预算 K 呈 $\Theta(\sqrt{\min\{\log(M),K\}})$ 缩放关系。在 70B gold 奖励模型生成数据与 0.6B 至 4B 代理模型的实验中，该定律拟合度 $R^2$ 达 97% 至 99%，在 Best-of-N 与 policy tilting 优化下均保持稳健。
arXiv cs.LGAI 评分3535 统一多模态模型中梯度冲突能预测理解与生成的权衡吗？
一项基于对照测试平台 GRIDUMM 的审计研究发现，统一多模态模型中的梯度冲突指标无法预测理解与生成任务间的最终权衡。在 63 种配置和 372 个检查点中，方向冲突指标与权衡的绝对 Spearman 相关系数均未达到 0.3，且单调抑制冲突并未改善权衡。这表明冲突指标缺乏直接因果效力，其诊断价值须经严格检验。
arXiv cs.LGAI 评分4242 预训练与中训如何让奖励具备可学习性？
新研究揭示了预训练与中训如何提供基础信息与计算能力，使后续奖励自适应有效发挥作用。基于 Qwen2.5 权重的实验表明，在 8 个世界测试中，经正确源监督训练的模型成功率达 82.61%，远超对照组的 44.15%。该研究还在独立测试中取得 75.32% 任务成功率（对照组为 49.86%），并在 GSM8K 与 HotpotQA 上验证了奖励引导学习机制。