Q-PACE：用于量化感知训练的动态精度分配方法
研究人员提出面向量化感知训练（QAT）的动态精度分配方法 Q-PACE，利用二阶敏感度模型预测量化损失并定期重新分配各层精度。在参数规模最高达 4B 的大语言模型预训练与监督微调实验中，该方法优于现有混合精度训练方案，能在显著降低总内存预算的同时保持相当的损失表现。此外，量化敏感度在训练期间高度稳定，仅需低频、低开销的重新校准。
#数据/训练
#数据/训练
今日 0 条arXiv cs.LGAI 评分3434 arXiv cs.LGAI 评分4545 LayerRoPE：动态深度幅度与角度叠加
LayerRoPE 机制利用单一共享向量与深度条件标量替代各层归一化权重，将 Transformer 隐藏状态范数增长转化为显式深度位置编码，减少参数且 FLOPs 变动低于 0.02%。
arXiv cs.LGAI 评分3636 给提示词加噪：连续扩散语言模型中的条件 Token 加噪方法
连续扩散语言模型研究提出在训练中对条件提示词 token 加噪，仅需修改单行代码且默认无额外推理开销。该方法使 Sudoku Hard 求解率从 3.73% 提升至 24.65%，10x10 N-Queens 覆盖率由 50.60% 增至 73.79%。其还在 Gigaword 摘要上提升了生成质量，但无法迁移至开放式对话任务，代码已公开。
arXiv cs.LGAI 评分4242 PEFT 方法真的存在本质差异吗？
研究人员在语言和扩散模型中对比了六种 PEFT 方法，发现 LoRA 族方法同样能近似保持预训练几何特征，显式谱保持并非必需。测试显示，LoRA 能最稳定地抑制遗忘，DoRA 在多数对比中取得更高平均任务得分，而 PiSSA 的遗忘代价往往更大。研究还表明恢复主谱分量可最大程度降低通用文本 NLL 与基础图像漂移，相关代码已开源。
arXiv cs.LGAI 评分3636 我们真的在评测预测模型吗？数据预处理对时间序列性能的影响
一项时间序列预测基准研究指出，当前评测忽视数据预处理造成的结构性偏差掩盖了简单架构的潜力。在 29,000 条 M4 时间序列上测试 11 种预测模型与 16 种可逆预处理流程显示，针对单序列优化预处理可带来约 27% 至 87% 的性能提升。这使得缺乏内置处理的较简单架构能够媲美复杂 SOTA 模型，所有数据已整理为元数据集。
arXiv cs.LGAI 评分3636 基于 LLM 蒸馏的多标签主题归类：生成式与判别式学生模型对比分析
一项研究系统评估了基于 LLM 知识蒸馏的多标签分类任务中，1B、4B 和 8B 规模的生成式与判别式（DeBERTa-V3、ModernBERT）学生模型表现。测试显示判别式模型在结构化商品评论中占优，但 1B 生成式模型在复杂多轮对话中反超基线；面对多达 112 个主题扩展时生成式模型依然稳健，而判别式基线的 Macro-F1 剧降 35%。相关优化模型已在全球电商生产环境中部署落地。
arXiv cs.LGAI 评分3434 EDiS：面向图神经网络的边不相交子图稀疏化框架
EDiS 提出了一种面向图神经网络的边不相交子图稀疏化框架，将一次性结构提取与跨 epoch 的图重组解耦。该方法先将图一次性分解为可缓存的边不相交子图，无需重复计算即可在各 epoch 按边预算动态重组成训练图。在 19 个节点分类基准与 17 个基线的对比中，EDiS 在相同边预算下取得了最高的平均基准分数与最低平均排名。
arXiv cs.LGAI 评分3434 迈向金融世界模型
研究提出面向金融世界模型的表征方案，并发布涵盖 2008 至 2025 年美股近 1 万亿条 1 Hz 分辨率观测数据的 Market-1T 数据集。该工作对比了近二十年市场环境下的 18 种编码器训练策略，发现预测表现相近的编码器对市场状态的组织方式差异显著。此项研究为 DINO-WM、V-JEPA 2 和 LeWM 等金融世界模型的训练与评估奠定了基础。
arXiv cs.LGAI 评分3434 ORACLE：面向约束学习的优化器相对对齐方法
研究人员提出约束学习方法 ORACLE，在优化器完成参数更新后评估约束兼容性，解决动量与自适应缩放等机制改变约束信号的问题。该方法在优化器自身几何中通过异构约束族的联合端点线性化构建对齐，并经权限限制与验证后提交更新。在 8 个偏微分方程基准和 4 种优化器的测试中，ORACLE 在 94% 的配置下提升或持平原生优化器表现，跨模型分析达 92%。
arXiv cs.LGAI 评分3535 用于模型校准的邻域平滑方法
研究人员提出将图平滑作为神经网络训练期校准的通用原则，通过惩罚表征空间中相邻样本预测分布间的 Jensen-Shannon 散度来缓解过度自信问题。该方法与事后校准互补，在结合温度缩放后，于 8 个图像与表格基准设置中的 7 个取得了所有参评训练期方法中最低的 NLL。
arXiv cs.LGAI 评分3737 消除信息内容无法证明开源权重模型的防篡改能力
开源权重模型即便在发布时消除了有害信息的互信息，也无法保证对微调攻击的防篡改性。由于保持功能的重参数化会改变梯度下降几何结构，研究构造出的特例显示，即便互信息量均为零，模型能力仍可在一步梯度中恢复。受控实验证实恢复速度依赖训练顺序与参数化形式，表明安全认证必须引入对攻击动力学的约束。
arXiv cs.LGAI 评分3535 Tiny Transformer 算术推理的算法草稿本与分阶段课程训练
针对总参数 49.3M 的 Tiny Transformer，研究者通过逐位长除法草稿本与 4 阶段课程，在 4,000 题测试集上将除法准确率从 4.0% 提升至 86.7%。训练中序列填充会产生 83% 的梯度饥饿伪影，且缺少语言预训练会导致准确率低于 2.0%。但模型在未见过的 4 位操作数上准确率跌至 0.00%，且无缓冲训练会导致除法发生灾难性遗忘。
arXiv cs.LGAI 评分4444 论 KL 正则化策略优化（KLPO）
研究提出 KL 正则化策略优化（KLPO）框架，用于解决大语言模型（LLM）智能体异步强化学习中的采样与训练策略不匹配难题。KLPO 将 KL 正则项锚定在采样器上，无需重要性权重与 Critic，仅凭每个提示词单次 rollout 即可从终止奖励计算无偏梯度。此外，SPPO、GPO、REBEL 与 BPO 均被证明是 KLPO 的特例。
arXiv cs.LGAI 评分3434 GraphOPD：面向 LLM 智能体的图增强在线策略蒸馏
研究团队提出 GraphOPD，首次将图结构增强引入大语言模型智能体的在线策略蒸馏。该方法利用环境状态变化构建步骤依赖图，融合图上随机游走平稳分布得分与师生策略散度信号，将监督精准聚焦于关键步骤。在 ALFWorld、WebShop 和 SearchQA 评测中，GraphOPD 较最强基线最高提升 5.8 个百分点（+5.8 pp），并展现出域外工具推理迁移能力。
arXiv cs.LGAI 评分3434 FinVector-Market-4B：面向结构化金融任务的 LoRA 适配对照研究
FinVector-Market-4B 使用 rank-16 LoRA 在 22,000 条样本上微调 Qwen/Qwen3.5-4B，用于结构化金融任务。在 600 条测试样本及显式提示词下，适配模型将 FinQA 答案精确匹配率从 14.7% 提升至 40.0%，计算器表达式正确率从 48.0% 提升至 82.7%。研究表明紧凑的领域适配在格式学习之外能带来实质性任务收益。
arXiv stat.MLAI 评分2727 两层线性网络训练的全局指数收敛性
宽两层线性网络在平滑 Polyak-Lojasiewicz 损失与 rich scaling 下被证明具备显式速率的全局指数收敛性，初始协方差为 $\Sigma_0 = \sigma^2 \mathrm{Id}$ 时线性收敛速率至少为 $4\sigma^2\kappa$。
arXiv stat.MLAI 评分3333 线性递归特征机的精确动力学与有限样本轨迹恢复
一项研究分析了线性递归特征机（linear RFM）在带噪声多输出回归中的动力学，将其与迭代加权最小二乘的关联拓展至 Ridge 正则化场景。理论证明，对于 $n$ 个样本和 $d$ 维低秩教师矩阵，学习到的特征矩阵误差以高概率按 $O(\sqrt{d/n})$ 衰减，在各迭代步均接近无限数据理想状态。该模型的特征学习能力已在真实文本与单细胞基因表达数据上得到实验验证。
arXiv stat.MLAI 评分3434 FedRSPO+：面向决策导向联邦学习的异构感知算法
研究人员提出面向决策导向联邦学习的 FedRSPO+ 框架，利用基于投影的平滑代理 RSPO+ 解决下游目标与可行集的异构性难题。该方法在理论上可约束决策误差与后悔值，并导出无需强凸性假设的跨客户端异构性界。在合成背包、最短路径及真实能源定价任务中，FedRSPO+ 在多种异构程度和通信预算下均实现了稳定的协同决策学习。
arXiv stat.MLAI 评分3939 最佳优化器取决于 Batch Size
研究表明，即使经过充分的超参数调优，语言模型预训练的最佳优化器也会随 batch size 的改变而变化。针对当前自适应优化器通常仅在单一 batch size 下评测的现状，研究指出超参数缩放法则无法在批次规模变化时保证性能一致。实测显示，新型优化器 Muon 不存在能在各类训练设置下均一致生效的原则性缩放法则。
arXiv stat.MLAI 评分3535 基于第一性原理的数据集剪枝：一种无标签线性规划方法
新研究将无偏子集选择重构为高维多面体上的方差最小化问题，实现了一种在样本筛选过程中无需标签和模型训练的数据集剪枝方法。在 CIFAR-10、MNIST 和 CelebA 基准测试中，该方法在各评估预算下的平均测试准确率均达到或超越均匀采样，在小预算场景下优于现有几何方法。此外，该框架还可在批次大小不变的前提下降低随机梯度方差。
arXiv stat.MLAI 评分2626 非平稳学习中的数据复用研究
针对未知参数在有限循环值间突变的非平稳在线学习场景，研究提出了随时算法 Exposure-Capped Reuse（ECR），通过结合在线变化检测、兼容性测试与污染控制实现安全的数据复用。该算法使遗憾值（regret）仅随参数不同取值的数量而非环境变化次数增长；理论推导出的信息论下界证明了 ECR 的近极小极大最优性（near-minimax optimality）。
arXiv stat.MLAI 评分2424 多变量有序偏好的协变量联合建模及其与对比模型的关联
研究人员提出一种依赖协变量的联合连续比率马尔可夫随机场模型，用于大语言模型对齐与推荐系统中的多变量有序偏好建模。该方法解决了 HelpSteer 等多属性评分被割裂处理或粗化为成对对比的问题，证明了 Bradley–Terry 与 Plackett–Luce 均为其受限特例，能有效提升偏好比较效果。此外，研究还给出了应对难计算归一化常数的极大似然推理方案。
arXiv cs.AIAI 评分3434 RGPO：基于自适应依据脚手架引导大模型推理的策略优化框架
研究人员提出理由引导策略优化（RGPO）框架，通过自适应利用真实依据作为临时脚手架，缓解大语言模型在同策略强化学习中的奖励稀疏问题。RGPO 依据模型当前能力动态辅助生成，并将更高奖励的解回传至无引导环境，无需辅助数据与强化学习任务格式严格一致。在纯文本与视觉语言推理任务中，RGPO 均持续优于 RLVR 基线。
arXiv cs.AIAI 评分4242 通过同策略上下文蒸馏将智能体经验内化至扩散模型权重
研究人员提出 D-OPCD（Diffusion On-Policy Context Distillation），将文本生成图像智能体框架优化提示词的经验直接蒸馏到扩散模型权重中。
arXiv cs.AIAI 评分3535 SPECTRUM：面向循环自蒸馏的近端谱调制
SPECTRUM 提出一种面向循环自蒸馏代码生成的近端谱调制方法，通过重估 KV 几何结构防止正确实现的多样性收缩。在 MBPP 五轮实验中，SPECTRUM 保留了初始模型 89.9% 的 64 样本正确 AST 丰富度，显著高于标准自蒸馏的 66.4%。在无需额外训练或重校准下，所得学生模型在 HumanEval+ 和 APPS Intro 上也保持了更高的多样性。
arXiv cs.AIAI 评分3434 CuratorMAS：通过多智能体编排实现数据集自动化整理
CuratorMAS 是一种通过多智能体协作自动化评估与整理高质量数据集的框架。该框架将复杂整理流程拆解为数据集探索、在线领域知识检索、评估标准推导与计算、数据过滤以及技能演化 5 个可编程执行阶段，形成可并行工作流。实验表明，CuratorMAS 将噪声率降低高达 36.03 个百分点，并使下游模型的 F1 分数提升高达 8.88 个百分点。
arXiv cs.AIAI 评分3434 JIVEAdapter：基于 JIVE 的多任务加性低秩适配器
JIVEAdapter 是一种多任务加性低秩适配器，将权重更新分解为跨任务共享的联合结构与各任务独立的专有结构。该方法通过近似正交惩罚解耦信号并在共享与独立池间自适应分配秩，共享部分训练后可冻结并复用为新任务先验。在 DeBERTaV3-base 上的 GLUE 和 SuperGLUE 评测中，它无需 MoE 模块即可在匹配有效秩下比肩强基线。
arXiv cs.AIAI 评分4242 GameGo：通过锚定真实资产的合成轨迹训练游戏开发智能体
研究团队提出 GameGo 框架，通过将简短游戏需求转化为完整产品需求文档，端到端训练游戏开发代码智能体。该研究构建了含 55,060 条 2D、2.5D 及 3D 开发轨迹的数据集 GameGoData 与 124 个查询的 GameGoBench 基准。训练出的 GameGoCoder 表现比肩前沿模型，全部代码、数据集与模型均将公开。
Microsoft Research精选AI 评分7474 微软发布轻量级智能体强化学习框架 Agent Lightning v1.0
微软亚洲研究院开源 Agent Lightning v1.0，这套约 3,500 行代码的轻量级框架支持直接利用实际部署的智能体环境进行强化学习训练，无需在训练系统内重写逻辑。
推荐理由：该框架通过代理层直接利用真实运行环境开展强化学习训练，为低成本构建和训练部署态智能体提供了轻量可迁移方案。
arXiv cs.LGAI 评分3737 面向智能体强化学习的 MoE 专家选择结构化方法
针对智能体长程任务中标准强化学习导致 MoE 路由失控的问题，研究者提出了一种分层路由控制框架。该框架促使轮次级专家选择与智能体操作对齐，同时正则化 token 级专家选择以维持局部一致性，并引入熵门控机制保障后训练稳定性。评测结果显示，该路由控制框架在所有测试基准上的成功率均实现了超过 10 个百分点的提升。
arXiv cs.LGAI 评分4242 面向时间序列基座模型的尺度不变训练
研究提出面向时间序列基座模型（TSFM）的尺度不变训练方法（ScaleIn），通过直接在缩放目标上计算损失，解决高尺度序列主导训练的尺度污染问题。在 4 种 TSFM 架构预训练中，ScaleIn 使 GIFT-Eval 和 M-competitions 上的 MASE 平均降低 18.8% 和 21.9%。该收益还拓展至监督神经预测任务，现有预测流程通常仅需一行代码改动即可接入。
arXiv cs.LGAI 评分3333 Lock-in EP：面向振荡硬件的原位训练算法
锁相平衡传播（LIEP）训练算法可为振荡网络中每个组件提供局部梯度信息，无需单独的前向与反向传递，实现了模拟振荡硬件的原位训练能力。LIEP 可表示为三因子更新规则，不仅支持从头训练，还能在预训练参数受扰动时恢复性能。目前该方法已在浅层网络上完成验证，有望进一步扩展至深层与大规模网络。
arXiv cs.LGAI 评分3434 BiToK-SD：面向大语言模型自蒸馏的双层 Top-K Token 选择方法
研究人员提出面向大语言模型 on-policy 自蒸馏的 BiToK-SD 方法，通过双层优化自适应学习在哪些 token 位置执行蒸馏。该方法在底层将 Top-K token 选择建模为可微阈值松弛，在上层对选定位置实施知识蒸馏，使选择位置能够随学生策略自适应调整。在数学推理基准测试中，BiToK-SD 仅需轻量额外计算便在所有对比方法中取得最佳平均表现。
arXiv cs.LGAI 评分3636 提示词级差分隐私下的奖励驱动学习
研究人员提出了首个支持提示词级差分隐私的可验证奖励强化学习（RLVR）方法，以防止模型泄露机密训练题目。在 ε=8 隐私预算下使用 LoRA 训练 Qwen2.5-1.5B-Instruct，该方法在 MATH 与 GSM8K 上比私有监督微调高出 2.3 至 3.8 分，保留了非私有 GRPO 85%–90% 的性能增益，并可成功泛化至 CommonsenseQA 任务。
arXiv cs.LGAI 评分3636 DRMoET：分布鲁棒的混合专家（MoE）训练方法
研究团队提出即插即用的 MoE 训练目标 DRMoET，通过优化高损失路由结果并强化潜在的非首选路由路径，解决专家路由失误引发的可靠性问题。在 FLAME-MoE 架构的 10.3B 参数与 67B 训练 token 规模下，DRMoET 将 7 项任务平均分从 0.6625 提升至 0.6767，并在强制错误路由测试中降低 4.3% 的超额损失。相关代码已开源。
arXiv cs.LGAI 评分4141 基于量化充分统计量的精确机器遗忘方法 QSS
研究提出精确遗忘方法 Quantized Sufficient Statistics（QSS），将模型解耦为冻结模式与局部加性统计量，将数据删除转化为精确减法。该方法提供仅移除标签的 QSS-L 与彻底移除输入和标签的 QSS-E 两种保证。在 15 个数据集测试中，QSS-L 在 11 项任务上与 SISA 相差 2 个百分点以内，且期望删除延迟降低 4-483x。
arXiv cs.LGAI 评分4545 从人类科研决策轨迹中学习科学探索
研究团队推出 ResearchTrails 数据集，利用 Git 仓库的提交历史提取涵盖方法、实验与消融改动的结构化科研决策轨迹。该数据集保留了最终论文未体现的中间探索信号，填补了科学语料缺乏过程记录的空白。ResearchTrails 可在测试时检索科研经验作为外部技能，或用于训练模型以提升对新研究决策的泛化能力。
arXiv cs.LGAI 评分2626 非平稳市场中深度对冲的对抗训练
研究提出面向非平稳市场深度对冲的对抗训练框架 WRAP，基于双预算分布鲁棒优化（DRO）应对时间漂移与分布误设。该方法结合 $\phi$-散度轨迹重加权与最优传输（OT）路径扰动构建对抗攻击，将内层分布优化转化为可计算的一阶近似。在 Heston 动态及广义仿射扩散（GAD）实验中，联合对抗训练在非平稳环境下表现出最优增益。
arXiv cs.LGAI 评分3636 Muon 理论上不适用于卷积，但在实证中依然有效
针对 Muon 优化器将 4D 卷积核重塑为矩阵会破坏理论基础的问题，研究团队在卷积算子几何中提出了近似极因子的 Conv-NS 算法。在 CIFAR-10 和 ImageNet 图像分类任务中，理论对齐的 Conv-NS 与基于重塑的 Muon 计算效率与准确率相当，研究推测精确卷积正交化可能过度约束了参数更新。相关代码已在 GitHub 开源。
arXiv cs.LGAI 评分3131 重放必须保留什么？区分可纠正偏差与类别对应关系
针对类别增量学习中的 DER++ 等 Logit 重放方法，新研究发现删除后续类别预测匹配造成的精度损失大多属于可修正的分类器偏差。在 CIFAR-100 测试中，任务级偏移将删除该匹配的损失从 14.9 点降至 1.8 点，而破坏已知类别的得分对应关系则会带来约 4.0 点持久损失。相关代码与数据已开源。