OrderFlowDiT:用于限价单供应概率预测的最优传输正则化 Diffusion Transformer
研究人员提出条件 Diffusion Transformer 模型 OrderFlowDiT,结合非平衡最优传输(UOT)辅助损失,用于预测未归一化的买卖盘价格挂单量场。在针对 30 只美股的 1950 个验证条件下,加入 UOT 相比仅使用均方误差训练使全场传输成本降低 45.8%,传输能量得分降低 26.1%,且两项指标在所有股票上均取得改善。
研究人员提出条件 Diffusion Transformer 模型 OrderFlowDiT,结合非平衡最优传输(UOT)辅助损失,用于预测未归一化的买卖盘价格挂单量场。在针对 30 只美股的 1950 个验证条件下,加入 UOT 相比仅使用均方误差训练使全场传输成本降低 45.8%,传输能量得分降低 26.1%,且两项指标在所有股票上均取得改善。
研究证明以邻接矩阵多项式为滤波器的图神经网络在长程伊辛模型(LRIM)基准上存在无法通过增加多项式阶数消除的误差下限,因其在目标变化的谱等值集上取常数。具有约 50 个系数的跨步滤波器(strided filter)拟合训练标签后,测试误差比已发表最优网络低 52 倍。空洞卷积网络在 256 节点处超越已发表最优结果并在 1024 节点处持平,而标准模式的傅里叶神经算子随着网格增大差距进一步拉大。
研究人员提出 Normalizing Flow Maps(NFM),这是一种泛化了规范化流(Normalizing Flows)和流映射的精确可逆前推映射,兼顾少步生成与高效精确似然评估。
研究人员针对个性化 LLM 路由提出一种受限上下文 Bandit 算法,旨在未知用户偏好并在部署期间通过反馈进行在线学习的同时,最小化累积推理成本并保证响应质量。在逻辑偏好模型与严格可行性条件下,该算法实现了相对于最优平稳随机上下文预言机的次线性期望成本遗憾,并对累积满意度提供高概率保障。该框架还可扩展至其他具有可靠性要求的在线模型选择问题。
研究人员提出智能体强化学习框架 AlphaBet,训练单一 LLM 策略在事件解决前的多个日期自主搜索证据、推理并报告概率。基于 GLM-4.5-Air 测试,AlphaBet 将 Forecast-Dojo 的 Brier score 从 0.731 降至 0.626,FutureX 则从 0.612 降至 0.528。
研究人员提出了编辑发现优化(EDO)框架,用于在有限预算下筛选需交由高阶编辑器修改或确认的人机交互响应。基于该框架开发的在线算法 EDIT 结合自适应编辑评分、确认控制阈值和成本感知选择规则,在每轮均满足编辑器成本预算。在四个推理和事实问答基准测试中,EDIT 在编辑器成本、第一类与第二类错误之间的权衡表现均优于直接基于 LLM 的批次选择。
研究发现大语言模型在预训练与后续阶段更换优化器几乎不存在显著的失配性能惩罚,后训练优化器的选择很大程度上可独立于预训练阶段。实验通过从头预训练 1.2B Llama-3 并测试 AdamW 与 Muon 切换,发现 SFT 中 Muon 更新比例越高下游性能普遍越好,且在高达 14B 的 Llama 和千问(Qwen)开源模型 SFT 中,Muon 相比 AdamW 仍保持竞争力。
研究提出用预警名单一致性来评估临床预测中的插补策略,通过 top-k% 预警集合的 Jaccard 相似度直接衡量不同管线识别高危患者的重合度。在 PhysioNet/CinC 2019 数据集的 40,336 名患者测试中,22 对插补方法的患者级 AUROC 无显著差异,但预警名单 Jaccard 重叠度仅为 0.518 至 0.750。
研究人员提出图卷积循环网络 GCRN+,通过仅占 15.6% 的固定传感器和历史探测车数据监督,联合实现全网高速路段的即时车速推算与下一小时预测。在达拉斯-沃斯堡区域 4,127 个路段的测试中,该模型在无传感器路段上的当前小时与下一小时 RMSE 分别达 2.21 mph 和 2.39 mph,优于历史均值与现有基线。
研究人员分析了分布式训练中外层 Nesterov 动量、本地步数及多节点平均对训练动态和稳定性的控制机制。针对随机二次问题,论文推导出了任意维度下的精确均方稳定性判据,揭示内部 batch size 决定了增加本地步数最终会稳定还是破坏外层迭代。研究还发现维持稳定性所需的节点数可能随本地步数呈指数增长,并提出可通过共享 mini-batch 扰动在神经网络检查点处直接探测均方动态。
研究者提出面向二值与三值神经网络的优化器 $\Sigma\Delta$-Sampler,通过在一阶 $\Sigma\Delta$ 噪声整形环路中嵌入随机采样与退火步骤,实现离散权重在崎岖损失地形中的平滑下降。
研究人员提出了脆弱性感知(FA)框架,通过量化单次出现(singletons)统计的敏感性,自适应正则化传统的缺失质量与未见物种估计器。该框架构建了严格凹且具唯一闭式解的熵-KL散度优化目标,无需泊松化或渐近近似,为Good-Turing与Good-Toulmin等经典估计器提供轻量修正。在涵盖合成分布与真实语言语料库的360种实验配置中,该方法显著提升了小样本及长尾场景下的估计精度与稳定性。
最新研究评测了前沿大语言模型预测机器学习实验结果的能力,发现模型预测水平显著优于随机猜测但仍远不够准确。研究基于 MLE-bench 构建了包含 288 个实验构想的数据集并测试了五款前沿模型,表现最好的 Claude Opus 5.5 解释方差仅为 R²=0.49,且所有模型均系统性低估了变动幅度。团队已公开该数据集以支持递归自我改进等相关研究。
研究人员提出一种基于逐层探测熵的 GNN 事后诊断方法,通过冻结模型并在各层拟合独立线性探测器,结合准确率与归一化预测熵追踪信息流变化。该指标能区分有益、中性与有害平滑,克服了现有几何指标的局限。熵退化的发生节点还能有效区分异质图下的结构不匹配与过深引起的过度平滑两大失效模式,为自适应深度和早退机制研究提供支持。
研究表明神经网络在训练交叉熵损失保持平坦甚至上升时仍能继续学习。在模加法任务中,采用特定更新与权重衰减的 ReLU 网络能在保持 100% 训练准确率的同时演化隐层特征,使测试准确率从 0 提升至 90% 以上。单块与双块 Transformer 实验同样证实了这一现象,证明训练损失进入平台期并不意味着学习停滞。
研究人员针对车联网联邦学习中错误贡献仅表现为滞后路测症状的问题,提出聚合时模型消除方法 ATONE。该方法将日常驾驶误差与报告症状投影至全局增量子空间,通过单次反向计算完成贡献评分并实施两层校正。在 3 个驾驶数据集上,ATONE 在 9 个设置中的 8 个将残留危害较最强基线降低 43% 至 61%,效用与完全重新训练的差距保持在 0.36 点以内。
新研究提出一种面向自发嘈杂语音的抗噪强制对齐方法,结合上采样 WavLM 特征、显式发音事件单元与判别式投影改进 GMM-HMM 架构。该流程基于 149h 音频自引导训练且无需人工边界标注,在 Buckeye 和 FluencyBank 数据集上的词边界 MAE 分别达到 20.6ms 和 76.9ms,比最强基准低 19% 和 17%。
研究人员针对高斯过程分布式端口哈密顿系统(GP-dPHS)提出一种结构感知核设计,通过张量积协方差解耦状态与空间依赖,并剔除无关状态坐标。该模块化设计可在无需解析描述底层分布的情况下融入空间异质性先验。在包含周期性、平滑变化和半分段刚度分布的非线性弦数值实验中,结构解耦持续提升了重建精度,匹配特征的空间核进一步显著提升了力场与轨迹重建表现。
研究者提出了名为 TailCert 的离线策略分位数认证方法,可利用上下文老虎机日志数据为同一样本中选出的策略提供上尾分位数置信上界。该方法构建了目标累积分布函数(CDF)的 PAC-Bayes Bernstein 置信下包络,并可用于在认证尾部约束下进行策略选择。理论证明所需样本量随重叠因子 W 线性增长,并揭示了仅使用加权 CDF 指标相比完整日志的样本复杂度差异。
研究人员提出了一个几何框架,通过基于最坏情况噪声计算的平均核大小来量化输入与目标之间的模糊性,为有限构建数据集提供独立于模型类别的经验误差和准确率确定性非渐进界限。该框架适用于伪度量输入空间和度量目标空间的回归与分类任务,揭示了经验误差下限、准确率与稳定性权衡以及严格正的分布-训练误差间隙。实验在表格回归、图像回归和分类数据集上均验证了非平凡界限的有效性。
研究者提出面向扩散语言模型(DLM)的投机解码方法 SPOT,利用仅 0.62M 参数的模型预测位置提交顺序并构建候选树以实现加速。配合耦合噪声匹配验证机制,SPOT 在任意温度下支持树状投机,使目标模型计算 pass 减少最高 6.8x,吞吐量提升高达 3.2x。实验显示其在 T=0 与 T=1 下均优于现有基准,且起草模型可成功迁移至 6 种不同 DLM。
研究者提出 WebMix 混合超网络框架,通过组合预训练的低秩适配器(LoRA)让 Web AI 智能体适应未见过的网页界面,无需在目标界面上进行梯度更新。该方案通过侦察智能体探索目标界面生成手册,并由轻量路由预测混合系数完成组合。
研究者提出了名为 Kinematic Interpolants(KI)的新框架,该框架扩展了随机插值(stochastic interpolants)方法,用于在包含位置与速度测量的相空间多快照中推断非线性动力学。实验表明,在单细胞 RNA、涡旋动力学等多个科学数据集上,KI 相比现有基线实现了更优的动力学重建效果,且仅需一小部分训练时间。
研究在 3 个多轮智能体基准与 3 种不同规模和推理模式的学生模型上评估了 16 种特权信息(PI)配置,发现信息密集轨迹和更强生成源能带来更大增益,而思考模型获益相对不稳定。
研究人员提出生成式价值分类器(Generative Value Classifier),改变传统直接预测状态-动作对回报的判别式方法,转而反向建模各可能回报下动作的出现概率。该方法将 Critic 的生成组件设计为以回报为条件的策略,通过每个动作共同监督 Critic 训练,并用平方误差损失锚定 Q-value。离线与在线 RL 评测表明,该方法表现优于主流判别式方法及分布式强化学习方法。
最新研究指出,即使模型仅在自身安全生成内容和无害线索上进行递归自蒸馏,面对多样化有害查询时也会变得越来越不安全,研究者将该现象定义为渐进式失齐(Progressive Misalignment)。
推荐理由:该研究指出完全良性的递归自蒸馏也能引发模型渐进式失齐,为完全依赖自身数据迭代的训练方案提供了安全警示。
研究人员提出 Lean4AgenticRL 框架,将多级过程奖励整合至 Lean4 形式化机制中,配合工作流阶段归一化的 GRPO 算法提升智能体强化学习效果。
SAGA 方法利用稀疏自编码器(SAE)构建局部低秩几何约束,有效缓解持续学习中的灾难性遗忘。该方法结合重放样本与编码器 Jacobian 惩罚关键表征漂移,后续任务训练无需保留 SAE。在预训练 ViT-B/16 上,其在 CIFAR-100、CUB-200 和 ImageNet-R 较最强基线准确率分别提升 12.15、4.79 和 3.22 个百分点。
新研究指出,评估大语言模型微调权重更新的秩度量必须引入随机噪声与无对齐内容的对照基准。在覆盖最高 8B 参数的 13 对开源模型实验中,权重更新均呈现少数强方向叠加长尾分布的特征,且指令微调与代码、维基百科乃至乱序文本的表现高度相似,并非对齐特有。研究还证实同等大小的随机更新同样几乎不改变权重有效秩却会破坏模型,反驳了后训练仅为表层修改的推论。
研究者提出了用于跨域糖尿病视网膜病变分级的反事实测试时自适应框架 CF-NODE。该框架完全冻结模型且无需模型更新或目标域信息,通过对内部空间节点进行受控干预并利用预测响应的稳定性,对单张图像独立执行有界校准。在 5 个外部数据集的评估中,CF-NODE 全面优于 TENT、EATA、SAR 和 T3A,在每个目标域上均提升了 AUC,并取得了最高的平均 AUC 和 macro-F1。
研究人员提出一种结合条件生成对抗网络与蒙特卡洛 Dropout 不确定性量化的数据增强框架,用于航空航天结构的时序与频谱信号合成。该框架在谢菲尔德大学的 BAE Systems Hawk T1A 飞机全尺寸基准数据集上完成验证,涵盖加速度、光纤布拉格光栅应变及非线性动态响应测量。结果表明模型能准确捕捉主导结构动力学特征并输出不确定性估计,可作为数字孪生组件辅助监督损伤分类决策。
研究人员提出 Trace 框架,通过在 Transformer 残差层引入矢量量化并预计算键值表,使边缘设备交换激活索引后可直接查表恢复 KV 矩阵并重叠通信与计算。
研究人员提出面向运输耦合调度的下界引导学习方法 BOLT,通过松弛链条、机器容量和车队容量构建下界,并将单步下界变化作为奖励引导策略学习。在 3 辆车 80 模块的零样本批次测试中,BOLT 的平均完工时间比最佳调度规则组合低 13.0%,且比 1 小时求解上限的约束规划求解器低 4.2%。该方法单核单事件决策仅需 2.3-5.9 ms,能在数秒内完成扰动重调度。
研究者提出了用于多元时间序列预测的 CGDT-CESN 网络,采用模块化储备池架构,让每个集群专门负责序列中的单一变量。该模型通过变量间的实测相关性构建并训练集群间连接权重,在不牺牲计算效率的前提下捕捉随时间变化的跨变量依赖。在 Twitter 信息级联演化与太阳风预测两个数据集上的评估显示,CGDT-CESN 预测表现优于传统 ESN,且在多个预测跨度及小数据量下均保持性能优势。
研究发现语言模型在经历无复述持续微调发生部分遗忘后,重新学习原事实绑定的速度显著快于对照组。在 Qwen2.5-1.5B 上的实验显示,预先学习能使恢复该事实所需的优化器更新减少约 18%,且该重学习优势在排除实体熟悉度等干扰后依然成立。这表明当前仅凭输出准确率的评估方式低估了先前学习经验对模型的持久影响。
研究人员为离散扩散模型设计了结合吸收与均匀混合核的区域非均匀前向动力学,解决了传统模型盲目信任上下文并导致错误传播的问题。在 170M 参数掩码扩散模型上仅需 8,000 步微调,在 6 GB 笔记本 GPU 上耗时不到 5 小时。
研究表明将 LLM 作为工程模拟器校准智能体具有显著的前期语义优势,物理提示的首个提议在 25 次试验中有 23 次优化了初始设计,运行 5 次后的中位数校准误差比无物理信息的对照组低 21.9 倍。
研究人员提出基于版本控制的联邦技能演化框架 FedSkillGit,通过提交补丁(commits)替代全量技能文档上传,以保护大语言模型智能体的私有数据。客户端提交经过双阶段隐私过滤的规则补丁与本地经验,服务端去重合并后生成候选技能,经客户端验证集评分提升后发布。在 3 个数据集与 3 个语言模型族上的实验显示,其性能超越 SOTA 基准最高达 22%。
研究人员提出神经符号框架 ARGUS,通过符号操作维护动态日程栈来跟踪用户目标状态,将状态跟踪与自然语言生成严格解耦以保证交互合规。为降低部署成本,该方案采用评估器引导的 SFT 与带密集单步奖励的在线 RL 将模型蒸馏至更紧凑尺寸。在 $\tau^3$-Bench 与 MultiWOZ 上的评测验证了其优势,代码与数据即将开源。
研究人员在 4 个公开队列(共 4,308 名受试者)上对比了 6 种量子机器学习模型族与经典模型的表现,发现大多数量子模型性能与经典模型相当,但无一能持续超越。