用于概率时间序列预测的分位数引导扩散模型
研究提出 Control-TS 框架,通过在去噪网络中引入残差控制路径,在冻结预训练主干网络的同时利用预测分位数作为分布控制来引导扩散时间序列预测。在 8 个基准测试中,该方法持续提升了主干网络的 CRPS 指标,表现媲美 SOTA 模型,并在同等容量对比中保持优势。研究还引入了条件线性预测评分(CLPS),用于评估生成轨迹的下游预测实用性。
研究提出 Control-TS 框架,通过在去噪网络中引入残差控制路径,在冻结预训练主干网络的同时利用预测分位数作为分布控制来引导扩散时间序列预测。在 8 个基准测试中,该方法持续提升了主干网络的 CRPS 指标,表现媲美 SOTA 模型,并在同等容量对比中保持优势。研究还引入了条件线性预测评分(CLPS),用于评估生成轨迹的下游预测实用性。
研究者提出扩散语言模型策略内残差学习框架 ORL,通过在去噪轨迹中即时学习并引入熵收缩目标,结合异步残差捕获与块扩散注意力实现软硬件协同优化。在由 Qwen3-4B 转换的 4B 模型上,ORL 使每次前向传播生成 token 数提升高达 6.2x,配合 dlmrt 引擎端到端吞吐提升约 6.9x。
研究人员提出离线校准方法 RoLaQ,通过联合旋转与范围校准优化多头潜在注意力(MLA)架构下的 2-bit KV cache 压缩。在 3 个 MLA 模型和 6 项评测基准上,RoLaQ 在对比的 2-bit 方法中均取得了最高平均精度。
研究人员提出一种将持续同调融入 DMAE 主干的拓扑感知表征学习框架,通过持续性引导掩码策略和辅助持续同调解码器,显式编码三周期极小曲面(TPMS)超材料的全局结构连通性。该方法在两个互补数据集上将结构族分类性能提升最高 3.9%,无监督属性聚类性能分别提升最高 26.7% 和 51.5%,同时在回归任务中保持 R²=0.993。
研究人员通过因果可解释性分析流水线,探究了代码大模型在未指定语言时偏好编写 Python 的机制。测试覆盖 10 个开源代码模型和 55 种设置,发现指令微调后该偏好平均高出基础版 12%,且语法偏好是否呈现“局域化”高度取决于组件预算与探测提示词设计。实验显示将组件预算从 12 提升至 40,显著电路设置从 1/15 增至 6/15,表明相关可解释性结论极大受制于分析时的参数设定。
研究人员提出大语言模型架构 TurboMamba,结合全局 Mamba-3 与小型 Transformer 块内预测以提升性能。在 FineWeb-Edu 评测中,TurboMamba 的平均测试 NLL 较 Mamba-3 降低 9.4%,端到端训练吞吐量达其 2.60x。在 32 批次推理测试下,其相较 Mamba-3 取得 3.12x 加速,并显著超越 Jamba 与 Zamba 变体。
研究表明稀疏自编码器(SAE)的重构等功能表现在较小数据量下即可收敛,但特征的一对一可复现性仍随数据增加而持续提升。在 Gemma-2-2B BatchTopK 上的测试显示,严格匹配特征的比例从 5M tokens 时的 2% 增至 50M tokens 时的 29%。此外,随机采样更利于特征重构,而多样性采样常能改善 AutoInterp。
该研究探讨了谱特征与标量学习曲线对零均值二次网络的表征能力。研究人员构造出具有高斯边缘分布但四阶矩算子正交缠绕的输入密度,证明对应谱测度一致时,特定教师模型的分解损失曲线仍因非对易性产生差异,且带噪损失查询区分需要 $O(\varepsilon^{-2r})$ 次观测。相反,在高斯输入且教师谱有理独立时,单条精确标量损失曲线足以确定初始预测器,并能恢复未知教师谱及有效维度。
研究人员提出了基于单层 LSTM 的全球径流预测模型 KNOU-Flood,通过引入 424 天输入窗口、提前期感知输入、GraphCast 气象预报源及基于 fair CRPS 训练的隐噪声集成来量化不确定性。在 2099 个测试流域评估中,其在提前 1 天和 10 天时的中位数 KGE' 分别达 0.65 和 0.48,全流程显著优于基线方案。代码、权重及站点结果均已开源。
研究表明基于可验证奖励强化学习(RLVR)报告的跨领域得分提升很大程度源于答案格式而非解题能力。在 4 组 7B SimpleRL 模型上,公开答案抽取器报告的域外多选题涨幅有 82% 在能兼顾正文答案的新抽取器下消失,本质是强化学习使模型学会把答案放进 `\boxed{}` 框内。
推荐理由:论文揭示了强化学习评测中答案抽取器造成的格式假象,为检验模型真实跨领域泛化能力提供了直接的复核方法。
研究人员提出一种词袋特征引出流程,通过操控与道义伦理相关的 SAE 特征,成功将 Gemma-3-27B-IT 的合规差距降低至不显著水平,但测试配置在 LLaMA-3-8B-Instruct 上未见效。该研究首次证明机械激活层面的干预能缓解对齐伪装中的合规差距。此外,草稿本分析还发现了模型故意削弱有害功能却伪装顺从的“欺骗性去害化”行为。
研究提出将注意力机制的指数核展开为截断泰勒级数,将其因式分解并压缩为固定 $n$ 个循环状态,实现了独立于上下文长度 $N$ 的线性时间 Transformer。
研究人员提出 FlowBudget,一种用于 Flow Matching 模型的免训练采样复杂度估计方法。该方法通过对学到动态进行免模拟插值探测,将主导的单步离散化误差归一化,并结合求解器阶数将数值容差映射为步数预算(NFE),涵盖 ODE 的 Euler、Heun 以及 SDE 的 Euler-Maruyama 求解器。
Meta开源多模态模型Muse Spark Open,总参数816B、激活42B,支持最高100万token上下文。微软完成2.8T自研MoE基础模型MAI-Base-2预训练,激活参数80B并采用原生VLM架构。Black Forest Labs与阶跃星辰分别开放FLUX 3 Image Klein和Step 5 Preview模型权重。
Sullivan & Cromwell 与 OpenAI 合作开发了 Agreement Analyzer,这是一款用于识别协议草案中潜在问题的 AI 工具。
Grupo Boticário 运营着一个专有 AI 智能体平台,能够自主解决分销商高达 80% 的运营请求。该举措促使销售团队摆脱常规事务,转向承担顾问角色。
Localiza 采用 ChatGPT Enterprise、OpenAI API、Codex 及 60 多个专用 AI 智能体来重组工作流程。该公司正借助这些技术与工具,构建 AI 原生的出行体验。
OpenAI 推出 Rosalind Academic Plan,为符合条件的学术实验室提供对 GPT-Rosalind 及相关工具的赞助访问支持。该计划旨在推动生命科学领域的研究与探索。
研究人员提出了一种用于将智能体 AI 集成至企业软件的技术中立参考架构,将各类架构能力归纳为 10 项核心职责,并定义了边界不变式、跨职责交互与变异点。该架构在现存面向服务的 ESG 组合分析与交易前合规系统中落地验证,实现了其中 7 项职责,并成功映射了一套独立发布的智能体架构。相关部署与记录结果已作为复现包提供。
研究人员推出生存沙盒基准 ASIWorld,结合持久世界状态、角色范围观测和可编程异步接口,用于评测自主 AI 智能体的持续目标执行能力。在对 9 种智能体配置的探索性研究中,8 种完成了生产任务,6 种完成了生产与探索双重任务。评测不仅关注任务成功率,还综合分析了发展成就、生存成本及准备、战斗与恢复等执行行为。
研究人员推出多年度网络流量时间序列数据集 CESNET-TimeSeries26,包含来自 CESNET3 网络的 995 天连续流量时间序列,以及约 4.5 年的单一子网数据。该数据集覆盖 278,466 个 IP 地址、285 家机构与 566 个机构子网,提供 3 种聚合粒度。实验表明年度季节性是主要周期成分,且预测模型只有在训练窗口至少覆盖一个完整年度周期时才能有效利用该特征。
研究人员提出了结合动态定价与路径规划的框架 GREAT-ESDD,利用图边注意力网络(GREAT)求解不同规模的有容量限制车辆路径问题(CVRP),并在客户下单后直接提供更新路径。
研究者提出了反思型语言 AI 智能体在保留原生控制器下实现次线性反事实遗憾的充分条件,解决局部反思在资源约束下缺乏长期性能保证的问题。该研究建立了资源敏感的转移机制以约束全状态部署偏差,并通过局部生成可靠性推导出累积生成机会界。全部 13 个理论结果的条件证明链均已在 Lean 中完成形式化验证。
研究团队推出多智能体分析程序合成框架 LYNX,通过规划、生成、验证和精炼的三智能体闭环工作流,将 LLM 数据分析转化为模式与知识约束的求解任务。
ProgAgent 提出完整的编程式工具调用(PTC)训练技术栈,通过运行期变量存储中间结果以避免上下文膨胀与编排崩溃。该方案仅用 4 种环境规模下的 215 个合成任务完成两阶段训练,在 4 个基准测试中均优于同规模基线。在 LOCA-bench 的 64k-token 环境状态下,ProgAgent-14B 取得 30.7% 通过率,而参评基线得分为零。
针对摄像头优先 AI 智能体面临的短暂目标交互(ETI)时效难题,研究团队提出了感知截止时间契约,将硬性记忆截止时间与软性推理截止时间分离。该双截止时间架构包含常驻非语义快速路径、主动记忆机制以及由多模态模型和工具构成的延迟深思层。实测显示前沿模型短回答耗时达 1.2-9.3 s,该方案确保视觉证据在单路径推理延迟导致目标消失前被持久化保存。
研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。
研究人员提出 GateSight 方法,利用混合架构大语言模型中 Gated DeltaNet 层的写入门控等信号,无需注意力分数即可在预填充后预测并物理释放低效的 KV cache。
研究者提出了结合等信息重构控制、固定效用比较与预设下游护栏的评估框架,用于评估模块化金融强化学习中的信用分配。在归因引导的模块化交易架构测试中,残差分配被普通损失预算控制完全复现,直接缺口监督虽改善组件预测却未能保留解码结果,而组件级 critic 监督相比标量监督恶化了风险条件确定性等价和回撤。该结果指出了冗余归因信号等三类评估失效问题。
研究人员提出针对仅权重矢量量化的 SAGE 方法,通过能量分层分组保护敏感通道,并利用自适应比特拆分平衡方向码本容量与半径精度。在 2-bit 量化设置下,SAGE 在知识、数学、代码生成等基准测试中取得 SOTA 表现,在 Qwen3-30B-A3B 上保留了 BF16 模型 95.3% 的平均基准得分。
研究人员提出工具增强策略智能体 TASA,通过总结并利用优化轨迹提升组合问题的求解质量。TASA 将优化过程分解为可追踪的策略选择,并结合 LLM 构建的问题专属工具与自适应工具规划器高效更新解。该方法确立了持续探索下的局部收敛性,并在共享评估预算下验证了优异的解质量与搜索可追踪性。
研究人员提出多时间尺度分层世界-动作模型 MHWA,通过跨步高层上下文通道降低更新频率以抑制复合漂移,并结合上下文感知路由动态重构低层专家混合架构。在 10% 离线数据的 14 款 Atari 游戏子集上,77M 参数的 MHWA 取得 0.884 的 IQM 人类归一化得分,大幅超越 JOWA-70M 基线(0.529)。
研究人员提出用于测试期发现(TTD)的属性语义扎根框架 SEGA,解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间,测试时引入关系语义扎根(RSG)对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念,提升了 TTD 基线性能。
研究团队提出 TasteBench 基准与控制协议,在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露(得分 0.912)及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差,并发布了参考评测套件与随机化工具。
研究人员推出评测基准 DSABench,联合评估多数据库 AI 智能体在数据源发现、跨源协同和工作流执行上的能力。基准包含 815 个经人工审核的任务,其中 618 个需要多个数据库协同,并在 RouteEnv 环境下进行无特权测试。
研究团队提出多模态扩散框架 PIDiff,通过耦合离散序列与连续 SE(3) 结构流形的扩散,联合生成靶标条件的蛋白质序列与结构。该框架采用融合几何感知不变点注意力与全局序列自注意力的 PIFormer 架构,并在 PIBench 数据集上预训练。在微型结合蛋白和抗体设计任务中,其序列设计成功率、结构结合能及协同可设计性指标均优于基线方法。
AcrossVAM2.0 提出了一种针对视频扩散模型的冲突感知点监督微调方法,在 5.01B 参数的文生视频 Diffusion Transformer 上结合了置信度加权追踪头、零初始化残差反馈与非对称 PCGrad 梯度投影。
研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。
研究者提出 RASSG 方法,用于在流式语音交互中联合控制工具的启动与取消,以应对用户自我修正导致的失效执行。RASSG 在连续 3 次语音识别结果产生相同非空参数时启动工具,并在产生不可逆影响前的最后可行时机,结合参数失效风险与执行成本决定是否取消。
LatentMoE 研究揭示了专家几何结构与分层容量分配的设计规律,通过平衡输入维度与中间宽度构建接近正方形的专家,可最大化局部雅可比秩上限。研究进一步利用层级内在维度(ID)指导跨深度容量分配,在保持每层参数量、激活 FLOPs 和通信量恒定下协同调整专家数量与形状。相比层均质基线,该方法取得了更低的验证损失与更强的下游表现。