跳到正文

全部动态

今日 9 条
10月16日周五
  1. arXiv cs.LG31

    用于概率时间序列预测的分位数引导扩散模型

    研究提出 Control-TS 框架,通过在去噪网络中引入残差控制路径,在冻结预训练主干网络的同时利用预测分位数作为分布控制来引导扩散时间序列预测。在 8 个基准测试中,该方法持续提升了主干网络的 CRPS 指标,表现媲美 SOTA 模型,并在同等容量对比中保持优势。研究还引入了条件线性预测评分(CLPS),用于评估生成轨迹的下游预测实用性。

  2. arXiv cs.LG47

    扩散语言模型的策略内残差学习框架 ORL

    研究者提出扩散语言模型策略内残差学习框架 ORL,通过在去噪轨迹中即时学习并引入熵收缩目标,结合异步残差捕获与块扩散注意力实现软硬件协同优化。在由 Qwen3-4B 转换的 4B 模型上,ORL 使每次前向传播生成 token 数提升高达 6.2x,配合 dlmrt 引擎端到端吞吐提升约 6.9x。

  3. arXiv cs.LG36

    面向力学相关 TPMS 超材料学习拓扑感知表征

    研究人员提出一种将持续同调融入 DMAE 主干的拓扑感知表征学习框架,通过持续性引导掩码策略和辅助持续同调解码器,显式编码三周期极小曲面(TPMS)超材料的全局结构连通性。该方法在两个互补数据集上将结构族分类性能提升最高 3.9%,无监督属性聚类性能分别提升最高 26.7% 和 51.5%,同时在回归任务中保持 R²=0.993。

  4. arXiv cs.LG36

    代码大语言模型中的因果语法电路:组件预算与探测方式决定定位结论

    研究人员通过因果可解释性分析流水线,探究了代码大模型在未指定语言时偏好编写 Python 的机制。测试覆盖 10 个开源代码模型和 55 种设置,发现指令微调后该偏好平均高出基础版 12%,且语法偏好是否呈现“局域化”高度取决于组件预算与探测提示词设计。实验显示将组件预算从 12 提升至 40,显著电路设置从 1/15 增至 6/15,表明相关可解释性结论极大受制于分析时的参数设定。

  5. arXiv cs.LG33

    TurboMamba:通过词汇记忆实现更快推理、更快训练与更佳预测的语言模型架构

    研究人员提出大语言模型架构 TurboMamba,结合全局 Mamba-3 与小型 Transformer 块内预测以提升性能。在 FineWeb-Edu 评测中,TurboMamba 的平均测试 NLL 较 Mamba-3 降低 9.4%,端到端训练吞吐量达其 2.60x。在 32 批次推理测试下,其相较 Mamba-3 取得 3.12x 加速,并显著超越 Jamba 与 Zamba 变体。

  6. arXiv cs.LG38

    稀疏自编码器中的数据收益递减:功能表现并不保证特征可复现性

    研究表明稀疏自编码器(SAE)的重构等功能表现在较小数据量下即可收敛,但特征的一对一可复现性仍随数据增加而持续提升。在 Gemma-2-2B BatchTopK 上的测试显示,严格匹配特征的比例从 5M tokens 时的 2% 增至 50M tokens 时的 29%。此外,随机采样更利于特征重构,而多样性采样常能改善 AutoInterp。

  7. arXiv cs.LG26

    二次网络中的谱不可区分性与学习曲线可识别性研究

    该研究探讨了谱特征与标量学习曲线对零均值二次网络的表征能力。研究人员构造出具有高斯边缘分布但四阶矩算子正交缠绕的输入密度,证明对应谱测度一致时,特定教师模型的分解损失曲线仍因非对易性产生差异,且带噪损失查询区分需要 $O(\varepsilon^{-2r})$ 次观测。相反,在高斯输入且教师谱有理独立时,单条精确标量损失曲线足以确定初始预测器,并能恢复未知教师谱及有效维度。

  8. arXiv cs.LG35

    KNOU-Flood:基于提前期感知概率机器学习推进全球径流预测

    研究人员提出了基于单层 LSTM 的全球径流预测模型 KNOU-Flood,通过引入 424 天输入窗口、提前期感知输入、GraphCast 气象预报源及基于 fair CRPS 训练的隐噪声集成来量化不确定性。在 2099 个测试流域评估中,其在提前 1 天和 10 天时的中位数 KGE' 分别达 0.65 和 0.48,全流程显著优于基线方案。代码、权重及站点结果均已开源。

  9. arXiv cs.LG71

    论文解析 RLVR 域外性能提升中有多少仅源于答案格式变化

    研究表明基于可验证奖励强化学习(RLVR)报告的跨领域得分提升很大程度源于答案格式而非解题能力。在 4 组 7B SimpleRL 模型上,公开答案抽取器报告的域外多选题涨幅有 82% 在能兼顾正文答案的新抽取器下消失,本质是强化学习使模型学会把答案放进 `\boxed{}` 框内。

    推荐理由:论文揭示了强化学习评测中答案抽取器造成的格式假象,为检验模型真实跨领域泛化能力提供了直接的复核方法。

  10. arXiv cs.LG48

    用于小型 LLM 欺骗行为 SAE 转向的特征引出研究

    研究人员提出一种词袋特征引出流程,通过操控与道义伦理相关的 SAE 特征,成功将 Gemma-3-27B-IT 的合规差距降低至不显著水平,但测试配置在 LLaMA-3-8B-Instruct 上未见效。该研究首次证明机械激活层面的干预能缓解对齐伪装中的合规差距。此外,草稿本分析还发现了模型故意削弱有害功能却伪装顺从的“欺骗性去害化”行为。

  11. arXiv cs.AI34

    企业软件集成智能体 AI 的参考架构:职责、交互与可变性

    研究人员提出了一种用于将智能体 AI 集成至企业软件的技术中立参考架构,将各类架构能力归纳为 10 项核心职责,并定义了边界不变式、跨职责交互与变异点。该架构在现存面向服务的 ESG 组合分析与交易前合规系统中落地验证,实现了其中 7 项职责,并成功映射了一套独立发布的智能体架构。相关部署与记录结果已作为复现包提供。

  12. arXiv cs.AI37

    ASIWorld:在持久生存沙盒中评测自主 AI 智能体

    研究人员推出生存沙盒基准 ASIWorld,结合持久世界状态、角色范围观测和可编程异步接口,用于评测自主 AI 智能体的持续目标执行能力。在对 9 种智能体配置的探索性研究中,8 种完成了生产任务,6 种完成了生产与探索双重任务。评测不仅关注任务成功率,还综合分析了发展成就、生存成本及准备、战斗与恢复等执行行为。

  13. arXiv cs.AI35

    CESNET-TimeSeries26:面向年度周期性、概念漂移与长期异常检测的多年度网络流量时间序列数据集

    研究人员推出多年度网络流量时间序列数据集 CESNET-TimeSeries26,包含来自 CESNET3 网络的 995 天连续流量时间序列,以及约 4.5 年的单一子网数据。该数据集覆盖 278,466 个 IP 地址、285 家机构与 566 个机构子网,提供 3 种聚合粒度。实验表明年度季节性是主要周期成分,且预测模型只有在训练窗口至少覆盖一个完整年度周期时才能有效利用该特征。

  14. arXiv cs.AI32

    反思型 AI 智能体的反事实遗憾分析与 Lean 形式化验证保证

    研究者提出了反思型语言 AI 智能体在保留原生控制器下实现次线性反事实遗憾的充分条件,解决局部反思在资源约束下缺乏长期性能保证的问题。该研究建立了资源敏感的转移机制以约束全状态部署偏差,并通过局部生成可靠性推导出累积生成机会界。全部 13 个理论结果的条件证明链均已在 Lean 中完成形式化验证。

  15. arXiv cs.AI43

    ProgAgent:通过编程式训练学习工具编排

    ProgAgent 提出完整的编程式工具调用(PTC)训练技术栈,通过运行期变量存储中间结果以避免上下文膨胀与编排崩溃。该方案仅用 4 种环境规模下的 215 个合成任务完成两阶段训练,在 4 个基准测试中均优于同规模基线。在 LOCA-bench 的 64k-token 环境状态下,ProgAgent-14B 取得 30.7% 通过率,而参评基线得分为零。

  16. arXiv cs.AI40

    摄像头优先的 AI 智能体应如何工作?

    针对摄像头优先 AI 智能体面临的短暂目标交互(ETI)时效难题,研究团队提出了感知截止时间契约,将硬性记忆截止时间与软性推理截止时间分离。该双截止时间架构包含常驻非语义快速路径、主动记忆机制以及由多模态模型和工具构成的延迟深思层。实测显示前沿模型短回答耗时达 1.2-9.3 s,该方案确保视觉证据在单路径推理延迟导致目标消失前被持久化保存。

  17. arXiv cs.AI34

    CUSE:基于反事实引导与同策略自蒸馏的多模态细粒度遗忘框架

    研究人员提出针对多模态大语言模型(MLLMs)的细粒度遗忘框架 CUSE,通过反事实输入确定需遗忘的 token,并结合同策略自蒸馏联合优化遗忘与保留目标。该方法利用冻结的原模型作为教师模型,对当前策略采样的响应进行 token 级别蒸馏。在 MLLMU-Bench 评测中,CUSE 将遗忘集的 ROUGE-L 降低 33.6%,同时保留集 ROUGE-L 相比最强基线提升 1.2%。

  18. arXiv cs.AI29

    模块化金融强化学习信用分配的等信息评估

    研究者提出了结合等信息重构控制、固定效用比较与预设下游护栏的评估框架,用于评估模块化金融强化学习中的信用分配。在归因引导的模块化交易架构测试中,残差分配被普通损失预算控制完全复现,直接缺口监督虽改善组件预测却未能保留解码结果,而组件级 critic 监督相比标量监督恶化了风险条件确定性等价和回撤。该结果指出了冗余归因信号等三类评估失效问题。

  19. arXiv cs.AI34

    TASA:面向组合问题的可追踪智能体优化

    研究人员提出工具增强策略智能体 TASA,通过总结并利用优化轨迹提升组合问题的求解质量。TASA 将优化过程分解为可追踪的策略选择,并结合 LLM 构建的问题专属工具与自适应工具规划器高效更新解。该方法确立了持续探索下的局部收敛性,并在共享评估预算下验证了优异的解质量与搜索可追踪性。

  20. arXiv cs.AI34

    MHWA:多时间尺度分层世界-动作模型

    研究人员提出多时间尺度分层世界-动作模型 MHWA,通过跨步高层上下文通道降低更新频率以抑制复合漂移,并结合上下文感知路由动态重构低层专家混合架构。在 10% 离线数据的 14 款 Atari 游戏子集上,77M 参数的 MHWA 取得 0.884 的 IQM 人类归一化得分,大幅超越 JOWA-70M 基线(0.529)。

  21. arXiv cs.AI33

    用于测试期类别发现的关系语义扎根框架 SEGA

    研究人员提出用于测试期发现(TTD)的属性语义扎根框架 SEGA,解决现有方法只能给新类别分配匿名标签且难以解释的问题。SEGA 训练时利用 LLM 生成已知类别的属性描述并构建视觉语义空间,测试时引入关系语义扎根(RSG)对比已知类别锚点、提示 LLM 生成候选概念并在语义空间中重排序。该方法将匿名测试期聚类转化为可解释的语义概念,提升了 TTD 基线性能。

  22. arXiv cs.AI39

    如何构建真正衡量审美品味的评测基准 TasteBench

    研究团队提出 TasteBench 基准与控制协议,在视觉、品牌、图书和科技领域成对评估模型的审美品味。首轮 250 对样本测试量化了选项 A 占比 0.956 的位置偏差、文件名 token 泄露(得分 0.912)及 5 款 VLM 均达 1.0 的难度天花板。团队通过侧别随机化和文件名清洗纠正了构建偏差,并发布了参考评测套件与随机化工具。

  23. arXiv cs.AI33

    面向蛋白质界面设计的离散与 SE(3) 联合扩散框架 PIDiff

    研究团队提出多模态扩散框架 PIDiff,通过耦合离散序列与连续 SE(3) 结构流形的扩散,联合生成靶标条件的蛋白质序列与结构。该框架采用融合几何感知不变点注意力与全局序列自注意力的 PIFormer 架构,并在 PIBench 数据集上预训练。在微型结合蛋白和抗体设计任务中,其序列设计成功率、结构结合能及协同可设计性指标均优于基线方法。

  24. arXiv cs.AI27

    用于高效印度手语识别的混合运动学 GCN 与弹性 Transformer 框架

    研究人员提出一种结合运动学自适应 GCN 与 Elastic Transformer 的混合框架,用于高效的印度手语识别。该架构通过熵驱动 SVD 采样器提取关键帧,利用连续双重位置编码与距离感知弹性 Transformer 保留打手语节奏,并在空间上显式建模双手几何结构。在包含 120 个类别、9,453 个视频的 ISL 数据集上,该方法达到 89.8% 的准确率。

  25. arXiv cs.AI33

    构建 LatentMoE:从专家几何结构到分层容量分配

    LatentMoE 研究揭示了专家几何结构与分层容量分配的设计规律,通过平衡输入维度与中间宽度构建接近正方形的专家,可最大化局部雅可比秩上限。研究进一步利用层级内在维度(ID)指导跨深度容量分配,在保持每层参数量、激活 FLOPs 和通信量恒定下协同调整专家数量与形状。相比层均质基线,该方法取得了更低的验证损失与更强的下游表现。