鲁棒强化学习的可证明高效 Q-learning 算法
研究人员提出了一种面向鲁棒强化学习(RMDP)的样本高效异步 Q-learning 算法,以解决单轨迹马尔可夫数据下的无模型学习难题。在基于全变差(TV)距离不确定集合的无限时域设定下,该算法实现最优 Q 函数 entrywise $\varepsilon$ 近似的样本复杂度显著优于现有边界。该界限仅多出 $\frac{1}{1-\gamma}$ 因子,达到近乎极小化极大最优。
研究人员提出了一种面向鲁棒强化学习(RMDP)的样本高效异步 Q-learning 算法,以解决单轨迹马尔可夫数据下的无模型学习难题。在基于全变差(TV)距离不确定集合的无限时域设定下,该算法实现最优 Q 函数 entrywise $\varepsilon$ 近似的样本复杂度显著优于现有边界。该界限仅多出 $\frac{1}{1-\gamma}$ 因子,达到近乎极小化极大最优。
最新理论研究通过对深度线性网络的分析表明,任务谱决定了网络深度对训练时间缩放的影响,增加深度能提升谱困难任务的渐进训练时间缩放指数,而简单任务的指数与深度无关。研究进一步提出由预测器范数主导的时间重参数化,可统一描述不同难度下的动态,且重参数化后的损失缩放指数与深度无关。基于基准图像数据和非线性网络的数值实验也呈现了一致的定性结果。
研究者提出非凸平方根正则化框架 NS$^3$R,将无需已知噪声水平的平方根损失与非凸 $\ell_{2,q}$($0 < q < 1$)惩罚结合,同时建模组稀疏与结构平滑先验。该方法具备严格的非渐近误差界,并配套开发了具有可证明全局收敛性的双重筛选算法 DS-IRLS-th。合成与真实数据实验表明,NS$^3$R 在有限样本设置下持续优于现有 SOTA 方法。
新研究提出超越 Wasserstein 邻近度的迁移源选择方法,表明更宽的源变异性有助于提升迁移效果。
研究人员提出一种用于黑盒模拟器校准的无导数时序差分(TD)框架,利用单步转移与带噪声延续值完成参数校准。基于贝尔曼正交性,研究设计了三种随机方向有限差分 TD 算法,并确立了四种查询噪声机制下的收敛性与均方误差界。该框架还引入少次重复在线 bootstrap 与无需额外查询的第二阶段 TD 递归,用以纠正剩余价值偏差。
研究者提出 COVE 方法,通过将测试对与校准集样本联合排序,在身份可交换性下实现了免分布的错误接受率(FAR)控制,保证边际 FAR 不超过 $\lfloor\alpha N\rfloor/N$。
研究对比了基于决策树条件分布模型的顺序设定与全条件设定在合成医疗数据中的表现,通过多项风险与效用指标评估数据质量。结果显示两种设定在综合表现上并无普遍优劣:顺序合成对变量排列顺序较为敏感,而全条件设定涉及更多超参数且计算成本更高,可能限制其作为开箱即用合成方案的适用性。
针对共形风险控制(CRC)在不平衡分布下无法有效控制罕见样本风险的问题,研究提出 Macro Mondrian 共形风险控制方法。该方法结合 Mondrian 共形预测与宏观覆盖算法,通过分类法分组并依据分组概率重新加权风险,让罕见样本获得更高权重,从而实现用户自定义分组上的平均风险控制。该方法已在两个语义分割数据集上完成验证。
新研究提出扩散网络的噪声传输负担机制,解释了有限网络下清晰图像预测表现优于噪声预测的原因。理论分析表明,数据维度 $d$ 且秩 $r<d$ 的线性输入瓶颈会使噪声预测产生 $\sigma_t^2(d-r)$ 的去噪误差下限,而图像预测风险保持有界且精确预处理可消除该瓶颈。JiT 模型在 ImageNet 上的实验完全验证了该误差下限与模型宽度的光谱特性。
新研究将基于模拟推断(SBI)中的汇总统计量建模为有损信道,明确了观测压缩所需的信息预算与最优分配方式。理论表明所需预算随随机后验集中而无界增长,且在有限预算下,随机汇总的失真严格低于确定性汇总。在 4 个模拟器基准上,引入二值瓶颈的神经后验估计器验证了随机瓶颈具有更优的率失真权衡,且架构排名随预算而改变。
时空预测研究揭示了图构建与图暴露方式对精度的关键影响,发现同一领域图在不同集成设计下相比纯 GRU 既可能改善也可能恶化预测误差。实验表明单独延迟集成效果不足,而引入融合门控在美国州失业率、交通速度和电力需求三项任务中均降低了平均误差。在固定延迟门控集成下,基于残差相关的图误差最低,表明图构建必须与集成机制协同评估。
HIFI 是一种面向基础模型的高效统计推断两阶段微调框架,相比直接重抽样可减少高达 91.9% 的训练算力。该框架先通过单次适配控制估计偏差,再利用轻量 PEFT 拟合残差来量化变异性,支持非参数 bootstrap 等多种重抽样方法。其在视觉和文本任务中支持数千万至超过 100 亿参数的模型,可提供精准点估计与良好校准的置信区间。
研究人员提出图希尔伯特-施密特独立性准则(GHSIC),用于检验 $M \ge 2$ 个潜在位置随机图(LPRGs)的联合独立性。该方法依托邻接矩阵的谱分解,无需选择核函数及其超参数,证明其估计收敛速率可达 $\tilde{O}\left(n^{-\frac{1}{3}}\right)$。实验在合成数据以及自然语言感知的大脑功能连接子网络分析中验证了该估计器的有效性。
标量测量无需识别潜在协方差即可在有限高斯投影实验中确定鲁棒决策,研究提出了能返回决策或未决结果的置信集认证机制。该方法通过标量轮廓将非线性风险比较转化为凸内部问题,并证明了可靠性与固定检查点认证保证。在 7 个合成算例中,联合校准矩区域给出的充分预算为显式期望样本信息下界的 21 至 52 倍,且在 1,900 次模拟流中实现了零决策错误。
研究表明,深度生成模型在表征重尾或多模态分布时的困难并非源于特定架构或训练,而是传输问题本身的内在梯度障碍所致。该研究建立了从对数凹源分布传输至目标分布时梯度与雅可比矩阵的定量下界,揭示了大导数对模型表达力与数值稳定性的制约。针对密度逼近任务,研究进一步提出了双射重参数化方法来缓解几何障碍并降低梯度负担。
MetaARIMA 提出了一种基于元学习的预训练配置策略,将配置级迁移学习引入经典 ARIMA 统计预测。该方法在推理时通过最大边际相关性与相继减半算法筛选最佳配置,保留了模型的可解释性与局部估计。在 M1、M3 及 Tourism 评测中其性能超越 AutoARIMA,并具备媲美 Chronos2、Moirai2 与 TimesFM 的零样本竞争力。
研究人员提出 InCOPE,一种用于上下文内离线策略评估(OPE)的先验数据拟合网络,通过在合成 OPE 任务上学习共享的策略价值预测规则。面对新的表格决策问题,该模型无需特定任务的参数更新,直接将行为策略数据集、目标策略与已知任务设置作为上下文来预测预期回报。在包含半合成临床环境的 4 个表格领域实验证明了其有效性。
研究人员提出偏众数张量回归(PMTR)方法,针对响应分布不对称、重尾或含异常值的高维张量数据,利用条件众数构建偏众数张量协方差以指导张量降维。该方法在降维后的空间内建立众数张量回归模型,在减轻直接向量化维度负担的同时保留张量内在结构,并支持通过数据驱动流程确定各模态的有效维度。
DP-RFedProj 是一种针对紧致子流形的差分隐私联邦学习方法,通过闭式投影聚合参数并在固定环境几何中保护梯度。该方法提供显式记录级 $f$-DP 保证,收敛速率受流形内在维度而非环境维度影响,支持客户端运行各类一阶优化器。在 Stiefel 流形上的 SPDNet 实验中其表现优于欧氏基线,相同预算下添加噪声比最相近方法减少 5 到 6 倍。
一项针对条件生成中三角传输映射的研究表明,常见最小化联合 MMD 目标的做法在设定错误时无法保证恢复真实条件分布。研究提出了一种直接最小化条件准则的替代损失估计器,证明其非渐近误差界分解为近似、估计和参考采样误差,且收敛率在参数设定下独立于环境维度;分析进一步指出联合准则会遭遇条件变量的维度灾难,模型训练应直接针对条件误差。
研究者将仿射不变三次牛顿法(AICN)推广至带弱学习器的凸优化,提出 weak-AICN 并将其更新简化为带显式步长的阻尼弱牛顿步。在半强自协调条件下,该算法实现 $\mathcal{O}(1/\overline{\Theta}_k^4 k^2)$ 的全局收敛速率,显著优于 weak-GRN 的理论界。论文还提出了自适应调节正则化的 weak-AdaAICN,并证明牛顿坐标下降是该优化框架的特例。
针对流形上的平均黎曼随机梯度下降(RSGD),研究人员利用向量传输构建了重叠与非重叠在线协方差估计器,实现流形环境下的在线统计推断。该方法无需计算黎曼 Hessian 矩阵或预设终止样本量,收敛速度达到欧几里得空间对应方法水平,并在 Grassmann 流形的流式主成分分析(PCA)中得到验证。
研究人员提出基于截断核的核化协方差矩阵,为高斯混合模型(GMM)提供了优于传统 PCA 的降维与不平衡谱聚类方案。在集群规模比例发散的极端不平衡场景下,该方法不仅实现了更优的降维理论保证,还在更大的类内间距范围内确保准确聚类。仿真实验验证了该方法在处理不平衡聚类问题时的性能提升。
新研究提出了机器学习鲁棒性的基础测度几何理论,将鲁棒性形式化为脱离保留任务状态的几何逃逸现象。该理论在统一框架下区分了参考流形上逃逸的结构可能性与环境实现机制,并引入逃逸几何的中观组织。框架通过显式定律表征脆弱质量、有限尺度形态与分支相干性等关联现象,为超越标量指标的分析提供了结构基础。
该研究评估了四种变分量子分类器(VQC)在网络流量异常检测中的表现,其中更深电路 VQC-4 取得了最高 89.0% 的准确率。综合表现最佳的 VQC-3 结合了 ZFeatureMap 与 RealAmplitudes ansatz 并经 ADAM 优化,但在该合成数据上,SVM 和 Random Forest 等经典模型均实现了完美分类,展现出明显性能差距。
该研究提出基于全连接量子玻尔兹曼机(FC-QBM)的自注意力机制,并构建了量子语言模型 FC-QBM-LM。该机制通过语义量子态的酉演化隐式实现位置编码与自注意力计算,在数学上等价于经典自注意力机制。在唐诗语料上训练的 8-qubit 模型量子层仅需 44 个参数,并在 8 种噪声强度下保留了超 99% 的无噪声收敛性能。
在量子水库计算中,采用 Haar 酉演化可在固定历史长度的大维度极限下推导出精确递归核,将核计算简化为与水库规模无关的标量递归。该核在降低计算复杂度的同时保留了模型表达能力,并支持通过调整记忆保留与时间交互阶数适配具体任务。在 NARMA10 benchmark 评测中,调优后的核预测误差低于测试的 Ising 及 Sachdev--Ye--Kitaev 水库。
研究人员提出面向时间序列处理的量子神经可塑性学习(QNL),受生物突触机制启发通过资格迹动态重组量子油藏中的量子比特耦合。仿真测试显示,该方法能显著提升系统的记忆容量与长期召回能力。在 IBM 超导处理器 `ibm_fez` 上的 42 量子比特并行实验中,QNL 将信道均衡误码率从 9.7% 降至 2.2%。
研究提出利用量子哈密顿量下降(QHD)在量子计算机上直接完成参数化量子线路的全量子训练,通过编码参数的量子比特相干控制第二寄存器上的线路。该方法证明了模拟误差界与网格分辨率无关且最多随参数数量线性增长,并可通过动力学调度最小化量子门数量。基准函数与参数化线路测试显示,该设计在同等成本下显著提升了找到全局最小值的概率。
OpenAI 发布主打电脑操作与视觉推理的 GPT-6.1 Terra,API 价格比上一代降低 50%,标准定价为每百万输入 token 1 美元、输出 5 美元。同时,Anthropic 提交 S-1 声明拟在纳斯达克以代码 ANT 上市,其 2026 年上半年营收达 162.86 亿美元。此外,腾讯混元开源 30B 实时同声传译大模型 Hy-SimulMT。
Greptile 借助 GPT-6 Astra 将 Bug 检测能力拓展至常规代码审查之外。其主要使用 GPT-6 Astra 测试用户工作流程,通过 Daybreak 增强安全性,并结合 Codex 减少代码返工。
Cloudflare 披露 Workers AI 在运行 GLM-5.3 时因配置失误与 SGLang 缺陷出现跨请求 KV cache 泄露,影响了 155 个超长 prompt 响应并已完成修复上线。
推荐理由:原文详细拆解了分离式推理下缓存复用导致的跨租户数据泄露机制,为大模型托管服务排查引擎内存安全提供了参考。
OpenAI 分享了模型在挂谷猜想(Kakeya conjecture)、指数时间假设(ETH)和量子色动力学等课题上的研究结果。相关内容同时向学术界说明了研究人员应如何验证这些模型结论,并在此基础上开展后续探索。
推荐理由:研究人员可以了解大模型在挂谷猜想与理论物理上的探索进展,并获取开展独立验证与后续研究的方法路径。
CodeRabbit 采用 GPT-6.1 Sol 排查复杂代码库中的安全风险。其安全智能体能够协助开发者审查排查发现的问题以及相应的修复方案。
OpenAI 推出 GPT-6.1 Terra 模型。该模型旨在为所有用户带来快速且强大的计算机使用能力。
OpenAI 工程师正在使用 Codex Ultrafast 将事件调查时间从数小时缩短至数分钟。此外,该工具还被用于实现更快速的安全分析、代码重构以及日常工作流。
GHARP 提出一种基于大规模重建先验的实时 3D 人头动画方法,仅需少量输入图像与表情驱动信号即可驱动头像。该方法将流程解耦为离线身份构建与面向移动设备优化的轻量化运行时动画,并利用身体对齐网络消除身体姿态模糊与时间闪烁。在 Ava-256 基准测试中,该方法达到 SOTA 质量,在高斯数量减少 8 倍的同时,在 A100 GPU 上的运行速度提升高达 13 倍。
AWS 介绍了如何通过 AWS CDK 在 Amazon Bedrock 托管知识库(Managed Knowledge Base)和 AgentCore 上构建企业级智能体检索系统。
AWS 介绍了在 Amazon Bedrock 上调用 OpenAI 模型构建 AI 智能体时的提示词缓存设计模式,通过结合显式断点与隐式自动缓存降低多轮调用的输入成本。指南涵盖了静态指令与工具定义的跨会话复用、运行时追加工具、子智能体预热并发扇出以及 Prompt Cache Key 的设计规范。测试显示在 6 轮对话场景中,该模式可使模型输入成本降低超过 60%。
AWS 推出针对边缘计算机视觉全生命周期管理的架构方案,并适配 Amazon SageMaker Python SDK v3。该方案通过双分支 SageMaker Pipeline 为每个摄像头分别训练自编码器异常检测与 ResNet18 缺陷分类模型,经质量门禁后由 SageMaker Neo 编译优化并注册。