从 POMDP 理论到结合粒子滤波的深度强化学习
研究者提出了一种实用的端到端 POMDP 算法,利用序贯蒙特卡洛(SMC)近似求解隐状态滤波、在线更新潜动力学模型,并执行基于 QMDP 近似的 d 步在线规划与状态价值 critic 自举。理论上证明了端到端遗憾界,将其分解为模型估计、粒子滤波、蒙特卡洛展开及规划深度可控的结构偏差等误差项。该算法在基于 MPC 的深度强化学习框架中实现,并在多种环境下验证了实用性。
研究者提出了一种实用的端到端 POMDP 算法,利用序贯蒙特卡洛(SMC)近似求解隐状态滤波、在线更新潜动力学模型,并执行基于 QMDP 近似的 d 步在线规划与状态价值 critic 自举。理论上证明了端到端遗憾界,将其分解为模型估计、粒子滤波、蒙特卡洛展开及规划深度可控的结构偏差等误差项。该算法在基于 MPC 的深度强化学习框架中实现,并在多种环境下验证了实用性。
研究人员提出一种用于随机优化中多保真度估计的主动导引采样框架,以降低高保真非线性模型在采样不确定性量化时的计算成本。该方法通过矩阵对数变换的相关性与对数标准差构建正定参数化,学习模型输出协方差矩阵的概率仿真器,并利用主动学习采集函数将导引样本分配至最不确定且最相关的设计区域。在四分支基准测试及对流扩散系统传感器放置等应用中,该框架表现优于单保真度 Monte Carlo 和简单导引采样策略。
研究者分析了高维比例机制下促进块稀疏的启发式近似留一法(ALO)的理论精度。在块大小一致有界的假设下,证明了精确留一损失与其 ALO 近似之间的期望平均绝对误差达到 $O(\log^{3/2}(en)/\sqrt{n})$。该证明基于对全数据与留一估计器之间激活组状态变化数量给出的精确界,在更弱假设下提供了更强的理论保证与稳定性分析。
研究人员提出自监督预训练框架 MiCLA,通过合成 log-mel 混合将复音音频的混合表征与其成分片段进行双向隐空间对齐。微调评测中,MiCLA 在 AS-20K 上达到 43.2% mAP,在 AS-2M 上达到 50.3% mAP,并在冻结凸门控探测(CGP)下取得同类评估模型中的最高 mAP。实验表明该定向对齐机制有效提升了多声音事件的表征与联合检索能力。
研究人员提出一种用于在存在治疗不依从的集群随机试验中估计直接效应与溢出效应的贝叶斯机器学习方法。该方法结合贝叶斯加性回归树与集群级随机效应,并在贝叶斯 g-computation 框架下引入同伴治疗 clever covariate,以减少正规化对效应分解的失真。模拟实验显示该方法在模型设定错误时偏差更低,在肯尼亚小学驱虫项目应用中估算出个人治疗比同伴接受治疗的贡献更大。
研究提出基于长短期记忆(LSTM)模型的非迭代条件期望(NICE)g-formula 插入式估计器,用于在存在治疗与混杂反馈时估计持续治疗策略的因果效应。在模拟 HIV 队列及足够大样本下,该估计器比参数估计器偏差更小,且达到了 95% 置信区间的接近标称覆盖率。这项工作为高维纵向数据因果推断中应用深度学习插入式估计器提供了原理性验证。
研究人员提出了 VampPrior 的改进方案,通过解耦先验与后验协方差并引入狄利克雷过程替换固定均匀混合权重,显著提升了模型证据并实现稳健的非参数聚类。将该先验应用于单细胞变分推断(scVI)后,在 6 个单细胞图谱上的细胞整合与聚类表现均得到提升。该方法仅修改先验分布,可直接推广至任何具有连续隐空间的深度隐变量模型。
研究者证明了高斯混合模型的 Ho--Nguyen 猜想,对任意聚类大小 $M\ge2$,其实数非零权重系统的确切密度抵消阶数为 $2M$。该结论给出了显式点态极大似然指数及收缩邻域内的精确局部 minimax 阶,并通过 110 位精度的总体密度计算得到验证。此外,该视角区分了混合专家模型(MoE)中的高阶抵消与精确参数对称性。
研究人员提出一种基于机器学习分类器的控制变量方法,利用温度和负荷预测等低成本特征降低蒙特卡洛模拟方差,以高效估计电动汽车充电引发的极端罕见电网停电概率。实验表明,单特征弱学习器可消除 25% 的方差,而提升树学习器能消除约 60% 的方差。在印尼泗水电网的应用中,该方法在相同模拟预算下将全市停电天数减少了三分之一。
研究者提出一种模块化贝叶斯推理框架,用于解决潜在群体类别标签不确定且非目标群体模型存在设定偏差(misspecified)时的后验推断失真问题。该方法利用固定类别概率将分类与下游推理彻底解耦,防止不可靠群体的似然贡献影响目标参数。计算上只需对标签分配进行采样并拟合受保护模型后取后验均值,已在合成实验与测光超新星宇宙学分析中完成验证。
研究针对线性反问题中的后验扩散模型提出 Hilbert 尺度稳定性理论,在明确的 score 放大条件下推导出了非渐近恢复界。该理论界有效分离了观测噪声、score 近似误差与逆向时间离散化误差,并给出了由算子平滑度、真实信号正则度等共同决定的可恢复正则度阈值。结果还证明,相较于各向同性引导,适配前向算子的后验校正能在算子平滑作用最显著的正则度范围内提升稳定性。
针对差分隐私审计中因成员推理攻击(MIA)引入选择偏差导致隐私泄露下界被高估的问题,研究人员采用统计学工具纠正了该偏差。对既往审计实现的重新分析表明,若不进行统计纠偏,审计违反理论上限的频率最高可达其声称置信水平的 4 倍;纠偏后得到的下界在统计上有效,违规率不再超过名义比率。
针对强化学习中动作掩码计算瓶颈问题,研究者在线性 MDP 模型下探索了将最优策略搜索与动作掩码本身的学习相结合的方法。该框架首先提出基于确定性乐观优化的算法并证明其达 minimax 最优且计算高效,但其在非退化实例上表现次优。研究随后提出一种通过规划探索策略的替代高效算法,可视为确定性反馈下的信息导向采样类似物,并将其应用于无效动作集随时间变化的迁移学习场景。
研究者提出了去偏先验数据拟合网络(PFNs)的理论基础,用于在通用半参数设定下对缺失均值或因果效应等有限维目标进行推理。研究引入了基于有效影响函数的标签修正与先验修正两种去偏策略,以加快目标后验收敛速率。去偏 PFNs 的收敛速率在渐近意义上匹配了传统频率派偏误修正估计量,并在特定假设下保证了伯恩斯坦-冯·米塞斯性质和极小化极大最优性。
针对稀疏变分高斯过程(SVGP),该研究提出一种几何感知分块选择算法,通过构建块对角缩放矩阵收紧变分下界,以在固定 inducing-point 预算下改善测试 RMSE 与 NLL。该算法计算开销低且复杂度明确,能通过数据划分恢复残差协方差矩阵对数行列式贡献,支持双随机优化框架训练,并可辅助为 SVGP 学习更优的超参数与 inducing points。
研究针对受限观测下深度学习推理产生的「盲集」静默失效问题,提出一种通过线性化 VAE 先验近似参考风险的预测评分。在 2DeteCT X 射线 CT 数据的 240 项预设误差测试中,该评分对潜在 Laplace 和集成 Kalman 反演系统失效排名的 Spearman 相关系数达 0.79 和 0.84。但分析表明该评分相比物理基线并无显著提升,静默失效主要由测量可达性决定,而非习得先验。
研究人员通过引入数据细化(data thinning)统计技术,在高斯噪声假设下使 UCB 风格的高斯过程算法实现了接近最优的遗憾界。该方法在多臂老虎机设定下构建出更紧密的置信区间,不仅使 GP-UCB 的直接扩展版本达成接近最优的简单遗憾上界,与分阶段消除算法结合后更取得了接近最优的累积遗憾上界。数值实验进一步验证了该方法的有效性。
一项新研究针对引入自然阶数独立高斯偏置的深度全连接神经网络,证明了其在较宽深度范围内仍保持淬火噪声敏感性。该性质在满足正相关条件且扰动输入与原始输入渐进不重合的极弱假设下即可成立。同时,退火协方差保持远离零,且完全由网络自身输出均值的波动所致。
研究者提出了基于查询的协作强化学习框架 Ask to Learn,使学习者在拥有固定离线数据集的基础上,无需直接与底层环境交互,通过自适应查询“状态-时间”对并由协作方与模拟器返回反馈来克服离线数据覆盖局限。
研究人员提出了一种新型贝叶斯神经网络(BNN),通过直接在底层数据生成分布上设置狄利克雷过程(DP)非参数先验来量化认知不确定性,并基于此开发了强化学习算法 DP-DQN。该方法通过贝叶斯 Bootstrap 重新加权并注入生成先验假设,维护价值函数的后验分布以实现高效 Thompson sampling。这使得单个神经网络无需多网络集成开销,即可完成决定性的深度探索。
研究人员提出一种在混合结构因果模型(SCM)状态上构建 Shapley 博弈的新框架,用于在稀疏事件数据下将警报评分变化归因到因果结构的变化机制中。针对有序线性 SCM 和二次评分,该方法利用一阶与二阶矩递归结合正交求积,在多项式时间内精确计算完整的 Shapley 向量并消除组合计算爆炸。实验表明该方案支持百量级变量扩展,并能在小样本事件数据下提供归因误差界与 top-k 恢复保证。
研究者提出了用于多目标 LLM 竞技场评测的自适应采样算法 VB-EGE,以高效率识别帕累托前沿(Pareto frontier)模型。该算法基于多目标 Bradley-Terry 模型,在积累足够统计证据后逐步剔除模型,具有高概率返回正确前沿的实例相关样本复杂度上界,并在对数因子意义下达到极小化极大最优。
研究人员探讨了面向函数族评估的数据表示复杂度,构建出仅需 $O(d^{*}\log(1/\varepsilon))$ 比特编码长度的确定性编码器,其中 $d^*$ 为函数族的对偶 VC 维,误差至多为 $\varepsilon$。该编码长度在最坏情况下达到最优,且研究给出了两种基于无标签样本学习该表示的方法。实验验证了贪心构建方法的精度与大小权衡,并探索了其与神经稀疏自编码器的联系。
研究探讨了使用有限宽度浅层 ReLU 网络和去噪 Score 匹配(DSM)估计 Ornstein-Uhlenbeck 扩散 Score 的样本复杂度及反向采样效果。
该研究针对内在维度为 $\varrho$ 的紧致光滑流形,提出了基于高斯核逼近与正则化 Logistic 分类的快速预言机不等式。研究利用不同带宽的高斯核积分算子符号组合消除低阶偏差,克服了二阶饱和并实现了内在维度控制下的核范数界限。结合预测截断后,该方法在有界密度下的 Logistic 超额风险多项式指数与超额误分类风险均达到了极小化极大最优速率。
研究针对分解为稀疏矩阵减去对称低秩矩阵的高斯精度矩阵,提出了一种基于测度变换协方差的凸估计器,可实现稳健的图结构与参数恢复。在对偶见证定理下,该估计器能唯一恢复真实秩与惯性,且无虚假边;惯性恢复需要 $N\gtrsim p/\nu_{\min}^2$ 的样本量。研究还证明了其在 Huber 污染下的稳健性,并给出了具闭式更新的全局收敛线性化 ADMM 算法。
研究人员提出了用于时间序列预测不确定性量化的动态双反馈共形推理(DDCI),该研究已被 NeurIPS 2026 接收。DDCI 结合了由真实观测驱动的实际反馈与基于经验阈值的估计反馈,在更新期间抑制预测区间的过度膨胀或收缩。该方法在时序环境下实现了更稳定且更窄的预测区间,同时在实际应用中保持了接近标称水平的覆盖率。
该研究确定了边际分布未知条件下严格可复现可实现学习的样本复杂度,证明在大小为 $M$ 的有限类上最坏情况界为 $\Theta((\log M)^2)$。针对全布尔类 $P_d$,论文通过适定泊松化球采样算法给出了匹配的 $\Theta(d^2/(\varepsilon\rho^2)+\varepsilon^{-1}\log(1/\delta))$ 样本复杂度界,并给出了显式 Gibbs 上界。
Terminal X 借助 GPT-6.1 使其输出与资深投资者判断的匹配度达到 88.6%。其 Eval Agent 根据包含 54 项标准的准则对输出进行评分,结合 GPT-6.1 Sol 能够多捕获 25% 偏离基金投资指引的情况。
DeepSeek 正式开源内部推理框架 DeepInfer 及 deepseek-recipe,支持英伟达 SM100 GPU 与华为昇腾 950 NPU。同时,ChatGPT 面向全订阅方案逐步推出支持 PIN 保护的锁定聊天,OpenAI 还为 Responses API 中的 GPT-5.6 等模型新增可选的 12 小时提示词缓存。
i14 借助 TorchNeuron Native 在 AWS Trainium2 上训练并部署了 Laplace 3B 线性注意力模型。该模型将推理循环状态固定为每序列 29.5 MB,摆脱了传统 KV cache 随上下文长度增加的限制。
微软研究院 Catalyst Lab 负责人 Chris White 在最新播客中分享了其从学术研究转向应用技术的历程。他曾作为哈佛博士后在 DARPA 主导阿富汗前线的数据分析行动以防范暴力,随后开发用于打击人口贩卖的暗网搜索工具,并因此获得 2016 年总统打击人口贩运杰出贡献奖。访谈深入探讨了问题选择对技术创新的核心作用,以及在面对严峻社会问题时如何借助技术产生积极影响。
亚马逊云科技展示了结合 Amazon Quick 与 Amazon Bedrock AgentCore 构建对话式供应链智能的方案。该架构将 Amazon Quick 作为前端交互界面,AgentCore 充当智能层,通过模型上下文协议(MCP)服务器将分散在 ERP、监控和采购等后端系统中的工具进行编排。
Smartsheet 正式推出支持超过 40 种工具的 MCP Server,允许 AI 智能体通过统一协议直接读写并管理项目数据与自动化流程。AWS 详细介绍了两种落地接入方式:业务人员可通过 Amazon Quick 内置连接器用自然语言查询与更新任务,开发者则可在 Kiro IDE 中直接关联项目规范并自动同步开发进度。
OpenAI 宣布收购 Orchestra Bio,旨在将 AI 驱动的运营引入生命科学研发领域。此举计划协助生物制药团队加速药物研发进程,并推进新型治疗方案的落地。
推荐理由:该交易展现了前沿模型厂商向生命科学研发拓展的动作,有助于观察通用人工智能技术在生物医药领域的落地路径。
Smartsheet 正式上线模型上下文协议(MCP)服务器,支持 AI 智能体通过标准化接口读取、写入和管理项目表格数据。该服务提供超过 40 种操作工具,可直接接入面向业务用户的 Amazon Quick 以及面向开发者的 Kiro IDE,实现通过自然语言更新任务状态与追踪依赖。其安全架构沿用原有权限体系与认证机制,服务器不保存提示词内容,确保企业级合规控制。
Octave 基于 Amazon Bedrock 构建了严格隔离的多租户 AI 底座,使每个用例的部署时间缩短 50%。该架构采用三层设计:使用 Cohere Embed v4 将超 20 亿份文档嵌入并存入单租户向量库,通过 AgentCore Gateway 和隔离 microVM 会话调用 Claude 模型,并双向部署 Guardrails 进行内容安全过滤。
AWS 介绍了在 Amazon SageMaker HyperPod 上结合 SFT 与 GRPO 微调开源模型多语言推理能力的方法与决策框架。测试显示 SFT 将 GPT-OSS-20B 的目标语言思维链比例从 22% 提升至 100%,随后的 GRPO 在此基础上将最终回答语言准确率从 62% 进一步提升至 70%。
一家独立的 Schlotzsky’s 和 Cinnabon 加盟商借助 ChatGPT Work 将现金对账时间缩短了 94%。该加盟商还将菜单重新定价的耗时缩短了 95%,并构建了一套有望释放 $100K 现金流的工作流。
Eon 借助 Amazon Bedrock AgentCore 构建了统一认证的 MCP 网关,将跨 AWS、GCP 和 Azure 的多云排障工具访问整合至单一入口。