KVFetch:面向 KV cache 压缩缺失维度的时序预取框架
免训练即插即用框架 KVFetch 正式提出,通过引入时序预取补全 KV cache 压缩在顺序遍历上的不足,解决长文本逐字拷贝中断问题。它将驱逐的候选 token 降级至量化冷层并预取位置后继,不增加注意力计算开销。在 RULER-16K 评测中,KVFetch 将逐字拷贝分数从 0.8 恢复至 78.4,13 项任务平均分提升 +8.4。
免训练即插即用框架 KVFetch 正式提出,通过引入时序预取补全 KV cache 压缩在顺序遍历上的不足,解决长文本逐字拷贝中断问题。它将驱逐的候选 token 降级至量化冷层并预取位置后继,不增加注意力计算开销。在 RULER-16K 评测中,KVFetch 将逐字拷贝分数从 0.8 恢复至 78.4,13 项任务平均分提升 +8.4。
10月6日,OpenAI 在 GitHub 一次性公开了完全由 AI 生成的 700 余篇数学预印本论文,覆盖抽象代数、量子算法与微分几何等领域。论文涉及霍奇猜想和黎曼假设等千禧年难题的相关方向,宣称攻克了部分百年历史难题,但未包含千禧年难题的完整解答。
推荐理由:AI生成的大规模数学论文未经人类逐一核验即公开,展示了AI介入前沿基础科研对传统学术研究节奏带来的冲击。
一项新研究提出了面向推理时对齐的 sample-only 评估框架,无需访问模型响应似然即可评估与选择 Best-of-N(BoN)策略。该方法构建了双重稳健估计器 BoN-DR 以复用共享样本池,并设计最大化估计价值和置信下界两种规则来抑制奖励过度优化。在合成实验和 GSM8K 评测中,该框架能准确估计策略价值并筛选出有效的采样预算。
针对 7 个开源模型与 3.7 万条链式推理(CoT)轨迹的研究发现,小校准预算下的无分布验证器存在“通过弃权实现有效性”的漏洞,标准证书虽整体失效概率低于 0.3%,但在实际触发时错误率高达 69%。研究提出的下限启动固定序列证书无需单调性假设,在非平凡目标 $0.75\pi_0$ 下将覆盖率从 0.05 提升至 0.16,性能全面超越 Bonferroni 证书。
OpenAI 集中发布了 700 多篇由 AI 生成的数学预印本论文,尝试攻克数百个备受瞩目的数学难题,在数学界引发强烈反响。部分学者指责其造成低质论文泛滥并抢先发表成果,另一部分学者则庆祝百年历史难题得到解决。Anthropic 数学家 Levent Alpögeon 甚至公开称这是数学史上最重大的时刻。
Anthropic 正式推出快速轻量模型 Claude Haiku 5.5,并在 100,000 tokens 以内定价为每百万 tokens 输入 $0.10、输出 $0.50。
推荐理由:作者对比了模型在不同上下文长度下的阶梯定价与分词器开销,读者可以据此评估长文本调用时的实际成本变化。
OpenAI 在 GitHub 上集中发布了 700 多篇完全由 AI 生成的数学预印本,在科研界引发关于成果抢先发表与内容泛滥的激烈讨论。该批论文涉及霍奇猜想与黎曼猜想等相关问题,但未包含千禧年大奖难题中剩余 5 道题的解法。OpenAI 表示其目标是通过前沿科学难题评估模型并为科研人员提供工具,论文的具体学术价值将交由学界自行评估。
推荐理由:报道梳理了学界对批量生成论文的争议与评价,有助于读者理解前沿模型对传统学术成果界定机制的冲击。
研究人员提出自动驾驶扎根规划方法 GroundAct,通过将物理实体作为扎根单元并引入轻量级参考 token,建立从模型推理到规划动作的直接修正路径。该方法在符号推理中保持被选实体的连续状态可寻址,仅依据被引用实体的交互来纠正规划。评测表明,GroundAct 在常规、分布外和安全攸关场景的开环规划及仿真闭环测试中均表现优异。
研究者提出双智能体框架 PsyCIDRA,将自由形式精神科访谈与诊断推理结合,访谈智能体通过工具维护笔记、加载专家技能并检索 ICD-11 参考以引导问诊。在 81 个保留模拟病例中,该框架 rank-1 准确率达 60.5%,高于直接提示的 51.9%。在 101 名人类受试者的盲法研究中,其与心理学家的诊断假设提出一致率达 79.6%(直接提示为 65.4%)。
研究人员提出推理期引导方法 COMPASS,利用模型自身直接回答的正确性信号提取潜在方向,并干预关键注意力头以激发大语言模型的推理能力。在 3 个模型族和多个数学基准上,COMPASS 将 GSM8K 准确率平均提升 16 个百分点,生成 token 减少 20-70% 且准确率接近 CoT。该干预方法无需重新拟合即可直接迁移至未见基准。
2D-FET-Bench V2 包含 128 个基于显微薄片轮廓的任务,用于评测大语言模型智能体设计场效应管(FET)布局的空间推理能力。评测显示 GPT5.6-Luna 搭配 ReAct-3 表现最佳,取得 62.3% 的尝试通过率与 80.5% 的任务覆盖率。
研究针对从小语言模型路由至大模型的决策提出了一套升级信号评估框架。在 GSM8K 测试中,针对规模相差约 12 倍的大小模型对,语义熵区分小模型错误的 AUROC 达到 0.871,在同等成本下比随机升级提升最多 9 个百分点的路由准确率。研究同时指出,仅凭问题难度规则就可能产生相似假象,且实时采样成本甚至可能超过直接调用大模型。
研究针对长思维链推理提出轨迹局部自适应检索方法(TLAR),通过检索自身生成轨迹中的历史内容来辅助投机解码。TLAR 从当前轨迹提取近似匹配片段,结合近期验证结果自适应调节检索与候选宽度,并通过严格验证保持目标模型输出分布不变。在代码调试、数学和开放写作测试中,结合 TLAR 显著提升了 token 接受率与端到端吞吐量。
研究人员提出理由引导策略优化(RGPO)框架,通过自适应利用真实依据作为临时脚手架,缓解大语言模型在同策略强化学习中的奖励稀疏问题。RGPO 依据模型当前能力动态辅助生成,并将更高奖励的解回传至无引导环境,无需辅助数据与强化学习任务格式严格一致。在纯文本与视觉语言推理任务中,RGPO 均持续优于 RLVR 基线。
一项最新研究系统梳理了神经符号 AI 系统中的规则语言,从语义、表达能力、神经集成和评估机制四个维度对比了 Datalog、答案集及概率逻辑程序。论文分析了涵盖数据库与编程语言、机器学习、视觉及机器人领域的 50 多个最新系统与应用,提供了连接应用场景与所需特性的决策矩阵,并指出了当前开放性问题。
针对 LLM 智能体复用经验时出现的记忆过度依赖问题,研究提出即插即用框架 MEMTRIM。研究表明查询与记忆部分重叠时推理失效最严重,MEMTRIM 在写入时索引证据并在读取时控制复用,无需重新训练即可剔除重复或冲突证据。该框架适用于嵌入向量与结构化记忆,在多种模型和设置下均能减少过度依赖并保留有用记忆。
研究人员提出一种针对生物分子扩散模型的推理时投影方法,通过链间范德华与配体距离几何两个闭式投影算子,直接解决原子冲突和几何失真问题。该方法无需网络评估、梯度计算或重新训练,可直接嵌入任意 AlphaFold 3 类采样器。在 Boltz-2 和 OpenFold-3 上经 5 个基准测试验证,能以极低开销恢复完全物理有效性并保持结构预测精度。
研究人员提出面向视觉语言模型的多视角自我验证框架 MOTIVE,以提升多模态推理的回答可靠性。该框架从互补视角评估候选答案并计算可靠性评分,在推理阶段自主决定直接接受答案或触发重新思考。实验表明,MOTIVE 在多个基准上超越了现有的自我验证与自我纠错基线,同时减少了不必要的推理轮次。
EPOCH 是一种证据治理搜索架构,通过任务契约、主动证伪与独立重放等机制,提高 AI 科研智能体在数学和计算领域探索的可靠性。该架构在 AlgoTune 上以 0.65 的平均归一化得分刷新 SOTA(高于最强基线的 0.53),并在 Math14 取得最高平均分 0.57。它在 10 项发现任务中均取得进展,可产出优化算法、反例及带证明支持的结果。
FluidPD 是面向大语言模型 Prefill-Decode 分离推理的原位弹性系统,解决负载动态失衡导致的 SLO 违规。系统通过 FluidToken 将部分预填充计算卸载至解码节点应对瞬时失衡,并利用 FluidRole 原位切换节点角色应对持续失衡,无需重载模型。在 Azure 生产负载测试中,FluidPD 相比静态 SGLang 将整体 SLO 达成率最高提升 94.6 个百分点。
在 AI 逼近解决理论计算机科学著名难题“独特博弈猜想”之际,人类学者展开了一场赶超机器的竞速。麻省理工学院(MIT)教授、该领域专家 Dor Minzer 于 9 月 11 日接连收到多条询问其是否接近解开该难题的短信,显示出学术界对机器抢先证明的紧迫关注。
OpenAI 在 GitHub 仓库公开了由内部前沿模型生成的 372 项数学成果与证明,涵盖计算机算法改进及黎曼猜想相关进展。几乎所有成果均来自单个 Agent 单次提示词且平均耗费约 3 小时 ChatGPT Pro 思考算力,并附带 Lean 机器验证代码以缓解人工审稿压力。绕过传统学术期刊的做法引发数学界分歧,多位菲尔兹奖得主警告单纯机器证明可能破坏概念理解的培养。
推荐理由:材料呈现了前沿推理模型绕过传统学术期刊直接发布形式化证明的案例,有助于理解 AI 生产力对科研评审体系带来的制度冲击。
当前以 Claude、GPT 为代表的大语言模型被指在编程等场景中表达严重退化、充斥生硬黑话,引发开发者广泛吐槽。这主要是由于代码过拟合,以及模型厂商为减少算力消耗将 CoT 思维链调成极简风格,使 token 消耗量比白话文减少整整 70%。目前最新 Opus 5.5 的黑话现象已显著减少,而 Gemini 亦被用户评价仍保持了较好的视觉排版与沟通体验。
OpenAI 在 GitHub 公开其实际未发布内部模型生成的 722 篇数学手稿,涵盖 372 个成果家族并在拟黎曼猜想和整型乘法等难题上宣称取得进展。该批成果来自对约 4000 个研究课题的评估,单项平均消耗 ChatGPT Pro 约 3 小时思考算力,其中约 20% 成果属于反例或反驳。
研究人员提出基于 Chambolle-Pock 原始-对偶混合梯度(PDHG)算法的消息传递框架 GraphPDHG,用于求解通用图鞍点问题。理论证明该框架能有效模拟并学习加速 PDHG 算法,并在实验中成功作为二阶优化技术 SSNAL 的热启动。此外,与 PDHG 对齐的设计使其相比未对齐的 GNN 基线具备更强的尺寸泛化能力。
研究人员提出面向大语言模型 on-policy 自蒸馏的 BiToK-SD 方法,通过双层优化自适应学习在哪些 token 位置执行蒸馏。该方法在底层将 Top-K token 选择建模为可微阈值松弛,在上层对选定位置实施知识蒸馏,使选择位置能够随学生策略自适应调整。在数学推理基准测试中,BiToK-SD 仅需轻量额外计算便在所有对比方法中取得最佳平均表现。
研究人员提出最小见证强化学习(MWRL),旨在从黑盒验证器反馈中找出产生结果的所有不可约充分条件(最小见证族)。MWRL 基于群体覆盖损失进行信用分配,推导出价值迭代规划器以及可扩展至大语言模型的策略梯度方法。实验表明 MWRL 能恢复绝大多数最小见证,相关代码已开源。
研究提出免校准量化框架 SoloQ,通过结合结构化 K-RPBH 旋转与轻量级重缩放校正,实现面向扩散大语言模型的数据无关 4-bit 量化及 commit-time KV cache 压缩。
研究人员提出 SchemaFill 框架,通过槽位并行投机解码加速大语言模型工具调用的结构化生成。该框架并发生成跨多个字段和调用的未来槽位候选值,并由目标模型进行前缀验证与纠错,仅提交通过验证的 token。在 Glaive 和 BFCL 基准评测中,SchemaFill 相比自回归解码实现了最高 4.05x 的端到端吞吐量提升,代码已开源。
研究提出 macro2mind,利用预测市场宏观价格信号通过 GRPO 训练大语言模型,使其掌握个体行为推理与模拟能力。该模型在 SWM-Bench 上取得 SOTA 表现,并能零样本迁移至 Humanual、OvertonBench 等四个用户模拟基准。作为数据生成器,它将下游模拟器在未见用户上的准确率提升 15.5 个百分点。
研究团队提出无需训练的 MaskAhead 及其量化变体 Q-MaskAhead,通过掩码查询排序机制优化块级扩散语言模型的 KV cache 驱逐与 token 选择。长提示问答中,两者分别降低 9.5x 和 20.1x 的 KV 显存,平均 F1 仅损失 1.2 和 2.3 点;并在 batch-32 测试中取得 1.23x 端到端与 1.68x 解码加速。
DART-ES 通过动态感知问题难度进行重加权与样本回放,实现了无需反向传播的大语言模型全参数进化策略微调。在 GSM8K 上,它将平均准确率提升至 73.53%,超越 GRPO 的 73.26%,并成功扩展至 14B 模型。相比 GRPO,其单步运行时间减少 15.2%–50.2%,单 GPU 峰值显存降低 21.1%–51.1%,显存与耗时均低于 GRPO+LoRA。
一项博士论文研究系统分析了知识图谱嵌入(KGE)中的知识、算法与预测三类不确定性,以解决其预测缺乏可靠性保证的问题。研究提出了基于投票的聚合框架以缓解训练不稳定性,结合保形预测构建具备无分布覆盖保障的答案集,并为带置信度三元组开发了统计有效的预测区间。这些模型无关的方法为 KGE 提供了理论与实用兼备的不确定性量化方案。
研究提出一种基于低秩激活导向的 System-1 决策算子,通过行为克隆训练将语言模型技能注入成本降低约两个数量级。默认算子仅用 330K 参数即可匹敌 1.33M 参数的强化学习算子,将 3,685-token 思考过程压缩为 6-token 决策且无精度损失。该方案适配 5 项任务与 3 个基座模型,技能可在推理时进行相加、插值与热插拔。
研究提出 GA-GRPO 理论框架,从偏差-方差角度量化外部引导在大语言模型推理中的影响,并推导出闭式最优引导权重。该框架将 GRPO、LUFFY、ExPO 等统摄为特例,证明其收敛速率为 O(1/sqrt(T))。在 Qwen2.5-Math-7B-Base 上的 9 项基准测试显示,GA-GRPO 表现持平或超越 TAPO 等方法,同时节省 31% 的 GPU 时长。
新研究证明基于 Transformer 的 actor-critic 强化学习算法在分层推理奖励下,能在查询预算与正则化强度上达到极小化极大最优速率。该算法交替进行 KL 正则化策略采样、Transformer critic 拟合及策略更新,并在固定 prompt 数量下实现极小化极大最优。对比显示离线采样会使 regret 衰减受限于对数速率,这从理论上量化了 on-policy 探索的优势。
研究人员提出用于扩散模型模拟推断(SBI)的测试时自适应方法 Spectra,无需额外模拟或训练即可应对先验分布变化。该方法利用精确分数输运恒等式,直接从冻结的扩散模型中以闭式解导出自适应分数。在 6 个 SBI 基准测试中,Spectra 在强先验偏移下以低在线采样成本实现了准确自适应。
OpenAI 公开了一个未发布内部模型产出的 722 篇数学手稿,涵盖 372 组研究结果,并将论文、源码与部分 Lean 证明上传至 GitHub 仓库。研究课题涉及准黎曼猜想、霍奇猜想、BSD 猜想等多个数学方向,官方称平均每项结果消耗的算力约相当于 ChatGPT Pro 思考 3 小时。
推荐理由:原文梳理了手稿涉及的重大数学猜想与算力消耗,有助于了解大语言模型在理论数学前沿的探索进展与核验挑战。
OpenAI 在 GitHub 上发布了由一款未发布前沿模型生成的 722 篇数学手稿,涵盖 372 个结果族,声称包含数百个长期未解数学难题的解答。OpenAI 表示平均每个结果消耗了相当于 ChatGPT Pro 思考 3 小时的算力,并提供了模型推理摘要和算力估算数据。
OpenAI 公布了一款内部前沿模型在数学公开问题上的最新研究成果。相关成果包括基于 Lean 的形式化证明以及具体研究细节,均已在 GitHub 上开源共享。
推荐理由:公开前沿模型在数学公开问题上的形式化证明,为形式化数学验证和高阶推理研究提供了可核验的参考样本。