深度神经网络重尾权重谱为何能预测模型质量
针对深度神经网络(DNN)重尾权重谱能预测模型质量却缺乏统计原理解释的问题,研究人员从统计学视角构建概率框架,仅基于最后一层权重推导 DNN 的边际似然。实验证实该边际似然在大规模卷积 DNN 与 LLM 上均可预测模型质量。通过推导服从高温 Marchenko-Pastur 分布谱的极限对数边际似然,研究证明该极限关于重尾参数呈凸性,并导出了能经验性预测模型过拟合的最佳重尾程度。
针对深度神经网络(DNN)重尾权重谱能预测模型质量却缺乏统计原理解释的问题,研究人员从统计学视角构建概率框架,仅基于最后一层权重推导 DNN 的边际似然。实验证实该边际似然在大规模卷积 DNN 与 LLM 上均可预测模型质量。通过推导服从高温 Marchenko-Pastur 分布谱的极限对数边际似然,研究证明该极限关于重尾参数呈凸性,并导出了能经验性预测模型过拟合的最佳重尾程度。
研究者提出潜在跳跃模型(LJMs)及扫描并行变分推断(SPVI),用于建模不规则观测时间序列。该方法结合事件增强路径空间 ELBO 与三角仿射扫描,以对数时间深度实现可扩展训练。在合成系统与真实时间序列测试中,LJMs 预测精度与连续时间基线相当,且训练速度比顺序基线快 1 至 2 个数量级。
针对图等非欧几里得复杂数据在严重样本失衡下检验性能大幅下降的问题,研究人员提出了 EIAD-C2ST 深度分类器双样本检验框架。该框架将多余的多数类样本转化为重复检验的统计证据,支持多种数据模态并结合表征摊销策略降低深度分类器的计算开销。理论上该方法具备渐近显著性水平与检验功效一致性保证,并在区块链取证等应用中验证了有效性。
研究人员提出一种通过线性化最优传输几何将概率测度嵌入希尔伯特空间的稀疏字典学习框架,利用稀疏自编码器参数化生成快速、可扩展的稀疏有限维编码表示。该方法在超光谱图像、几何点云以及大语言模型潜空间中的文档嵌入等多种数据模态上验证了实用性。理论上还证明了该目标在宽类 $L^2$ 值测度嵌入上的泛化界,并推导出了明确的覆盖数界与收敛速率。
研究针对带付费随机特征的在线二分类预测问题,提出在逻辑模型下协同控制预测损失与特征获取成本的方法。研究发现仅凭协方差信息已不足以决定最优逻辑损失,更低的方差甚至可能导致更高损失。在更大支出可消除独立噪声的结构序设定下,噪声结构已知时达到 $\widetilde O(\sqrt{T})$ 悔流界,未知时达到 $\widetilde O(T^{2/3})$,并在对数因子意义下匹配下界。
研究者提出了行列式比率点过程(DRPP),通过两个对称正定核的行列式之比分别对子集选择中的排斥与吸引效应进行独立建模。该方法保留了标准 DPP 的特征级可解释性,并引入辅助变量表示以实现高效 MCMC 采样与极大似然学习。实验表明,DRPP 能以远少于非对称 DPP(NDPP)的参数量拟合传递性吸引结构。
该研究证明了基于归一化重要性权重的 KL 散度熵估计器具有通用有限样本界,其期望在任意样本量下超出目标与提议分布 KL 散度的幅度最多为 log 2。该界限既不要求重要性权重有界,也不需要有限高阶矩。研究已将成果应用于基于 Soft Best-of-N 采样的生成模型测试期对齐,以及相对熵编码领域。
针对基于模拟的贝叶斯推理(SBI)在观测规模扩大时难以恢复集中后验的问题,研究提出了联合学习充分汇总统计量与后验的双向引导机制。该机制通过对统计量施加结构限制,利用统计量的后验充分性简化后验学习,同时以后验目标引导统计量趋于充分。研究还为后验估计误差及统计量偏离充分性提供了理论保证。
该研究提出了一种可扩展的行列式点过程(DPP)学习方法,用于解决大规模数据集中表达能力与计算扩展性之间的权衡难题。该方法通过非线性核函数与潜在特征建模满秩交互,为极大似然估计器设计了代理函数,并利用非线性核的随机特征进行随机优化。真实数据集上的数值实验表明,该方法显著改善了这一权衡,在具备显著参数效率的同时取得了更好的泛化性能。
中国农科院团队提出一种利用手持设备微小抖动辅助三维表型重建的新方法,成果发表于《IEEE图像处理汇刊》。该方法将拍照抖动转化为深度线索,通过微视频推算相机位置、镜头参数与场景深度,无需预先获知焦距或畸变系数。结合神经渲染,该方案无需预训练即可直接优化微视频并重建场景三维信息,为便携设备近距离分析植物表型提供了高效路径。
《科学》最新一期论文导读涵盖量子计算、AI 形式化数学证明及酶催化等前沿研究。其中,研究团队构建了结合 LLM 与 Lean 的形式化证明搜索智能体,自主攻克了 353 个埃尔德什公开问题中的 9 个,并证明了《整数序列在线百科全书》492 条猜想中的 44 条。此外,物理团队基于中性原子量子处理器实现了保真度达 99.854% 的纠缠受控 Z 门。
华东理工大学邢明阳、姜越团队构建了高级氧化过程低碳转型的多层次理论框架,为水处理技术迈向低碳可持续提供系统性路线图,成果近日发表于《自然-水》。研究围绕最小化化学品消耗、优化能量输入与固体废物高值化,构建了涵盖原子级催化剂设计、水力旋流过程强化及人工智能驱动精准控药与能耗优化的多尺度工程路线图。该框架推动水处理从资源消耗型设施向能源/资源回收与碳管理综合枢纽转型。
华东理工大学与上海交通大学联合团队提出基于无约束噪声生成模型的数据集蒸馏算法,相关成果发表于《IEEE模式分析与机器智能汇刊》。该算法在蒸馏阶段引入自适应因子与扩展极小极大损失,部署阶段通过二次蒸馏技术针对大小分辨率数据集采用在线与离线策略,并适配生成对抗网络和扩散模型。理论证明该算法具备更低泛化误差,可提高蒸馏图像分布稳定性并有效节省训练与存储开销。
OpenAI 公开包含两篇挂谷猜想在内的 722 篇数学手稿,声称证明了三维挂谷极大函数猜想并将四维挂谷集维数推至满维 4。这两篇共 272 页的手稿继承了王虹等数学家的先导成果,主要利用二次多项式跨尺度追踪等工具展开推导,但未经同行评审且未完成 Lean 形式化验证。
推荐理由:材料梳理了相关数学成果从三维推进至四维的演进脉络,有助于读者理解前沿分析难题与学术界对机器证明的争议反应。
一项发表在 Conference on Language Modeling 的同行评审研究表明,依赖 AI 工具仅十分钟便会削弱受试者面对困难任务时的专注力与坚持意志。
《自然》最新一期导读涵盖化学、机器人学、生物学及医学等多领域突破。高能效四足机器人 RAIBO2 单次充电以 4 小时 19 分 52 秒完成全程马拉松,每次充电行驶里程达现有机器人的三倍以上;计算平台 Malva 索引包含约 7400 万个细胞,可连接神经网络实现超快、无需参考的单细胞序列发现。此外,研究还涉及二维聚合物有机范德华异质结构及猴痘病毒复制体机制。
麻省理工学院研究人员借助 AI 算法优化了递送 mRNA 疫苗的脂质纳米颗粒配方,使脱水疫苗在室温下存放一年仍能保持稳定。团队分析了近 50 种美国 FDA 批准的赋形剂并完成筛选,相关疫苗在 37℃ 存放两个月或室温存放一年后,在小鼠体内激发的免疫反应与莫德纳原始配方相当。该配方还被制成微针贴片,相关成果发表于《自然—生物技术》。
西安建筑科技大学闫增峰团队构建了结合岭回归STIRPAT与机器学习等方法的框架,提出了区域建筑行业碳减排路径研究新进展。以陕西省为例的研究显示,钢材消费量对未来排放变化的敏感性贡献达60.23%;在较高实施潜力路径下,2060年建筑领域碳排放预计可降至约1.02亿吨,较2022年下降67.92%。
华南师范大学李昕明团队提出一种融合力时间序列与空间形变场的双流视触觉感知方法,柔性物体分类准确率从单一信息的77.0%和79.0%提升至99.3%。集成至机械臂后,该方法在橙子与圣女果状态识别中准确率不低于98.5%,在18类不同硬度与形貌物体的测试中总体识别准确率约为99.3%。
华中农业大学团队构建了包含301份陆地棉种质的泛三维基因组图谱,成功破译棉花遗传的空间折叠密码。团队开发出染色质互作组关联分析方法CIWAS,筛选出与优异纤维相关的39个TAD边界和20个染色质环等分子靶标,并利用深度学习模型鉴定出2701个影响三维结构的高效应片段。该成果发表于《细胞》,为拓展现有栽培棉遗传多样性提供了新方向。
哈佛大学一项覆盖 700 多家软件企业的研究显示,AI 编码工具虽然能快速生成大量代码,但几乎没有证据表明企业因此增加了软件产出或减少了人员雇佣。研究指出人工代码审查成为了关键瓶颈,导致 PR 修改频率与评论数上升、审查周期变长,编码阶段提升的效率被下游交付流程完全吸收。该结论基于 Jellyfish 平台自 2021 年至 2026 年 3 月期间超过 70 万名员工的 3 亿次工作事件数据。
研究提出反思性自我蒸馏框架 ReTeach,仅利用模型自身的生成尝试与结果级验证,通过多轮显式反思与重试构建自教师。该方法结合结果感知的样本加权策略进行同策略蒸馏,在保留单次推理特性的同时迁移多轮修正收益。在涵盖数学推理、科学问答和工具使用的 6 个基准测试中,ReTeach 相比 GRPO 将平均准确率提升了 1.39 个百分点。
研究人员提出时间感知宏步世界模型 AtomWorld-Mirror,用于模拟材料动力学中原子系统的关键演化骨干。该模型将微观事件片段提炼为关键状态间的物理可达跃迁,通过潜在宏步动态联合预测稀疏结构编辑与累积物理时间。在富铜 RPV 钢辐照老化及 Li3N 基固态电解质等 5 个原子系统中,其推理速度比逐事件模拟提升了 10^3 至 10^4 倍。
BEVPIPE 框架提出了一种利用便携式 GPU 计算 API 部署多模态 BEV 感知流水线的方法,解决了标准推理运行时与稀疏 3D 卷积等算子不匹配的部署难题。
研究人员提出 Fed-GRPO 联邦训练框架,利用 GRPO 训练中天然生成的奖励统计作为零成本信号,无需共享原始数据即可协同训练大语言模型的推理能力。该框架包含信号加权聚合、全局奖励校准与自适应稀疏通信三项机制。数学推理任务实验表明,Fed-GRPO 显著优于 FedAvg 并接近中心化训练性能,可无损降低 32x 通信量,且在紧缺带宽下支持高达 621x 压缩。
研究人员提出自动驾驶安全规划方法 BridgeGuard,在扩散去噪中逐步增强约束项,引导生成轨迹移向场景安全域。该方法冻结预训练感知主干与规划器,通过 DistanceFieldNet 模块预测的时变距离场注入安全约束。
LLoCoT 框架通过共享 Transformer 循环迭代优化隐式工作区,实现了非自回归隐式推理。在 HumanEval 和 MBPP 评测中,LLoCoT 取得受测方法最高均分,准确率持平显式 CoT 基准 Reasoning SFT。相比 Reasoning SFT,LLoCoT 将推理阶段延迟降低约 42 倍,首个回答 token 生成时间缩短约 36 倍,端到端吞吐量提升 9.2%。
研究提出将验证器作为进化对象,由缺陷检测器合成可审查表达式,与自改进智能体协同进化以应对奖励作弊与盲区。在 MBPP+ 上,该验证器比手写种子组合取得 +0.21 的留出一致性增益,且性能超越纯 LLM 裁判。结合技能循环的 Double Ratchet 在代码生成、企业级 text-to-SQL 及报告生成中,保留了基准标准 88-110% 的提升幅度。
通用脉冲推断框架 SpikeSSL 正式提出,其以双向 IIR 状态空间层为主干网络,用于在双光子钙成像中跨多种指示剂准确推断脉冲。在基于 33 个公开数据集构建的基准评测中,SpikeSSL 在域内与零样本留一指示剂设定下均取得 SOTA 表现。团队还通过生物物理仿真管线生成约 11,000 条模拟轨迹以提升泛化能力,代码已开源。
一项研究通过让基于冻结基础模型的编程智能体挑战交互式推理基准 ARC-AGI-3,提出了一套通过脚本与笔记追踪其思维轨迹的度量协议,白盒分析其持续学习机制。在 2 个模型家族中 3 个骨干模型的 7 次评估显示,跨任务调用的脚本仅占 33/630,智能体会遗弃 74% 的已有脚本并重写通用规则,笔记亦只追加不修改。
arXiv 新论文重申通用人工智能(AGI)在数学上不可实现,指出展现智能的人类复杂系统行为无法被计算机模型捕捉。研究驳斥了支持者基于 Church-Turing-Deutsch 原理的理论论据,并指出主流 benchmark 成绩已受训练数据污染、测试构建缺陷及策略性优化的破坏。作者强调,在开放、热力学复杂且非遍历环境中表现认知行为的模型未来依然无法达成。
研究人员提出认知导向情感框架 TRACE 及基准 TRACE-Bench,基于 646 个视频与 3,746 个问答对评估多模态大模型的情感追踪能力。评测发现模型表现显著落后于人类,常将外显行为误判为真实感受并在长链推理中捏造情节。基于该框架提出的结构化推理方法 TRACER,在涵盖因果推理与全链重构等 5 项任务上均超越所有基线模型。
研究人员提出一种利用势函数(potentials)提升自回归语言模型期望值估计效率的方法,通过利用采样副产物即下一 token 条件概率来加性分解测试泛函。该方法构建的估计量方差取决于所选势函数,并给出了降低方差的理论条件。针对多种被估计量和实际应用设计的势函数,在相当的计算成本下实现了方差的大幅降低。
新研究提出 SELF 框架,通过联合优化环境反馈建模与事后自蒸馏,解决无奖励环境下语言智能体的训练难题。在 Qwen3-8B 上,SELF 在 τ-bench 成功率上比 SDPO 和 GRPO 分别高出 6.4 和 4.1 个百分点,在 AppWorld 任务目标完成度上分别提升 10.71 和 3.57 个百分点。
一项新研究提出了分析扩散模型采样扰动传播的理论框架,结合动力学分析与信息论表征,解释采样扰动如何影响最终生成输出。该研究用轨迹分布间的 KL 散度定义路径代价,并在预训练扩散模型中证实不同采样阶段与空间频率对等路径代价扰动的敏感性存在差异。该框架还成功应用于基于缓存的加速方案,可可靠识别因缓存导致较大图像误差的采样区间。
RIT-RAG 将内容检索与结构导航结合,通过检索文本块动态诱导跨文档子树,并由 LLM 智能体自主导航与筛选阅读。该方法在金融、科学与客服基准上的回答准确率均超越图结构和智能体基线。在包含 284 万技术文档网页的 EntQABench 上,其在三种 LLM 下相比最强基线提升了 6.8 至 11.4 个百分点。
研究人员提出通用多模态指令生成流水线 UniData,可将简单的用户需求转换为多轮多模态指令。该方法结合 any-to-any 大模型生成指令并修正冗余推理流,同时构建了涵盖 9 种模态、共 20,000 条数据的 UniDataset。实验表明 UniData 在数据质量上达到 SOTA 表现,能有效增强其他多模态模型的理解与生成能力。
RaReCache 框架通过基于秩不一致的选择性重计算,支持大模型直接复用小模型预填充的 KV cache。在 Qwen3-0.6B 至 14B 上仅需重计算 30% 位置即可保留 95-99% 精度,在 Llama3-8B 至 70B 上重计算 40% 可保留 96.5% 精度。
arXiv 研究显示 GPT 模型在修改论文时存在“防御性写作”现象,随版本演进倾向于收窄乃至直接撤回作者主张。测试显示 GPT-6-astra 撤回的主张中不足十分之一属于过度陈述,添加大量无依据限定词的核心原因在于迎合预期的审稿人。此类改写虽获 AI 审稿人更高评分,却降低了人类可读性,结合 AI 写作与审稿可能进一步放大该风格。
研究人员提出校准感知训练框架 RL-ARC,通过联合利用推理置信度与答案置信度来校准大型推理模型。该方法将推理置信度作为辅助信号,在正确样本上应用推理引导正则化,并在错误样本上施加过度自信惩罚。分布内(ID)与分布外(OOD)实验表明,RL-ARC 在不明显牺牲推理性能的前提下改善了模型校准,并实现了自适应置信度估计。