LaVGuard:针对上下文价值漂移的选择性解码
研究提出面向上下文价值漂移的选择性解码方法 LaVGuard,通过十维画像与密度门控在预算约束下调整 logit 生成。该方法将 5% FPR 下的边界 TPR 从 0.58 提升至 0.72。在 0.12 相同平均干预率下,LaVGuard 取得 0.88 的风险安全分,优于位置匹配编辑的 0.72。
研究提出面向上下文价值漂移的选择性解码方法 LaVGuard,通过十维画像与密度门控在预算约束下调整 logit 生成。该方法将 5% FPR 下的边界 TPR 从 0.58 提升至 0.72。在 0.12 相同平均干预率下,LaVGuard 取得 0.88 的风险安全分,优于位置匹配编辑的 0.72。
NormTune 是一种范数引导的参数高效微调(PEFT)方法,通过依据权重更新范数自适应强化更新不足的层,弥合 PEFT 在推理任务上与全参数微调的差距。在 S1K-1.1 上训练时,NormTune 使 rank-8 LoRA、Bone 和 MoRA 平均准确率分别提升 24.24%、11.33% 和 16.21%,且 rank-256 配置表现达到并微超 S1 全参数微调基线。
研究团队提出随机算法 StochIKM,利用具备视觉能力的语言模型结合严格约束,可从已发表的 Kaplan-Meier 曲线中自动化重建一组高保真的个体患者数据集。该算法以精确复现风险表、图像分辨率范围内的曲线、中位数与事件数为硬性约束条件。在模拟实验及 79 个肿瘤试验组测试中,StochIKM 复现风险表和中位数的表现均优于 LLM 改进版 IPDfromKM。
针对自我改写支架的代码智能体,新方法提出在代码编辑实际运行前结合差异特征进行线性评分,以实现低预算的递归自我改进搜索。在留出的 HumanEval+ 测试中,GPT-4o 藉此取得 87.0% 的解决率,优于 Huxley-Gödel Machine 算法的 85.1% 及初始支架的 81.2%。采用 Claude Sonnet 4.5 时该得分达 86.6%,同样超越消融对照组的 85.3%。
针对多任务模型合并中的子空间干扰问题,研究者提出分组低秩感知模型合并方法 GRAM。该方法仅依赖微调权重,利用任务向量的主角几何特性将相容任务分组,并在组内执行基于 SVD 的合并。在仅增加一个模型(K=2)的设定下,GRAM 在 Flan-T5、8 任务 CLIP 及 Qwen2-7B-Instruct 医疗指令微调任务中均优于先前合并方法。
研究提出多语言大语言模型推理轨迹差异框架,通过结构相似度与顺序一致性评估跨语言推理链。在 3 个基准、7 种语言和 6 款前沿 LLM 测试中,整体相似度前 25% 的样本有 52.1%–67.3% 未进入结构相似度前 25%。双语盲测证实人类判断更偏向结构相似度,表明传统方法严重高估了多语言推理的一致性。
该研究在 653 名 AuroraBP 受试者上评估了光电容积脉搏波(PPG)与上下文对会话校准血压追踪的贡献,基础模型收缩压/舒张压 MAE 为 7.697/6.139 mmHg。
一项新研究评估了 15 个大语言模型在多实例处理(MIP)聚合预测中的表现,发现模型存在显著的输入顺序敏感性,最优与最差顺序模式间的准确率差异可达约 90 个百分点。当多数标签样本出现在开头时模型准确率通常显著高于出现在中间或末尾。推理轨迹与基于梯度的归因分析显示,模型的推理过程不成比例地偏向早期实例,且首尾位置的归因权重普遍高于中间位置。
研究团队提出 AutoFraming,通过分析代码属性图(CPG)提取信息,引导 LLM 从 C 代码中合成包含区域隔离与数据依赖的 ACSL 框架规范。在包含 84 个真实系统函数的基准测试中,该方法无错规范合成成功率达 92.9%,较现有 SOTA 相对提升 179%,在另一 51 个函数基准上成功率达 96.1%。集成到现有合成框架时,性能最高提升 61.9%。
研究人员提出基于区域的时间序列解释框架 GRAIL,采用心电图波段等领域特定区间作为博弈单元,推动模型解释从单时间步显著性转向语义理解。该方法利用流形上条件生成器构建反事实基线,通过带方差缩减的 Owen values 进行归因,并支持将年龄、性别等静态表格特征与时序信号同尺度评估。合成与真实数据实验显示其具备忠实且稳健的解释能力。
研究提出将继承性作为 LLM 提示词合并算子的准入测试,规定子代向供体移动的置信下限须达请求剂量的一半才予接纳。在 gemini-3.1-flash-lite 谈判测试中,tactic append 与 constrained rewrite 均获通过,而 free rewrite 因仅移动三分之一剂量被拒且未能超越第 0 代最优成员。
研究人员提出一种用于头颈部质子放疗规划的多智能体复合 AI 系统,结合 PPO 强化学习自动方案生成与 LLM 对话式微调。规划智能体采用经 SFT 与 GRPO 后训练的 Qwen3-14B,与评估智能体及对话界面协同提供证据驱动的调整建议。在 21 例头颈癌患者测试中,该模型提升了指令遵循与推理表现,更有效地权衡并满足了多项临床指标。
研究提出 AgentPolicyForge 框架,利用可执行环境构建策略基准并迭代训练 AI 智能体的策略防护器(guard)。该框架构建的 PolicyGym 数据集涵盖 10 个策略族,包含 698 个训练场景与 254 个独立的人工复核测试场景。在 PolicyGym 评测中,最终防护配置相比提示词约束将攻击成功率相对降低 40-44%,并减少了良性误拒。
研究团队提出 LLM Agent 内存架构 PerMIT,通过在 Lean 4 中经过机器验证的完整性定理,确保未受信环境数据仅在门控确认后才能触发敏感动作。在 Trojan Hippo 测试中,PerMIT 结合轻量验证器实现了 0 攻击成功率。
大语言模型在纯文本对话中拒绝的有害请求在工具调用场景下频繁失效,标准工具提示设置下有 10% 至 52% 曾被拒绝的有害请求仍会触发不安全的工具调用。研究团队构建了涵盖 4 个领域、2,304 个提示词的三元组基准并测试了 5 款模型,发现工具调用上下文中模型残差流的拒绝方向激活普遍下降。
推荐理由:原文通过对照基准和内部表征分析,揭示了大模型在文本对话中学会的拒绝机制无法有效迁移到工具调用行为。
研究人员提出一种受模型预测路径积分(MPPI)启发的测试时框架,结合世界模型多分支预测与双分支经验记忆实现 LLM 智能体自改进。智能体在每步提出多个候选动作并由世界模型预测结果,通过评估任务进度与风险成本权重指导最终决策。在 ALFWorld 和 ScienceWorld 上跨 3 个基础模型的实验验证了该方法的有效性,相关代码将公开发布。
研究团队提出了评估代码智能体备份意识的基准 RegretBench 与自动化备份层 BackUpper,用于解决智能体在修改环境状态时缺乏事前保存机制的问题。评测显示六款前沿模型平均任务完成率达 86.1%,但在产生破坏性修改前的备份率仅为 15.2%。
D-Skill 框架通过分析成对轨迹将黑盒教师模型的行为优势离线提炼为自然语言技能文档,供学生模型在推理阶段使用而无需更新权重。在 SpreadsheetBench-Verified、ALFWorld 与 chess puzzles 评测中,该方法弥合了 75%-95% 的师生差距,表现超越单轮 SFT 基线。同模型家族下,学生模型的单任务推理成本比教师模型降低 5.7x-8.3x。
Prolog 教材《Simply Logical》梳理了其从 1994 年附带 3.5 英寸软盘的印刷版,演变为如今完全交互式在线版本的三十年历程。三位作者分别结合原书教学理念、现代 Web 编程的交互实现以及创作工具包构建,探讨了技术对教育材料的影响与未来 Prolog 教学机遇。
研究团队提出开源多智能体深度研究框架 DiffResearch,将扩散语言模型作为各阶段核心以解决端到端延迟瓶颈。在 100 项 Deep Research Bench 任务中,扩散骨干网络带来约 6 倍的端到端提速,并在规划和写作阶段显著减少耗时。
推荐理由:该研究将扩散语言模型引入多智能体研究系统,通过非自回归生成缓解了长文规划与撰写的延迟瓶颈。
扩散语言模型智能体可通过去噪状态压缩出的 4 个带符号稠密向量实现潜空间通信,实验证实接收方能有效理解并利用该隐藏信息。在受控任务中,错误信息替换使 Tiny-A2D 和 Dream-7B 分别损失 +63.6 与 +100.0 点优势,QASC 匹配通信准确率达 80.8%。时序测试显示单次后期传输准确率达 87.8%,比 4 次循环交互高出 +7.0 点,表明信息传输时机比交换频次更为关键。
AI 智能体系统 Fig 通过对博弈环境执行针对性干预,系统化诱导并评测多智能体的特定社交行为。该系统可将自然语言行为描述拆解并生成或调整博弈环境,结合机械检查与合成评分标准评测模型表现。在合作、欺骗、背叛等 6 种测试行为中,模型平均在 45.2% 的回合中尝试了目标行为,干预使尝试率较对照组平均提升 10.9%,代码已开源。
一项研究构建了受控的 LLM-LLM 辩论框架,测试 GPT-6 Luna 与 Gemini 2.5 Flash Lite 在 4 种组合下讨论争议议题时的观点动态变化。实验发现同模型交互平均会缩小双方观点差距,而跨模型交互反而会拉大差距。此外,明确的说服指令并不能可靠增强模型影响力,显式立场报告与实际对话行为也呈现出截然不同的特征。
研究人员推出首个面向 Relational Transformers 的预训练 Speedrun 排行榜 modded-nanoRT。该方案结合 typed trilinear attention 算子、Muon 与 SIGReg,在单块 NVIDIA H200 上仅耗时 305.63 秒达到质量目标,比参考实现提速 8.11x,并在开发库外赢下 15 组对比中的 13 组。相关基准与代码已开源。
Sketch2Sim 是一个端到端模块化框架,可直接将手绘电路图照片转换为 SPICE 兼容网表,并自动求解节点电压与电流。系统依托 1,000 个手绘 RLC 电路数据集,采用双 YOLO、CRNN 与 DBSCAN 算法完成元件检测、数值识别和节点拓扑映射。该方案还提供了综合 UI,在多种手写风格与光照下表现稳健,适用于教学与工程设计评审。
决策语言模型 Jev 可作为临床 AI 评估中 LLM Judge 的高效替代方案,其一致性匹敌或超越 Claude Opus 5.5 与 GPT-6。在儿科质量评级中 Jev 的 Gwet's AC2 达 0.50,且在 HealthBench Professional 上与参考裁判 GPT-5.4 达成 91% 的标准一致。
新研究提出连续规模竞速(SSR)框架,通过自适应搜索最优证据组合优化智能体 Harness 演化,解决了演化任务池扩展时的性能退化问题。在 3 个 benchmark 的 6 种配置下 SSR 均取得 SOTA;任务池从 40 增至 200 时,通过率从 64.3% 稳步提升至 68.3%,而基线性能全部下滑。此外,其竞速机制还在低算力预算下减少了 60% 的验证执行量。
研究团队推出长周期测试基准 Agent4Sci,跨越 11 个领域的 20 个基准测试,评估前沿智能体提升科学机器学习最佳模型的能力。实验显示前沿智能体能在所有基准上取得进展,Claude Opus 达到 10.4% 的平均相对提升,但收益几乎完全来自机器学习工程技巧而非深层领域洞见,存在新颖性误判和过早陷入局部调优等限制。
推荐理由:论文通过 20 个科学机器学习基准揭示了前沿智能体主要依赖工程技巧而非科学洞见,并给出了通过插件技能翻倍性能的方法。
研究人员提出 SpecEvo 多大语言模型框架,通过轻量模型并行生成候选程序并沉淀搜索经验,同时让前沿模型仅在停滞节点执行战略干预。在涵盖 4 个领域的 176 项科学与算法发现任务中,SpecEvo 达到或超越前沿模型基线,同时降低高达 80% 的 API 成本,并在 CO-Bench 上相比最强基准提升 3.8%。
针对虚拟世界具身智能体的持续预训练研究测试了 0.8B 至 27B 规模与 50 至 1,600 小时数据,涵盖 120 种训练配置。研究拟合了验证损失与数据量、多样性及模型规模的经验扩展定律,发现数据多样性有助于向相关虚拟世界迁移。所得模型在 3D 实时环境中媲美 Minecraft 专家模型,但面对差异较大的世界仍存在泛化差距。
研究提出了面向 RAG 查询澄清的数据集 ClariEdge(约 3,900 个样本),并表明轻量级微调 LoRA 能达到 96.6% 的分类准确率。该小模型在分类与澄清生成质量上均超越了多种大模型的提示词基线,且 hard negatives 是准确识别真实歧义的关键。该 LoRA 适配检索前与检索后两个阶段,可嵌入 RAG 流程作为回答生成前的校验机制。
研究发现大语言模型在通过硬标签或软标签蒸馏时,会继承教师模型无关特性的“阈下学习”现象,且该迁移在不同初始化权重、预训练数据顺序、语料、模型大小及架构下均持续存在。实验基于 Pythia、PolyPythia 和 DataDecide OLMo 模型,表明传递与获取偏好的能力在预训练检查点中独立发展,并在角色反转时呈现出强不对称性。相比硬标签蒸馏,软标签蒸馏只需更少训练即可产生更一致的偏好迁移。
一项新研究追踪开源推理模型的训练历程发现,模型在重新审视步骤时使用的“wait”标记并非由强化学习自主发明,而是继承自预训练数据或带有推理轨迹的微调数据。在缺乏该词的基座模型上,强化学习虽能显著提升 MATH-500 准确率但基本不会凭空生成该词;若基座已有该词,不同强化学习方案则会改变其使用频率和报警敏感度。
针对同策略自蒸馏(OPSD)中教师分布过度依赖单一完整参考解答导致的“参考引发目标不稳定”问题,研究人员提出了蒙特卡洛特权蒸馏(MCPD)方法。该方法将特权上下文建模为部分参考视角的分布,评估多视角下的教师分布并在概率空间进行平均,从而蒸馏边缘教师分布。在数学与科学推理基准测试中,MCPD 提供了更具参考一致性的监督,效果持续优于全参考 OPSD。
MOER 提出一种强化学习混合策略优化框架,通过向 prompt 注入逐步缩短的专家思维链前缀引导自主推理,并借助选择性回滚机制将失败补全替换为完整专家轨迹以保证正确性。该框架结合了用于 on-policy token 的 GRPO 损失与置信域 SFT 损失以稳定训练,在数学和通用推理任务中取得最高平均分,代码已开源。
斯坦福大学等机构的研究团队提出了 Joules-to-GDP 评估框架,通过每焦耳净价值(NVJ)和每焦耳节省时间(TSJ)量化 AI 系统在单位能耗下的经济产出。
研究人员提出一种通过单调子网络差值实现混合单调函数的新型神经网络架构,将紧致输出包络的计算简化为输入区间对角顶点的两次简单前向传递,无需复杂的集合传播。该方法在训练期间直接最小化包络大小,在回归和动力系统基准上包络大小可缩减至理论下界 0.5% 以内且不损失预测精度。
研究人员将联合嵌入超网络 JEPAWG 应用于 4 种动力系统构建的模型动物园,通过权重空间分析物理动力学分岔。JEPAWG 的解码权重参数导数范数能定位 Hopf 点与曲线、追踪倍周期分岔级联并定性估计 Feigenbaum 常数,还能检测无特征值特征的全局分岔。其预测性能可匹敌直接针对预测任务训练的超网络,为从训练网络中读取物理结构提供了可解释工具。
一项新理论研究揭示了逆向 KL 策略蒸馏的统计学界限与样本复杂度差异。在在线蒸馏中,若教师模型仅反馈学生生成动作的概率,所需数据量会大幅增加;而离线蒸馏无论教师提供完整分布还是单一动作概率,均可达到相同的 minimax 速率。研究还提出了轨迹损失截断、重要性比率截断与策略空间学习技术,以实现最优在线蒸馏保证。
Lean Finder V2 是一种针对 Mathlib 的语义搜索框架,通过对抗训练与查询重写消除简短、模糊查询的歧义。在人工整理的 MathlibQR 基准上,该框架刷新 SOTA,较此前最优语义搜索引擎取得至少 11% 的相对提升。它在人类与编码智能体未标注查询测试中被评为最强系统,集成至 Claude Code 后提升了定理证明成功率。