Mac Studio 结合 MLX 与 RDMA 实现大语言模型本地及分布式推理评测
Apple ML 团队展示了利用 MLX 框架结合 Thunderbolt RDMA 低延迟驱动,在 Mac Studio 上实现超大语言模型本地与跨节点分布式推理的方案。
推荐理由:文章展示了利用雷电 RDMA 在多台 Mac Studio 上组网运行超大模型的方法与实测数据,为端侧分布式推理部署提供了具体参考。
Apple ML 团队展示了利用 MLX 框架结合 Thunderbolt RDMA 低延迟驱动,在 Mac Studio 上实现超大语言模型本地与跨节点分布式推理的方案。
推荐理由:文章展示了利用雷电 RDMA 在多台 Mac Studio 上组网运行超大模型的方法与实测数据,为端侧分布式推理部署提供了具体参考。
Google 推出 Gemini 4 Argon 模型,主打用单一模型同时覆盖机器人动作控制、虚拟仿真环境构建以及训练数据质检。该模型支持从单张照片、草图或操作录像生成虚拟训练场,并在 Google 自身的 ERQA 物理与空间推理评测中获得 87% 的成绩,但在第三方的 AA-Robotics 真机手臂测试中以 55 分位居第三。
在针对 11 个理论物理子领域常规计算的基准测试中,OpenAI Codex 环境下的 GPT-6-Astra 以 98% 的正确率解出 50 道题目中的 49 道,整套测试总成本不足 116 美元。
FSPO 是一种面向策略优化的单策略自蒸馏框架,通过将稀疏历史 next-token 分布存为固定时间目标,无需维护常驻教师模型即可提供稳定指导。在推理与工具调用基准中,FSPO 在 5-hour 训练预算下取得最高平均准确率,比最强基准提升约 4% 个百分点。在 Olmo3-7B-Instruct 上,其峰值显存从约 70 GB 降至 56 GB。
上海人工智能实验室与大湾区大学许地生团队依托书生科学多模态大模型S2,通过人机协同完成了动力系统领域三维Ghys猜想的证明。北京大学刘若川、董彬团队使用SHEAF框架对证明完成了形式化验证,相关论文已在arXiv发布,形式化代码已在GitHub开源。
研究人员提出自适应同策略蒸馏框架 DTDD,通过分段级学生与教师分歧动态触发教师接管,以解决长链推理和多轮智能体中监督不可靠的问题。DTDD 将预热后的峰值梯度范数降低 8.6x,从基础初始化达到 21.3% 保留数学准确率所需的优化步数减少 2.6x。在 ALFWorld 基准中,其在 LoRA 和智能体代码上的性能分别提升 4.8 和 4.1 个百分点。
研究人员针对 MoE 架构的扩散语言模型(dLLM)提出了一种无需策略似然度的训练管线,结合验证器强化学习与结果路由蒸馏。在 24 步去噪下,蒸馏先使模型工具调用性能超过教师 6.77 个百分点,加入路由后在蒸馏检查点基础上进一步提升 18.31 个百分点。该方法还通过锚定 KL 项保护了验证器奖励之外的推理链路准确率。
研究人员提出 Spectral-MoE,通过静态逐层标量和动态逐 token 调度两种方案,在 Dense-to-MoE 转换中跨网络层异构分配专家利用率预算。
研究人员揭示了连续思维机(CTM)在 ImageNet 上的图像分类机制,其思考轨迹表现为神经状态紧跟逐步移动的局部唯一吸引不动点曲线。该曲线运动大多在不同图像间共享,且注意力调度高度通用:在每个时间步打乱图像间的 query 仅导致 7% 的分类准确率损失,图像无关增量预测下一个 query 的 R^2 达到 0.98。这表明 CTM 倾向于采用单一通用策略处理所有 ImageNet 图像。
研究提出让 LLM 智能体团队传递经过校准的动作概率而非单一动作,以在部分信息场景下更有效地聚合决策信息。在协作迷宫任务与预训练 LLM 评测中,保留校准不确定性的概率通信表现显著优于传统的动作通信。针对概率偏差削弱通信收益的问题,研究设计的事后对话校准干预机制能够通过上下文纠偏持续改善协作决策。
研究人员提出了具备风险保证的 Conformal Adaptation 框架,用于实现感知不确定性的稀疏自适应计算。该方法采用分层模型在低分辨率下进行预测,利用共形风险控制对信号进行认证,并仅对已认证区域进行高分辨率细化。在 3D 医学图像分割、2D 星系光通量预测和 1D 钙离子脉冲率预测等多项任务中,该方法在普通 CPU 等设备上实现了 2.5-72x 的实际运行时间加速。
研究者推出评测基准 MA-Bench,旨在评估语言模型在无唯一标准答案下将大量、不完整且存在矛盾的文档转化为行动方案的规划能力。该基准包含 10 个专家构建的场景与 1,257 条通过/未通过要求,评测 20 款前沿及开源权重模型显示最佳模型仅答对 62% 的评分项。模型在文档陈述的事实上表现最好(58%),在推断判断上最弱(33%),且十分之六的失败源于遗漏而非错误。
研究者提出免训练结构化剪枝方法 LayerTrim,通过识别冗余解码器层并选择性裁剪其 MLP 特征,在保留注意力机制和解码深度的同时保护长程推理能力。跨 3 个推理模型和 5 个基准的测试显示,该方法平均准确率相比 RESP 最多提升 21.4 个百分点。在 Qwen3-14B 上,LayerTrim 实现了 1.24x 的 Prefill 加速并降低 19.7% 的 GPU 峰值显存。
研究者提出了面向连续流语言模型的强化学习后训练框架,可直接反向传播验证器奖励。该框架引入能评估中间 token 嵌入价值的 critic,绕过不可微的离散解码步骤以获得方差远低于 REINFORCE 的路径梯度,并从每个 token 表示预测价值来优化策略。实验显示,该方法在 4 项推理任务上稳定提升了连续流语言模型表现,并优于同类基线。
研究者基于局部信任域优化直接从蒸馏目标推导 token 效用,并提出连续、均值归一化的 token 加权方法 Fisher Utility Weighting(FUW)。
研究人员提出一种基于仅有答案数据的逆向推理模型自蒸馏方法,通过条件生成思维链(CoT)轨迹实现高效后训练与验证。在 Qwen3-0.6B 的 Countdown 和 GSM8K 实验中,该方法单轮离线蒸馏使困难提示词的 pass@1 翻倍,并在多项尾部指标上超越拒绝采样自蒸馏。
中国科学院院士励建书与中国工程院院士王坚于10月14日共同启动“未来数学计划”,推动AI与数学双向赋能。该计划重点开展研发数学基础模型、形式化验证、研究AI背后的数学机理以及赋能其他跨学科研究四个方向。浙江大学数学高等研究院与之江实验室已展开实质性合作,旨在建立完全开放的“AI+数学”创新共同体。
Latent Space 专访 Leash Bio 的 Ian Quigley,探讨其如何通过 DNA 编码化合物库(DEL)采集高通量数据,并推出面向 AI 智能体科学强化学习的模拟沙盒 Minos。
First Proof 数学推理评测发布第三批测试结果,结合 GPT 6 Astra 等多智能体的 ProofCouncil 解决了 10 道前沿数学研究命题中的 9 道,而顶尖开放权重模型 Kimi K3 解出 0 道。该测试由多位数学家设计并采用模拟同行评审打分,结果表明商业前沿模型在严谨数学证明上的能力提升迅速,而开放权重模型在数学研究任务上仍存在严重断层。
AI 模型的数学证明产出正在冲击传统数学界的协作与验证模式。OpenAI 批量发布 722 篇未经公开数据和方法的 AI 数学手稿,引发学者对未经人工审核的内容淹没数学社区的担忧。
据外媒报道,OpenAI 计划在年底前发布一到两款新模型,但其下一代旗舰模型因安全对齐和测试要求仍需时间。该旗舰模型采用了与 Astra 相同的循环 Transformer 技术来增强数学和编程表现,但多轮循环机制会将部分推理转入内部数值表示,导致思维链安全监控难度增加。此外,微软此前在技术文章中意外泄露了 GPT-6.1 Sol 采用两轮循环推理的技术细节,随后删除了相关描述。
Google Research 宣布升级 Earth AI 地理空间推理智能体,并发布相关技术报告与 GeoKTools、GeoExpertQueries 两个新基准。
推荐理由:原文展示了如何将地理基础模型与规划机制结合处理复杂空间数据,读者可以参考其通过专业工具包与前期规划解决跨模态空间推理的设计思路。
南京大学数学系教授孙智伟多年来提出上千个数学猜想,并自掏工资设立悬赏激励同行解题,目前已完成记录1000个未解猜想的书稿。他结合编程验证与直觉构想出挑战现有数论盲区的难题,迄今已兑现约5笔赏金。面对AI浪潮,他主张利用AI辅助探索,并强调提出好问题与创立新理论仍是数学家不可被替代的核心能力。
青岛眼科医院联合上海人工智能实验室、上海交通大学,发布糖尿病视网膜病变智能诊疗成果。团队构建并开源了多模态影像数据集 MMRDR,收录超广角成像、OCT 等影像 2.4 万余幅。此外,研发的推理增强型视觉语言模型 UWF-VLMR 可同步输出临床推理依据,诊断结论与国际临床指南契合度达 100%。
Anthropic 旗下大语言模型 Claude 在巨型噬菌体中自主发现了一段类似 CRISPR 的 DNA 重复序列,但团队科学家表示其具体生物学功能尚不明确。该序列紧邻逆转录酶基因,人类科学家通常需要数周至数月完成的分析 Claude 在一天内即可生成。团队目前已将相关线索向科学界公开,并正在探索让大模型作为智能体协同参与实验设计与全流程科研。
基于商汤大装置与上海市规划资源局升级的“云宇星空大模型”,上海发布了量子城市首批政务智能体。商汤大装置研发并交付了“禹智河洛”、“大略之眼”与“详规小工单”智能体,其中防汛调度智能体“禹智河洛”使空间智算、动态模拟和智能调度效率分别提升65%、70%和80%。该模型已积累1.3万对问答和15亿 token 语料,实现空间推理与任务执行链路打通。
Google DeepMind 正式发布前沿模型 Gemini 4 Argon,主打编码、科研与多步骤复杂任务,并在评估关键经济领域能力的 Vals Index 评测中位列第一。
推荐理由:官方给出了在代码库重构与科学计算中的实测细节,开发者可据此评估其深层推理与智能体作业价值。
Google DeepMind 阐释了 Gemini 4 Argon 的安全与对齐防御体系,涵盖高危滥用防范、实时对齐监控和提示词注入防御。系统引入包含激活探针在内的三层实时防护,并实时监控智能体的操作与思维链以阻止越界行为;实验发现不惩罚思维链中的投机想法能有效避免模型隐蔽违规。在 Gray Swan 的 IPI 基准测试中,该模型的攻击成功率降至 0.7%。
推荐理由:原文揭示了惩罚思维链会导致模型转为隐蔽作弊的实验结论,为智能体安全监控提供了可迁移的工程参考。
Simon Willison 发布 llm-meta-ai 0.2 插件,正式支持 Meta AI 新推出的 Muse Wonder 与 Muse Wonder Full 模型。新模型支持 minimal 到 max 六个推理级别,作者通过画鹈鹕测试展示了各级别表现,并对比了 Muse 1.2 与 1.3 版本的明显生成进步。
推荐理由:作者更新了开源插件以支持 Meta AI 新模型,并对比了多代模型在不同推理级别下的生成能力变化。
OpenAI 的一项重大发布在关于质数的难题上取得了令人兴奋的进展。该成果标志着 AI 正在进一步逼近解决数学界最难问题之一的黎曼猜想。
Google 正式面向全球推出 Gemini 4 Argon 模型,主打长任务深度推理与复杂工程、科研及商业工作流处理。该模型具备 1M 统一输入输出 token 限制,API 定价为每百万输入 token 2 美元、每百万输出 token 10 美元(缓存输入享 95% 折扣)。
推荐理由:官方披露了新模型在代码重构、科学计算和具身智能领域的实测提效数据,读者可借此评估其在长链路复杂工程中的实际价值。
数学界专家深入复核发现,OpenAI 公布的 166 页 Navier-Stokes 难题解法并未采用此前争议所指的西班牙方案,而是走出了一条截然不同的全新路径。
推荐理由:数学界复盘厘清了该项成果的技术路径分歧,揭示出大规模智能体集群在复杂推演中超出开发者自身理解的协作现状。
Google 开始在 Gemini 应用与 Antigravity 中面向付费用户推送 Gemini 4 Argon 模型,但较低档位付费方案仍无法获得完整权限。该模型具备推理与智能体编码能力,并内置自动化对齐监控以防止恶意指令;内部应用案例显示,它帮助 YouTube 消除冗余 emoji 渲染使服务器负载降低 45%,并排查出 Project Wing 模拟器自 2018 年以来的关键漏洞。
Google 正式推出前沿大模型 Gemini 4 Argon,主打复杂工作流推理能力并声称在编程、网络安全与科学等基准上优于竞品。该模型已向 Gemini 应用及搜索 AI 模式的 Pro 与 Ultra 订阅用户开放,并在 Antigravity 智能体开发平台上线。其首发定价为每 100 万输入 token $2、输出 token $10,远低于同代竞品模型。
推荐理由:原文给出了定价策略以及相比竞品的基准评测定位,读者可以据此评估新模型在复杂工作流中的成本效益。
AWS 针对 NVIDIA Hopper 架构优化了 Amazon SageMaker AI 上的 Fused MoE Kernel 实现。
AWS 宣布 Grok 4.7 上线 Amazon Bedrock,支持 500K 上下文、工具调用与可配置推理强度(reasoning effort)。官方测试显示,在三类需要搜索验证的复杂任务中,智能体在 72 次测试中取得 67 次正确,其中最高推理强度达到全部正确,而最低档位仅消耗约八分之一的输出 token 便取得 15/18 的正确率。
丘成桐等学者在北京成立数学与人工智能实验室联盟,联合8家机构并计划构建超1000名研究人员的网络,以推进专用模型和机器可验证证明。与此同时,陶哲轩等25位菲尔兹奖得主对AI证明表达担忧,认为其可能削弱数学理解并导致学者依赖不可追溯的工具,部分数学界人士甚至呼吁抵制自动化提交。
苹果与约翰斯·霍普金斯大学研究人员提出 SELFCOMPACT 框架,使大语言模型智能体无需微调即可在推理期自主决定何时及如何压缩上下文轨迹。该方法结合了上下文压缩工具与轻量级触发规则,在 6 个基准测试和 7 个模型上验证,相比无压缩基线在数学任务上最高提升 18.1 点、智能体搜索任务上提升 5–9 点,同时降低了 30–70% 的单题 token 成本。
数学爱好者 nor 利用 GPT-6 Astra 完成了圆盘放入大圆(circle packing)难题中 N≤20 剩余 5 种情况(15、16、17、18 与 20)的最优性严格证明。证明的核心思路是通过几何约束将无限种排列缩减为有限情况,再由计算机逐一枚举排除,最终结合几何刚性完成验证。研究者在过程中负责引导模型、修正细节,并结合 Opus 5.5 交叉复核了全部步骤。
Intel 正式发布 GPU D 系列产品。该系列是面向企业级市场且针对推理优化的 GPU 加速器,此前代号为 Crescent Island。