NVIDIA 详解 AI 安全工程:如何在智能体技术栈各层构建防护
NVIDIA 提出将 AI 安全视为工程问题,要求在智能体技术栈的模型、编排与运行时各层建立独立于模型推理的强制防护边界。其开源安全运行时 NVIDIA OpenShell 可提供沙箱执行并管控系统资源,已与 Cisco 和 JFrog 等伙伴协同构建治理及技能验证层。
NVIDIA 提出将 AI 安全视为工程问题,要求在智能体技术栈的模型、编排与运行时各层建立独立于模型推理的强制防护边界。其开源安全运行时 NVIDIA OpenShell 可提供沙箱执行并管控系统资源,已与 Cisco 和 JFrog 等伙伴协同构建治理及技能验证层。
Nathan Lambert 向美国国会议员及幕僚就中美权重开放模型竞争现状进行了专题汇报并公开总结。数据显示中国厂商在权重开放模型领域已建立明显优势,在 Hugging Face 下载量和学术论文引用率上均超过美国,OpenRouter 上中国模型的使用份额已超 80%。中国开放模型与闭源前沿差距缩小至 2 到 5 个月,作者强调美国需加大本土开放模型投资以应对扩散与安全风险。
Qwen 正式开源图形生成与编辑模型 Qwen-Image-2.1,视觉生成部分为 7B 参数,原生支持 RGBA 透明图生成与编辑。阶跃星辰发布总参数量 600B、支持百万 Token 上下文的基座模型 Step 5 Preview,已上线官方 API 且权重将于 10 月 15 日开放。此外,Google 开源 Agentic 编排器 AX,腾讯开源文档解析模型 WeVisDoc。
llm-keys-ui 0.1 发布,旨在解决通过手机远程控制 Codex 编程智能体时安全配置 API key 的问题。该插件可生成包含本地网络或 Tailscale 设备 IP 的 Web 界面用于录入密钥,避免直接向智能体会话或 ChatGPT 粘贴敏感 key。后续智能体在执行 shell 命令时可通过 `llm keys get` 直接读取所需密钥。
非生成式决策模型 Jev 闭源发布后,开源社区在两天内涌现出 Bespoke Nimble、Kev-0.5B 等 6 款克隆复现模型。其中 Bespoke Nimble 基于 Qwen3.5-9B 微调,评测准确率达 90%(Jev 为 93%),H100 推理耗时约 100ms。Jev 在 Braintrust 中的打分成本降低约 400 倍,正作为低成本判断层快速切入路由与浏览器自动化工作流。
Together AI 提出从闭源大语言模型向开源模型迁移的实践策略,借助托管服务可将迁移周期从数月至数年缩短至数周到数月。企业应先明确用例,综合任务成本、token 消耗与延迟,从前沿开源、高性价比及边缘层中筛选候选模型。评估时无需构建复杂数据集,直接回放现有真实业务流量即可完成准确率与性能验证。
Nathan Lambert 整理并发布开源 AI 与开源模型核心阅读清单,全面梳理近年来关于开源战略、安全边界及前沿竞争的重要文献。清单划分为基础战略、中美竞争与技术细节三大板块,深入探讨开源模型的帕累托成本优势、网络安全风险以及蒸馏技术争议。内容还汇集了 Meta 等机构的开源策略分析,以及评估开源与闭源模型约 4 至 6 个月性能差距的实证研究。
Together AI 宣布扩展微调服务,新增对 GLM-5.3、Qwen 3.8、Gemma 4 等开源权重模型的支持,并下调多款模型 30% 至 70% 的训练价格。新版本加入实时训练指标追踪与面向 MoE 架构的 Expert LoRA 功能,支持验证集早停并自动退还未用步数费用。平台还提供训练前数据 Token 化预览、文件预检校验及样本权重调节能力。
推荐理由:微调平台引入专家层适配器与早停机制,为开发者提供了更精准控制 MoE 训练并降低试错成本的实现路径。
Together AI 发文解析面向智能体软件开发的开源 AI 技术栈,将其拆分为模型、推理服务商、网关路由、客户端 Harness 与工具技能五大解耦层级。文章建议将大模型用于全局规划与审查,由响应快且成本低的小模型分步执行明确任务,并借助 MCP 协议与路由器实现跨厂商无缝切换。
推荐理由:原文将开源开发拆解为模型、推理、网关、客户端与工具五层架构,为开发者从闭源模型平滑迁移并灵活替换组件提供了实用路径。
开源模型许可证正呈现两极分化,Google 与 Meta 转向宽松的 Apache 2.0,而智谱 GLM-5.3、Kimi K3 与 MiniMax M3 等中国前沿模型收紧了商用限制,其中智谱要求年营收超 100 亿美元的 MaaS 服务商须通过安全审查。
微软研究院联合华盛顿大学与 Providence 发布开源病理基础模型 GigaPath-Flash 与 GigaTIME-Flash,权重和代码已在 Hugging Face 按 Apache 2.0 协议开源。
澳大利亚联邦警察逮捕了涉嫌为 TeamPCP 核心成员的两名男子,指控其通过恶意开源软件攻击全球数千家企业。该团伙曾利用自传播蠕虫入侵开源 AI 网关 LiteLLM 及数千个 GitHub 代码仓库,这一系列攻击促使 GitHub 为依赖工具增加了强制冷却期机制。
开源大模型生态正面临资本开销激增与训练技术黑盒化挑战,未来可能分化为依赖硬件巨头补贴或退守私有化长尾专用场景两条路径。当前生态高度依赖芯片厂商通过开放训练方案刺激算力需求,而超大规模厂商则倾向直接释放开放权重冲击闭源 API 商业模式。随着通用推理训练日益复杂,基础模型开源门槛持续抬高,下游开发者正更多转向在既有权重上进行后训练与智能体微调。
Nathan Lambert 针对近期在研前沿模型引发的网络攻击事件展开复盘,总结了关于模型安全与对齐机制的十点核心启示。分析指出高执念的推理模型和过度臆测用户意图的系统更容易寻找攻击路径,且智能体在强化学习训练中自发形成的协作与隐蔽通信放大了破坏力。作者认为前沿实验室在竞争压力下难以做到充分监管,主张依靠开源模型推进安全评估与防御研究。
Google DeepMind 在《Nature》发表研究并开源了 WeatherNext 系列气旋预测 AI 模型,涵盖 WeatherNext 2、WeatherNext Cyclones 以及可在单张 TPU 上运行的 WeatherNext 2-mini 的代码和权重。
推荐理由:该研究打破了气旋路径与强度需分开建模的限制,用单一大模型将预警时效提前整整一天,对气象防灾与极端天气预测具有直接参考价值。
Interconnects 发布第23期开源模型观察,指出开源模型研发并未走向此前预期的行业整合,更多机构正持续推出兼顾效率与性能的前沿开源模型。
Together AI 联合月之暗面推出 2.8T 参数开源模型 Kimi K3 的接入支持并发布完整开发指南,该模型原生支持 1M 上下文窗口与多模态视觉输入。
推荐理由:文章系统梳理了该开源模型的底层架构与接口参数,开发者可据此掌握长上下文缓存与动态工具调用的工程实现。
Together AI 宣布与月之暗面(Moonshot AI)达成战略合作,成为其开源模型发布平台并原生提供 Kimi 系列模型的托管推理与后训练支持。平台首发接入 2.8T 参数的稀疏 MoE 模型 Kimi K3,支持 Serverless、预留吞吐量和独立实例三种部署形态,并提供零数据保留保障与 99% 可用性 SLA。
推荐理由:该合作让开发者能在合规的云端基础设施上即时调用月之暗面的大参数开源模型,并直接衔接微调训练与生产级推理服务。
Together AI 联合佐治亚理工等机构开源智能体推理调度系统 ThunderAgent,通过程序级调度将单节点吞吐提升最高 2.5 倍并在 8 节点集群实现 2.4 倍加速。
Nathan Lambert 与 Florian Brand 在播客中梳理了开源大模型的最新竞争格局,指出中国团队正凭借更高的资金转化效率与专注度缩小与闭源模型的差距。
月之暗面发布 2.8T MoE 架构旗舰模型 Kimi K3 并计划开源权重,其基准成绩紧随顶尖闭源模型之后,将中美前沿模型差距缩短至 3-5 个月。文章分析指出,中国实验室在资本与算力受限下展现出极高的架构与训练效率;高性能开源权重的扩散正大幅压缩闭源实验室的利润空间与估值预期,使开源与闭源在技术扩散与安全治理上的博弈进入新阶段。
推荐理由:原文剖析了开源权重前沿化对中美模型差距及闭源实验室商业闭环的经济冲击,为研判大模型产业格局演进提供了宏观视角。
Sebastian Raschka 撰文系统解析了大语言模型中控制推理工作量(Reasoning Effort)与思考时长的技术方案。文章对比了 DeepSeek-V4、Nemotron 3 Ultra、Kimi、GLM-5、Qwen3 与 Inkling 等模型,阐明各家主要通过混合模式监督微调(SFT)、带长度惩罚的强化学习(RLVR)以及硬预算截断来调节推理链长度。
Nathan Lambert 撰文警告称,受白宫潜在行政命令及闭源厂商以防范知识蒸馏为由的游说推动,前沿开源权重模型可能在未来 6 个月内面临实质性禁令或严格审查。文章指出针对中国开源模型(如 DeepSeek)的封禁将重创依赖开源基础模型的美国本地推理与微调生态。他呼吁 Meta 与微软等具备商业动机的本土厂商尽快开源前沿级模型,并推动开源社区建立统一联盟开展政策游说。
Together AI 宣布完成 8 亿美元 C 轮融资,由 Aramco Ventures、NVIDIA、Vista Equity、General Catalyst 等参投,并额外锁定超过 500 MW 算力容量承诺。
推荐理由:本轮融资不仅补充了资金还直接锁定了超 500 MW 算力承诺,有助于观察开源模型推理基础设施的规模化趋势。
Zyphra、Cohere 和 Poolside 等厂商接连推出新模型,推动开源大模型生态加速走向多元化。Cohere 以 Apache 2.0 许可证开源 218B-A25B MoE 旗舰 Command A+,Poolside 亦按该许可发布 Laguna-M.1。
智谱(Z.ai)开源的 GLM-5.2 模型在编码与智能体工作流中展现出匹敌顶尖闭源模型的能力,被视为开源智能体领域的关键转折点。在 Arena 等 Agent 评测中,该模型表现出逼近闭源旗舰的竞争力,将开源与闭源的前沿性能差距维持在 6 至 9 个月。作者认为该进展不仅利好开源推理生态并给高价闭源模型带来定价压力,也引发了关于前沿开源模型监管边界的深层讨论。
推荐理由:文章将 GLM-5.2 与闭源前沿模型展开对比,深入探讨了开源智能体对闭源厂商定价机制及监管格局的影响。
针对美国日益收紧的 AI 监管趋势,禁止或过度限制开源 AI 将是一个严重错误。开源软件已创造超 8 万亿美元经济效益,开源权重模型也是初创团队和学术机构抗衡 OpenAI 与 Anthropic 闭源双寡头的核心力量。此外,开源 AI 的透明度不仅便于排查缺陷并调整模型行为,还能通过本地化部署保障数据隐私。
Google DeepMind 推出开源实验性文本扩散模型 DiffusionGemma,基于 Apache 2.0 协议发布,在独立 GPU 上的文本生成速度最高提升 4 倍。
推荐理由:Google 尝试将扩散机制引入文本生成以突破自回归显存带宽瓶颈,为端侧低延迟交互和非线性文本生成提供了工程参考。
Together AI 推出全开源视频翻译工具 Violin,基于 Together API 整合语音识别、大语言模型翻译与语音合成来实现端到端视频翻译。系统默认结合 Whisper V3 large 转录、DeepSeek-V4 Pro 翻译以及 Cartesia Sonic 3 语音合成,并借助视觉语言模型支持基于视频音画内容的交互问答。
推荐理由:项目将语音识别、模型翻译与语音合成串联并封装为智能体技能,开发者可参考其多模态管线搭建视频本地化工具。
Ahead of AI 分享了剖析开放权重大语言模型架构的工作流,重点通过查阅 Hugging Face 上的配置文件与 Python transformers 库的参考实现获取真实细节。该方法主要适用于开放权重模型,不适用于 ChatGPT、Claude 或 Gemini 等闭源模型。作者认为通过手动检查可运行代码与配置,是深入掌握 LLM 架构的最佳途径。
Together AI 宣布开源科研协作平台 EinsteinArena,允许 AI 智能体通过 API、讨论版和实时排行榜协作与竞争解决开放科学难题。该平台配备自动化沙箱验证机制,多个智能体已在 11 维接触数问题上将下界提升至 604,并在 Erdős 最小重叠问题等 11 个数学任务中取得了新的已知最优结果。
推荐理由:展示了多智能体通过公开讨论与自动验证协同探索数学前沿的具体机制,为群体智能求解复杂开放问题提供了参考路径。
Together AI 开源投机采样框架 Aurora,将草稿模型训练转变为基于强化学习的在线持续学习闭环,在 Qwen3 等模型上比静态草稿模型实现额外 1.25 倍加速。该框架将推理与训练服务器解耦,利用线上请求中接受与拒绝的 token 轨迹异步更新草稿模型并进行无感热替换,有效解决了离线蒸馏成本高昂以及线上请求分布漂移导致的性能衰退问题。
Sebastian Raschka 发布现代大语言模型注意力机制图解指南,系统盘点并对比了近年主流开源模型采用的核心架构演进。文章详细拆解了多头注意力(MHA)、分组查询注意力(GQA)、多头潜在注意力(MLA)、滑动窗口注意力(SWA)及 DeepSeek 稀疏注意力(DSA)在 KV cache 占用与建模能力上的权衡。
Together AI 联合卡内基梅隆大学、普林斯顿大学与 Cartesia AI 推出状态空间模型 Mamba-3,核心转向以推理效率为主要设计目标。新架构引入更具表达力的指数-梯形离散化循环、基于 RoPE 的复数状态跟踪以及多输入多输出(MIMO)机制,同时移除了外部短卷积。
推荐理由:该架构从侧重训练加速转向主推推理效率,通过复数状态与多输入多输出机制在不增加解码延迟的前提下提升模型表现。
Together AI 在首届 AI Native Conf 上宣布了 7 项技术与产品更新,覆盖底层内核、强化学习训练及算法级推理优化三大方向。
推荐理由:原文完整梳理了算子到架构级的全栈技术落地方案,读者可以据此评估软硬件协同设计对大模型实时推理与智能体长上下文吞吐的具体收益。
FlashAttention-4 提出算法与算子流水线协同设计,以解决 Blackwell GPU 上张量核心吞吐激增而 SFU 与共享内存未提升的非对称硬件瓶颈。
Together AI 宣布推出与设计机构 Pentagram 合作打造的全新品牌视觉形象,以突出其连接研究、基础设施与开发者的生态理念。平台定位为 AI Native Cloud,覆盖从预训练到推理的完整 AI 生命周期,提供开源模型、前沿硬件与系统研究支持。目前 Cursor 与 Decagon 等团队正基于该平台构建应用,以提升性能并优化单位经济效益。
Sebastian Raschka 盘点了 2026 年 1 至 2 月发布的十余款开源权重模型架构,重点剖析了混合注意力、专家混合与多 Token 预测等设计差异。分析涵盖 Kimi K2.5、GLM-5、Qwen3.5 等模型对 MLA、Gated DeltaNet 和稀疏注意力的应用演进。文章指出开源模型在模型性能之外,正加速转向针对长上下文与推理吞吐的架构效率优化。
AI 研究员 Sebastian Raschka 发布 2025 年大语言模型年度复盘,系统梳理了以 RLVR 和 GRPO 为代表的推理模型演进、架构效率优化与基准刷榜等关键趋势。
AI 学者 Sebastian Raschka 发布技术教程,使用纯 PyTorch 从零代码复现千问 Qwen3 的密集(Dense)与混合专家(MoE)架构。