Tamnoon 如何基于 Amazon Bedrock 构建 AI 云安全修复平台
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可在 90 天内将关键云风险暴露减少超 90% 且实现零生产故障。该平台采用 AWS 无服务器架构,由调查、安全评分、修复和代码生成 4 个专业 AI 智能体协同工作,自动将安全漏洞转化为生产安全的修复方案。通过单一 API 即可为不同任务匹配最优基础模型,兼顾复杂推理与高吞吐效率。
Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可在 90 天内将关键云风险暴露减少超 90% 且实现零生产故障。该平台采用 AWS 无服务器架构,由调查、安全评分、修复和代码生成 4 个专业 AI 智能体协同工作,自动将安全漏洞转化为生产安全的修复方案。通过单一 API 即可为不同任务匹配最优基础模型,兼顾复杂推理与高吞吐效率。
AWS 推出基于 Amazon Bedrock AgentCore 构建的 AI 智能体方案,可在 90 秒内自动将企业文档转换为 PowerPoint 演示文稿。
Amazon SageMaker JumpStart 提供了基于 SageMaker Python SDK v3 的模型部署与评测工作流,支持通过测试提示词评估延迟、预估输出字数和生成速率,并在测试完成后清理端点。平台还提供针对低成本或低延迟等优化的预配置部署选项,并支持从 Hugging Face 一键跳转至 SageMaker AI 部署。
开源开发者 Tomeu Vizoso 持续推进 Mesa 驱动栈的 NPU 功能,为该项目新增了在 PyTorch 环境下支持 YOLOX 目标检测模型的能力。尽管 Mesa 主要用于开源 GPU 驱动,但他正不断拓展其在 AI 推理领域的 NPU 驱动支持。
Simon Willison 介绍了 Anthropic 为应对代码变更暴增而自研版本控制系统 Scion 替代 Git 的实践。随着模型编码提速,Anthropic 每日合并变更从 5 月的约 2,500 次跃升至 9 月的超 30,000 次,CI 每日检出达 2,500 万次,7 人团队历时 5 个月完成了向新系统的迁移。
Amazon Bedrock 托管授权支持从中心账户订阅第三方 AI 模型,并将 AWS Marketplace 私有定价优惠(MPPO)分发至多个 AWS 账户。
GitHub 推出并解析了用于密钥检测的两阶段扫描新架构,通过结合高召回正则过滤与微调的 ModernBERT 紧凑分类器降低误报。相比此前基于远程 LLM 的方案,新架构将扫描执行时间中位数缩短 86%,服务成本降低超 98%,仓库所有者加权采纳率提升 11.5%。模型以 8 位量化 ONNX 格式部署,毫秒级响应能力使其成功扩展到了代码提交推送前的实时拦截保护。
推荐理由:文章展示了用轻量编码器模型替代通用大模型处理垂直分类任务的工程方案,在大幅降本的同时满足了低延迟推送拦截需求。
AWS 针对 NVIDIA Hopper 架构优化了 Amazon SageMaker AI 上的 Fused MoE Kernel 实现。
Orca Security 联合 AWS 基于 Amazon Bedrock 构建了自然语言查询智能体 Discovery AI,可将用户的自然语言问题自动转换为 Sonar 图谱查询。
IREE 3.12 正式推出,重写了 Vulkan 驱动代码并引入实验性 AMD HSA HAL。作为基于 MLIR 的端到端编译器和运行时,IREE 致力于将机器学习模型编译降级为统一的中间表示(IR),并支持跨不同硬件与驱动栈高效运行。
学者在《Nature》撰文指出,关于转向本地服务器运行开放权重模型能够节省能源的预测目前缺乏充分证据支持。此前有研究呼吁科研人员摆脱对超大型数据中心的依赖并在本地运行 AI 模型以争取工具自主权,但去中心化 AI 的实际能耗表现仍有待更多数据验证。
国产AI原生基础设施服务商无问芯穹完成23亿元C轮融资,累计融资达43亿元,并据报道已向港交所保密递交IPO申请。公司主打不自建机房的多元异构算力调度与软硬协同优化,已适配16种芯片并实现千卡规模异构混训;在Agent应用催化下,其大模型服务平台日均Token使用量半年内增长超40倍。
无问芯穹宣布完成 23 亿元 C 轮融资,公司累计融资额达到 43 亿元,创下中国 AI 原生基础设施赛道单轮及累计融资额纪录。公司围绕多元异构与自主式 AI 推进 Agentic Infra 战略布局,贯通算力集散、Token 生产及生产力商店三层链条。本轮投资方涵盖多家国资、产业及财务投资机构,其技术方案已与智谱、月之暗面等大模型厂商及多个行业场景对接。
针对集中式 GPU 基础设施成本高与资源受限等问题,研究人员提出了 Minions,一个聚合 macOS 设备闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云。该系统旨在执行大规模机器学习推理工作负载,无需额外采购 GPU 硬件。它具备灵活的 GPU 推理任务执行能力、容错机制以及高效的资源利用率。
Amazon Bedrock 在新加坡、雅加达、马来西亚、泰国和中国台北等 5 个 AWS 区域提供 OpenAI GPT-6 Sol 与 GPT-6 Luna 的全球跨区域推理,并在新加坡区域提供 GPT-6 Astra。
AWS 推出面向多节点部署的 Ray LLM Deep Learning Containers(DLC),支持在 Amazon EKS 上跨两个 GPU 节点部署大语言模型,实现 Prefill 与 Decode 阶段分离的多节点解耦推理。
AWS 介绍了在 Amazon SageMaker AI 上使用专用 llama.cpp 深度学习容器(DLC)部署量化决策模型的方法,支持 CPU 与 GPU 架构。
微软计划从 2027 年起将自研 Azure Maia AI 芯片扩展至多吉瓦规模,使其成为各产品线的主力推理系统。目前 Maia 200 已支撑美欧等地的 Microsoft Copilot,年底前将接入 GitHub Copilot 和 Foundry。
NVIDIA 在 OCP 全球峰会上宣布通过开放 MGX 架构将 Vera Rubin 机架及计算托盘设计贡献给 OCP,为下一代吉瓦级 AI 工厂提供统一的基础设施参考规范。
推荐理由:NVIDIA 将 Vera Rubin 架构与机架规范贡献给 OCP,降低了超大规模 AI 工厂在液冷、供电与网络层面的标准化部署门槛。
微软宣布推出第三代自研 AI 芯片 Maia 300,计划将其作为旗下产品和服务的核心 AI 推理系统,预计 2027 年开始投入生产部署。该芯片基于台积电 N2P 工艺与小芯片架构,每兆瓦 token 产出预计比主流 GPU 系统提升 40%,96 卡满配机柜的 token 吞吐量可达 Maia 200 的 7 倍,重点针对长上下文推理和多步骤智能体任务进行优化。
2026年CCF-天算星座基金正式启动申报,单个指南经费在20万元左右,申报截止时间为2026年11月30日。基金共开放7个指南方向,涵盖在轨大模型推理加速、光学遥感及星载SAR在轨智能应用、空间存储系统等技术问题。该基金旨在依托产学研协同机制解决太空计算与在轨AI Infra的基础研究与工程实践难题。
字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中,ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%,并降低 10.69% 的总 CPU 使用率。在训练场景下,其将 P99 模型参数推送延迟最多降低 74.0%,且运行时未出现 PFC 暂停。
研究团队提出 Kronecker Product Attention(KPA),将 KV 激活值表示为紧凑矩阵因子的克罗内克积之和,实现最高 10x 的 KV cache 压缩。该方法严格泛化了 TPA,并通过匹配的结构化旋转嵌入消除了类似 MLA 的解耦 RoPE 分支。在相同训练条件下,KPA 在 4 个模型规模和 9 个下游基准上性能达到或超过 MHA、MQA、GQA 与 MLA。
研究人员提出 STAPLE,通过残差路径引入静态稀疏嵌入模块来升级预训练模型,在保留原有计算的同时高效扩展参数。在 OLMo-2 1B 上,STAPLE 相比稠密微调在 HumanEval 和 GSM8K 分别提升 4.27 与 2.27 分,并在 OLMo-2 7B 上保持增益。
研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。
研究者提出了代数整数格式(AINF)并推出用于大语言模型推理的有损压缩格式代数整数量化(AIQ)。AINF 可直接简化为纯整数运算,实现无误差乘加操作,并支持根据具体用例定制数值特征。实验表明,基于二次代数整数的 AIQ 在相同每参数比特预算下,在多个模型与基准测试中均取得了与行业标准 MX 格式相当的精度。
研究人员提出离群感知注意力线性化方法(OAL),通过将贡献尺度相近的维度分组共享系数并单独处理少数离群维度,构建对序列长度具备线性复杂度的正二次核近似。在 Qwen2.5-0.5B 上,OAL 相比 DiJiang 将冻结注意力输出的相对 MSE 降低约 8.9%。
Python 3.15.0 已正式加入 actions/python-versions。开发者现可在 GitHub Actions 测试矩阵中添加“3.15”,针对新发布的 Python 3.15.0 运行测试。作者此前还曾让 ChatGPT 设置定时拉取脚本,以追踪该稳定版本的上线动态。
AI 模型将在未来几年成为超越人类水平的分布式 GPU 工程师,但这种工程能力的巨大加速并不会让模型产生本质改变或直接迈向通用超级智能。近期的核心进展主要来自当前工具下推理计算的扩展以及训练与推理栈的端到端优化,模型的有效智能成本预计将呈近指数级下降。架构设计与数据选择等预训练研究有望在 2-3 年内实现自动化,同时推动智能体需求激增。
IEEE 推出包含 5 门课程的“AI 处理器架构、设计原则与性能”培训项目,帮助工程师掌握现代 AI 芯片设计与优化。课程涵盖计算单元、内存层级以及面向边缘与云端的架构,针对 AI 内存墙等瓶颈展开软硬件协同优化解析,并采用 AI 生成虚拟化身对话展示多角色工程决策与权衡。
BEVPIPE 框架提出了一种利用便携式 GPU 计算 API 部署多模态 BEV 感知流水线的方法,解决了标准推理运行时与稀疏 3D 卷积等算子不匹配的部署难题。
RaReCache 框架通过基于秩不一致的选择性重计算,支持大模型直接复用小模型预填充的 KV cache。在 Qwen3-0.6B 至 14B 上仅需重计算 30% 位置即可保留 95-99% 精度,在 Llama3-8B 至 70B 上重计算 40% 可保留 96.5% 精度。
TokenBank 是一种面向 AI 服务的金融基础设施,通过结构化合约支持服务消费权、API 差价远期结算、未来收入融资及特定故障赔偿。在 899,441 次 API 请求重放等评测中,远期合约在零贴现涨价场景下使平均支出减少 USD 304.88,并在低资金条件下带来 +1.0635 实验 USD 的贡献改善。目前其云基础设施代码库与托管部署已公开。
Postman 与 AWS 联合拆解了 Agent Mode 接入成熟软件的生产架构,核心解决工具膨胀与上下文治理瓶颈。系统通过向量检索将 170 多个工具动态精简至约 15 个,并采用专用上下文处理器替代渲染层数据,同时解耦了界面状态与工具操作。底层基于 Amazon Bedrock 调用 Claude 模型,配合跨区域推理与多层 Prompt 缓存应对流量突发并降低成本。
推荐理由:原文结合生产实测指出了工具膨胀门槛与上下文瓶颈,展示了成熟软件接入智能体时的工程化落地方案。
AWS 汇总了 9 月在 Amazon Bedrock、AgentCore 及 Strands 的重要更新,包括公测支持 OpenAI 模型的托管智能体及上线多款前沿模型。
字节 Seed 团队研究发现,DeepSeek-V4 等模型的长文本检索表现会随输入 Token 相对压缩窗口边界的位置出现周期性波动,128K 检索准确率差距最高达 40.2 个百分点。这一现象被称为相位敏感性,主要由分块 KV Cache 压缩机制引起,且波动周期与底层压缩步长直接对应。实验显示后训练和架构迭代能缩小该差距,团队建议评估分块压缩模型时需对不同压缩相位分别测试。
研究人员提出结合强化学习与博弈论的自适应多判别器 WGAN 框架,以解决车联网环境下的生成模型资源编排难题。框架通过路侧单元的 DQN 智能体协调车载节点分布式训练,动态平衡对抗质量、延迟与通信开销。在真实 NGSIM 轨迹数据评测中,其取得最低的 1.029 RMSE 与 0.894 MAE,平均 CPU 利用率降低约 28%,内存使用量减少约 6%。
研究人员提出 PFN-OPE,通过摊销离线策略评估应对大语言模型持续部署中的策略偏移与奖励偏移问题。该方法只需预训练一次,测试时无需逐任务重新拟合,经单次前向传播即可输出目标策略的价值估计。在 HelpSteer2 与 UltraFeedback 上针对 Qwen、Llama 和 Gemma 策略的测试中,其在奖励偏移下的误差比最佳基线低 2.0 至 9.3 倍。
针对基于 SVD 的 KV cache 压缩微调,研究指出采用冻结解码器、仅修复编码器的方案,在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量,并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证,同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。
针对训练后量化中更低重构损失反而可能损害模型性能的问题,研究者提出事后优化框架 DRQ(Distributionally Robust Quantization)。