跳到正文

#部署/工程

今日 4 条
10月14日周三
  1. AWS Machine Learning Blog35

    Tamnoon 如何基于 Amazon Bedrock 构建 AI 云安全修复平台

    Tamnoon 基于 Amazon Bedrock 构建了智能体云修复编排器 Tami,可在 90 天内将关键云风险暴露减少超 90% 且实现零生产故障。该平台采用 AWS 无服务器架构,由调查、安全评分、修复和代码生成 4 个专业 AI 智能体协同工作,自动将安全漏洞转化为生产安全的修复方案。通过单一 API 即可为不同任务匹配最优基础模型,兼顾复杂推理与高吞吐效率。

  2. GitHub Blog · AI & ML64

    GitHub 解析用于密钥检测的专用模型与两阶段扫描架构

    GitHub 推出并解析了用于密钥检测的两阶段扫描新架构,通过结合高召回正则过滤与微调的 ModernBERT 紧凑分类器降低误报。相比此前基于远程 LLM 的方案,新架构将扫描执行时间中位数缩短 86%,服务成本降低超 98%,仓库所有者加权采纳率提升 11.5%。模型以 8 位量化 ONNX 格式部署,毫秒级响应能力使其成功扩展到了代码提交推送前的实时拦截保护。

    推荐理由:文章展示了用轻量编码器模型替代通用大模型处理垂直分类任务的工程方案,在大幅降本的同时满足了低延迟推送拦截需求。

10月13日周二
  1. 量子位60

    无问芯穹完成23亿元C轮融资,刷新国产AI基础设施融资纪录

    国产AI原生基础设施服务商无问芯穹完成23亿元C轮融资,累计融资达43亿元,并据报道已向港交所保密递交IPO申请。公司主打不自建机房的多元异构算力调度与软硬协同优化,已适配16种芯片并实现千卡规模异构混训;在Agent应用催化下,其大模型服务平台日均Token使用量半年内增长超40倍。

  2. 科学网59

    无问芯穹完成23亿元C轮融资

    无问芯穹宣布完成 23 亿元 C 轮融资,公司累计融资额达到 43 亿元,创下中国 AI 原生基础设施赛道单轮及累计融资额纪录。公司围绕多元异构与自主式 AI 推进 Agentic Infra 战略布局,贯通算力集散、Token 生产及生产力商店三层链条。本轮投资方涵盖多家国资、产业及财务投资机构,其技术方案已与智谱、月之暗面等大模型厂商及多个行业场景对接。

  3. Apple ML Research42

    Minions:基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

    针对集中式 GPU 基础设施成本高与资源受限等问题,研究人员提出了 Minions,一个聚合 macOS 设备闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云。该系统旨在执行大规模机器学习推理工作负载,无需额外采购 GPU 硬件。它具备灵活的 GPU 推理任务执行能力、容错机制以及高效的资源利用率。

10月12日周一
  1. NVIDIA Blog67

    NVIDIA 在 OCP 峰会开放 Vera Rubin 架构设计并公布多项 AI 工厂标准

    NVIDIA 在 OCP 全球峰会上宣布通过开放 MGX 架构将 Vera Rubin 机架及计算托盘设计贡献给 OCP,为下一代吉瓦级 AI 工厂提供统一的基础设施参考规范。

    推荐理由:NVIDIA 将 Vera Rubin 架构与机架规范贡献给 OCP,降低了超大规模 AI 工厂在液冷、供电与网络层面的标准化部署门槛。

  2. The Verge · AI73

    微软发布第三代自研 AI 芯片 Maia 300

    微软宣布推出第三代自研 AI 芯片 Maia 300,计划将其作为旗下产品和服务的核心 AI 推理系统,预计 2027 年开始投入生产部署。该芯片基于台积电 N2P 工艺与小芯片架构,每兆瓦 token 产出预计比主流 GPU 系统提升 40%,96 卡满配机柜的 token 吞吐量可达 Maia 200 的 7 倍,重点针对长上下文推理和多步骤智能体任务进行优化。

  3. 科学网34

    CCF-天算星座基金正式启动:单个指南经费约20万元

    2026年CCF-天算星座基金正式启动申报,单个指南经费在20万元左右,申报截止时间为2026年11月30日。基金共开放7个指南方向,涵盖在轨大模型推理加速、光学遥感及星载SAR在轨智能应用、空间存储系统等技术问题。该基金旨在依托产学研协同机制解决太空计算与在轨AI Infra的基础研究与工程实践难题。

  4. arXiv cs.LG43

    在大规模推理与训练负载中部署 RDMA

    字节跳动研发并在参数服务器推理与训练系统中部署了基于硬件 RDMA 的软件通信层 ByteExpress。在生产环境推理中,ByteExpress 相比内核 TCP 分别将平均与 P99 模型参数拉取延迟降低 35.7% 和 43.7%,并降低 10.69% 的总 CPU 使用率。在训练场景下,其将 P99 模型参数推送延迟最多降低 74.0%,且运行时未出现 PFC 暂停。

  5. arXiv cs.LG40

    Kronecker Product Attention:基于结构化分解的高效 KV 缓存压缩

    研究团队提出 Kronecker Product Attention(KPA),将 KV 激活值表示为紧凑矩阵因子的克罗内克积之和,实现最高 10x 的 KV cache 压缩。该方法严格泛化了 TPA,并通过匹配的结构化旋转嵌入消除了类似 MLA 的解耦 RoPE 分支。在相同训练条件下,KPA 在 4 个模型规模和 9 个下游基准上性能达到或超过 MHA、MQA、GQA 与 MLA。

  6. arXiv cs.LG40

    CacheScope:面向免训练扩散模型加速的精确计算分配

    研究人员提出免训练扩散模型加速方法 CacheScope,通过在线识别高风险特征复用步骤并回退至完整计算,实现最高 3.57x 加速。该方法无需额外训练、梯度或辅助网络,利用输入位移归一化探针信号来准确评估缓存风险。在 FLUX.1-dev、Wan2.1-T2V-1.3B 与 Open-Sora 1.2 上,其中位数 LPIPS 较最强探针基线降低最高达 70.1%。

  7. arXiv cs.LG35

    用于机器学习应用的代数整数重整化(AIQ)

    研究者提出了代数整数格式(AINF)并推出用于大语言模型推理的有损压缩格式代数整数量化(AIQ)。AINF 可直接简化为纯整数运算,实现无误差乘加操作,并支持根据具体用例定制数值特征。实验表明,基于二次代数整数的 AIQ 在相同每参数比特预算下,在多个模型与基准测试中均取得了与行业标准 MX 格式相当的精度。

10月11日周日
10月10日周六
  1. Interconnects47

    为何 AI 会迎来工程能力的飞速进展,而非迈向通用超级智能

    AI 模型将在未来几年成为超越人类水平的分布式 GPU 工程师,但这种工程能力的巨大加速并不会让模型产生本质改变或直接迈向通用超级智能。近期的核心进展主要来自当前工具下推理计算的扩展以及训练与推理栈的端到端优化,模型的有效智能成本预计将呈近指数级下降。架构设计与数据选择等预训练研究有望在 2-3 年内实现自动化,同时推动智能体需求激增。

  2. IEEE Spectrum26

    通过 IEEE 全新设计项目掌握 AI 芯片原理

    IEEE 推出包含 5 门课程的“AI 处理器架构、设计原则与性能”培训项目,帮助工程师掌握现代 AI 芯片设计与优化。课程涵盖计算单元、内存层级以及面向边缘与云端的架构,针对 AI 内存墙等瓶颈展开软硬件协同优化解析,并采用 AI 生成虚拟化身对话展示多角色工程决策与权衡。

  3. arXiv cs.AI43

    TokenBank:面向 AI 服务的金融基础设施

    TokenBank 是一种面向 AI 服务的金融基础设施,通过结构化合约支持服务消费权、API 差价远期结算、未来收入融资及特定故障赔偿。在 899,441 次 API 请求重放等评测中,远期合约在零贴现涨价场景下使平均支出减少 USD 304.88,并在低资金条件下带来 +1.0635 实验 USD 的贡献改善。目前其云基础设施代码库与托管部署已公开。

  4. AWS Machine Learning Blog66

    Postman 如何基于 Amazon Bedrock 为 4000 万开发者运行 Agent Mode

    Postman 与 AWS 联合拆解了 Agent Mode 接入成熟软件的生产架构,核心解决工具膨胀与上下文治理瓶颈。系统通过向量检索将 170 多个工具动态精简至约 15 个,并采用专用上下文处理器替代渲染层数据,同时解耦了界面状态与工具操作。底层基于 Amazon Bedrock 调用 Claude 模型,配合跨区域推理与多层 Prompt 缓存应对流量突发并降低成本。

    推荐理由:原文结合生产实测指出了工具膨胀门槛与上下文瓶颈,展示了成熟软件接入智能体时的工程化落地方案。

10月9日周五
  1. 量子位66

    字节 Seed 团队揭示 DeepSeek 表现波动的根源:分块 KV Cache 压缩引发相位敏感性

    字节 Seed 团队研究发现,DeepSeek-V4 等模型的长文本检索表现会随输入 Token 相对压缩窗口边界的位置出现周期性波动,128K 检索准确率差距最高达 40.2 个百分点。这一现象被称为相位敏感性,主要由分块 KV Cache 压缩机制引起,且波动周期与底层压缩步长直接对应。实验显示后训练和架构迭代能缩小该差距,团队建议评估分块压缩模型时需对不同压缩相位分别测试。

  2. arXiv cs.LG26

    基于强化学习与博弈论的资源受限车联网自适应多判别器 WGAN 框架

    研究人员提出结合强化学习与博弈论的自适应多判别器 WGAN 框架,以解决车联网环境下的生成模型资源编排难题。框架通过路侧单元的 DQN 智能体协调车载节点分布式训练,动态平衡对抗质量、延迟与通信开销。在真实 NGSIM 轨迹数据评测中,其取得最低的 1.029 RMSE 与 0.894 MAE,平均 CPU 利用率降低约 28%,内存使用量减少约 6%。

  3. arXiv cs.LG36

    面向大语言模型的摊销离线策略评估

    研究人员提出 PFN-OPE,通过摊销离线策略评估应对大语言模型持续部署中的策略偏移与奖励偏移问题。该方法只需预训练一次,测试时无需逐任务重新拟合,经单次前向传播即可输出目标策略的价值估计。在 HelpSteer2 与 UltraFeedback 上针对 Qwen、Llama 和 Gemma 策略的测试中,其在奖励偏移下的误差比最佳基线低 2.0 至 9.3 倍。

  4. arXiv cs.LG36

    冻结解码器并修复编码器:基于 SVD 的 KV cache 压缩参数高效适配

    针对基于 SVD 的 KV cache 压缩微调,研究指出采用冻结解码器、仅修复编码器的方案,在独立调优学习率后可达到与微调双边相当的精度恢复效果。该方案实测可节省 3x 的可训练参数量,并减少 3x 的优化器状态显存占用。团队在 Qwen2.5-VL-3B-Instruct 及纯文本基准上完成了验证,同时警示使用单一共享学习率对比不同微调方案会制造虚假优势。