跳到正文

#部署/工程

今日 4 条
今天11月3日周二
  1. The Verge · AI63

    OpenAI 试点电网保护者计划:承诺在紧急情况下为社区释放电力

    OpenAI 宣布将在佐治亚州即将建设的数据中心试点电网保护者计划,承诺在极端天气或突发紧急情况下释放最高 1,000 兆瓦电力以支援当地电网。该方案旨在应对全美各地对 AI 数据中心巨额耗电与环境影响的抵制浪潮,通过错峰让电减少社区电网负担。除佐治亚州园区外,OpenAI 还在与 Oracle 和 SoftBank 合作在得克萨斯州和新墨西哥州等地推进 Stargate 数据中心建设。

  2. AWS Machine Learning Blog48

    Circle K 如何利用 Amazon Bedrock 将 DevOps 故障排查时间缩短至 15 分钟内

    Circle K 基于 Amazon Bedrock 构建 AI 智能体自动化故障排查系统,将平均事件排查时间从 45–60 分钟缩短至 15 分钟以内,降幅达 67%–75%。系统在报警触发后数分钟内自主排查多账号基础设施与日志,直接向 Slack 推送结构化分析结果。方案结合 Bedrock Knowledge Bases 托管 RAG 检索内部文档,避免了自建向量数据库与模型运维开销。

  3. AWS Machine Learning Blog49

    使用 Crawl4AI 为 Amazon Bedrock Knowledge Bases 准备网页内容

    开源 Python 爬虫 Crawl4AI 可用于为 Amazon Bedrock Knowledge Bases 预处理网页内容,以提升 RAG 应用的数据摄取质量。该方案通过提取结构化 Markdown 和自定义元数据,去除导航等样板内容后上传至 Amazon S3。随后 Bedrock 自动完成文档解析、分块、嵌入向量生成与向量检索索引构建。

11月2日周一
  1. MIT Technology Review · AI33

    AI 编程别再只算 token,转向衡量交付的软件

    AI 编程智能体在多轮迭代中消耗的 token 可达基础对话的 10 至 50 倍,企业应转向以每个合并 PR 的成本衡量实际交付成果。通过网关将复杂推理分流至前沿模型、将常规任务转至本地开源权重模型,能够有效改善高频调用的边际成本。例如 HPE 借助混合架构在逾 150 个内部应用中将 token 成本降低了 30% 至 50%。

  2. 量子位25

    从“能调用”到“敢托付”:仪电智算云 Token 工厂的三重可信

    上海仪电联合上海创智学院发布仪电智算数链生态,推出仪电智算云 Token 工厂及首批上线“寻数”功能的一体机,并引入 NEX-N2.5 大模型。平台依托异构算力纳管与高性能推理引擎,构建了涵盖服务运营、全栈国产化生态和全链路留痕存证的“三重可信”保障体系,以满足金融、医疗等核心业务的高可用与可追溯需求。

  3. arXiv cs.LG43

    RetryRoute:面向智能体图像编辑服务的重试感知模型路由

    研究团队提出面向智能体图像编辑服务的重试感知路由机制 RetryRoute,针对重试成功率仅为首次 17-53% 的“粘性失败”问题优化调度。该机制根据失败历史评估各模型成功率,统筹规划重试、模型升级与放弃,并引入实时队列等待实现负载感知。实验显示其成功率较 11 个基线平均高出 2.8 点,在 GPU 平台上将 SLO 达标交付比例提升 5.0-6.3 个百分点。

11月1日周日
  1. arXiv cs.AI39

    GAUSS:面向 LLM 推理服务的负载感知解析与蒙特卡洛模拟器

    研究团队提出面向 LLM 推理服务的负载感知模拟器 GAUSS,可预测特定工作负载、引擎和加速器下的首 token 延迟(TTFT)与 token 间延迟(TBT)完整分布及可持续请求率。该工具结合针对 prefill 和 decode 阶段校准的延迟曲面与排队模型,通过集成蒙特卡洛采样替代单 trace 回放,能有效捕捉尾部延迟并评估未部署的硬件与调度策略。

10月31日周六
  1. 量子位45

    新芯航途发布智驾芯片 X7 Ultra:世界模型指导设计,超大核 NPU 达 700 TOPS

    Momenta 姐妹公司新芯航途(XHEART)首次公开亮相,发布由 Momenta R7 世界模型指导设计的车规级智驾芯片 X7 Ultra,提供 700 TOPS 算力。芯片搭载超大核 NPU 与车规级 Arm v9 CPU,NPU 计算利用率达 98.7%,量化输出与 FP32 基准模型相似度超 99.99%。官方数据显示,其内存带宽消耗对比旗舰产品降低 80%,能效提升 100%。

  2. The Verge · AI71

    Google 卫星搭载 TPU 与 Gemma 4 完成首次太空 AI 推理并传回地球

    Google 实验卫星 Project Suncatcher 成功启动星载 TPU,并运行 Gemma 4 模型生成首条太空响应并传回地球。该测试属于 Google 太空 AI 数据中心实验计划的一部分,该卫星于本月早些时候发射升空。Google 后续将测试 TPU 在轨道热应力与辐射环境下的运行表现,计划在 2027 年实现双互联卫星目标。

  3. AWS Machine Learning Blog48

    Worldwide Express 如何利用 Amazon Bedrock 实现货运异常自动化处理

    Worldwide Express 联合 AWS 基于 Amazon Bedrock 构建多智能体 AI 系统,上线 6 个月使货运账单活跃异常减少 75%,回款周期缩短 4 周。该方案带来 1000 万美元一次性自由现金流注入并实现每年节省 100 万美元。系统通过发票匹配、价格差异和附加费验证 3 个智能体协同分析,在准确率超过 99% 后开启批量审批。

  4. arXiv cs.LG44

    多智能体 Kernel 优化循环适配新型 AI 加速器案例研究

    研究人员构建了一种多智能体优化循环,并在 FuriosaAI RNGD NPU 上历时 12 天优化了 Gemma-4-12B 的三个解码算子。该循环通过自主建立 Rust DSL 文档知识、运行微基准测试与编译器合法性检查,结合设计树搜索探索算子实现。最终内核相比官方 baseline 取得 9.293x 几何平均加速比,相关提示词与测试工具均已开源。

10月30日周五
  1. NVIDIA Blog70

    SETI 与 Breakthrough Listen 将 Agentic AI 引入地外信号搜索

    Breakthrough Listen 与 SETI 研究所将智能体 AI 引入地外文明搜索,在艾伦望远镜阵列上通过自然语言即可自动控制天线、校准仪器并处理观测数据。该系统基于 NVIDIA Holoscan 平台与 RTX PRO 6000 Blackwell GPU,支持每秒 2.4 Tbps 传感器数据的实时显存处理,已在蟹状星云完成脉冲星的实时 AI 检测。

    推荐理由:文章展示了如何通过端到端软硬件协同将海量传感器数据接入 GPU,为高吞吐科学仪器的智能体化控制提供了工程参考。

  2. TechCrunch · AI48

    AI 数据中心能否像造车一样量产?Runware 探索流水线制造模式

    AI 基础设施公司 Runware 计划在生产线上像造车一样量产模块化数据中心 Sonic Inference Pod,目标到 2028 年达到每天 30 兆瓦产能。该 Pod 的制造时间将缩短至一天,运抵现场后 48 小时内即可上线,支持客户自带 GPU 部署或按月租用算力。其第二座工厂预计明年初投产,目前已获得超 20 兆瓦、意向金额 10 亿美元的订单意向。

  3. AWS Machine Learning Blog35

    借助 AWS Batch 配额管理实现 SageMaker Training 任务跨团队资源借贷

    AWS Batch 针对 Amazon SageMaker Training 任务推出配额管理(quota management)功能,支持管理员按团队或项目划分配额份额,实现闲置 GPU 算力的跨团队出借与借用。系统提供 RESERVE、LEND 和 LEND_AND_BORROW 三种共享策略,支持通过跨份额抢占自动收回出借资源,并可开启份额内抢占优先保障高优先级任务运行。

10月29日周四
  1. 量子位56

    逐际动力发布FluxVLA Engine V2技术报告:打通具身智能训评与真机部署链路

    逐际动力更新开源具身智能工程底座 FluxVLA Engine 第二版技术报告,重点增加了在线强化学习后训练实验,并扩展了仿真评测和多硬件真机部署覆盖。通过底层推理重构,报告测试的 8 组模型与设备组合推理频率提升至 2.31 至 9.64 倍,并引入实时动作分块协调机制消除控制突变。

  2. arXiv cs.LG33

    COPE:面向 MoE 卸载策略的可组合性能仿真器

    COPE 是一种面向 MoE 卸载策略的仿真器,可在集成前为目标模型与硬件平台选出最佳卸载策略。它包含 Policy Matrix 和 Virtual Heterogeneous Machine 两大组件,通过解构设计空间衍生出 4 个新候选策略并估算性能。相比基线,COPE 将最快策略选择准确率提升 24%-100%,性能预测误差降低 1.7x 至 6.8x,策略实现工作量减少最多 74%。

  3. arXiv cs.LG39

    Packed-SS:基于扩散草稿的单调用自推测解码机制

    Packed-SS 提出了一种自推测解码调度机制,通过让扩散起草器提前一步运行,在单次模型调用中同时完成草稿生成与验证。该方案将输入大小维持在推测宽度的线性级别,且完全保持目标模型的输出分布。在 Nemotron 3B/8B 和 SetDLM 1.7B 上的贪婪解码实验表明,Packed-SS 相比基线取得了更高的吞吐量与更短的平均耗时。

  4. arXiv cs.LG42

    All-in-One:针对 LLM 转换的可组合攻击

    All-in-One 攻击框架可同时针对量化、剪枝和模型合并等多种 LLM 部署转换,当用户应用其中任意一种转换时即可触发恶意行为。该方法将各类转换近似为模型权重扰动,在训练迭代中联合优化原始模型的良性损失与模拟转换模型的恶意损失。实验表明,该攻击在多种攻击场景、模型族和部署转换中均实现了高成功率。

  5. arXiv cs.LG36

    Pinterest 自动出价系统中基于强化学习的控制器参数优化

    Pinterest 部署了名为 RLBP 的混合架构,将强化学习作为元控制器每日动态调节 PID 参数,同时保留 PID 负责高频出价。该系统基于多头 Q 网络和推理时融合动态权衡成本与预算交付,无需重新训练。在线 A/B 测试与上线后两个月的对照监测显示,RLBP 在收入不降的前提下显著降低了有效每次点击费用(eCPC)。

  6. arXiv cs.AI69

    UC 伯克利团队提出 Evolving Agent Teams:通过动态重组突破 GPU 内核优化局部最优

    研究人员提出多智能体框架 Evolving Agent Teams,通过中央监督者诊断局部最优并动态重组智能体团队,结合持久化文件系统积累的演化经验突破复杂工程瓶颈。

    推荐理由:论文针对编程智能体容易陷入局部最优的痛点,提出了通过中央监督者动态重组团队并积累持久经验的通用协作范式。

  7. arXiv cs.AI35

    在智能体 Kernel 生成中实现批次不变性

    针对 LLM 服务中 GPU kernel 缺乏批次不变性(BI)影响复现性的问题,研究人员提出一种面向智能体 kernel 生成的 BI 强化插件。该工具结合静态依赖分析与动态逐位一致性验证,作为优化循环的准入门控拦截风险候选。跨 3 个智能体框架的实验表明,BI 通过率从 67.6% 提升至 91.9%,并保留了基线 91.8% 的几何平均加速比。

  8. arXiv cs.AI35

    低预算 LoRA:面向适配器集群的功能感知事后压缩

    研究提出功能秩分配方法 FRA,用于在共享资源预算下对 LoRA 适配器集群进行功能感知的事后压缩。该方法通过端到端测量独立模块截断并结合动态规划构建秩-失真边界,再执行集群级 minimax 秩预算分配。在 3 个公开集群共 78 个适配器的测试中,FRA 在受限预算下相比均匀谱压缩提升了最差情况与尾部效用。