跳到正文

#部署/工程

今日 4 条
10月2日周五
  1. arXiv cs.AI41

    Incident-Arena:让智能体迈向极高可靠性

    研究团队推出 Incident-Arena 基准,用于评估 AI 智能体在生产环境中的故障响应与 SRE(站点可靠性工程)能力。该基准包含在临时 Kubernetes 集群中部署的 20 个真实任务与功能验证机制,智能体测试平均耗费 2.81M tokens 与 41 轮交互。评测显示前沿模型得分均低于 64.3%,失败原因涵盖诊断定位错误、修复不完整与不安全回归。

  2. arXiv cs.AI38

    从提议到验证效果:受控 AI Agent 执行框架 Praxa

    研究者提出 AI Agent 执行治理框架 Praxa,通过确定性准入与外部回读等机制,使执行状态转换显式可测。在 Terminal-Bench Core 0.1.1 试验中,其可靠性层与基线均通过 17/36 次测试,但多消耗 37.49% 输入 tokens。在协调代理测试中,候选方案完成 180/180 次试验且准确率持平,token 消耗降低 37.11%、预估端点成本降低 33.84%。

  3. arXiv stat.ML35

    面向 CFG 扩散模型激活量化的联合分支空间变换编码

    研究人员针对带 CFG 的扩散模型激活量化提出分支空间变换编码,通过离线 2x2 正交矩阵旋转匹配的分支以利用跨激活相关性。该方法进一步推导出结合引导方向与跨分支二阶矩的 GCBT 变换,具备逐层闭式解且无需梯度优化或角度搜索。应用于现有扩散模型 PTQ 方法时,在不改变宿主量化管线的前提下显著提升了生成保真度。

  4. arXiv stat.ML35

    面向大语言模型注意力机制的顺序函数结构化 Tucker 压缩(FTC)

    研究人员提出用于大语言模型注意力机制的顺序结构化压缩框架 FTC,在固定存储预算下联合利用原生 Q/K/V 头结构并自适应调整表征偏移,且无需微调或基于梯度的恢复。在 6B 至 32B 参数的 7 款 decoder-only 模型测试中,FTC 在 5 款 GQA 模型的所有测试保留率下均取得最低 WikiText-2 困惑度,其优势在激进压缩与下游任务中尤为显著。

  5. arXiv stat.ML44

    压缩语言模型中散度如何转化为决策翻转

    研究发现全变差(Total Variation)而非 KL 散度能直接对应压缩语言模型的决策翻转率,在 19 个开源模型的 802 个测试副本中二者比值中位数达 1.05。当模型间翻转率差异达 10% 以上时,KL 散度判断失准的概率为 11%,而全变差仅为 1%。在 vLLM 推测解码中,全变差无需特定任务校准即可预测贪婪草稿接受率,平均相对误差仅 1.1%–2.4%。

  6. arXiv stat.ML35

    IrekoGPT:将结构化剪枝转化为事后可瘦身大语言模型

    IrekoGPT 是一种将预训练 LLM 转化为推理时可动态调节宽度的事后瘦身方法。该方法基于 SliceGPT 保留其投影矩阵以构建嵌套子网络,通过多压缩比层校准及无梯度岭回归校正下游线性层。在 Llama 和 Qwen 模型上的测试显示其表现优于朴素 PCA 方案且在高压缩比下收益最大,相关代码已开源。

  7. AWS Machine Learning Blog39

    基于 Amazon Bedrock AgentCore 智能体 AI 扩展云迁移规模

    AWS 介绍了基于 Amazon Bedrock AgentCore 的四智能体架构模式,在超 300 款应用迁移项目中将单应用 IaC 开发时间从 3 至 4 周缩短至数分钟。该方案基于 Strands Agents SDK 与 MCP 工具构建,包含 Intake、IaC、治理及 SRE 智能体,可与 AWS Transform 及 AWS DMS 协同覆盖企业定制化迁移与运维需求。

  8. Scientific American70

    Google 启动 Project Suncatcher 太空 AI 数据中心测试:搭载 TPU 芯片升空

    Google 搭载自研 TPU 芯片的 Project Suncatcher 实验卫星搭乘 SpaceX 火箭进入近地轨道,正式启动太空 AI 数据中心在轨测试。该任务旨在评估 TPU 芯片与新型散热系统在发射和极端太空辐射环境下的耐受表现,此前地面模拟测试显示其能承受超过 5 年太空辐射预期。Google 计划在 2027 年发射另外两颗实验卫星,用于测试数据中心之间的激光通信。

  9. TechCrunch · AI65

    亚马逊开源决策模型 Strands Decider 2B,面向智能体工作流优化低延迟决策

    AWS 正式开源轻量决策模型 Strands Decider 2B,可在本地运行并针对预设选项提供高速、低成本且带置信度度量的决策判断。该模型由 Strands Labs 推出并基于 Qen3.5-2B 改造,不生成文本而是输出校准选项,旨在替代智能体工作流中昂贵且延迟高的大语言模型。其曾短暂登顶 Jevbench 同尺寸榜单,主要用于确定工作流下一步动作。

  10. AWS Machine Learning Blog61

    基于 Amazon Bedrock AgentCore 构建环境智能体:从事件驱动信号到人机协同工作流

    AWS 团队发布了基于 Amazon Bedrock AgentCore 构建环境智能体(Ambient Agents)的参考架构与部署方案,将事件驱动触发与人机协同机制结合。

    推荐理由:方案给出了事件触发与单个中断工具结合的代码模式,适合需要将自动化管道改造为人机协同架构的工程团队参考。

  11. AWS Machine Learning Blog49

    Amazon Payments 如何利用 AWS 上的上下文 Bandit 提升获客转化率

    Amazon Payments 在 Amazon SageMaker AI 上应用多目标上下文 Bandit(LinUCB),对获客漏斗进行个性化内容推荐。在为期 7 周的在线 A/B 测试中,该方案使特定客户群体的最终转化率实现高个位数百分比的相对提升。系统针对申请开始、提交和审批三阶段分别运行模型并加权组合 UCB 得分,以平衡多阶段转化的跷跷板问题。

  12. AWS Machine Learning Blog36

    uniopen 如何定制 Amazon Nova 以适配零售审核策略生产部署

    台湾统一企业集团旗下平台 uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调与提示词优化,以适配其定制零售审核策略。该架构使用 Amazon Nova 2 Pro 生成纠错候选并配合人工复核,基于 3,391 个训练窗口完成微调。结合硬门禁回归测试与软门禁预警机制,团队在 737 个测试窗口上评估并实现了受控的生产环境部署。

10月1日周四
  1. The Verge · AI59

    The Verge 调查复盘:投资人 Kevin O’Leary 的犹他州 9 吉瓦超大数据中心为何陷入溃败

    The Verge 深入调查披露,投资人 Kevin O’Leary 规划的 4 万英亩、9 吉瓦犹他州超大数据中心项目 Stratos,因绕过地方民意引发强烈反弹与诉讼而陷入停滞。该项目试图通过州级特许机构加速审批,却激化了当地对水资源枯竭与电网负担的恐慌,甚至导致多名涉事官员在选举中落败。这反映出科技巨头与投机开发商在狂热追逐 AI 算力落地时,正遭遇地方基层民主与基础设施瓶颈的严峻阻击。

  2. TechCrunch · AI47

    前 Google 与 SpaceX 员工创办的 Satlyt 获 800 万美元融资,在卫星上运行 AI

    卫星 AI 软件初创公司 Satlyt 完成 800 万美元种子轮融资,旨在为多厂商卫星提供运行 AI 模型的横向通用软件平台。该公司此前已在航天器上部署 Google DeepMind 的 Gemma 模型,将星载报错数据传输量削减超 60%。其软件本周将搭乘 SpaceX 火箭为 NASA 等客户开展测试,并计划明年验证跨卫星共享计算系统。

  3. Cloudflare Blog68

    Cloudflare AI Search 正式商用并上线原生多模态检索

    Cloudflare 宣布托管索引与检索管线 AI Search 正式商用(GA),整合 Workers AI、Vectorize 和 R2 等底层能力。新版本支持基于 Qwen3-VL-Embedding 的原生图像嵌入与图文双模态检索、PDF OCR 识别,并将文件大小上限提升至 10 MiB。

    推荐理由:原文拆解了从单纯依赖描述生成到结合原生像素嵌入的多模态检索链路,读者可以据此评估将图文检索迁移到边缘托管管线的成本与可行性。

  4. NVIDIA Blog27

    高效、耐用与通用:NVIDIA AI 工厂如何最大化投资回报率

    NVIDIA 阐述其 AI 工厂通过高生产力、长寿命与高通用性三大特性最大化投资回报率。数据显示,在 DeepSeek V4 Pro 模型上,Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高出超 30 倍,每百万 token 成本降低达 45 倍。依托 CUDA 跨代兼容,A100 推出 6 年后仍在商业服役,使已部署硬件能长期承接多类负载。

  5. Cloudflare Blog59

    Cloudflare 使用前沿大模型对抗测试自家 WAF 表现

    Cloudflare 采用前沿大语言模型构建动态测试循环对其 WAF 进行黑盒对抗测试,在 1,107 次变异攻击尝试中拦截了绝大部分请求,并筛选出 49 项值得排查的绕过线索。测试覆盖 XSS、SQLi、CMDi 和 SSRF 等 6 类常见攻击场景,发现绕过案例主要集中在命令注入与 SSRF 的特殊编码形式;官方据此在托管规则集中新增了混淆主机与受限协议检测,进一步修补了规则漏洞。

  6. Cloudflare Blog44

    Cloudflare 利用 AI 规划后量子迁移路径

    Cloudflare 开发了内部 AI 工具 CryptoLabe,以推进在 2029 年实现全面后量子就绪的目标。该工具利用 AI 扫描代码库、配置文件及文档,克服单纯文本匹配的局限,精准识别密码学使用场景并生成迁移进度指标。CryptoLabe 专为内部系统打造且暂不对客户开放,旨在协助工程团队规划后量子加密与认证的升级路径。

  7. arXiv cs.LG38

    BASE:面向高效 MoE 解码的批感知专家选择方法

    针对 MoE 模型批处理解码的权重传输瓶颈,研究人员提出无需重训的批感知专家选择方法 BASE,通过轻量线性预测器估算专家移除误差并协同跨请求复用专家。在 Qwen3-30B-A3B 上,BASE 在紧凑预算下平均准确率较最强基线提升 29.5 points;在更高预算下比稠密推理提速 60%,准确率差距在 0.4 points 以内。

  8. arXiv cs.LG37

    DSpine:基于相邻因果注入与深度条件化的推测解码方法

    研究者提出推测解码草稿模型 DSpine,通过在骨干网络逐层引入门控相邻注入,在保持全位置并行更新的同时通过网络深度传递因果条件。在 Qwen3-4B 与 Qwen3-8B 的 7 项评测中它均取得最长接受长度,将 Qwen3-8B 平均接受长度由 DFlash 的 3.77 提升至 4.82(+27.8%)。在 SGLang 服务测试中,其平均吞吐量比 DFlash 提高 23.3%。

  9. arXiv cs.LG39

    Koa-action:基于生成式大语言模型的快速一致结构化决策框架

    研究团队提出 Koa-action 框架,通过原子标签 token 与监督微调将分类等决策转化为单 token 输出的约束生成,实现低延迟确定性解码。在生产意图路由基准上,其准确率达 85.5%(超过 GPT-5 与 Gemini-2.5-Pro),约 0.5 秒即可响应,中位数速度最高提速约 7.5x。相比 Jev/TypeSafe,它还进一步支持多模态输入与多标签输出。

  10. arXiv cs.LG31

    GEM-KMeans:基于 GPU 优化的内存高效且高精度大规模聚类

    GEM-KMeans 是一种面向大规模聚类的 GPU 优化方法,利用谱归一化非负低秩(NLR)矩阵分解兼顾内存效率与准确率。其 IO 感知实现将梯度更新与非负投影融合进矩阵乘法 epilogue,在 HBM 中仅保留单个因子与小型分块数组,避免了三个大型因子缓冲区的开销。大规模数据集测试表明,该方法相比现有 GPU 加速 Lloyd's 算法具备性能优势。

  11. arXiv cs.LG34

    TORQUE:优化旋转前后的量化选择

    TORQUE 框架通过在固定总体比特预算下联合优化旋转前与旋转后保留高精度的坐标,改进了基于随机旋转的模型量化方法。研究推导了量化误差上界,并证明旋转前保留 top-k 坐标可最小化该误差上界,将坐标搜索简化为高效的参数优化。实验表明,该方法在最近邻检索、KV cache 压缩和激活压缩任务中实现了更优的重建精度与存储成本权衡。

  12. arXiv cs.AI35

    Bits Under ZK-LLM:面向可验证隐私 LLM 推理的零知识友好量化评估

    研究人员系统评估了面向可验证隐私 LLM 推理的零知识友好量化,覆盖 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。结果显示激活精度比权重精度更敏感,且 RMSNorm 平方根倒数查表是主要性能瓶颈,仅针对该瓶颈提高精度即可恢复接近基线的表现。研究还发现降低位宽并不一定会按比例节省端到端证明开销。