跳到正文

#部署/工程

今日 3 条
10月6日周二
  1. AWS Machine Learning Blog46

    智谱 GLM 5.3 正式上线 Amazon Bedrock

    智谱(Z.ai)753B 参数 MoE 模型 GLM 5.3 正式上线 Amazon Bedrock,面向符合条件的企业客户提供全托管 API 服务。该模型专为编程和长流程智能体任务优化,发布时在 CyberGym 安全基准测试中取得 84.5 分。用户可通过兼容 OpenAI 的 API 或 Bedrock 原生接口调用,并支持跨区域推理与提示词缓存。

  2. Together AI Blog70

    Together AI 推出 Together Link:一键将现有编码智能体接入开源模型

    Together AI 推出 Together Link 工具,支持开发者通过单条命令将现有编码智能体直接接入平台上的开源模型,官方称可降低超过 50% 的模型支出。该工具适配 Claude Code、Claude Desktop、Codex 等环境,内置 Together AI Router 能够根据会话首个任务自动在轻量模型与前沿模型间分流,同时保留各工具的原生设置与登录状态。

    推荐理由:该工具允许现有编码智能体无缝切换至开源模型并按任务复杂度动态路由,为工程团队降低闭源模型开销提供了直接落地路径。

  3. AWS Machine Learning Blog43

    让 Amazon Quick 具备企业级能力:自动化、可审计的跨账户资源迁移

    AWS 推出基于 Amazon Bedrock AgentCore 的 Quick Resource Migrator 示例 MCP 服务器,实现 Amazon Quick 资源的自动化跨账户迁移。该工具支持智能体、连接器、知识库等资源的幂等更新与权限复制,并在变更前向 Amazon S3 写入版本备份以支持回滚,源码已在 aws-samples 开源。

10月5日周一
  1. arXiv cs.AI34

    BitNest:面向显存高效 LLM 推理加速的位嵌套投机解码框架

    研究团队提出 BitNest 投机解码框架,通过将低精度草稿模型直接嵌入高精度目标表示来共享单份物理权重,实现显存高效的大语言模型推理加速。该方案结合残差精炼恢复高精度目标,并将其渐进精度设计拓展至长上下文 KV cache。在多个 7B-8B 边缘大语言模型测试中,BitNest 取得 95.2% 的平均投机接受率,相比 FP16 自回归解码实现 1.48-1.61x 端到端加速。

  2. arXiv cs.AI63

    研究指出动态大语言模型路由器往往存在误导

    一项新研究评测了6款商业动态大语言模型路由器,发现在同等成本下无一表现能优于在两款优选模型间随机选择的基准,部分落后超过10个百分点。作者将差距归因于难度盲目、长度反转、语义匹配和模型阵容次优四个普遍模式,指出标准帕累托评测目标在机制上奖励了这些缺陷。研究提出了替代评测方法,并验证了即便设计出避开上述缺陷的简易双模型路由器,其相比随机路由带来的提升也相当有限。

    推荐理由:这项研究指出了商业动态路由器的评测偏差与失效模式,为实际工程部署中的模型调用与成本优化提供了审慎的反思依据。

  3. arXiv cs.AI33

    本地化多课程 RAG 辅导系统 CourseChat:校园 AI 导师的软硬件权衡

    研究团队提出了面向商科教育的本地化多课程 RAG 导师 CourseChat,在校园边缘节点为 6 门独立课程提供教材问答支持。系统基于 FastAPI 和 Ollama 运行本地大语言模型,在权衡速度与连续性错误后保留了 8B 生产模型,排除了多款过慢模型及 MoE 候选。系统还通过 65 个模块的 435 道预置题将练习与实时生成解耦。

  4. arXiv cs.LG35

    BaCP:在极稀疏神经网络中保留表征的主干对比剪枝方法

    研究者提出主干对比剪枝方法 BaCP,通过将稀疏网络的嵌入向量空间与预训练、微调及历史快照模型对齐,解决非结构化剪枝在极高稀疏度下的表征崩溃问题。在 90 种设置下的评估显示,BaCP 在常规剪枝失效的极端稀疏区间大幅提升了准确率,并在表征保持完好的区间表现接近基线。

  5. arXiv cs.LG32

    面向高效大语言模型任务路由的学生指导教师蒸馏:对标 Jev 风格 System-1 分类器

    研究提出一种用于 60 类大语言模型任务路由的学生指导教师蒸馏方案,由轻量 ModernBERT 召回 top-k 候选,再由 DeBERTa-v3 零样本分类器重排并迭代训练。最优学生模型在 200 个样本评估集上实现 77.5% 的教师一致性,Coverage@16 达 91-100%。研究还发现将未截断类别直接置零用于 KL 蒸馏会破坏暗知识并引入系统性偏差。

  6. arXiv cs.LG28

    自回归气象模型的训练后量化研究

    研究人员将训练后量化(PTQ)应用于 DLWP 与 FourCastNet(FCN)模型,建立了首个针对自回归气象模拟器的 PTQ 基准。模拟量化评估表明,PTQ 配置在短程预报时域内能提供定性有效的预测结果,同时具备加速计算并降低能耗的潜力。该研究为地球物理流体动力学等动力系统深度学习模型的量化优化提供了基础。

  7. arXiv cs.LG34

    LiteEMG-FM:用于稳健 EMG 传感的高效可部署基座模型

    LiteEMG-FM 是一种面向实用 EMG 传感的高效混合 CNN-Transformer 基座模型,在 16 个上下肢 EMG 数据集上预训练以实现跨用户泛化。为适应资源受限的穿戴设备,该方案采用分层唤醒架构,由轻量级常开 1D-CNN 过滤无效动作后按需触发主模型。在零校准跨受试者与数据稀缺等评测中,其表现优于现有 SOTA 时序基座模型与监督基线。

  8. arXiv cs.LG38

    LLM 压缩的能力缩容定律研究

    研究人员系统探索了大语言模型在剪枝、量化与知识蒸馏压缩下的能力缩容定律,构建了预测数学、代码及问答能力损失的关系模型。在 Pythia、OLMo-2 及 Wanda 剪枝测试中,紧凑预测关系将剪枝拟合所需测量量减半,数学和代码评估误差在 0.020 nats per token 内。该方法能有效指导压缩策略选型,相关代码已开源。

  9. arXiv cs.LG33

    AI 驱动的热感知数据中心容量规划

    研究人员提出一种 AI 驱动的热感知数据中心容量规划框架,可在数秒内完成真实数据中心的容量规划。内置的 AI 模型学习机架功率、服务器布局与 HVAC 设置等参数,能在毫秒级内完成温度预测。在针对未见设计进行测试时,该模型相比高保真 CFD 模拟实现了 10000X 加速与高精度,可即时优化工作负载分布与制冷效率。

10月3日周六
  1. arXiv cs.LG34

    MoRA:基于路由器偏置学习与专家近似的 MoE 剪枝框架

    MoE 结构化剪枝框架 MoRA 正式提出,该方法通过学习路由器偏置筛选关键且具多样性的专家,并在剪枝后利用剩余专家的仿射变换近似被剪专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 Moonlight-16B-A3B 剪除 25% 与 50% 路由专家的测试中,MoRA 在 9 个零样本基准上均超越现有 SOTA 算法,代码将开源。

  2. arXiv cs.LG41

    FlexRouter:面向灵活 LLM 路由学习互补模型集

    FlexRouter 是一种显式建模模型互补性的 LLM 路由框架,旨在优化答案覆盖率并最大化至少有一个入选模型输出正确答案的概率。该方法采用行列式点过程(DPPs)建模模型能力与冗余度,在推理时可通过贪心策略自适应确定模型子集规模,无需预设固定预算。在 RouterEval 基准上的实验表明,FlexRouter 在域内和域外任务中均以更低冗余度实现了更高覆盖率。

  3. arXiv cs.LG32

    FlashDiffusion:融合分块核谱分解

    针对扩散映射等核方法实体化稠密高斯核需要 $O(N^2)$ 内存的问题,研究者提出无矩阵方法 FlashDiffusion。该方法在 GPU 融合分块中直接评估稠密高斯核块,并将特征求解器与经验 $\beta$-流耦合来选择有限样本分辨率尺度。此外,它通过在样本量和带宽上的延拓,从粗分辨率热启动计算开销更高的谱求解过程。

  4. OpenAI News37

    GPT-6 系列模型指南

    OpenAI 面向初创企业提供 GPT-6 系列模型使用指南。内容涵盖如何挑选适配的 GPT-6 模型、调节推理力度(reasoning effort)、优化提示词与技能(skills),并指导如何协同工具以构建面向生产环境的工作流。

10月2日周五
  1. Cloudflare Blog40

    民间社会组织如何基于 Cloudflare 实现自动化

    Cloudflare 宣布向首批 30 家非营利组织提供超 750 万美元服务积分,支持其构建 AI 与自动化工具。依托 Workers AI、AI Gateway 和无服务器架构,各团队无需维护专用 GPU 即可控制成本并抵御网络攻击。目前落地案例包括 LebTown 的实时审校 AI 智能体,以及 Kaya Guides 支撑每月 50 万条 WhatsApp 消息的心理咨询辅助系统。

  2. Cloudflare Blog72

    Cloudflare 为 Quick Tunnels 推出 Protected 功能,支持免账号邮箱身份验证

    Cloudflare 在 cloudflared 2026.9.3 中为 Quick Tunnels 推出 Protected 功能,支持通过 --allowed-mail 参数限制特定邮箱或域名访问,双方均无需注册 Cloudflare 账号。

    推荐理由:针对智能体开发中临时暴露本地端口的安全风险,原文给出了无需账号即可添加邮箱白名单的具体实现与安全边界。

  3. Cloudflare Blog64

    Cloudflare 推进企业级功能普惠:Logpush 全面开放并大幅上调 Workers 等产品配额

    Cloudflare 宣布多项原企业级专属功能全面下放给所有套餐用户,并承诺未来不再推出仅限企业版的新功能。Logpush 与支持 SQL 过滤转换的 Transformers 现已支持按量付费和免费层级,控制台同步上线多账户创建功能与 Organizations 集中管理能力。

    推荐理由:原文梳理了企业级架构向全量用户下放的具体节奏,开发者可据此评估多账户架构与配额放宽带来的工程收益。

  4. Cloudflare Blog54

    Cloudflare 发布统一可观测性平台并推出 8 项重大更新

    Cloudflare 推出统一可观测性平台及 8 项核心更新,将日志、端到端链路追踪、域名分析与自定义告警整合到统一界面与计费体系中。新平台提供统一 SQL API 与 MCP 服务器,支持开发者和智能体直接查询 Workers 及边缘网络遥测数据。此外端到端 Tracing 正式开启公测,Logpush 数据导出功能也向所有自助服务计划全面开放。

  5. NVIDIA Blog62

    NVIDIA 推出 DGX Spark 64GB 统一内存版本

    NVIDIA 宣布推出搭载 64GB 统一内存的 DGX Spark 本地计算平台,起售价 4,999 美元,将于 10 月 23 日由宏碁、华硕、戴尔、技嘉、惠普和微星等合作伙伴发售。

    推荐理由:新配置保留了相同芯片与软件栈并降低了硬件门槛,两机直连扩展的方案可供需要兼顾成本与扩展性的本地开发者参考。

  6. arXiv cs.AI41

    Incident-Arena:让智能体迈向极高可靠性

    研究团队推出 Incident-Arena 基准,用于评估 AI 智能体在生产环境中的故障响应与 SRE(站点可靠性工程)能力。该基准包含在临时 Kubernetes 集群中部署的 20 个真实任务与功能验证机制,智能体测试平均耗费 2.81M tokens 与 41 轮交互。评测显示前沿模型得分均低于 64.3%,失败原因涵盖诊断定位错误、修复不完整与不安全回归。

  7. arXiv cs.AI38

    从提议到验证效果:受控 AI Agent 执行框架 Praxa

    研究者提出 AI Agent 执行治理框架 Praxa,通过确定性准入与外部回读等机制,使执行状态转换显式可测。在 Terminal-Bench Core 0.1.1 试验中,其可靠性层与基线均通过 17/36 次测试,但多消耗 37.49% 输入 tokens。在协调代理测试中,候选方案完成 180/180 次试验且准确率持平,token 消耗降低 37.11%、预估端点成本降低 33.84%。

  8. arXiv stat.ML35

    面向 CFG 扩散模型激活量化的联合分支空间变换编码

    研究人员针对带 CFG 的扩散模型激活量化提出分支空间变换编码,通过离线 2x2 正交矩阵旋转匹配的分支以利用跨激活相关性。该方法进一步推导出结合引导方向与跨分支二阶矩的 GCBT 变换,具备逐层闭式解且无需梯度优化或角度搜索。应用于现有扩散模型 PTQ 方法时,在不改变宿主量化管线的前提下显著提升了生成保真度。

  9. arXiv stat.ML35

    面向大语言模型注意力机制的顺序函数结构化 Tucker 压缩(FTC)

    研究人员提出用于大语言模型注意力机制的顺序结构化压缩框架 FTC,在固定存储预算下联合利用原生 Q/K/V 头结构并自适应调整表征偏移,且无需微调或基于梯度的恢复。在 6B 至 32B 参数的 7 款 decoder-only 模型测试中,FTC 在 5 款 GQA 模型的所有测试保留率下均取得最低 WikiText-2 困惑度,其优势在激进压缩与下游任务中尤为显著。

  10. arXiv stat.ML44

    压缩语言模型中散度如何转化为决策翻转

    研究发现全变差(Total Variation)而非 KL 散度能直接对应压缩语言模型的决策翻转率,在 19 个开源模型的 802 个测试副本中二者比值中位数达 1.05。当模型间翻转率差异达 10% 以上时,KL 散度判断失准的概率为 11%,而全变差仅为 1%。在 vLLM 推测解码中,全变差无需特定任务校准即可预测贪婪草稿接受率,平均相对误差仅 1.1%–2.4%。

  11. arXiv stat.ML35

    IrekoGPT:将结构化剪枝转化为事后可瘦身大语言模型

    IrekoGPT 是一种将预训练 LLM 转化为推理时可动态调节宽度的事后瘦身方法。该方法基于 SliceGPT 保留其投影矩阵以构建嵌套子网络,通过多压缩比层校准及无梯度岭回归校正下游线性层。在 Llama 和 Qwen 模型上的测试显示其表现优于朴素 PCA 方案且在高压缩比下收益最大,相关代码已开源。

  12. AWS Machine Learning Blog39

    基于 Amazon Bedrock AgentCore 智能体 AI 扩展云迁移规模

    AWS 介绍了基于 Amazon Bedrock AgentCore 的四智能体架构模式,在超 300 款应用迁移项目中将单应用 IaC 开发时间从 3 至 4 周缩短至数分钟。该方案基于 Strands Agents SDK 与 MCP 工具构建,包含 Intake、IaC、治理及 SRE 智能体,可与 AWS Transform 及 AWS DMS 协同覆盖企业定制化迁移与运维需求。

  13. AWS Machine Learning Blog61

    基于 Amazon Bedrock AgentCore 构建环境智能体:从事件驱动信号到人机协同工作流

    AWS 团队发布了基于 Amazon Bedrock AgentCore 构建环境智能体(Ambient Agents)的参考架构与部署方案,将事件驱动触发与人机协同机制结合。

    推荐理由:方案给出了事件触发与单个中断工具结合的代码模式,适合需要将自动化管道改造为人机协同架构的工程团队参考。