跳到正文

#部署/工程

今日 3 条
10月2日周五
  1. AWS Machine Learning Blog49

    Amazon Payments 如何利用 AWS 上的上下文 Bandit 提升获客转化率

    Amazon Payments 在 Amazon SageMaker AI 上应用多目标上下文 Bandit（LinUCB），对获客漏斗进行个性化内容推荐。在为期 7 周的在线 A/B 测试中，该方案使特定客户群体的最终转化率实现高个位数百分比的相对提升。系统针对申请开始、提交和审批三阶段分别运行模型并加权组合 UCB 得分，以平衡多阶段转化的跷跷板问题。

  2. AWS Machine Learning Blog36

    uniopen 如何定制 Amazon Nova 以适配零售审核策略生产部署

    台湾统一企业集团旗下平台 uniopen 通过 Amazon SageMaker AI 对 Amazon Nova 2 Lite 进行监督微调与提示词优化，以适配其定制零售审核策略。该架构使用 Amazon Nova 2 Pro 生成纠错候选并配合人工复核，基于 3,391 个训练窗口完成微调。结合硬门禁回归测试与软门禁预警机制，团队在 737 个测试窗口上评估并实现了受控的生产环境部署。

10月1日周四
  1. Cloudflare Blog68

    Cloudflare AI Search 正式商用并上线原生多模态检索

    Cloudflare 宣布托管索引与检索管线 AI Search 正式商用（GA），整合 Workers AI、Vectorize 和 R2 等底层能力。新版本支持基于 Qwen3-VL-Embedding 的原生图像嵌入与图文双模态检索、PDF OCR 识别，并将文件大小上限提升至 10 MiB。

    推荐理由：原文拆解了从单纯依赖描述生成到结合原生像素嵌入的多模态检索链路，读者可以据此评估将图文检索迁移到边缘托管管线的成本与可行性。

  3. NVIDIA Blog27

    高效、耐用与通用：NVIDIA AI 工厂如何最大化投资回报率

    NVIDIA 阐述其 AI 工厂通过高生产力、长寿命与高通用性三大特性最大化投资回报率。数据显示，在 DeepSeek V4 Pro 模型上，Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高出超 30 倍，每百万 token 成本降低达 45 倍。依托 CUDA 跨代兼容，A100 推出 6 年后仍在商业服役，使已部署硬件能长期承接多类负载。

  5. Cloudflare Blog59

    Cloudflare 使用前沿大模型对抗测试自家 WAF 表现

    Cloudflare 采用前沿大语言模型构建动态测试循环对其 WAF 进行黑盒对抗测试，在 1,107 次变异攻击尝试中拦截了绝大部分请求，并筛选出 49 项值得排查的绕过线索。测试覆盖 XSS、SQLi、CMDi 和 SSRF 等 6 类常见攻击场景，发现绕过案例主要集中在命令注入与 SSRF 的特殊编码形式；官方据此在托管规则集中新增了混淆主机与受限协议检测，进一步修补了规则漏洞。

  6. Cloudflare Blog44

    Cloudflare 利用 AI 规划后量子迁移路径

    Cloudflare 开发了内部 AI 工具 CryptoLabe，以推进在 2029 年实现全面后量子就绪的目标。该工具利用 AI 扫描代码库、配置文件及文档，克服单纯文本匹配的局限，精准识别密码学使用场景并生成迁移进度指标。CryptoLabe 专为内部系统打造且暂不对客户开放，旨在协助工程团队规划后量子加密与认证的升级路径。

  8. arXiv cs.LG38

    BASE：面向高效 MoE 解码的批感知专家选择方法

    针对 MoE 模型批处理解码的权重传输瓶颈，研究人员提出无需重训的批感知专家选择方法 BASE，通过轻量线性预测器估算专家移除误差并协同跨请求复用专家。在 Qwen3-30B-A3B 上，BASE 在紧凑预算下平均准确率较最强基线提升 29.5 points；在更高预算下比稠密推理提速 60%，准确率差距在 0.4 points 以内。

  9. arXiv cs.LG37

    DSpine：基于相邻因果注入与深度条件化的推测解码方法

    研究者提出推测解码草稿模型 DSpine，通过在骨干网络逐层引入门控相邻注入，在保持全位置并行更新的同时通过网络深度传递因果条件。在 Qwen3-4B 与 Qwen3-8B 的 7 项评测中它均取得最长接受长度，将 Qwen3-8B 平均接受长度由 DFlash 的 3.77 提升至 4.82（+27.8%）。在 SGLang 服务测试中，其平均吞吐量比 DFlash 提高 23.3%。

  11. arXiv cs.LG39

    Koa-action：基于生成式大语言模型的快速一致结构化决策框架

    研究团队提出 Koa-action 框架，通过原子标签 token 与监督微调将分类等决策转化为单 token 输出的约束生成，实现低延迟确定性解码。在生产意图路由基准上，其准确率达 85.5%（超过 GPT-5 与 Gemini-2.5-Pro），约 0.5 秒即可响应，中位数速度最高提速约 7.5x。相比 Jev/TypeSafe，它还进一步支持多模态输入与多标签输出。

  12. arXiv cs.LG31

    GEM-KMeans：基于 GPU 优化的内存高效且高精度大规模聚类

    GEM-KMeans 是一种面向大规模聚类的 GPU 优化方法，利用谱归一化非负低秩（NLR）矩阵分解兼顾内存效率与准确率。其 IO 感知实现将梯度更新与非负投影融合进矩阵乘法 epilogue，在 HBM 中仅保留单个因子与小型分块数组，避免了三个大型因子缓冲区的开销。大规模数据集测试表明，该方法相比现有 GPU 加速 Lloyd's 算法具备性能优势。

  13. arXiv cs.LG34

    TORQUE：优化旋转前后的量化选择

    TORQUE 框架通过在固定总体比特预算下联合优化旋转前与旋转后保留高精度的坐标，改进了基于随机旋转的模型量化方法。研究推导了量化误差上界，并证明旋转前保留 top-k 坐标可最小化该误差上界，将坐标搜索简化为高效的参数优化。实验表明，该方法在最近邻检索、KV cache 压缩和激活压缩任务中实现了更优的重建精度与存储成本权衡。

  15. arXiv cs.AI35

    Bits Under ZK-LLM：面向可验证隐私 LLM 推理的零知识友好量化评估

    研究人员系统评估了面向可验证隐私 LLM 推理的零知识友好量化，覆盖 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。结果显示激活精度比权重精度更敏感，且 RMSNorm 平方根倒数查表是主要性能瓶颈，仅针对该瓶颈提高精度即可恢复接近基线的表现。研究还发现降低位宽并不一定会按比例节省端到端证明开销。

9月30日周三
  1. Cloudflare Blog66

    Cloudflare 开启 Monetization Gateway 内测：利用 HTTP 402 为 AI 智能体调用按次收费

    Cloudflare 宣布推出 Monetization Gateway 内测版，允许域名所有者通过 HTTP 402 状态码直接向访问网站、API、MCP 工具或数据集的 AI 智能体按次收费。

    推荐理由：该功能将 HTTP 402 与稳定币结合，为数据与 API 服务商免去账号绑定、直接按次向 AI 智能体收费提供了可落地的基础设施方案。

  2. Cloudflare Blog69

    Cloudflare AI Gateway 推出 Auto Router 公测版

    Cloudflare 宣布在 AI Gateway 中公测上线 Auto Router（模型标识为 cloudflare/auto），可根据任务类型与复杂度自动将请求分发给合适的大语言模型，避免全量调用昂贵的前沿模型。

    推荐理由：原文详解了基于任务分类与缓存读写惩罚的双阶段动态路由机制，为多模型混合调用的成本优化提供了可参考的工程落地思路。

  3. Cloudflare Blog64

    Cloudflare AI Gateway 升级 User Insights：新增模型过度使用检测与自动路由功能

    Cloudflare AI Gateway 更新 User Insights 功能，新增任务分类分析与“Model Overkill”视图，帮助团队识别将高能力推理模型用于简单总结等过度使用行为。

    推荐理由：提供了结合任务分类识别模型大材小用的分析方案，读者可以借鉴其从会话意图和交互轮次优化调用成本的工程思路。

  5. arXiv cs.LG35

    HeadGuard：低比特 VLM KV cache 量化的选择性注意力头保护方法

    HeadGuard 是一种低比特 VLM KV cache 保护方法，通过将约 1/8 关键物理头保留在 BF16 精度以大幅挽回量化精度损失。在 8 款 VLM 测试中，千问（Qwen）与 InternVL 提升最显著，2 bits 下 8 款模型的 6 项判别任务均分从 0.436 提升至 0.580。该方法无需替换底层量化器，且仅保护 keys 就能以更低存储开销实现显著恢复。

9月29日周二
  2. AWS Machine Learning Blog52

    xAI Grok 4.7 正式上线 Amazon Bedrock

    xAI 旗下的大模型 Grok 4.7 正式上线 Amazon Bedrock，提供 500K context window 并支持四档可配置推理力度。该模型接入跨区域推理配置文件，同时兼容 OpenAI SDK 与 AWS Converse API，并支持隐式提示词缓存、Bedrock Guardrails 护栏和结构化输出。

9月28日周一
  1. AWS Machine Learning Blog48

    使用 Amazon Nova Act 实现合成监控

    Amazon Nova Act 联合 Amazon Bedrock AgentCore 可实现智能体驱动的合成监控，用于自动化巡检登录、支付等关键用户旅程。其依托多模态大语言模型直接分析 UI 截图并执行自然语言操作，无需维护易碎的 DOM 选择器，在早期企业客户用例中浏览器工作流准确率超过 90%。

9月26日周六
  1. AWS Machine Learning Blog39

    在 Amazon EKS 上借助 EFA 和 DeepEP 扩展 MoE 强化学习，吞吐量提升 40%

    AWS 提出结合 Amazon EKS、EFA 与 DeepEP 的架构方案，针对 MoE 模型的 RLHF 和 GRPO 大规模强化学习后训练进行优化，实现训练吞吐量提升 40%。该方案解决了 Rollout 推理生成与策略训练之间的异构资源协同难题，并利用 DeepEP 优化专家并行（EP）在 EFA 上的跨节点动态 all-to-all 通信瓶颈。