跳到正文

全部动态

今日 4 条
9月9日周三
9月4日周五
  1. GitHub Blog · AI & ML64

    GitHub Copilot 入门指南:如何同时并行运行多个智能体

    GitHub Copilot 应用支持通过独立会话同时并行运行多个 AI 智能体,互不干扰以提升多任务开发效率。每个任务会话都在专属的 Git worktree 中隔离运行并保持各自的上下文,开发者无需等待前一个任务完成即可随时开启新会话,方便同时推进功能开发、无障碍审查与测试运行。

    推荐理由:文章展示了利用独立 Git worktree 实现多智能体会话并发与上下文隔离的机制,为开发者提供了可落地的并行编码方法。

8月26日周三
  1. Google AI Blog26

    用 Google Search 升级家居装饰的 5 种方式

    Google 介绍了利用 Google Search 及其 AI 工具升级家居装饰的 5 种功能。用户可通过 Search 的 AI Mode 上传房间照片生成家具摆放效果图,并用 Google Lens 与 Circle to Search 查找类似家居单品。此外,用户还能借助 Search Live 结合语音与实时摄像头画面获取 DIY 安装指导,并通过价格追踪功能比价。

8月22日周六
  1. Ahead of AI63

    Claude 文本水印机制如何工作

    Claude 采用类似 SynthID-Text 的机制在 token 采样阶段结合私有密钥与锦标赛采样实现隐形文本水印,无需重训模型也不会降低生成质量。检测阶段仅需结合私钥与水印函数对目标文本计算加权得分,无需重新调用大模型推理即可低成本判别。但该方案依赖特定位置的词选择,使用者通过局部修改或调用本地小模型二次润色即可破坏水印特征。

8月15日周六
  1. Ahead of AI60

    从零构建 AI 文本检测器

    Sebastian Raschka 发布了一套从零构建 AI 文本检测器的实践教程,演示如何通过微调 DistilBERT 分类器输出 0-100 的生成概率分值。项目涵盖模型评估、微调训练与本地部署,不仅构建了支持整篇与分块打分的浏览器 UI 及 API,还将检测器用作验证器以探讨小语言模型对抗检测与实际局限性。

8月10日周一
  1. Interconnects64

    Nathan Lambert 发售大模型后训练教材,解析 RL 算法直觉与系统实践

    AI 研究员 Nathan Lambert 宣布其由 Manning 出版的大模型后训练教材正式发货,并同步开放了免费网页版、12 小时配套视频课程与代码练习。全书系统梳理了从 PPO 到 GRPO 等策略梯度算法的数学直觉,并深入剖析异步强化学习的 GPU 系统设计、多教师在线蒸馏以及角色训练中的过度优化陷阱。

8月1日周六
  1. Together AI Blog82

    Kimi K3 完整开发者指南

    Together AI 联合月之暗面推出 2.8T 参数开源模型 Kimi K3 的接入支持并发布完整开发指南,该模型原生支持 1M 上下文窗口与多模态视觉输入。

    推荐理由:文章系统梳理了该开源模型的底层架构与接口参数,开发者可据此掌握长上下文缓存与动态工具调用的工程实现。

7月18日周六
  1. Ahead of AI66

    控制大语言模型推理工作量的实现机制解析

    Sebastian Raschka 撰文系统解析了大语言模型中控制推理工作量(Reasoning Effort)与思考时长的技术方案。文章对比了 DeepSeek-V4、Nemotron 3 Ultra、Kimi、GLM-5、Qwen3 与 Inkling 等模型,阐明各家主要通过混合模式监督微调(SFT)、带长度惩罚的强化学习(RLVR)以及硬预算截断来调节推理链长度。

7月16日周四
  1. Together AI Blog45

    Together AI:99.9% 正常运行时间对推理意味着什么?

    Together AI 拆解了 AI 推理可用性背后的架构要求:99% 需应对单节点故障并快速重新调度,99.9% 需双机房持续分流并各自具备全量承载能力以抵御单数据中心瘫痪。达到 99.99% 则需要多区域冗余与真实闲置的预留容量,并依赖拥有底层基础设施控制权及“从芯片到 token”的全栈可观测性。

6月27日周六
6月2日周二
  1. Together AI Blog68

    Together AI 详解 MiniMax-M3 推理优化:实现 1M 上下文与多模态高效部署

    Together AI 作为首选云合作伙伴,详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention,使预填充阶段加速超 9 倍、解码加速超 15 倍;同时借助 Rust 模型网关在 CPU 端预处理音视频,在典型智能体场景下将推理性能提升了 81% 至 125%。

    推荐理由:文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案,对长上下文大模型的生产级部署具有直接的工程参考价值。

5月29日周五
  1. Together AI Blog60

    Together AI 如何构建极速语音转文字推理架构

    Together AI 详细披露了其构建极速语音转文字(ASR)系统的全链路工程实践,使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。

    推荐理由:文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节,为高并发语音模型部署提供了可复现的系统级方案。

5月16日周六
  1. Ahead of AI38

    LLM 架构最新进展:KV 共享、mHC 与压缩注意力

    近期开源大语言模型架构重点针对长上下文效率进行优化,以降低推理模型与智能体场景下的 KV cache 显存占用和计算瓶颈。代表性设计包括 Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算分配、ZAYA1-8B 的压缩卷积注意力,以及 DeepSeek V4 的 mHC 与压缩注意力。

5月11日周一
5月8日周五
  1. Together AI Blog50

    Together AI:如何将 Hugging Face 任意模型部署并运行推理

    Together AI 介绍了利用 CLI 智能体 Goose 与官方容器技能将 Hugging Face 任意模型部署至专属容器推理(DCI)服务的方法。开发者只需输入模型链接,智能体即可自动解析架构、生成容器配置并完成部署,文章以 Netflix 发布的 void-model 视频交互消除模型演示了部署与异步推理流程。

4月30日周四
4月24日周五
  1. Together AI Blog45

    分布感知投机解码 DAS 将强化学习 rollout 加速最高 50%

    分布感知投机解码(DAS)框架针对强化学习后训练的长尾瓶颈,在不改变模型输出的前提下将 rollout 阶段最高提速 50%。系统结合免训练的自适应后缀树草稿器与长度感知调度,利用历史轨迹动态分配投机预算并平衡多 GPU 负载。DAS 在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen3-8B 评估中,分别减少超 50% 和约 25% 的 rollout 时间。

4月21日周二
  1. Together AI Blog29

    Together AI:AI 原生团队多租户 GPU 集群设计指南

    Together AI 提出面向 AI 原生团队的多租户 GPU 集群设计方案,通过共享硬件池与租户隔离兼顾成本效益与独立运行体验。该架构底层基于集中式控制面与 InfiniBand/以太网络,上层为各团队分配专属 GPU 节点与存储,并支持自主选择 Kubernetes 或 Slurm 编排层。系统通过调度器执行硬性配额与防冲突预约,并支持超出配额时自动溢出至按需实例。

4月18日周六
  1. Ahead of AI47

    我理解 LLM 架构的工作流

    Ahead of AI 分享了剖析开放权重大语言模型架构的工作流,重点通过查阅 Hugging Face 上的配置文件与 Python transformers 库的参考实现获取真实细节。该方法主要适用于开放权重模型,不适用于 ChatGPT、Claude 或 Gemini 等闭源模型。作者认为通过手动检查可运行代码与配置,是深入掌握 LLM 架构的最佳途径。

4月4日周六
4月1日周三
3月22日周日
  1. Ahead of AI62

    现代大语言模型注意力变体图解指南:从 GQA、MLA 到混合注意力架构

    Sebastian Raschka 发布现代大语言模型注意力机制图解指南,系统盘点并对比了近年主流开源模型采用的核心架构演进。文章详细拆解了多头注意力(MHA)、分组查询注意力(GQA)、多头潜在注意力(MLA)、滑动窗口注意力(SWA)及 DeepSeek 稀疏注意力(DSA)在 KV cache 占用与建模能力上的权衡。

3月5日周四
3月4日周三
  1. Together AI Blog40

    Together AI 提出 CPD 架构:通过感知缓存预填-解码分离将长上下文大语言模型推理提速最高 40%

    Together AI 推出感知缓存预填-解码分离架构 CPD,将推理划分为 Pre-Prefill、Prefill 与 Decode 三种节点,避免冷请求阻塞暖请求。系统依托三级 KV cache 层级与感知缓存路由,让冷请求写入分布式缓存、暖请求直接读取复用。评测显示,CPD 相比现有分离架构将可持续 QPS 提升最高 35–40%,并有效收紧尾部延迟界限。

2月25日周三
  1. Ahead of AI67

    Sebastian Raschka 盘点 2026 年初 10 款开源权重 LLM 架构演进

    Sebastian Raschka 盘点了 2026 年 1 至 2 月发布的十余款开源权重模型架构,重点剖析了混合注意力、专家混合与多 Token 预测等设计差异。分析涵盖 Kimi K2.5、GLM-5、Qwen3.5 等模型对 MLA、Gated DeltaNet 和稀疏注意力的应用演进。文章指出开源模型在模型性能之外,正加速转向针对长上下文与推理吞吐的架构效率优化。

1月24日周六
12月3日周三
  1. Ahead of AI85

    从 DeepSeek V3 到 V3.2:架构、稀疏注意力和强化学习技术解析

    Sebastian Raschka 梳理了 DeepSeek 从 V3 到 V3.2 的技术演进路径与训练细节。V3.2 在原有 MLA 架构基础上引入 DeepSeek 稀疏注意力(DSA),将注意力计算复杂度降至线性,并结合 DeepSeekMath V2 的自验证与自精炼机制提升推理能力。

    推荐理由:文章拆解了 DSA 稀疏注意力与强化学习修正细节,为关注长文本效率和推理训练落地的工程团队提供了对照参考。

11月4日周二
10月5日周日
  1. Ahead of AI68

    从零理解大语言模型评测的四种主流方法

    Sebastian Raschka 撰文梳理了大语言模型评测的四种主流方法,将其归纳为基于基准的多选题与验证器,以及基于判断的偏好排行榜与 LLM 裁判。文中提供了纯 PyTorch 下 MMLU 选项打分、数学代码结果验证器比对、基于 Elo 积分的胜负排行榜,以及通过本地 Ollama 驱动模型作为裁判打分的完整代码实现。

9月6日周六
8月9日周六