跳到正文

#教程/实践

今日 4 条
9月16日周三
  1. Together AI Blog46

    Together AI:如何从闭源模型迁移到开源模型

    Together AI 提出从闭源大语言模型向开源模型迁移的实践策略,借助托管服务可将迁移周期从数月至数年缩短至数周到数月。企业应先明确用例,综合任务成本、token 消耗与延迟,从前沿开源、高性价比及边缘层中筛选候选模型。评估时无需构建复杂数据集,直接回放现有真实业务流量即可完成准确率与性能验证。

9月14日周一
9月12日周六
  1. GitHub Blog · AI & ML65

    GitHub 团队分享如何结合 GitHub Copilot 与 Actions 实现活动运营全流程自动化

    GitHub 市场团队分享了利用 GitHub Copilot、Issue 表单和 GitHub Actions 实现营销活动全流程自动化的实践方案。系统以 Markdown 格式的操作手册为基础,让 Copilot 负责草拟活动物料、参数配置及执行斜杠命令,并由 Actions 自动化完成页面创建、渠道链接生成与数据清洗。

    推荐理由:文章详细拆解了将非技术运营流程代码化的整套架构,为非研发岗位借助智能体和平台能力实现自动化提供了清晰参考。

9月11日周五
  1. Interconnects50

    Nathan Lambert 发布开源 AI 与开源模型精选阅读清单

    Nathan Lambert 整理并发布开源 AI 与开源模型核心阅读清单,全面梳理近年来关于开源战略、安全边界及前沿竞争的重要文献。清单划分为基础战略、中美竞争与技术细节三大板块,深入探讨开源模型的帕累托成本优势、网络安全风险以及蒸馏技术争议。内容还汇集了 Meta 等机构的开源策略分析,以及评估开源与闭源模型约 4 至 6 个月性能差距的实证研究。

  2. OpenAI News62

    OpenAI 快速扩展在线存储以支撑超 10 亿 ChatGPT 用户

    OpenAI 介绍了其在线存储系统 Habitat 的架构演进历程,阐述了该系统如何从最初的 Python 库演进为全球分布式存储平台。该平台目前支撑着超过 10 亿 ChatGPT 用户,并承载每秒 22M 次请求。

    推荐理由:介绍了将内部存储系统扩展至支撑十亿级用户与高并发请求的架构演进,可为大规模在线系统设计提供参考。

  3. GitHub Blog · AI & ML50

    GitHub Copilot 应用初学者指南:结合 diff、终端与浏览器验证代码

    GitHub Copilot 应用集成了 diff 比对、终端与浏览器三个内置面板,支持用户在单个界面内审查、运行并预览 AI 智能体修改的代码。用户可在 diff 面板直观核对代码增删并决定接受或提注,在终端直接运行开发服务器或自定义脚本,并通过内置浏览器测试 UI 与微调元素,完成后直接在应用内提交 PR。

9月10日周四
9月9日周三
  1. Together AI Blog72

    Together AI 详解开源 AI 智能体技术栈与 MIGHT 架构

    Together AI 发文解析面向智能体软件开发的开源 AI 技术栈,将其拆分为模型、推理服务商、网关路由、客户端 Harness 与工具技能五大解耦层级。文章建议将大模型用于全局规划与审查,由响应快且成本低的小模型分步执行明确任务,并借助 MCP 协议与路由器实现跨厂商无缝切换。

    推荐理由:原文将开源开发拆解为模型、推理、网关、客户端与工具五层架构,为开发者从闭源模型平滑迁移并灵活替换组件提供了实用路径。

9月4日周五
  1. GitHub Blog · AI & ML64

    GitHub Copilot 入门指南:如何同时并行运行多个智能体

    GitHub Copilot 应用支持通过独立会话同时并行运行多个 AI 智能体,互不干扰以提升多任务开发效率。每个任务会话都在专属的 Git worktree 中隔离运行并保持各自的上下文,开发者无需等待前一个任务完成即可随时开启新会话,方便同时推进功能开发、无障碍审查与测试运行。

    推荐理由:文章展示了利用独立 Git worktree 实现多智能体会话并发与上下文隔离的机制,为开发者提供了可落地的并行编码方法。

8月26日周三
  1. Google AI Blog26

    用 Google Search 升级家居装饰的 5 种方式

    Google 介绍了利用 Google Search 及其 AI 工具升级家居装饰的 5 种功能。用户可通过 Search 的 AI Mode 上传房间照片生成家具摆放效果图,并用 Google Lens 与 Circle to Search 查找类似家居单品。此外,用户还能借助 Search Live 结合语音与实时摄像头画面获取 DIY 安装指导,并通过价格追踪功能比价。

8月22日周六
  1. Ahead of AI63

    Claude 文本水印机制如何工作

    Claude 采用类似 SynthID-Text 的机制在 token 采样阶段结合私有密钥与锦标赛采样实现隐形文本水印,无需重训模型也不会降低生成质量。检测阶段仅需结合私钥与水印函数对目标文本计算加权得分,无需重新调用大模型推理即可低成本判别。但该方案依赖特定位置的词选择,使用者通过局部修改或调用本地小模型二次润色即可破坏水印特征。

8月15日周六
  1. Ahead of AI60

    从零构建 AI 文本检测器

    Sebastian Raschka 发布了一套从零构建 AI 文本检测器的实践教程,演示如何通过微调 DistilBERT 分类器输出 0-100 的生成概率分值。项目涵盖模型评估、微调训练与本地部署,不仅构建了支持整篇与分块打分的浏览器 UI 及 API,还将检测器用作验证器以探讨小语言模型对抗检测与实际局限性。

8月10日周一
  1. Interconnects64

    Nathan Lambert 发售大模型后训练教材,解析 RL 算法直觉与系统实践

    AI 研究员 Nathan Lambert 宣布其由 Manning 出版的大模型后训练教材正式发货,并同步开放了免费网页版、12 小时配套视频课程与代码练习。全书系统梳理了从 PPO 到 GRPO 等策略梯度算法的数学直觉,并深入剖析异步强化学习的 GPU 系统设计、多教师在线蒸馏以及角色训练中的过度优化陷阱。

8月1日周六
  1. Together AI Blog82

    Kimi K3 完整开发者指南

    Together AI 联合月之暗面推出 2.8T 参数开源模型 Kimi K3 的接入支持并发布完整开发指南,该模型原生支持 1M 上下文窗口与多模态视觉输入。

    推荐理由:文章系统梳理了该开源模型的底层架构与接口参数,开发者可据此掌握长上下文缓存与动态工具调用的工程实现。

7月18日周六
  1. Ahead of AI66

    控制大语言模型推理工作量的实现机制解析

    Sebastian Raschka 撰文系统解析了大语言模型中控制推理工作量(Reasoning Effort)与思考时长的技术方案。文章对比了 DeepSeek-V4、Nemotron 3 Ultra、Kimi、GLM-5、Qwen3 与 Inkling 等模型,阐明各家主要通过混合模式监督微调(SFT)、带长度惩罚的强化学习(RLVR)以及硬预算截断来调节推理链长度。

7月16日周四
  1. Together AI Blog45

    Together AI:99.9% 正常运行时间对推理意味着什么?

    Together AI 拆解了 AI 推理可用性背后的架构要求:99% 需应对单节点故障并快速重新调度,99.9% 需双机房持续分流并各自具备全量承载能力以抵御单数据中心瘫痪。达到 99.99% 则需要多区域冗余与真实闲置的预留容量,并依赖拥有底层基础设施控制权及“从芯片到 token”的全栈可观测性。

6月27日周六
6月2日周二
  1. Together AI Blog68

    Together AI 详解 MiniMax-M3 推理优化:实现 1M 上下文与多模态高效部署

    Together AI 作为首选云合作伙伴,详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention,使预填充阶段加速超 9 倍、解码加速超 15 倍;同时借助 Rust 模型网关在 CPU 端预处理音视频,在典型智能体场景下将推理性能提升了 81% 至 125%。

    推荐理由:文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案,对长上下文大模型的生产级部署具有直接的工程参考价值。

5月29日周五
  1. Together AI Blog60

    Together AI 如何构建极速语音转文字推理架构

    Together AI 详细披露了其构建极速语音转文字(ASR)系统的全链路工程实践,使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。

    推荐理由:文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节,为高并发语音模型部署提供了可复现的系统级方案。

5月16日周六
  1. Ahead of AI38

    LLM 架构最新进展:KV 共享、mHC 与压缩注意力

    近期开源大语言模型架构重点针对长上下文效率进行优化,以降低推理模型与智能体场景下的 KV cache 显存占用和计算瓶颈。代表性设计包括 Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算分配、ZAYA1-8B 的压缩卷积注意力,以及 DeepSeek V4 的 mHC 与压缩注意力。

  2. Google DeepMind40

    Co-Scientist 助力整合生物学工具探索渐冻症(ALS)新疗法

    MIT 与波士顿儿童医院的研究人员借助 Co-Scientist 展开跨学科合作,共同探索渐冻症(ALS)的新型 RNA 机制与潜在药物。Co-Scientist 压缩了梳理海量矛盾文献的时间,协助研究人员提出可检验的假设并权衡实验可行性与风险。系统指出的细胞表面关键线索,促成了活体组织工程与 RNA 化学生物学工具的联合应用。

  3. Google DeepMind65

    WeatherNext 如何协助美国国家飓风中心提前预测飓风梅丽莎登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 气象模型 WeatherNext 协助美国国家飓风中心(NHC),提前 5 天以 80% 的置信度预测出飓风梅丽莎将迅速增强并以 5 级飓风强度登陆牙买加。

    推荐理由:文章详细复盘了气象大模型在极端飓风预报中的实测表现,展现了AI预测路径与强度的实际落地价值。

5月11日周一
5月8日周五
  1. Together AI Blog50

    Together AI:如何将 Hugging Face 任意模型部署并运行推理

    Together AI 介绍了利用 CLI 智能体 Goose 与官方容器技能将 Hugging Face 任意模型部署至专属容器推理(DCI)服务的方法。开发者只需输入模型链接,智能体即可自动解析架构、生成容器配置并完成部署,文章以 Netflix 发布的 void-model 视频交互消除模型演示了部署与异步推理流程。

5月6日周三
  1. Google DeepMind73

    AlphaEvolve:由 Gemini 驱动的编码智能体如何跨领域拓展应用影响

    Google DeepMind 总结了其由 Gemini 驱动的算法设计编码智能体 AlphaEvolve 在推出一年来的跨领域落地成果。在科学与硬件领域,该系统不仅协助数学家探索未解问题并将 Willow 量子芯片模拟误差降至基准的十分之一,还直接为下一代 TPU 芯片设计了更高效的底层硬件电路,同时将 Google Spanner 的写入放大减少了 20%。

    推荐理由:文章梳理了编码智能体深入硬件架构设计与跨学科科学计算的具体案例,展示了 AI 算法设计工具在工业基建中的实践路径。

4月24日周五
  1. Together AI Blog45

    分布感知投机解码 DAS 将强化学习 rollout 加速最高 50%

    分布感知投机解码(DAS)框架针对强化学习后训练的长尾瓶颈,在不改变模型输出的前提下将 rollout 阶段最高提速 50%。系统结合免训练的自适应后缀树草稿器与长度感知调度,利用历史轨迹动态分配投机预算并平衡多 GPU 负载。DAS 在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen3-8B 评估中,分别减少超 50% 和约 25% 的 rollout 时间。

4月21日周二
  1. Together AI Blog29

    Together AI:AI 原生团队多租户 GPU 集群设计指南

    Together AI 提出面向 AI 原生团队的多租户 GPU 集群设计方案,通过共享硬件池与租户隔离兼顾成本效益与独立运行体验。该架构底层基于集中式控制面与 InfiniBand/以太网络,上层为各团队分配专属 GPU 节点与存储,并支持自主选择 Kubernetes 或 Slurm 编排层。系统通过调度器执行硬性配额与防冲突预约,并支持超出配额时自动溢出至按需实例。

4月18日周六
  1. Ahead of AI47

    我理解 LLM 架构的工作流

    Ahead of AI 分享了剖析开放权重大语言模型架构的工作流,重点通过查阅 Hugging Face 上的配置文件与 Python transformers 库的参考实现获取真实细节。该方法主要适用于开放权重模型,不适用于 ChatGPT、Claude 或 Gemini 等闭源模型。作者认为通过手动检查可运行代码与配置,是深入掌握 LLM 架构的最佳途径。

4月4日周六
4月1日周三
3月22日周日
  1. Ahead of AI62

    现代大语言模型注意力变体图解指南:从 GQA、MLA 到混合注意力架构

    Sebastian Raschka 发布现代大语言模型注意力机制图解指南,系统盘点并对比了近年主流开源模型采用的核心架构演进。文章详细拆解了多头注意力(MHA)、分组查询注意力(GQA)、多头潜在注意力(MLA)、滑动窗口注意力(SWA)及 DeepSeek 稀疏注意力(DSA)在 KV cache 占用与建模能力上的权衡。

3月4日周三
  1. Together AI Blog40

    Together AI 提出 CPD 架构:通过感知缓存预填-解码分离将长上下文大语言模型推理提速最高 40%

    Together AI 推出感知缓存预填-解码分离架构 CPD,将推理划分为 Pre-Prefill、Prefill 与 Decode 三种节点,避免冷请求阻塞暖请求。系统依托三级 KV cache 层级与感知缓存路由,让冷请求写入分布式缓存、暖请求直接读取复用。评测显示,CPD 相比现有分离架构将可持续 QPS 提升最高 35–40%,并有效收紧尾部延迟界限。

2月25日周三
  1. Ahead of AI67

    Sebastian Raschka 盘点 2026 年初 10 款开源权重 LLM 架构演进

    Sebastian Raschka 盘点了 2026 年 1 至 2 月发布的十余款开源权重模型架构,重点剖析了混合注意力、专家混合与多 Token 预测等设计差异。分析涵盖 Kimi K2.5、GLM-5、Qwen3.5 等模型对 MLA、Gated DeltaNet 和稀疏注意力的应用演进。文章指出开源模型在模型性能之外,正加速转向针对长上下文与推理吞吐的架构效率优化。

1月24日周六
12月3日周三
  1. Ahead of AI85

    从 DeepSeek V3 到 V3.2:架构、稀疏注意力和强化学习技术解析

    Sebastian Raschka 梳理了 DeepSeek 从 V3 到 V3.2 的技术演进路径与训练细节。V3.2 在原有 MLA 架构基础上引入 DeepSeek 稀疏注意力(DSA),将注意力计算复杂度降至线性,并结合 DeepSeekMath V2 的自验证与自精炼机制提升推理能力。

    推荐理由:文章拆解了 DSA 稀疏注意力与强化学习修正细节,为关注长文本效率和推理训练落地的工程团队提供了对照参考。

11月4日周二