跳到正文

#教程/实践

今日 4 条
9月26日周六
  1. AWS Machine Learning Blog44

    在 Amazon SageMaker AI 上使用 Qwen3-TTS 部署实时个性化语音

    用户现可通过 Amazon SageMaker JumpStart 将开源模型 Qwen3-TTS-12Hz-1.7B-Base 部署至全托管实时推理端点。该模型由阿里巴巴千问团队开发,覆盖中英等 10 种语言,仅需数秒参考音频即可实现跨语种声音克隆并输出 24 kHz 音频。部署方案基于预构建的 vLLM-Omni 容器,支持低延迟流式生成且无需管理底层 GPU 服务器。

9月25日周五
9月23日周三
  1. Together AI Blog66

    如何以 17 美元微调并部署类似 Jev 的专用分类模型

    Together AI 发布实战教程,指导用户基于 Qwen3.5 4B 基础模型和约 3.8 万条多源数据微调类似 Jev 的专用分类模型,并将其部署为 HTTP 端点。该微调流程耗时约 25 分钟、花费约 17 美元,模型可直接解析输入状态并输出规范的 JSON 结构化判定结果。相关数据采样、清洗与部署脚本均已在 GitHub 的 tev1 仓库开源。

    推荐理由:文章给出了以约 17 美元微调并部署专用分类模型的完整代码与数据处理流程,展示了针对结构化任务低成本定制轻量模型的工程实践。

9月18日周五
  1. Together AI Blog36

    一家全球金融科技公司如何借助 Together AI 的 Dedicated Model Inference 扩展代码 Agent 流量

    一家全球金融科技公司采用 Together AI 的 Dedicated Model Inference 部署 GLM-5.2,支撑其内部代码 Agent 的突发流量。该系统运行在数十张 B200 GPU 的多副本架构上,支持 256K 上下文并应对输入长度 p95 达 178K tokens 的高并发。结合 Metrics API 与自助端点控制,团队以零停机实时调优路由策略消除了请求排队延迟。

9月17日周四
9月16日周三
  1. Together AI Blog46

    Together AI:如何从闭源模型迁移到开源模型

    Together AI 提出从闭源大语言模型向开源模型迁移的实践策略,借助托管服务可将迁移周期从数月至数年缩短至数周到数月。企业应先明确用例,综合任务成本、token 消耗与延迟,从前沿开源、高性价比及边缘层中筛选候选模型。评估时无需构建复杂数据集,直接回放现有真实业务流量即可完成准确率与性能验证。

9月14日周一
9月12日周六
  1. GitHub Blog · AI & ML65

    GitHub 团队分享如何结合 GitHub Copilot 与 Actions 实现活动运营全流程自动化

    GitHub 市场团队分享了利用 GitHub Copilot、Issue 表单和 GitHub Actions 实现营销活动全流程自动化的实践方案。系统以 Markdown 格式的操作手册为基础,让 Copilot 负责草拟活动物料、参数配置及执行斜杠命令,并由 Actions 自动化完成页面创建、渠道链接生成与数据清洗。

    推荐理由:文章详细拆解了将非技术运营流程代码化的整套架构,为非研发岗位借助智能体和平台能力实现自动化提供了清晰参考。

9月11日周五
  1. OpenAI News62

    OpenAI 快速扩展在线存储以支撑超 10 亿 ChatGPT 用户

    OpenAI 介绍了其在线存储系统 Habitat 的架构演进历程,阐述了该系统如何从最初的 Python 库演进为全球分布式存储平台。该平台目前支撑着超过 10 亿 ChatGPT 用户,并承载每秒 22M 次请求。

    推荐理由:介绍了将内部存储系统扩展至支撑十亿级用户与高并发请求的架构演进,可为大规模在线系统设计提供参考。

  2. GitHub Blog · AI & ML50

    GitHub Copilot 应用初学者指南:结合 diff、终端与浏览器验证代码

    GitHub Copilot 应用集成了 diff 比对、终端与浏览器三个内置面板,支持用户在单个界面内审查、运行并预览 AI 智能体修改的代码。用户可在 diff 面板直观核对代码增删并决定接受或提注,在终端直接运行开发服务器或自定义脚本,并通过内置浏览器测试 UI 与微调元素,完成后直接在应用内提交 PR。

9月10日周四
9月9日周三
  1. Together AI Blog72

    Together AI 详解开源 AI 智能体技术栈与 MIGHT 架构

    Together AI 发文解析面向智能体软件开发的开源 AI 技术栈,将其拆分为模型、推理服务商、网关路由、客户端 Harness 与工具技能五大解耦层级。文章建议将大模型用于全局规划与审查,由响应快且成本低的小模型分步执行明确任务,并借助 MCP 协议与路由器实现跨厂商无缝切换。

    推荐理由:原文将开源开发拆解为模型、推理、网关、客户端与工具五层架构,为开发者从闭源模型平滑迁移并灵活替换组件提供了实用路径。

9月4日周五
  1. GitHub Blog · AI & ML64

    GitHub Copilot 入门指南:如何同时并行运行多个智能体

    GitHub Copilot 应用支持通过独立会话同时并行运行多个 AI 智能体,互不干扰以提升多任务开发效率。每个任务会话都在专属的 Git worktree 中隔离运行并保持各自的上下文,开发者无需等待前一个任务完成即可随时开启新会话,方便同时推进功能开发、无障碍审查与测试运行。

    推荐理由:文章展示了利用独立 Git worktree 实现多智能体会话并发与上下文隔离的机制,为开发者提供了可落地的并行编码方法。

8月26日周三
  1. Google AI Blog26

    用 Google Search 升级家居装饰的 5 种方式

    Google 介绍了利用 Google Search 及其 AI 工具升级家居装饰的 5 种功能。用户可通过 Search 的 AI Mode 上传房间照片生成家具摆放效果图,并用 Google Lens 与 Circle to Search 查找类似家居单品。此外,用户还能借助 Search Live 结合语音与实时摄像头画面获取 DIY 安装指导,并通过价格追踪功能比价。

8月1日周六
  1. Together AI Blog82

    Kimi K3 完整开发者指南

    Together AI 联合月之暗面推出 2.8T 参数开源模型 Kimi K3 的接入支持并发布完整开发指南,该模型原生支持 1M 上下文窗口与多模态视觉输入。

    推荐理由:文章系统梳理了该开源模型的底层架构与接口参数,开发者可据此掌握长上下文缓存与动态工具调用的工程实现。

7月16日周四
  1. Together AI Blog45

    Together AI:99.9% 正常运行时间对推理意味着什么?

    Together AI 拆解了 AI 推理可用性背后的架构要求:99% 需应对单节点故障并快速重新调度,99.9% 需双机房持续分流并各自具备全量承载能力以抵御单数据中心瘫痪。达到 99.99% 则需要多区域冗余与真实闲置的预留容量,并依赖拥有底层基础设施控制权及“从芯片到 token”的全栈可观测性。

6月2日周二
  1. Together AI Blog68

    Together AI 详解 MiniMax-M3 推理优化:实现 1M 上下文与多模态高效部署

    Together AI 作为首选云合作伙伴,详解了为 MiniMax-M3 模型构建生产级高效推理系统的工程实践。团队针对 MiniMax 稀疏注意力重构了算子并整合进 PagedAttention,使预填充阶段加速超 9 倍、解码加速超 15 倍;同时借助 Rust 模型网关在 CPU 端预处理音视频,在典型智能体场景下将推理性能提升了 81% 至 125%。

    推荐理由:文章拆解了稀疏注意力的算子重排与网关层多模态预处理方案,对长上下文大模型的生产级部署具有直接的工程参考价值。

5月29日周五
  1. Together AI Blog60

    Together AI 如何构建极速语音转文字推理架构

    Together AI 详细披露了其构建极速语音转文字(ASR)系统的全链路工程实践,使 NVIDIA Parakeet-TDT 0.6B v3 能够在 10 秒内完成约 20 小时音频的转录。

    推荐理由:文章详细拆解了从计算图条件分支到 Python GC 冻结的全栈优化细节,为高并发语音模型部署提供了可复现的系统级方案。

5月16日周六
  1. Google DeepMind40

    Co-Scientist 助力整合生物学工具探索渐冻症(ALS)新疗法

    MIT 与波士顿儿童医院的研究人员借助 Co-Scientist 展开跨学科合作,共同探索渐冻症(ALS)的新型 RNA 机制与潜在药物。Co-Scientist 压缩了梳理海量矛盾文献的时间,协助研究人员提出可检验的假设并权衡实验可行性与风险。系统指出的细胞表面关键线索,促成了活体组织工程与 RNA 化学生物学工具的联合应用。

  2. Google DeepMind65

    WeatherNext 如何协助美国国家飓风中心提前预测飓风梅丽莎登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 气象模型 WeatherNext 协助美国国家飓风中心(NHC),提前 5 天以 80% 的置信度预测出飓风梅丽莎将迅速增强并以 5 级飓风强度登陆牙买加。

    推荐理由:文章详细复盘了气象大模型在极端飓风预报中的实测表现,展现了AI预测路径与强度的实际落地价值。

5月11日周一
5月8日周五
  1. Together AI Blog50

    Together AI:如何将 Hugging Face 任意模型部署并运行推理

    Together AI 介绍了利用 CLI 智能体 Goose 与官方容器技能将 Hugging Face 任意模型部署至专属容器推理(DCI)服务的方法。开发者只需输入模型链接,智能体即可自动解析架构、生成容器配置并完成部署,文章以 Netflix 发布的 void-model 视频交互消除模型演示了部署与异步推理流程。

5月6日周三
  1. Google DeepMind73

    AlphaEvolve:由 Gemini 驱动的编码智能体如何跨领域拓展应用影响

    Google DeepMind 总结了其由 Gemini 驱动的算法设计编码智能体 AlphaEvolve 在推出一年来的跨领域落地成果。在科学与硬件领域,该系统不仅协助数学家探索未解问题并将 Willow 量子芯片模拟误差降至基准的十分之一,还直接为下一代 TPU 芯片设计了更高效的底层硬件电路,同时将 Google Spanner 的写入放大减少了 20%。

    推荐理由:文章梳理了编码智能体深入硬件架构设计与跨学科科学计算的具体案例,展示了 AI 算法设计工具在工业基建中的实践路径。

4月24日周五
  1. Together AI Blog45

    分布感知投机解码 DAS 将强化学习 rollout 加速最高 50%

    分布感知投机解码(DAS)框架针对强化学习后训练的长尾瓶颈,在不改变模型输出的前提下将 rollout 阶段最高提速 50%。系统结合免训练的自适应后缀树草稿器与长度感知调度,利用历史轨迹动态分配投机预算并平衡多 GPU 负载。DAS 在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen3-8B 评估中,分别减少超 50% 和约 25% 的 rollout 时间。

4月21日周二
  1. Together AI Blog29

    Together AI:AI 原生团队多租户 GPU 集群设计指南

    Together AI 提出面向 AI 原生团队的多租户 GPU 集群设计方案,通过共享硬件池与租户隔离兼顾成本效益与独立运行体验。该架构底层基于集中式控制面与 InfiniBand/以太网络,上层为各团队分配专属 GPU 节点与存储,并支持自主选择 Kubernetes 或 Slurm 编排层。系统通过调度器执行硬性配额与防冲突预约,并支持超出配额时自动溢出至按需实例。

4月1日周三
3月4日周三
  1. Together AI Blog40

    Together AI 提出 CPD 架构:通过感知缓存预填-解码分离将长上下文大语言模型推理提速最高 40%

    Together AI 推出感知缓存预填-解码分离架构 CPD,将推理划分为 Pre-Prefill、Prefill 与 Decode 三种节点,避免冷请求阻塞暖请求。系统依托三级 KV cache 层级与感知缓存路由,让冷请求写入分布式缓存、暖请求直接读取复用。评测显示,CPD 相比现有分离架构将可持续 QPS 提升最高 35–40%,并有效收紧尾部延迟界限。