AI for Systems：利用大语言模型优化数据库查询执行
研究团队提出利用大语言模型优化 Apache DataFusion 引擎的物理查询计划，并发布了评估框架 DBPlanBench。该方案将物理执行图体积压缩约 10x 以节省上下文窗口，通过让 LLM 输出 JSON Patch 实施局部调整以保障结构安全。
#推理
#推理
今日 1 条Together AI BlogAI 评分4646
Together AI BlogAI 评分5252 Together AI 开源基于强化学习的投机采样框架 Aurora
Together AI 开源投机采样框架 Aurora，将草稿模型训练转变为基于强化学习的在线持续学习闭环，在 Qwen3 等模型上比静态草稿模型实现额外 1.25 倍加速。该框架将推理与训练服务器解耦，利用线上请求中接受与拒绝的 token 轨迹异步更新草稿模型并进行无感热替换，有效解决了离线蒸馏成本高昂以及线上请求分布漂移导致的性能衰退问题。
Together AI BlogAI 评分5858 Together AI 详解分治框架：弱模型如何在长上下文任务中胜过 GPT-4o
Together AI 在 ICLR 2026 入选论文中提出长上下文分治框架，通过规划器拆分任务并由小模型并行处理分块，使 Llama-3-70B 和 Qwen-72B 在问答与摘要等长文本任务中匹敌或超越单次输入的 GPT-4o。
Together AI Blog精选AI 评分6767 Together AI 扩展微调服务，新增工具调用、推理及视觉模型微调支持
Together AI 宣布对其微调服务进行重大扩展，原生支持工具调用、链式推理思考轨迹以及视觉语言模型（VLM）微调。底层训练技术栈通过集成 SonicMoE 算子与定制 CUDA 内核，将 100B+ 参数模型的训练吞吐量最高提升至 6 倍，并支持最高 100GB 的数据集以及运行前的成本与耗时预估。
推荐理由：原文给出了工具调用、推理链与视觉微调的具体参数配置与吞吐量实测数据，读者可以据此评估复杂智能体工作流的后训练可行性与成本。
Together AI Blog精选AI 评分6666 新一代状态空间模型 Mamba-3 发布，主打推理效率与多输入多输出机制
Together AI 联合卡内基梅隆大学、普林斯顿大学与 Cartesia AI 推出状态空间模型 Mamba-3，核心转向以推理效率为主要设计目标。新架构引入更具表达力的指数-梯形离散化循环、基于 RoPE 的复数状态跟踪以及多输入多输出（MIMO）机制，同时移除了外部短卷积。
推荐理由：该架构从侧重训练加速转向主推推理效率，通过复数状态与多输入多输出机制在不增加解码延迟的前提下提升模型表现。
Together AI BlogAI 评分5252 Together AI 公布 NVIDIA GTC 2026 诸多集成更新：支持 Dynamo 1.0 与 Nemotron 3 Super
Together AI 在 NVIDIA GTC 2026 上宣布多项基础设施与模型服务更新，已将开源推理软件 NVIDIA Dynamo 1.0 引入自身推理栈，并支持托管 NVIDIA OpenShell 智能体运行环境。
Together AI Blog精选AI 评分7070 Together AI 上线 NVIDIA Nemotron 3 Super 专用推理服务
Together AI 宣布在其 Dedicated Inference 平台上线 NVIDIA Nemotron 3 Super，支持开发者免去 GPU 运维直接部署该 120B 开源权重模型。
推荐理由：平台为长上下文混合架构模型提供了单卡部署与托管算力，工程团队无需自建集群即可直接落地智能体推理。
Together AI Blog精选AI 评分6565 Together AI 推出 7 项技术与产品更新，涵盖内核算子、强化学习与推理优化
Together AI 在首届 AI Native Conf 上宣布了 7 项技术与产品更新，覆盖底层内核、强化学习训练及算法级推理优化三大方向。
推荐理由：原文完整梳理了算子到架构级的全栈技术落地方案，读者可以据此评估软硬件协同设计对大模型实时推理与智能体长上下文吞吐的具体收益。
Together AI BlogAI 评分4040 Together AI 提出 CPD 架构：通过感知缓存预填-解码分离将长上下文大语言模型推理提速最高 40%
Together AI 推出感知缓存预填-解码分离架构 CPD，将推理划分为 Pre-Prefill、Prefill 与 Decode 三种节点，避免冷请求阻塞暖请求。系统依托三级 KV cache 层级与感知缓存路由，让冷请求写入分布式缓存、暖请求直接读取复用。评测显示，CPD 相比现有分离架构将可持续 QPS 提升最高 35–40%，并有效收紧尾部延迟界限。
Together AI BlogAI 评分4343 一致性扩散语言模型 CDLM：在不牺牲质量的前提下实现最高 14 倍推理加速
Together AI 提出一致性扩散语言模型 CDLM，通过块因果掩码与轨迹蒸馏解决扩散模型推理慢的难题，实现最高 14.5 倍加速。CDLM 支持精确的块级 KV cache 缓存复用，在 Dream-7B-Instruct 上将去噪步数减少 4.1x–7.7x。在 GSM8K-CoT 和 MBPP-Instruct 上，其延迟分别降低 11.2x 与 14.5x 且生成质量几乎无损。