Google DeepMind 开源文本扩散模型 DiffusionGemma,文本生成速度最高提升 4 倍
Google DeepMind 推出开源实验性文本扩散模型 DiffusionGemma,基于 Apache 2.0 协议发布,在独立 GPU 上的文本生成速度最高提升 4 倍。
推荐理由:Google 尝试将扩散机制引入文本生成以突破自回归显存带宽瓶颈,为端侧低延迟交互和非线性文本生成提供了工程参考。
Google DeepMind 推出开源实验性文本扩散模型 DiffusionGemma,基于 Apache 2.0 协议发布,在独立 GPU 上的文本生成速度最高提升 4 倍。
推荐理由:Google 尝试将扩散机制引入文本生成以突破自回归显存带宽瓶颈,为端侧低延迟交互和非线性文本生成提供了工程参考。
Google DeepMind 正式推出 Gemma 4 12B 多模态模型,采用无独立编码器的统一架构,原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型,内存占用减少超一半,可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源,支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。
推荐理由:原文解析了移除视觉和音频编码器的统一架构设计,为端侧设备部署低延迟多模态大模型提供了具体参考。
Together AI 介绍了利用 CLI 智能体 Goose 与官方容器技能将 Hugging Face 任意模型部署至专属容器推理(DCI)服务的方法。开发者只需输入模型链接,智能体即可自动解析架构、生成容器配置并完成部署,文章以 Netflix 发布的 void-model 视频交互消除模型演示了部署与异步推理流程。