跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–20 条 · 共 20 条
10月29日周四
  1. The Decoder78

    Google 为 Android Studio 引入第三方 AI 智能体并推出新 Gemini API

    Google 在 Android Dev Summit 上宣布 Android Studio 支持“自带智能体”(BYOA)模式,开发者可直接在 IDE 中运行 Claude、Codex 等 40 多种编码智能体。

    推荐理由:Google 将 Android 开发体系全面对接第三方智能体与 MCP 标准,为开发者提供了把多厂商模型接入 IDE 工具链与移动端应用的标准化路径。

10月28日周三
  1. NVIDIA Blog63

    NVIDIA RTX Spark 笔记本迎来更新:支持 Nemotron 3.5 语音模型与前后台 GPU 调度

    NVIDIA 宣布搭载 Grace Blackwell 架构的 RTX Spark 系列 Windows 笔记本上市,起售价 2,599 美元并带来多项端侧 AI 更新。平台新增开源语音模型 Nemotron 3.5 Transcribe,支持 40 种语言的听写、说话人识别与翻译;NVIDIA App 同步上线资源管理功能,允许用户自主权衡前台应用与后台 Agent 的 GPU 算力分配。

    推荐理由:原文给出了软硬件协同管理与端侧多模型支持的细节,读者可以据此评估本地 AI 工作流与算力调度的可行性。

10月24日周六
  1. Google Research64

    Google 分享将基础模型应用于全球结核病一线筛查的落地实践

    Google 展示了将其医疗 AI 基础模型应用于全球结核病(TB)前线筛查的完整落地路径。通过与 Nexus AI 合作,其胸部 X 光筛查算法已获得欧盟 CE MDR Class IIb 认证并在 6 个国家落地,使胸片筛查周转时间缩短至 45 秒内,并在南非深井金矿实现了便携式离线筛查。

    推荐理由:原文展示了医疗 AI 从算法论文到跨国临床认证及开源部署的完整路径,为公共卫生场景的落地提供了实践参考。

10月22日周四
  1. Google Research66

    Google 研发 AI 辅助盲扫超声技术,非专业人员操作可达临床专家级孕周评估精度

    Google Research 联合多家机构发表研究,证实其 AI 系统能直接解读非专业医护人员采集的盲扫超声,并在移动设备上实时评估胎儿孕周。在跨越美国与肯尼亚的前瞻性临床测试中,该模型评估孕周的平均绝对误差为 4.18 天,表现不劣于专业超声医师测量的 4.48 天,且在胎儿体重极端等复杂场景下保持良好鲁棒性。这项技术结合便携式探头,有望显著降低操作门槛并扩大低资源地区的产前筛查覆盖率。

    推荐理由:原文展示了 AI 算法配合盲扫超声在多地真实临床中的泛化表现,为低资源环境利用便携设备普及产前筛查提供了实践参照。

10月21日周三
  1. NVIDIA Blog73

    NVIDIA 扩展本地 AI 硬件与软件生态:发布 DGX Spark 64GB 并推出多款本地模型支持

    NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件全线进展,涵盖面向 PC 智能体的 RTX Spark、面向开发者的 DGX Spark 以及面向企业的 DGX Station。

    推荐理由:原文公布了面向个人与企业的多档本地算力方案与适配模型,有助于开发者评估将智能体完整下沉至本地运行的技术可行性。

10月18日周日
  1. NVIDIA Blog71

    NVIDIA RTX Spark 笔记本电脑正式发售

    NVIDIA RTX Spark 笔记本电脑正式开售,起售价为 $2,399,搭载整合 Blackwell RTX GPU 与 Grace CPU 的超级芯片。

    推荐理由:原文给出了结合 Blackwell 与 Grace 架构的硬件规格及起售价格,读者可以了解端侧大内存设备对本地 AI 运行的支持情况。

10月17日周六
  1. Solidot86

    Meta 发布开放权重模型 Muse Spark Open

    Meta 发布开放权重多模态模型 Muse Spark Open,拥有 8160 亿总参数和 420 亿激活参数,支持 100 万 Token 上下文。该模型结合苹果开源框架 MLX 针对统一内存进行了优化,两台搭载 M5 Ultra 芯片的 Mac Studio 即可部署运行。目前模型权重已在 Hugging Face 正式上线。

    推荐理由:该模型通过适配苹果 MLX 框架与统一内存架构,让超大参数规模的开放多模态模型能够在两台桌面工作站上直接本地运行。

10月16日周五
  1. The Verge · AI80

    Meta 与苹果合作优化 Muse Spark Open 模型在 Mac 上的运行表现

    Meta 发布拥有 816B 总参数的开源多模态模型 Muse Spark Open,并与苹果合作使其能够在搭载最新 MLX 框架的两台 Apple M5 Ultra Mac Studio 上进行桌面端本地运行。该模型主打长周期任务、复杂软件工程与多步骤推理能力,苹果也同步发布了关于 MLX 适配的技术说明。

    推荐理由:原文展现了两家科技巨头在桌面端大模型运行上的合作,读者可据此了解超大参数模型在本地硬件框架下的适配进展。

  2. NVIDIA Blog61

    NVIDIA 宣布 RTX Spark 正式发布并举办全球庆典

    NVIDIA 宣布推出专为创作者、游戏玩家与 AI 智能体打造的 Windows PC 平台 RTX Spark,并于全球多地举办线下发布体验活动。该平台联合微软等合作伙伴开发,主打本地 AI 工作流加速与兼容性优化,并在旧金山、柏林、台北、北京和首尔等地设立现场上手展示。线上同时开启 #ShareYourSpark 互动活动,提供黄仁勋签名的华硕 ProArt P14 笔记本作为抽奖奖品。

    推荐理由:提供了端侧智能体 PC 平台的发布与各方实测评价,读者可据此了解本地 AI 工作流在个人计算设备上的落地情况。

10月15日周四
10月14日周三
  1. 量子位76

    面壁智能开源多模态模型 MiniCPM-V 4.7,35B MoE 仅需 3G 内存

    面壁智能与 OpenBMB 正式开源端侧多模态模型 MiniCPM-V 4.7,推出 35B-A3B MoE 与 1.3B 两个版本,其中 35B 版本仅占用约 3G 内存即可在手机离线运行。该模型采用前瞻专家调度、混合精度量化与视觉压缩等技术,在 iPhone 17 Pro Max 上解码速度超过 13 tokens/s,并已适配 iOS、安卓及鸿蒙等多个系统平台。

    推荐理由:模型通过前瞻专家调度和混合精度量化降低内存占用,为端侧设备离线运行大参数多模态模型提供了实用方案。

10月13日周二
10月8日周四
  1. NVIDIA Blog76

    NVIDIA 联合微软推出 RTX Spark 平台与 MXC 容器,推进 Windows 本地 AI 智能体运行

    NVIDIA 联合微软宣布协同打造 Windows 本地 AI 智能体软硬件生态,正式上线操作系统级安全底座 Microsoft Execution Containers(MXC),并推出 RTX Spark 硬件平台。

    推荐理由:软硬件协同让本地智能体获得系统级安全容器与统一内存支持,为端侧大模型常驻运行提供了工程落地参考。

10月7日周三
10月2日周五
  1. NVIDIA Blog62

    NVIDIA 推出 DGX Spark 64GB 统一内存版本

    NVIDIA 宣布推出搭载 64GB 统一内存的 DGX Spark 本地计算平台,起售价 4,999 美元,将于 10 月 23 日由宏碁、华硕、戴尔、技嘉、惠普和微星等合作伙伴发售。

    推荐理由:新配置保留了相同芯片与软件栈并降低了硬件门槛,两机直连扩展的方案可供需要兼顾成本与扩展性的本地开发者参考。

9月24日周四
  1. Google DeepMind62

    Google 升级 Private AI Compute:引入安全服务端记忆支持跨设备连续上下文

    Google 发布 Private AI Compute 架构更新,在云端引入安全的服务端持久记忆层,让 AI 助手在满足端侧隐私标准的同时实现跨设备长期上下文连续性。系统结合硬件级安全飞地、加密通道与按用户隔离的数据库,解密密钥完全由用户本地设备独占保管,云端仅在隔离内存中临时解密并即时重新加密。官方同步公开了防篡改的服务器软件公开记录及第三方独立安全审计结果,供社区验证。

    推荐理由:该架构改变了此前云端隐私计算严格无状态的限制,为跨设备持久记忆的软硬件协同防护提供了工程参考。

8月12日周三
7月28日周二
6月9日周二
  1. Google DeepMind83

    Google DeepMind 推出 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 正式推出 Gemma 4 12B 多模态模型,采用无独立编码器的统一架构,原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型,内存占用减少超一半,可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源,支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。

    推荐理由:原文解析了移除视觉和音频编码器的统一架构设计,为端侧设备部署低延迟多模态大模型提供了具体参考。