跳到正文

#端侧

今日 0 条
10月16日周五
  1. NVIDIA Blog61

    NVIDIA 宣布 RTX Spark 正式发布并举办全球庆典

    NVIDIA 宣布推出专为创作者、游戏玩家与 AI 智能体打造的 Windows PC 平台 RTX Spark,并于全球多地举办线下发布体验活动。该平台联合微软等合作伙伴开发,主打本地 AI 工作流加速与兼容性优化,并在旧金山、柏林、台北、北京和首尔等地设立现场上手展示。线上同时开启 #ShareYourSpark 互动活动,提供黄仁勋签名的华硕 ProArt P14 笔记本作为抽奖奖品。

    推荐理由:提供了端侧智能体 PC 平台的发布与各方实测评价,读者可据此了解本地 AI 工作流在个人计算设备上的落地情况。

10月15日周四
10月14日周三
  1. Google DeepMind56

    Google DeepMind 与新加坡政府合作推出端侧防诈骗微调模型

    Google DeepMind 与新加坡政府科技局合作推出端侧防诈骗 AI 模型,基于轻量级 Gemma 模型微调并在用户手机本地运行。该模型采用轻量分类器初筛加 Gemma 上下文评估的两阶段架构,在不破坏端到端加密的前提下实时拦截社交工程诈骗;微调全程在独立受控沙箱中进行,严格排除了公民个人信息。

10月13日周二
  1. Apple ML Research42

    Minions:基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

    针对集中式 GPU 基础设施成本高与资源受限等问题,研究人员提出了 Minions,一个聚合 macOS 设备闲置 Apple Silicon GPU 的动态分布式虚拟 GPU 云。该系统旨在执行大规模机器学习推理工作负载,无需额外采购 GPU 硬件。它具备灵活的 GPU 推理任务执行能力、容错机制以及高效的资源利用率。

10月9日周五
  1. arXiv cs.LG26

    基于强化学习与博弈论的资源受限车联网自适应多判别器 WGAN 框架

    研究人员提出结合强化学习与博弈论的自适应多判别器 WGAN 框架,以解决车联网环境下的生成模型资源编排难题。框架通过路侧单元的 DQN 智能体协调车载节点分布式训练,动态平衡对抗质量、延迟与通信开销。在真实 NGSIM 轨迹数据评测中,其取得最低的 1.029 RMSE 与 0.894 MAE,平均 CPU 利用率降低约 28%,内存使用量减少约 6%。

  2. arXiv cs.LG32

    Phase-HDC:在离散相位学习中用梯度阈值替代优化器历史

    Phase-HDC 提出以梯度阈值替代优化器动量历史,使低比特相位模型训练时除模型本身外无需存储优化器状态。在 11 个数据集上,其逻辑状态存储比 float32 Adam 减少 16–23 倍、比 8-bit Adam 减少 4–6 倍,且准确率能匹配 6-bit 动量 Adam。其准确率虽比 float32 Adam 低约 5 个百分点,但在 6 个数据集上反超了 8-bit Adam。

10月8日周四
  1. arXiv cs.LG32

    REFIT:无标签识别、修复与测试可穿戴传感器佩戴位置偏移

    研究人员提出输入校准方法 REFIT,能在无需标注和重新训练的情况下,为冻结的活动识别模型消除可穿戴惯性传感器佩戴位置或朝向改变带来的轴向偏移。该方法通过拟合旋转与镜像等坐标轴变换族修复输入,并利用无标签准确率估计在效果不佳时提示用户重新佩戴。实验显示 REFIT 在所有数据集上均优于无标签测试时自适应方法,恢复了绝大部分损失的准确率。

  2. NVIDIA Blog76

    NVIDIA 联合微软推出 RTX Spark 平台与 MXC 容器,推进 Windows 本地 AI 智能体运行

    NVIDIA 联合微软宣布协同打造 Windows 本地 AI 智能体软硬件生态,正式上线操作系统级安全底座 Microsoft Execution Containers(MXC),并推出 RTX Spark 硬件平台。

    推荐理由:软硬件协同让本地智能体获得系统级安全容器与统一内存支持,为端侧大模型常驻运行提供了工程落地参考。

  3. arXiv cs.AI29

    用于边缘端智能数据模型分类的小语言模型:一种成本感知的混合方法

    该研究评估了轻量级开源语言模型在边缘环境下分类智能数据模型(SDM)的性能,以推进物联网数据标准化。研究系统评测了通用型(GP)、推理专用型(RS)与代码专用型(CS)架构在多领域数据集上的表现。实验还将大语言模型与 TF-IDF 及轻量级句子编码器两项近零成本基线进行对比,为边缘端模型选型与部署提供参考。

10月7日周三
  1. arXiv cs.LG27

    LiLib:基于漂移触发模型库的无人机终身空对地路径损耗预测

    研究团队提出轻量级持续学习方案 LiLib,通过漂移触发的递归最小二乘专家模型库实现无人机空对地路径损耗预测。仿真显示,LiLib 将预测 RMSE 从基线的 5.89 dB 降至 4.03 dB,重返已知环境后的误差从 12.3 dB 降至 5.7 dB,并恢复预言机 99% 的吞吐量。其存储 4 个专家模型仅占不到 0.5 KB,无标签状态识别纯度达 92%。

  2. arXiv cs.LG25

    学会记忆:面向紧凑循环神经网络的记忆保持蒸馏

    研究人员提出面向时间序列分析的新型知识蒸馏框架 MemKD,用于构建紧凑高效的循环神经网络。MemKD 通过专用损失函数捕获教师与学生模型在时间序列子序列间的记忆保持差异,确保紧凑的学生模型有效模拟教师行为。实验显示该框架显著优于现有 SOTA 知识蒸馏方法,在多种压缩率下均能匹敌教师模型表现,并大幅降低参数量与内存占用。

10月5日周一
  1. arXiv stat.ML29

    空中计算联邦学习(AirFL)在多天线基站衰落信道下的差分隐私研究

    研究人员针对多天线基站多址衰落信道下的空中计算联邦学习(AirFL),证明了无需注入人工噪声即可直接利用固有信道噪声获得用户级差分隐私(DP)。该研究推导了通用模型参数有界假设下的收敛 DP 界,以及通用平滑非凸损失函数下的收敛界。通过联合优化接收波束赋形与功率分配,该方案刻画了最优收敛与隐私权衡,并揭示了无需牺牲训练性能即可实现 DP 的明确条件。

  2. arXiv cs.AI34

    BitNest:面向显存高效 LLM 推理加速的位嵌套投机解码框架

    研究团队提出 BitNest 投机解码框架,通过将低精度草稿模型直接嵌入高精度目标表示来共享单份物理权重,实现显存高效的大语言模型推理加速。该方案结合残差精炼恢复高精度目标,并将其渐进精度设计拓展至长上下文 KV cache。在多个 7B-8B 边缘大语言模型测试中,BitNest 取得 95.2% 的平均投机接受率,相比 FP16 自回归解码实现 1.48-1.61x 端到端加速。

  3. arXiv cs.LG34

    LiteEMG-FM:用于稳健 EMG 传感的高效可部署基座模型

    LiteEMG-FM 是一种面向实用 EMG 传感的高效混合 CNN-Transformer 基座模型,在 16 个上下肢 EMG 数据集上预训练以实现跨用户泛化。为适应资源受限的穿戴设备,该方案采用分层唤醒架构,由轻量级常开 1D-CNN 过滤无效动作后按需触发主模型。在零校准跨受试者与数据稀缺等评测中,其表现优于现有 SOTA 时序基座模型与监督基线。

10月2日周五
  1. NVIDIA Blog62

    NVIDIA 推出 DGX Spark 64GB 统一内存版本

    NVIDIA 宣布推出搭载 64GB 统一内存的 DGX Spark 本地计算平台,起售价 4,999 美元,将于 10 月 23 日由宏碁、华硕、戴尔、技嘉、惠普和微星等合作伙伴发售。

    推荐理由:新配置保留了相同芯片与软件栈并降低了硬件门槛,两机直连扩展的方案可供需要兼顾成本与扩展性的本地开发者参考。

10月1日周四
  1. arXiv cs.AI42

    AgBench:面向个人 AI 设备的智能体 AI 评测基准

    评测基准 AgBench 专注于个人 AI 设备,用于评估智能体在本地、混合与云端部署下的任务成功率、延迟、云 API 成本及数据暴露。基于超 162.07 million 数据点的测试表明,纯本地执行可消除云端 API 成本并避免敏感数据外泄,但成功率更低且耗时更长。混合执行能提升任务成功率,综合表现取决于工作划分与设备能力。

  2. arXiv cs.AI28

    迈向模型即库(MaaL):面向低资源非洲语言的离线社区化 AI

    研究者提出了 Model as a Library(MaaL)软件架构,将小型社区语音模型打包为端侧依赖项,为低资源非洲语言提供完全离线、杜绝生成式模型幻觉的结构化数据收集能力。MaaL 在部署时直接通过说话人录制的少量样本录入词表,并利用关键词识别将封闭词表表单转换为完全在端侧填写与提交的语音表单。

  3. arXiv cs.LG25

    面向车联网的共享编码器分层联邦多任务学习 EN-HMTFL

    针对车联网异构感知任务,研究提出共享编码器的分层多任务联邦学习框架 EN-HMTFL,结合全局共享编码器与本地解码器协作学习通用特征表征。车辆仅在分层网络中交换和聚合编码器,原始数据与本地解码器参数保留在车端。在 MNIST 和 GTSRB 测试中,该框架准确率最高提升 24.0%,通信轮数最多减少 69 轮(28.8%)。

9月30日周三
  1. arXiv cs.AI36

    面向资源受限边缘设备可靠推理的神经符号路由

    研究人员提出一种边缘设备神经符号路由器,将结构化任务派发给确定性符号引擎,仅把开放式问题保留给小语言模型。在 Raspberry Pi 4B 上,该方案在 512-token 预算下取得 100% 路由准确率与 98.3% 整体准确率,远超 Program-of-Thought 基线的 72.0%。其格式化查询响应仅需 1-11 ms,运行速度较基线快 8.8x 且能效提升 2.8x。

9月24日周四
  1. Apple ML Research34

    半监督联邦 ASR 实用方案:在线伪标签与服务端更新稳定化

    Apple ML Research 提出一种半监督联邦语音识别(ASR)方案,通过协同设计客户端在线伪标签生成与服务端标注数据更新,解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型,在 11 组对比中有 9 组超越先前最强方法,域内平均提升 20.8%,跨域提升 10.0%,显著缩小了与全监督联邦学习的差距。

  2. Apple ML Research38

    Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器

    Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器,以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器,并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下,学生模型相对教师模型的 WER 差距保持在 1.9% 以内,比同容量独立训练模型相对提升 3.9%。

  3. Google DeepMind62

    Google 升级 Private AI Compute:引入安全服务端记忆支持跨设备连续上下文

    Google 发布 Private AI Compute 架构更新,在云端引入安全的服务端持久记忆层,让 AI 助手在满足端侧隐私标准的同时实现跨设备长期上下文连续性。系统结合硬件级安全飞地、加密通道与按用户隔离的数据库,解密密钥完全由用户本地设备独占保管,云端仅在隔离内存中临时解密并即时重新加密。官方同步公开了防篡改的服务器软件公开记录及第三方独立安全审计结果,供社区验证。

    推荐理由:该架构改变了此前云端隐私计算严格无状态的限制,为跨设备持久记忆的软硬件协同防护提供了工程参考。

9月16日周三
  1. Google AI Blog42

    Google:让 AI 适用于每一种语言与每个人

    Google 宣布其产品已支持超 300 种语言,并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译,并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外,Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma,无需联网即可运行。

8月12日周三
7月29日周三
7月28日周二
6月9日周二
  1. Google DeepMind83

    Google DeepMind 推出 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 正式推出 Gemma 4 12B 多模态模型,采用无独立编码器的统一架构,原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型,内存占用减少超一半,可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源,支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。

    推荐理由:原文解析了移除视觉和音频编码器的统一架构设计,为端侧设备部署低延迟多模态大模型提供了具体参考。

4月15日周三
  1. Together AI Blog46

    Parcae:利用稳定循环架构以更少参数实现更高性能

    Parcae 是一种稳定的循环层模型架构,通过让激活值多次穿过相同网络层增加计算量,有效解决了循环模型训练不稳定的问题。实验显示,Parcae 相比以往循环模型将验证困惑度最高降低 6.3%,其 770M 模型仅用约一半参数便打平了同等数据训练的 1.3B Transformer 性能。此外,该研究首次建立了循环架构的 Scaling Laws,证明计算最优训练需同步增加循环次数与数据量。