跳到正文

#端侧

今日 0 条
10月1日周四
  1. arXiv cs.AI42

    AgBench:面向个人 AI 设备的智能体 AI 评测基准

    评测基准 AgBench 专注于个人 AI 设备,用于评估智能体在本地、混合与云端部署下的任务成功率、延迟、云 API 成本及数据暴露。基于超 162.07 million 数据点的测试表明,纯本地执行可消除云端 API 成本并避免敏感数据外泄,但成功率更低且耗时更长。混合执行能提升任务成功率,综合表现取决于工作划分与设备能力。

  2. arXiv cs.AI28

    迈向模型即库(MaaL):面向低资源非洲语言的离线社区化 AI

    研究者提出了 Model as a Library(MaaL)软件架构,将小型社区语音模型打包为端侧依赖项,为低资源非洲语言提供完全离线、杜绝生成式模型幻觉的结构化数据收集能力。MaaL 在部署时直接通过说话人录制的少量样本录入词表,并利用关键词识别将封闭词表表单转换为完全在端侧填写与提交的语音表单。

  3. arXiv cs.LG25

    面向车联网的共享编码器分层联邦多任务学习 EN-HMTFL

    针对车联网异构感知任务,研究提出共享编码器的分层多任务联邦学习框架 EN-HMTFL,结合全局共享编码器与本地解码器协作学习通用特征表征。车辆仅在分层网络中交换和聚合编码器,原始数据与本地解码器参数保留在车端。在 MNIST 和 GTSRB 测试中,该框架准确率最高提升 24.0%,通信轮数最多减少 69 轮(28.8%)。

  4. The Verge · AI52

    Meta 与 OpenAI 推进类拓麻歌子 AI 硬件:先以可爱智能体培养用户习惯

    Meta 和 OpenAI 正在探索专用 AI 硬件新路径,计划先通过可爱的拟人化 AI 智能体培养用户使用习惯,再逐步过渡到实体设备。Meta 计划在今年假期前推出类似拓麻歌子的带屏挂坠设备 Muse Charm,OpenAI 则联手 Jony Ive 研发预计不早于 2027 年 2 月出货的硬件并已发布 Dots 智能体平台。两家公司试图以此改变此前独立 AI 硬件普遍遇冷的局面。

9月30日周三
  1. arXiv cs.AI36

    面向资源受限边缘设备可靠推理的神经符号路由

    研究人员提出一种边缘设备神经符号路由器,将结构化任务派发给确定性符号引擎,仅把开放式问题保留给小语言模型。在 Raspberry Pi 4B 上,该方案在 512-token 预算下取得 100% 路由准确率与 98.3% 整体准确率,远超 Program-of-Thought 基线的 72.0%。其格式化查询响应仅需 1-11 ms,运行速度较基线快 8.8x 且能效提升 2.8x。

9月26日周六
9月24日周四
  1. Apple ML Research34

    半监督联邦 ASR 实用方案:在线伪标签与服务端更新稳定化

    Apple ML Research 提出一种半监督联邦语音识别(ASR)方案,通过协同设计客户端在线伪标签生成与服务端标注数据更新,解决序列误差累积导致的训练发散问题。该方案利用服务端持续训练稳定在线教师模型,在 11 组对比中有 9 组超越先前最强方法,域内平均提升 20.8%,跨域提升 10.0%,显著缩小了与全监督联邦学习的差距。

  2. Apple ML Research38

    Apple 提出通过潜在空间蒸馏压缩流式神经音频编码器

    Apple 研究团队提出通过潜在空间蒸馏压缩流式音频编码器,以降低设备端听写模型的内存占用与延迟。该方案以量化前的逐帧潜在向量为监督目标训练学生编码器,并用单个仿射层吸收维度差异。在 2.8x 压缩且无需微调下,学生模型相对教师模型的 WER 差距保持在 1.9% 以内,比同容量独立训练模型相对提升 3.9%。

  3. Google DeepMind62

    Google 升级 Private AI Compute:引入安全服务端记忆支持跨设备连续上下文

    Google 发布 Private AI Compute 架构更新,在云端引入安全的服务端持久记忆层,让 AI 助手在满足端侧隐私标准的同时实现跨设备长期上下文连续性。系统结合硬件级安全飞地、加密通道与按用户隔离的数据库,解密密钥完全由用户本地设备独占保管,云端仅在隔离内存中临时解密并即时重新加密。官方同步公开了防篡改的服务器软件公开记录及第三方独立安全审计结果,供社区验证。

    推荐理由:该架构改变了此前云端隐私计算严格无状态的限制,为跨设备持久记忆的软硬件协同防护提供了工程参考。

9月16日周三
  1. Google AI Blog42

    Google:让 AI 适用于每一种语言与每个人

    Google 宣布其产品已支持超 300 种语言,并公布多项语言 AI 进展。Gemini 3.5 Live Translate 实现了 70 种语言与 2,000+ 语言对的实时口语翻译,并带来高精度语音转录模型 Gemini 3.5 Transcribe。此外,Google 推出支持 55 种语言的轻量开源端侧翻译模型家族 TranslateGemma,无需联网即可运行。

8月12日周三
7月29日周三
7月28日周二
6月9日周二
  1. Google DeepMind83

    Google DeepMind 推出 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 正式推出 Gemma 4 12B 多模态模型,采用无独立编码器的统一架构,原生支持视觉与音频输入直接接入 LLM 主干。该模型在标准基准上的性能接近 26B MoE 模型,内存占用减少超一半,可在具备 16GB 显存或统一内存的笔记本电脑上本地运行。模型采用 Apache 2.0 协议开源,支持通过 Hugging Face、Ollama 和 vLLM 等工具部署。

    推荐理由:原文解析了移除视觉和音频编码器的统一架构设计,为端侧设备部署低延迟多模态大模型提供了具体参考。

5月16日周六
  1. Ahead of AI38

    LLM 架构最新进展:KV 共享、mHC 与压缩注意力

    近期开源大语言模型架构重点针对长上下文效率进行优化,以降低推理模型与智能体场景下的 KV cache 显存占用和计算瓶颈。代表性设计包括 Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算分配、ZAYA1-8B 的压缩卷积注意力,以及 DeepSeek V4 的 mHC 与压缩注意力。

4月15日周三
  1. Together AI Blog46

    Parcae:利用稳定循环架构以更少参数实现更高性能

    Parcae 是一种稳定的循环层模型架构,通过让激活值多次穿过相同网络层增加计算量,有效解决了循环模型训练不稳定的问题。实验显示,Parcae 相比以往循环模型将验证困惑度最高降低 6.3%,其 770M 模型仅用约一半参数便打平了同等数据训练的 1.3B Transformer 性能。此外,该研究首次建立了循环架构的 Scaling Laws,证明计算最优训练需同步增加循环次数与数据量。