arXiv cs.LG· Mei Okonkwo, Owen Castellanos, Ingrid Solberg, Yusuf Demirel·· 19 天前AI 评分39
一个 Token 需要多少秩？用于一秩 LoRA 专家的底噪静噪方法 SQUELCH
How Many Ranks Does a Token Need? A Noise-Floor Squelch for Rank-One LoRA Experts
AI 导读
研究者提出无需路由器的混合一秩专家方法 SQUELCH，通过软阈值过滤高斯底噪让每个 token 动态调整激活秩，且不增加额外可训练参数。在 LLaMA-3.1-8B、千问（Qwen3）和 DeBERTaV3 上的评测显示，SQUELCH 较传统 LoRA 提升 2.2-3.2 个点，在平均仅激活 32 个组件中 8.6 个的情况下超越最强混合基准 0.8-1.2 个点。
来源：arXiv cs.LG · arxiv.org