arXiv cs.AI· Junxi Wu, Yiwen Guo, Shu-Tao Xia·· 3 天前AI 评分43
计算亦有形态:冻结 LLM 内部计算的 SelfMorph 自变形机制
Compute Has Shape: Self-Morphing the Internal Computation of Frozen LLMs
AI 导读
研究人员提出 SelfMorph,通过自适应调整冻结 LLM 的内部计算拓扑,使计算形态成为推理阶段依赖输入的决策。该方法统一了原始前向路径 BASE、层复用 REPEAT 与分支合并 BRANCH,并在生成前由轻量选择器选择形态。在覆盖 4B-27B 的 3 个 LLM 评测中,SelfMorph 在 5 个分布内基准上平均相对提升 8.06%,在 27 个测试设置中有 24 个取得最佳性能。
来源:arXiv cs.AI · arxiv.org