arXiv cs.LG· Surya Saka·· 6 天前AI 评分49
语言模型能在思考时学习吗？测试跨架构梯度自适应
Can Language Models Learn While They Think? Testing Gradient Adaptation Across Architectures
AI 导读
跨架构测试表明，在 2k 窗口下进行动态梯度更新，可使 softmax 注意力模型（Qwen3-1.7B、Gemma-4-E4B 等）loss 下降 5-8% 并超越 32k 冻结模型，在扩散模型上降幅达 8-20%。但混合 Gated-DeltaNet 模型提升不足 1%；且在 RULER 等基准中，该自适应仅改变风格与词汇而无法恢复检索，直接写入事实还会让 GSM8K 下降 36-38 分。
来源：arXiv cs.LG · arxiv.org