arXiv cs.AI· Jinhao Zhang, Zeyu Liu, Zicheng Yan, Yunquan Zhang, Daning Cheng, Song Tang·· 2026-09-30AI 评分44
有效的 LLM 微调必须依赖人类可读文本吗？
Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?
AI 导读
新研究提出连续合成输入嵌入向量优化方法 DASA，直接利用冻结参考模型的激活梯度反馈微调大语言模型，证明有效微调无需依赖人类可读文本。在 Llama 和 Qwen 系列 1B 至 32B 参数的 6 款模型测试中，DASA 在 LoRA 设置下性能媲美并多次超越源自然语言数据，多数对比优于 GRADMM。此外，DASA 相比 GRADMM 实现了 3.6-4.9x 提速，且峰值 GPU 显存相当。
来源：arXiv cs.AI · arxiv.org