arXiv cs.LG· Zhishen Sun, Hongzhan Wang, Sizhe Dang, Guang Dai, Haishan Ye·· 27 天前AI 评分35
DART-ES：面向进化策略大语言模型微调的难度感知重加权与针对性回放
DART-ES: Difficulty-Aware Reweighting and Targeted Replay for Fine-Tuning LLMs with Evolution Strategies
AI 导读
DART-ES 通过动态感知问题难度进行重加权与样本回放，实现了无需反向传播的大语言模型全参数进化策略微调。在 GSM8K 上，它将平均准确率提升至 73.53%，超越 GRPO 的 73.26%，并成功扩展至 14B 模型。相比 GRPO，其单步运行时间减少 15.2%–50.2%，单 GPU 峰值显存降低 21.1%–51.1%，显存与耗时均低于 GRPO+LoRA。
来源：arXiv cs.LG · arxiv.org