arXiv cs.AI· Loay Mualem, Llu\'is Pastor-P\'erez, Vinh Tong, Andrei Manolache, Tanja Bien, Steffen Staab, Mathias Niepert·· 2026-10-01AI 评分35
通过上下文选择与目标加权微调扩散大语言模型
Fine-Tuning Diffusion Language Models with Context Selection and Target Weighting
AI 导读
研究者提出离散扩散大语言模型微调方法 GoldiMask，通过最大化次模目标选择可见上下文 token，并对剩余预测目标进行加权。在 3 个骨干模型和 3 个训练数据集的评测中，GoldiMask 在推理与代码生成任务的大多数设置下取得了最高平均准确率。在置信度阈值并行解码下，该方法还在 GSM8K 和 MATH-500 上减少了解码迭代次数。
来源：arXiv cs.AI · arxiv.org