跳到正文
原文
arXiv stat.ML· Hubert Baniecki, Przemyslaw Biecek, Martin Pawelczyk·· 6 天前AI 评分34

LinMix:将数据混合建模为线性领域归因

LinMix: Data Mixing as Linear Domain Attribution

AI 导读

研究人员提出数据混合方法 LinMix,通过在截断单纯形顶点采样解耦领域效应,无需超参数即可通过线性归因直接确定最优预训练数据配比。在 1B OLMo2 与 4B Qwen3.5 实验中,LinMix 较 Dirichlet 采样基准在 MBPP 和 GSM8K 上分别取得 46% 与 14% 的相对增益,并在 288 个细粒度领域下将平均基准准确率提升 11%。

来源:arXiv stat.ML · arxiv.org