从嘈杂多样的数据源中获取高价值训练数据

研究人员提出一种可扩展的训练数据加权方法，利用少量高质量目标数据集与训练过程中的元梯度，直接优化训练样本权重以提升目标领域表现。该方法通过学习参数化加权规则泛化至流式样本，并支持从小模型向更大模型迁移。在奖励建模实验中，学习到的数据权重自适应特定领域，并使人类与合成监督混合数据的表现超越单一数据源。