arXiv stat.ML· Hare Krishna·· 22 天前AI 评分26
掩码文本重构中语料采样分歧的预测研究
Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction
AI 导读
研究者推导出一阶公式，用于在无需访问目标语料的前提下预测独立语料训练模型间的预期分歧，并在覆盖 50,257 个 token 的 GPT-2 词表上完成评估。在 TinyStories、WikiText-103 和 CNN/DailyMail 上，语料块从 512 增至 2,048 个仅使分歧下降 5%–40%，远低于 1/n 缩放预期的 75%。
来源：arXiv stat.ML · arxiv.org