arXiv cs.LG· Julian Enoch, Elvis Dohmatob·· 19 天前AI 评分35
随机特征二元语法模型的精确缩放定律（Scaling Laws）研究
Exact Scaling Laws for a Random-Features Bigram Model
AI 导读
一项新理论研究推导出了带随机嵌入瓶颈的二元语法（bigram）模型的精确缩放定律。研究将该模型视为大语言模型的简化分析模型，推导出了预测遗憾（prediction regret）随模型宽度、词表大小及齐夫定律（Zipf）指数变化的函数关系，从纯表征能力约束的视角解释了经典神经缩放定律的形式。在 WikiText2 和 OpenWebText 自然语言数据集上的实验结果与理论预测曲线高度吻合。
来源：arXiv cs.LG · arxiv.org