跳到正文
原文
arXiv cs.LG· Behrooz Tahmasebi, Melanie Weber·· 19 天前AI 评分33

尺寸泛化的无维度扩展定律:样本复杂度的指数级分离

Dimension-Free Scaling Laws for Size Generalization: An Exponential Separation

AI 导读

研究人员建立了尺寸泛化的统计学习理论,证明多项式源衰减条件在域内可实现 $n^{-\Theta(1)}$ 误差,但跨尺寸泛化误差仅以 $(\log n)^{-\Theta(1)}$ 衰减,导致样本复杂度出现指数级分离。该研究进一步提出了可恢复多项式样本复杂度的指数源条件,并给出匹配的极大极小下界,构建了不依赖输入维度的扩展定律。

来源:arXiv cs.LG · arxiv.org