arXiv stat.ML· Aram Ebtekar, Marcus Hutter, Danica J. Sutherland·· 2 小时前AI 评分36
理解泛化需要通用归纳
Understanding Generalization Requires Universal Induction
AI 导读
经典统计理论与“没有免费的午餐”(NFL)定理无法解释通用 AI 模型的泛化成功,理解其机制必须依赖算法信息论中的所罗门诺夫归纳(SI)。该研究将 SI 相对化至特定信息视角,把归纳偏置重构为结合先验信息偏向简短程序。尽管 SI 本身不可计算,但它为无限算力下的推理提供了形式化最优解,前沿 AI 系统正粗略逼近该极限。
来源:arXiv stat.ML · arxiv.org