当思考化为记忆：统一上下文学习与微调决策的信息论法则

研究人员提出了首个经证明的判定准则，基于信息价值精确法则决定未见数据应放入预训练模型的上下文还是权重中。该法则通过在保留查询上节省的编码长度量化信息价值，并通过随时有效检验控制误差；在针对 GPT-2 缓存与微调的 32 项对比中，该检验在 64,000 条查询流里正确选出 61,948 次，空流错误率至多 3.3%。