arXiv stat.ML· Inbasekaran S·· 26 天前AI 评分25
EntroPrefill：面向检索增强生成具有条件稳定性保证的 Rényi 引导上下文剪枝
EntroPrefill: Renyi-Guided Context Pruning with Conditional Stability Guarantees for Retrieval-Augmented Generation
AI 导读
EntroPrefill 提出了一种结合 Rényi 引导机制与注意力显式约束的上下文剪枝方法，用于减少深层 Transformer 处理的序列长度。该研究推导了自适应剪枝层下的有限样本观测保证与条件扰动界，并给出了剪枝的算术收支平衡条件。本文属于纯理论研究，未提供实测加速比或任务准确率基准测试数据。
来源：arXiv stat.ML · arxiv.org