TORQUE：优化旋转前后的量化选择

TORQUE 框架通过在固定总体比特预算下联合优化旋转前与旋转后保留高精度的坐标，改进了基于随机旋转的模型量化方法。研究推导了量化误差上界，并证明旋转前保留 top-k 坐标可最小化该误差上界，将坐标搜索简化为高效的参数优化。实验表明，该方法在最近邻检索、KV cache 压缩和激活压缩任务中实现了更优的重建精度与存储成本权衡。