arXiv cs.AI· Sicong Li, Qianqian Xu, Zhiyong Yang, Zitai Wang, Longtao Huang, Xiaochun Cao, Qingming Huang·· 15 天前AI 评分36
ToPA：用于高表达力且高效微调的分块托普利茨适配方法
ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning
AI 导读
研究人员提出基于分块托普利茨（Toeplitz）矩阵的参数高效微调（PEFT）方法 ToPA，在不引入显式低秩或稀疏约束的前提下实现紧凑参数化。该方法通过分块结构提升因子容量并缩短乘法链长度，不仅稳定了梯度训练，理论上还能以更短链长逼近任意矩阵。在涵盖 5 种模型架构的 21 个 NLP 和 CV 数据集评测中，ToPA 的有效性均得到验证。
来源：arXiv cs.AI · arxiv.org