arXiv cs.AI· Xinhao Zhong, Mengxuan Wu, Chonghua Liao, Linxi Xie, Ruicheng Feng, Yanpei Guo, Hao Tan, Jiaxin Hong, Jason Li, Panpan Zhang, Ziheng Qin, Qinglin Lu, Yuzhang Shang, Tongliang Liu, Damian Borth, Haggai Maron, Yongxiang Hua, Zhixiang Wei, Jian Hu, Yunfei Wu, Xing Sun, Xin Li, Haoyu Cao, Zhangyang Wang, Kai Wang·· 3 天前AI 评分37
CLIK：单次编码多次回答，通过参数流内化上下文
Encode Once, Answer Many: Internalizing Context via Parametric Flow
AI 导读
研究人员提出参数生成器 CLIK，通过 Transformer 编码器单次前向传播将上下文映射为 LoRA 参数，将知识直接内化至模型权重，无需测试时梯度更新。生成的适配器插入冻结基座模型后可跨查询复用，使模型仅凭提问即可作答，摊销阅读成本。在文档问答中，CLIK 优于现有超网络生成器，并可直接迁移至多轮对话。
来源：arXiv cs.AI · arxiv.org