arXiv cs.LG· Casper L. Christensen, Kyle J. Ray, Dmitry Manning-Coe, Adam Shai, Paul Riechers·· 19 天前AI 评分46
研究发现 LLM 编程使用可复用且可组合的抽象表征
LLMs program using Reusable and Composable Abstract Representations
AI 导读
研究发现大语言模型（LLM）在生成代码时，其激活值会在中间层形成跨编程语言可复用且可组合的抽象表征。通过激活操控（activation steering），研究人员能够独立控制功能、编程语言与实现策略，甚至在提示词未包含相关信息时灵活组合控制生成。此外，在单一编程语言上微调任意定义的函数可直接迁移至其他语言，合成实验也证实 Transformer 能自主学会这类共享结构。
来源：arXiv cs.LG · arxiv.org