arXiv cs.LG· Michael C. Abbott, Benjamin B. Machta·· 22 天前AI 评分40
全晶体管物理学习 Transformer 可通过训练实现上下文学习
An all-transistor physical-learning transformer can be trained to perform in-context learning
AI 导读
研究提出一种全晶体管物理学习 Transformer，通过构建双回路恢复平衡传播所需的双向信息流，并在仿真中成功训练其完成简单上下文学习任务。该方案利用亚阈值 MOSFET 器件的指数电流特性实现注意力机制，并引入新型浮动电路元件以支持交叉熵损失微调。电路中的电阻采用 Lion 优化器训练，每个参数仅需一个电容即可存储历史梯度估计的局部记忆。
来源：arXiv cs.LG · arxiv.org