Sebastian Raschka 解读超越标准大语言模型的非主流架构探索

Sebastian Raschka 发文系统梳理了突破传统自回归 Transformer 的四类架构探索，包括线性注意力混合模型、文本扩散模型、代码世界模型以及小型递归 Transformer。