Kairos：迈向全模态字节级基础模型

研究人员提出了全模态字节级模型架构 Kairos，它将 LiZAttention2 混合注意力、稀疏 MoE 前馈层与多尺度字节级编解码器相结合，在文本、图像、音频等共享的统一字节空间上进行去噪训练。在 1-15M 参数规模的单句收敛性健全性检查中，测试的两种注意力变体在 3000 步时最小损失接近 10⁻³。该实验验证了架构的可优化性，后续计划通过预训练进一步验证泛化与多模态能力。