The Decoder· Matthias Bastian·· 28 天前AI 评分69
Reka AI 发布全模态模型 Rho-1,单个模型统一处理文本、视频与机器人控制
Reka AI's omni-model Rho-1 handles text, images, video, and robot control in a single model
AI 导读
Reka AI 发布 19B 参数的全模态模型 Rho-1 研究预览版,在单个神经网络内统一处理和生成文本、图像、视频及机器人控制动作。该模型将所有模态作为 token 置于同一上下文窗口中,无需外部模型或工具调用,可实时生成连续视频并直接驱动机器人运动。团队还构建了逆动力学模型从普通互联网视频提取控制信号,以缓解机器人训练数据稀缺问题。
来源:The Decoder · the-decoder.com