Reka AI 的全模态模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制
Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号;Rho-1 在 320 个 H100 GPU 上训练约三个月,并延续该公司 Reka Core 的多模态积累,契合世界模型研究趋势。
原贴
查看原文原文
中文翻译
Reka AI 已发布 Rho-1 的研究预览。
这个 190 亿参数的全模态模型在单个神经网络中处理和生成文本、图像、视频和机器人控制动作。
与大多数将任务路由到专用模型的 AI 系统不同,Rho-1 将所有模态作为 token 在一个共享上下文窗口中运行,无需工具调用或外部模型。
该模型实时生成连续视频,并即时响应新指令而无需重启。
预测相机图像的相同权重也驱动机器人运动。
为绕过稀缺的机器人训练数据,Reka AI 构建了一个逆动力学模型,从普通互联网视频中提取控制信号。
Rho-1 在 320 个 H100 GPU 上训练了约三个月。
Reka AI 并非多模态 AI 新手。
2024 年 4 月,该公司发布了 Reka Core,一个多模态语言模型,在基准测试中与 GPT-4、Claude 3 和 Gemini Ultra 竞争。
此次发布契合 AI 研究向所谓世界模型更广泛推进的趋势。
核心信息
Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号;Rho-1 在 320 个 H100 GPU 上训练约三个月,并延续该公司 Reka Core 的多模态积累,契合世界模型研究趋势。
- Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号;Rho-1 在 320 个 H100 GPU 上训练约三个月,并延续该公司 Reka Core 的多模态积累,契合世界模型研究趋势。
- 原贴提到:Reka AI has released a research preview of Rho-1. The 19-billion-paramet
- 来源:the-decoder.com
详细解读
这是什么信号:这不是普通的模型升级,而是把文本、图像、视频生成和机器人控制统一到同一套权重里的路线信号。Rho-1 以 190 亿参数、研究预览形式出现,重点不在单点能力,而在“一个模型、一个共享上下文、无工具调用”的架构选择。
为什么重要:多数 AI 系统仍把不同任务路由给专用模型,Rho-1 则把所有模态当作 token 处理。若该路线成立,会减少多模型拼接带来的接口成本,也让视觉预测与动作控制共享表示。它用同一组权重预测相机图像并驱动机器人运动,并构建逆动力学模型从普通互联网视频提取控制信号,这直接针对机器人训练数据稀缺的问题。
对谁有价值:多模态模型团队、机器人公司、世界模型研究者、AI 产品与投资团队都值得关注。对机器人方向,价值在于可能用互联网视频补足控制信号;对多模态方向,价值在于统一上下文窗口能否替代工具调用和外部模型;对产品方向,价值在于实时视频生成与即时指令响应可能打开新的交互形态。
可以怎么行动:先跟踪公开研究预览和评测细节,判断其多模态生成、实时视频和机器人控制的边界;内部梳理可用的视频数据,评估逆动力学式控制信号提取是否适用于自有场景;如果考虑复现或试点,需要提前估算 H100 级算力、数据管线和安全审核成本。
风险或限制:单一权重同时处理多任务可能带来任务干扰与错误传播;无外部模型可能限制知识更新和可解释性;实时连续视频生成有算力、延迟和内容安全压力;从互联网视频提取的控制信号不等同真实机器人数据,存在分布偏差与 sim-to-real 风险;原文显示训练使用 320 个 H100 约三个月,复现门槛高。Reka AI 此前有 Reka Core 多模态模型经验,说明这不是临时跟风,但 Rho-1 仍只是研究预览,离稳定商用有距离。
信息差价值
这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。
如果把《Reka AI 的全模态模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。
参考来源
TOPIC HUBS
延伸专题
AI SUMMARY
这篇文章回答了什么
Reka AI 的全模态模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制主要讲什么?
Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人…
这篇文章最值得关注的要点是什么?
Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文…;原贴提到:Reka AI has released a research preview of Rho-1. The 19-billion-paramet;来源:the-decoder.com
这篇文章和哪些AI专题相关?
它适合放在AI副业、AI工具专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「工具、模型」等主题信号。
阅读这篇文章建议先理解哪些关键词?
建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。