觉
AI觉醒星球
Awakening is here
Knowledge File / AI小生意项目库
2026-10-06 1 浏览 免费阅读

Reka AI 的全能模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制

Reka AI 发布 Rho-1 研究预览:190 亿参数全能模型在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。它不依赖专用模型路由或工具调用,将所有模态作为 token 放入同一上下文窗口,可实时生成连续视频并即时响应新指令,同一组权重既预测摄像头图像也驱动机器人运动。为绕开机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号。该模型在 320 张 H100 上训练约三个月。

SOURCE / AI小生意项目库 MIN / 9 ACCESS / 免费阅读 POST / 2026-10-06 02:26:05

原贴

查看原文
作者:Matthias Bastian 来源站点:the-decoder.com 原贴时间:

原文

Reka AI has released a research preview of Rho-1. The 19-billion-parameter omni-model processes and generates text, images, video, and robot control actions in a single neural network. Unlike most AI systems that route tasks to specialized models, Rho-1 runs all modalities as tokens in one shared context window with no tool calls or external models. The model generates continuous video in real time and responds to new instructions on the fly without restarting. The same weights that predict camera images also drive robot movements. To work around scarce robot training data, Reka AI built an inverse dynamics model that pulls control signals from ordinary internet videos. Rho-1 trained on 320 H100 GPUs over about three months. Reka AI isn't new to multimodal AI. In April 2024, the company shipped Reka Core , a multimodal language model that competed with GPT-4, Claude 3, and Gemini Ultra on benchmarks. The release fits a broader push in AI research toward so-called world models . Ad Ad Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.

中文翻译

Reka AI 发布了 Rho-1 的研究预览。这个 190 亿参数的全能模型在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与大多数将任务路由到专用模型的 AI 系统不同,Rho-1 将所有模态作为 token 运行在一个共享上下文窗口中,没有工具调用或外部模型。该模型实时生成连续视频,并即时响应新指令而无需重启。预测摄像头图像的同一组权重也驱动机器人运动。为绕开稀缺的机器人训练数据,Reka AI 构建了一个逆动力学模型,从普通互联网视频中提取控制信号。Rho-1 在 320 张 H100 GPU 上训练了约三个月。Reka AI 对多模态 AI 并不陌生。2024 年 4 月,该公司发布了 Reka Core,这是一个多模态语言模型,在基准测试中与 GPT-4、Claude 3 和 Gemini Ultra 竞争。此次发布契合 AI 研究中所谓的“世界模型”的更广泛推进。

核心信息

Reka AI 发布 Rho-1 研究预览:190 亿参数全能模型在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。它不依赖专用模型路由或工具调用,将所有模态作为 token 放入同一上下文窗口,可实时生成连续视频并即时响应新指令,同一组权重既预测摄像头图像也驱动机器人运动。为绕开机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号。该模型在 320 张 H100 上训练约三个月。

  • Reka AI 发布 Rho-1 研究预览:190 亿参数全能模型在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。它不依赖专用模型路由或工具调用,将所有模态作为 token 放入同一上下文窗口,可实时生成连续视频并即时响应新指令,同一组权重既预测摄像头图像也驱动机器人运动。为绕开机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号。该模型在 320 张 H100 上训练约三个月。
  • 原贴提到:Reka AI has released a research preview of Rho-1. The 19-billion-paramet
  • 来源:the-decoder.com

详细解读

这是什么信号:Reka AI 发布 Rho-1 研究预览,核心不是又一个多模态模型,而是把文本、图像、视频和机器人控制动作压进同一个 19B 参数的神经网络。它不做任务路由、不调用外部模型,而是把所有模态当作 token 放进共享上下文窗口。更关键的是,同一组权重既能预测摄像头图像,也能驱动机器人运动,并用逆动力学模型从普通互联网视频中抽取控制信号。

为什么重要:当前主流多模态系统常由多个专用模型拼接,靠路由和工具调用完成跨模态任务。Rho-1 的路线指向“世界模型”式的一体化架构:模型在统一表征中学习感知、生成和行动。若可行,它可能降低多模型编排的复杂度,让实时视频生成与机器人控制共享同一套认知基础。Rho-1 在 320 张 H100 上训练约三个月,也说明这条路线仍属于高算力门槛的研究探索。

对谁有价值:对研究团队,它提供了一个可讨论的 omni-model 与 world model 样本;对机器人、自动驾驶、具身智能团队,逆动力学从互联网视频提取控制信号的思路,可能缓解真实机器人数据稀缺;对多模态应用开发者,统一上下文窗口暗示未来 API 或框架可能减少对工具链和模型路由的依赖;对投资与战略观察者,Reka AI 从 Reka Core 到 Rho-1 的连续动作,显示其仍在多模态前沿竞争。

可以怎么行动:关注 Reka AI 后续是否开放权重、API 或评测细节;梳理自身业务中是否存在“感知-生成-控制”需要统一表征的场景;评估用互联网视频预训练控制信号的可行性,但先小规模验证;在技术选型上保留对 omni-model 路线的观察位,不急于替换现有专用模型流水线。

风险或限制:这是研究预览,不是成熟产品,原文未披露可用性、定价或完整基准。19B 参数在单一模型中承载多模态与机器人控制,效果上限和泛化能力仍需验证。从普通视频提取控制信号可能受视角、噪声和物理一致性影响。实时视频生成与机器人控制对延迟、安全性和可靠性要求极高,距离生产部署仍有明显距离。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《Reka AI 的全能模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

Reka AI 的全能模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制主要讲什么?

Reka AI 发布 Rho-1 研究预览:190 亿参数全能模型在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。它不依赖专用模型路由或工具调用,将所有模态作为 token 放入同一上下文窗口,可实时生成连续视频并即时响应新指令,同一组权重既预测摄像头图像也驱动机器人运动。为绕开机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视…

这篇文章最值得关注的要点是什么?

Reka AI 发布 Rho-1 研究预览:190 亿参数全能模型在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。它不依赖专用模型路由或工具调用,将所有模态作为 token 放入同一上下文窗口,可实时生成连续视频并即时响应新指…;原贴提到:Reka AI has released a research preview of Rho-1. The 19-billion-paramet;来源:the-decoder.com

这篇文章和哪些AI专题相关?

它适合放在AI副业、AI工具专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「工具、模型」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 Meta 和微软减少对 Claude 的使用,Anthropic 从合作伙伴转变为竞争对手 下一篇 Wikimedia 基金会发现 OpenAI “流氓”智能体在维基媒体平台上的活动
北竹游乐场 免费玩小游戏 免费玩