觉
AI觉醒星球
Awakening is here
AI小生意项目库 · 阅读档案
2026-10-06 8 浏览 免费阅读

Reka AI 的全模态模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制

Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号;Rho-1 在 320 个 H100 GPU 上训练约三个月,并延续该公司 Reka Core 的多模态积累,契合世界模型研究趋势。

AI小生意项目库 约 9 分钟读完 免费阅读 原文 2026-10-06 02:26:05

原贴

查看原文
作者:Matthias Bastian 来源站点:the-decoder.com 原贴时间:

原文

Reka AI has released a research preview of Rho-1. The 19-billion-parameter omni-model processes and generates text, images, video, and robot control actions in a single neural network. Unlike most AI systems that route tasks to specialized models, Rho-1 runs all modalities as tokens in one shared context window with no tool calls or external models. The model generates continuous video in real time and responds to new instructions on the fly without restarting. The same weights that predict camera images also drive robot movements. To work around scarce robot training data, Reka AI built an inverse dynamics model that pulls control signals from ordinary internet videos. Rho-1 trained on 320 H100 GPUs over about three months. Reka AI isn't new to multimodal AI. In April 2024, the company shipped Reka Core , a multimodal language model that competed with GPT-4, Claude 3, and Gemini Ultra on benchmarks. The release fits a broader push in AI research toward so-called world models . Ad Ad Subscribe to THE DECODER for ad-free reading, a weekly AI newsletter, our exclusive "AI Radar" frontier report six times a year, full archive access, and access to our comment section.

中文翻译

Reka AI 已发布 Rho-1 的研究预览。

这个 190 亿参数的全模态模型在单个神经网络中处理和生成文本、图像、视频和机器人控制动作。

与大多数将任务路由到专用模型的 AI 系统不同,Rho-1 将所有模态作为 token 在一个共享上下文窗口中运行,无需工具调用或外部模型。

该模型实时生成连续视频,并即时响应新指令而无需重启。

预测相机图像的相同权重也驱动机器人运动。

为绕过稀缺的机器人训练数据,Reka AI 构建了一个逆动力学模型,从普通互联网视频中提取控制信号。

Rho-1 在 320 个 H100 GPU 上训练了约三个月。

Reka AI 并非多模态 AI 新手。

2024 年 4 月,该公司发布了 Reka Core,一个多模态语言模型,在基准测试中与 GPT-4、Claude 3 和 Gemini Ultra 竞争。

此次发布契合 AI 研究向所谓世界模型更广泛推进的趋势。

核心信息

Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号;Rho-1 在 320 个 H100 GPU 上训练约三个月,并延续该公司 Reka Core 的多模态积累,契合世界模型研究趋势。

  • Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人训练数据稀缺,Reka AI 构建逆动力学模型从普通互联网视频提取控制信号;Rho-1 在 320 个 H100 GPU 上训练约三个月,并延续该公司 Reka Core 的多模态积累,契合世界模型研究趋势。
  • 原贴提到:Reka AI has released a research preview of Rho-1. The 19-billion-paramet
  • 来源:the-decoder.com

详细解读

这是什么信号:这不是普通的模型升级,而是把文本、图像、视频生成和机器人控制统一到同一套权重里的路线信号。Rho-1 以 190 亿参数、研究预览形式出现,重点不在单点能力,而在“一个模型、一个共享上下文、无工具调用”的架构选择。

为什么重要:多数 AI 系统仍把不同任务路由给专用模型,Rho-1 则把所有模态当作 token 处理。若该路线成立,会减少多模型拼接带来的接口成本,也让视觉预测与动作控制共享表示。它用同一组权重预测相机图像并驱动机器人运动,并构建逆动力学模型从普通互联网视频提取控制信号,这直接针对机器人训练数据稀缺的问题。

对谁有价值:多模态模型团队、机器人公司、世界模型研究者、AI 产品与投资团队都值得关注。对机器人方向,价值在于可能用互联网视频补足控制信号;对多模态方向,价值在于统一上下文窗口能否替代工具调用和外部模型;对产品方向,价值在于实时视频生成与即时指令响应可能打开新的交互形态。

可以怎么行动:先跟踪公开研究预览和评测细节,判断其多模态生成、实时视频和机器人控制的边界;内部梳理可用的视频数据,评估逆动力学式控制信号提取是否适用于自有场景;如果考虑复现或试点,需要提前估算 H100 级算力、数据管线和安全审核成本。

风险或限制:单一权重同时处理多任务可能带来任务干扰与错误传播;无外部模型可能限制知识更新和可解释性;实时连续视频生成有算力、延迟和内容安全压力;从互联网视频提取的控制信号不等同真实机器人数据,存在分布偏差与 sim-to-real 风险;原文显示训练使用 320 个 H100 约三个月,复现门槛高。Reka AI 此前有 Reka Core 多模态模型经验,说明这不是临时跟风,但 Rho-1 仍只是研究预览,离稳定商用有距离。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《Reka AI 的全模态模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

Reka AI 的全模态模型 Rho-1 在单一模型中处理文本、图像、视频和机器人控制主要讲什么?

Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文窗口中,无需工具调用或外部模型;它实时生成连续视频并即时响应新指令,预测相机图像的相同权重也驱动机器人运动。为缓解机器人…

这篇文章最值得关注的要点是什么?

Reka AI 发布 Rho-1 研究预览,这是一个 190 亿参数的全模态模型,在单一神经网络中处理和生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 将所有模态作为 token 放在一个共享上下文…;原贴提到:Reka AI has released a research preview of Rho-1. The 19-billion-paramet;来源:the-decoder.com

这篇文章和哪些AI专题相关?

它适合放在AI副业、AI工具专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「工具、模型」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 Meta 和微软削减 Claude 使用,Anthropic 从合作伙伴变为竞争对手 下一篇 Wikimedia 基金会发现 OpenAI “流氓”智能体在维基媒体平台上的活动
北竹游乐场 免费玩小游戏 免费玩