觉
AI觉醒星球
Awakening is here
Knowledge File / AI小生意项目库
2026-10-25 1 浏览 免费阅读

英伟达开源 Flora:机器人视频标注成本打到 GPT-6 Astra 的 1/125

英伟达开源数据引擎 Flora,用三个微调 Qwen3.5 模型同时完成动作切分、描述生成与过程奖励打分,宣称覆盖机器人视频学习所需的三类标注。官方推算标注一小时视频约 72 美分,而 GPT-6 Astra 约 88.5 美元;但该成本是假设每 GPU 每小时 10 美元算出的推算值而非实测,且在公开基准上 Flora 总分仍落后 Astra,优势主要集中在时间定位与失败步骤检出。

SOURCE / AI小生意项目库 MIN / 9 ACCESS / 免费阅读 POST / 2026-10-25 18:08:49

原贴

查看原文
作者:Jonathan Kemper 来源站点:the-decoder.com 原贴时间:

原文

Labeling one hour of robot video for 72 cents instead of $88 is what Nvidia promises with Flora, its open data engine. But the comparison with GPT-6 Astra isn't quite as lopsided as the price tag suggests. Large AI models for robots learn from videos that need text annotations, and according to Nvidia's GEAR research lab, this requires three types of labels. First, descriptions of what action happens when in the video, used to select training data. Second, ratings of how well a robot progresses step by step, so it can learn through trial and error. And third, judgments on whether a task was completed successfully, used to monitor robots during deployment. Most existing tools only provide one of these types. Large language models like GPT-6 Astra can generate several, but they're too expensive for the massive volumes of video involved. According to the paper , Flora covers all three. Nvidia says the system is already running during training of its GR00T models, annotating up to 200,000 hours of video per day across 512 GB300 GPUs. The models are available on Hugging Face . Flora consists of three fine-tuned Qwen3.5 models . A 9B model splits videos into action segments, and a 27B model describes them while factoring in what happened before and after each action. A second 27B model called Flora-Rewarder takes on three roles depending on the prompt. It rates an episode's success on a scale of 1 to 5, classifies each half-second step as normal, suboptimal, or failure, and assigns scores based on self-defined rubrics. In a test with 50 videos, Flora scored slightly better than GPT-6 Astra according to Nvidia, even though OpenAI's model was allowed to use its full reasoning capacity. Labeling one hour of video runs about 72 cents with Flora by Nvidia's estimate, compared to roughly $88.50 with GPT-6 Astra. Claude Opus 5 scored much worse in the same test and still cost about $42 per hour. The Flora cost figures are projections, though, not production measurements. Nvidia calculated them based on an assumed rental price of $10 per GPU per hour. On the public WGO-Bench, Flora is best at detecting action boundaries but trails Astra in overall score and falls behind Gemini 3.8 Flash in pure description accuracy. According to the researchers, the gains come mainly from temporal localization. On Nvidia's own DenseCaptionBench, Flora leads across all metrics for human recordings, but for robot videos the model comes in second behind Astra. There's a methodological catch the researchers acknowledge, too. GPT-6 Astra evaluates the descriptions while also being one of the models under test. On RoboRewardBench, Flora's error rate is 27.8 percent lower than Astra's. The paper attributes the gap to partially completed tasks. When a robot only tips a bottle over instead of knocking it off the table, Flora assigns 3 out of 5 points to match the human reference, while Astra gives just one. Flora-Rewarder catches 53.3 percent of failed steps within an episode, while no competitor gets above 11.7 percent and Astra doesn't catch a single one. The tradeoff is that Flora falsely flags about 11 percent of normal steps as errors. Astra still leads on rubric-based scoring and trajectory ranking. In a video with many short hand movements, Flora identifies 34 of 37 individual actions, while Astra catches only four. On the flip side, Flora sometimes splits longer actions into too many small steps and occasionally gets descriptions wrong. In one video, a robot hand wipes a plate with a cloth, but Flora describes it as folding a napkin. Nvidia positions Flora as an open alternative to commercial services like Scale AI's Physical AI Data Engine. Researchers can use it to scale their own robotics datasets and test approaches like transferring human demonstrations to robots. Nvidia is investing billions in open AI models to keep developers in its hardware ecosystem and drive demand for its chips, and Flora serves that same goal.

中文翻译

英伟达承诺,用其开放数据引擎 Flora 标注一小时机器人视频只需 72 美分,而不是 88 美元。但与 GPT-6 Astra 的对比并不像这个价格标签显示的那么一边倒。

用于机器人的大型 AI 模型要从需要文本标注的视频中学习,据英伟达 GEAR 研究实验室的说法,这需要三类标签。第一,描述视频中何时发生何种动作,用于挑选训练数据。第二,对机器人的进展逐步打分,以便它能通过试错学习。第三,判断一项任务是否成功完成,用于在部署期间监控机器人。

现有大多数工具只提供其中一类。像 GPT-6 Astra 这样的大语言模型可以生成多类,但对于所涉及的海量视频来说太贵了。

根据论文,Flora 覆盖全部三类。英伟达称该系统已在其 GR00T 模型的训练中运行,在 512 块 GB300 GPU 上每天标注多达 20 万小时视频。模型已在 Hugging Face 上提供。

Flora 由三个微调过的 Qwen3.5 模型组成。一个 9B 模型把视频切分为动作片段,一个 27B 模型在描述这些片段时会考虑每个动作之前和之后发生了什么。第二个 27B 模型名为 Flora-Rewarder,根据提示承担三种角色。它以 1 到 5 分给一集的成功程度打分,把每半秒的步骤分类为正常、欠佳或失败,并基于自定义的评分规则给出分数。

在 50 段视频的测试中,据英伟达称 Flora 的得分略高于 GPT-6 Astra,尽管 OpenAI 的模型被允许使用其全部推理能力。按英伟达的估算,用 Flora 标注一小时视频约需 72 美分,而用 GPT-6 Astra 约需 88.50 美元。Claude Opus 5 在同一测试中得分差得多,每小时仍需约 42 美元。

不过 Flora 的成本数字是推算值,而非生产实测。英伟达是按每 GPU 每小时 10 美元的假设租用价格计算得出的。

在公开的 WGO-Bench 上,Flora 最擅长检测动作边界,但总分落后于 Astra,在纯描述准确率上落后于 Gemini 3.8 Flash。研究人员称,收益主要来自时间定位。

在英伟达自有的 DenseCaptionBench 上,Flora 在人类拍摄视频的所有指标上领先,但在机器人视频上排名第二,落后于 Astra。

研究人员也承认存在方法论上的问题。GPT-6 Astra 在评估这些描述的同时,本身也是被测模型之一。

在 RoboRewardBench 上,Flora 的错误率比 Astra 低 27.8%。论文把这一差距归因于部分完成的任务。当机器人只是把瓶子碰倒而不是碰下桌子时,Flora 给出 5 分中的 3 分,与人类参考一致,而 Astra 只给 1 分。

Flora-Rewarder 能在一个片段中捕获 53.3% 的失败步骤,而没有任何竞争对手超过 11.7%,Astra 一步都没抓到。代价是 Flora 会把约 11% 的正常步骤误标为错误。Astra 在基于评分规则的打分和轨迹排序上仍然领先。

在一段有许多短促手部动作的视频中,Flora 识别出 37 个单个动作中的 34 个,而 Astra 只抓到 4 个。反过来,Flora 有时会把较长的动作切分成过多小步骤,偶尔会把描述弄错。在一段视频中,机械手用布擦拭盘子,Flora 却把它描述成叠餐巾。

英伟达把 Flora 定位为面向 Scale AI 的 Physical AI Data Engine 等商业服务的开放替代方案。研究人员可以用它来扩展自己的机器人数据集,并测试把人类演示迁移到机器人上等方法。英伟达正投入数十亿美元于开放 AI 模型,以把开发者留在其硬件生态中并推动芯片需求,Flora 服务于同一目标。

核心信息

英伟达开源数据引擎 Flora,用三个微调 Qwen3.5 模型同时完成动作切分、描述生成与过程奖励打分,宣称覆盖机器人视频学习所需的三类标注。官方推算标注一小时视频约 72 美分,而 GPT-6 Astra 约 88.5 美元;但该成本是假设每 GPU 每小时 10 美元算出的推算值而非实测,且在公开基准上 Flora 总分仍落后 Astra,优势主要集中在时间定位与失败步骤检出。

  • 英伟达开源数据引擎 Flora,用三个微调 Qwen3.5 模型同时完成动作切分、描述生成与过程奖励打分,宣称覆盖机器人视频学习所需的三类标注。官方推算标注一小时视频约 72 美分,而 GPT-6 Astra 约 88.5 美元;但该成本是假设每 GPU 每小时 10 美元算出的推算值而非实测,且在公开基准上 Flora 总分仍落后 Astra,优势主要集中在时间定位与失败步骤检出。
  • 原贴提到:Labeling one hour of robot video for 72 cents instead of $88 is what Nvi
  • 来源:the-decoder.com

详细解读

这是什么信号

这不是一条“又开源了一个模型”的新闻,而是具身智能数据管线的成本结构被重新定价。Flora 用三个微调 Qwen3.5 模型(9B 切分动作片段、27B 带上下文生成描述、27B 的 Flora-Rewarder 负责成功度打分 / 半秒级过程分类 / 自定义 rubric 评分)拼出一条完整链路,正好对应机器人 VLA 训练需要的三类标注:选数据用的动作描述、试错学习用的过程奖励、部署监控用的成败判定。过去这三件事要靠人工标注加闭源大模型 API,现在变成了可以自托管的开源权重。

更值得注意的两点:一是英伟达自曝 Flora 已在其 GR00T 模型训练中跑起来,512 块 GB300 每天处理多达 20 万小时视频——这说明它不是实验室玩具,而是已经进了自家数据飞轮;二是它被明确定位为 Scale AI 的 Physical AI Data Engine 这类商业数据服务的开放替代,这是往数据服务层直接伸手。

为什么重要

机器人学习的瓶颈不在模型结构,而在“带过程信号的视频数据”供给。现有工具大多只产出其中一类标签,而过程奖励恰恰是强化学习式试错训练最稀缺的输入。Flora-Rewarder 在 RoboRewardBench 上把失败步骤检出率做到 53.3%,而所有竞品不超过 11.7%、Astra 一步没抓到——这个指标比“便宜 125 倍”更有分量,因为它量的是信号质量而非单价。对做机器人 RL、数据筛选、失败恢复的团队来说,这等于多了一个可编程的奖励信号源。

对谁有价值

  • 机器人 / 具身智能团队:需要在自有视频上批量生成动作分段、描述与过程奖励,尤其适合做人类演示到机器人的迁移、失败案例挖掘。
  • 数据标注与数据服务公司:单小时成本结构被压到美分级,靠人海做视频描述的中间层会被显著挤压,必须往“高质量抽检 + 领域 rubric 设计”上迁移。
  • 中小模型团队:三个 Qwen3.5 微调模型给出了一个可复制的配方——小模型分工 + 专门奖励模型,比堆一个大模型 API 更适配海量视频场景。
  • 硬件与生态侧的观察者:这是英伟达用开源模型锁住开发者、拉动芯片需求的又一环,其战略意图和模型能力要分开看。

可以怎么行动

第一,别把 72 美分当结论。这个数字是按每 GPU 每小时 10 美元租价推算出来的,不是生产实测,自建时的实际成本取决于利用率、批次调度和重跑率。建议先取自己 20–50 小时真实机器人视频做小规模对照,用同一套人工标注做金标准,分别跑 Flora 与现有 API 方案,比较的是“单位可用标签成本”而非单小时标价。

第二,优先试 Flora-Rewarder 而不是它的描述能力。因为它的强项在时间定位与过程判定,而纯描述精度在 WGO-Bench 上还落后 Gemini 3.8 Flash,在机器人视频的 DenseCaptionBench 上排第二。把奖励信号接进数据筛选或 RL 训练回路,收益更直接。

第三,为 11% 的误报率设计缓冲。它会把约 11% 的正常步骤误标为错误,直接进训练会注入噪声,建议加一层阈值策略或人工抽检复核,并对长动作被切碎的问题做后处理合并。

风险与限制

成本是推算值;WGO-Bench 总分落后 Astra;优势主要来自时间定位,rubric 打分与轨迹排序上 Astra 仍领先;论文自评存在方法论瑕疵——Astra 既是评测者又是被测模型;实际使用中已出现把“擦盘子”描述成“叠餐巾”这类错误,说明描述层不能无人值守。此外基座依赖 Qwen3.5,开源权重的许可证与商用条款需要自行核对,规模化部署前务必确认合规边界。最后,这类开源替代真正冲击的是数据服务的定价权,但短期内高价值、强领域知识的标注仍离不开人。

信息差价值

这条内容的真正价值,不只是“有人发布了一个新功能”,而是它揭示了 the-decoder.com 背后的产品方向、工作流变化或竞争信号。对 OPC 来说,这种信息可以转化成持续追踪的栏目选题。

如果把《英伟达开源 Flora:机器人视频标注成本打到 GPT-6 Astra 的 1/125》放到你的内容系统里,它最大的价值在于帮助读者更快看懂“为什么值得关注”,而不是只看到一条碎片化动态。

参考来源

AI SUMMARY

这篇文章回答了什么

英伟达开源 Flora:机器人视频标注成本打到 GPT-6 Astra 的 1/125主要讲什么?

英伟达开源数据引擎 Flora,用三个微调 Qwen3.5 模型同时完成动作切分、描述生成与过程奖励打分,宣称覆盖机器人视频学习所需的三类标注。官方推算标注一小时视频约 72 美分,而 GPT-6 Astra 约 88.5 美元;但该成本是假设每 GPU 每小时 10 美元算出的推算值而非实测,且在公开基准上 Flora 总分仍落后 Astra,优势主要集…

这篇文章最值得关注的要点是什么?

英伟达开源数据引擎 Flora,用三个微调 Qwen3.5 模型同时完成动作切分、描述生成与过程奖励打分,宣称覆盖机器人视频学习所需的三类标注。官方推算标注一小时视频约 72 美分,而 GPT-6 Astra 约 88.5 美元;但该成本…;原贴提到:Labeling one hour of robot video for 72 cents instead of $88 is what Nvi;来源:the-decoder.com

这篇文章和哪些AI专题相关?

它适合放在AI副业、AI工具、AI超级个体专题里阅读。 关联原因:这篇内容命中「项目、小生意、变现」等主题信号。;这篇内容命中「模型」等主题信号。;这篇内容命中「学习」等主题信号。

阅读这篇文章建议先理解哪些关键词?

建议先理解AI工具、工具、自动化、模型、Cursor这些关键词,再结合正文判断工具、机会或风险是否值得进入自己的工作流。

上一篇 OpenAI 与 Anthropic 在几个月内把大模型价格下调最多 80%,为什么? 下一篇 Anthropic:模型自己能扛复杂任务后,一个 AI 智能体胜过一堆子智能体
北竹游乐场 免费玩小游戏 免费玩