Nvidia открыла код Flora: разметка видео для роботов обходится в 125 раз дешевле, чем GPT-6 Astra

Большие модели для роботов учатся на видео, к которым нужно добавлять текстовые метки. Исследовательская лаборатория Nvidia GEAR выделяет три типа такой разметки: описания действий и времени их выполнения, оценки продвижения робота на каждом шаге для обучения методом проб и ошибок, а также отметки об успешном завершении задачи для наблюдения за роботами после развёртывания. Большинство существующих инструментов поддерживает только один тип. Большие языковые модели, например GPT-6 Astra, могут создавать несколько типов меток, но обходятся слишком дорого для обработки больших объёмов видео.

Согласно статье, Flora охватывает все три типа. Nvidia сообщает, что система уже используется при обучении моделей GR00T и размечает до 200 000 часов видео в день на 512 графических процессорах GB300. Модели опубликованы на Hugging Face.

Flora состоит из трёх моделей Qwen3.5, дообученных под разные задачи. Модель на 9 млрд параметров делит видео на сегменты действий, а модель на 27 млрд описывает их с учётом того, что происходило до и после каждого действия. Вторая модель на 27 млрд параметров, Flora-Rewarder, выполняет три задачи в зависимости от промта: оценивает успех эпизода по шкале от 1 до 5, классифицирует каждый полусекундный шаг как нормальный, неоптимальный или провальный и выставляет оценки по самостоятельно заданным критериям.

В оценках Nvidia Flora дешевле до 125 раз

В испытании на 50 видео Flora показала немного лучший результат, чем GPT-6 Astra, сообщает Nvidia. При этом Astra разрешили использовать все возможности рассуждения. По оценке Nvidia, разметка часа видео стоит около 72 центов для Flora и примерно $88,50 для Astra. Claude Opus 5 справилась в том же испытании заметно хуже, а обработка часа видео обошлась примерно в $42.

Расчёты стоимости Flora — прогноз, а не замеры в производственной среде. Nvidia исходила из предполагаемой цены аренды GPU в $10 за час.

Flora лучше находит действия, Astra точнее их описывает

На открытом бенчмарке WGO-Bench Flora лучше справляется с определением границ действий, но уступает Astra по общей оценке, а Gemini 3.8 Flash — по точности описаний. По словам исследователей, преимущество Flora в основном связано с тем, насколько точно она определяет действия во времени.

В собственном бенчмарке Nvidia DenseCaptionBench Flora лидирует по всем метрикам на видеозаписях с людьми, но на видео с роботами занимает второе место после Astra. Исследователи также отмечают особенность методики: GPT-6 Astra оценивает описания, хотя сама входит в число проверяемых моделей.

Flora разбивает видео на временные сегменты, описывает каждое действие и оценивает его выполнение и результат

Источник: the-decoder.com

Другие модели почти не замечают ошибки в середине эпизода

На RoboRewardBench доля ошибок Flora на 27,8% ниже, чем у Astra. Авторы статьи связывают разницу с задачами, выполненными лишь частично. Например, если робот только опрокидывает бутылку, но не сбрасывает её со стола, Flora ставит 3 балла из 5 — столько же, сколько в оценке человека. Astra в этом случае даёт лишь 1 балл.

Flora-Rewarder обнаруживает 53,3% провальных шагов внутри эпизода. Ни один конкурент не превышает 11,7%, а Astra не замечает ни одного такого шага. Обратная сторона — примерно 11% нормальных шагов Flora ошибочно отмечает как ошибки. В оценке по критериям и ранжировании траекторий лидирует Astra.

Модель сегментации и модель описания создают описания с временными метками, а единая модель вознаграждения формирует все три типа оценок

Источник: the-decoder.com

В видео с множеством коротких движений рук Flora распознаёт 34 из 37 отдельных действий, тогда как Astra находит только четыре. При этом Flora иногда делит длинное действие на слишком много мелких шагов и может неверно его описать. В одном ролике рука робота вытирает тарелку тканью, но Flora описывает это как складывание салфетки.

По данным Nvidia, Flora достигает качества аннотирования 57,1% при стоимости $0,72 за час видео, тогда как GPT-6 Astra — 53,7% при стоимости $88,49

Источник: the-decoder.com

Nvidia представляет Flora как открытую альтернативу коммерческим сервисам вроде Physical AI Data Engine от Scale AI. Исследователи могут с её помощью масштабировать собственные наборы робототехнических данных и проверять подходы, например перенос человеческих демонстраций на роботов. Nvidia вкладывает миллиарды в открытые модели ИИ, чтобы удерживать разработчиков в своей аппаратной экосистеме и повышать спрос на чипы. Flora служит той же цели.

Компания уже некоторое время пытается компенсировать нехватку данных для обучения роботов с помощью симуляции и автоматической обработки данных. На GTC ранее в этом году Nvidia показала дата-пайплайн, который автоматически подготавливает, размножает и оценивает обучающие материалы. Flora добавляет в него подробные метки и сигналы вознаграждения, извлечённые из видео.

Всё это соответствует стратегии Nvidia — охватить всю цепочку робототехники: от оборудования и данных для обучения до симуляции и самих моделей ИИ. Недавно анонсированная Google модель Gemini 4 Argon нацелена на похожую часть процесса обучения роботов: она тоже определяет этапы работы на обучающих видео и отмечает неудачные действия.

Flora лидирует в оценке записей с участием людей, результатов и пошаговых действий, тогда как GPT-6 Astra превосходит её на WGO-Bench, в оценке видео с роботами и по критериальным оценкам

Источник: the-decoder.com

В одном примере Flora распознаёт 34 из 37 эталонных действий, тогда как GPT-6 Astra замечает только четыре

Источник: the-decoder.com