NVIDIA представила SimReady Central — открытую библиотеку 3D-объектов для симуляций в робототехнике и ИИ-фабриках

Что такое SimReady

SimReady — это модели OpenUSD с данными, необходимыми для симуляции. Подробная 3D-модель, например созданная в САПР, служит основой, но для симуляции нужны дополнительные сведения о том, как интерпретировать объект и взаимодействовать с ним.

Для задачи манипуляции робота это могут быть масса объекта, геометрия столкновений и коэффициент трения. В сценариях ИИ-фабрик могут потребоваться геометрия оборудования и данные об электрических или тепловых свойствах.

OpenUSD — открытый расширяемый фреймворк для описания и сборки 3D-сцен. Чтобы использовать такие сцены для обучения и оценки автономных машин, также нужны сведения о физических свойствах объектов, столкновениях и взаимодействии с датчиками.

SimReady Foundation задаёт требования с помощью спецификаций и профилей, а также предоставляет средства проверки. Профиль группирует функции и свойства, необходимые модели для конкретного сценария.

Требования зависят от модели и профиля. Полный список для каждого сценария приведён в требованиях и профилях SimReady Foundation. Разработчикам следует выбирать в SimReady Central объекты с профилями, подходящими для их задач, и собирать из них сцену OpenUSD.

Зачем производителям публиковать модели

Производители оборудования могут превратить модели из САПР в SimReady-объекты для разработчиков, которые строят симуляции с их продукцией. SimReady Central помогает находить такие модели на Hugging Face и связывает производителей с командами, работающими над симуляциями робототехники и цифровыми двойниками ИИ-фабрик.

Для производителей оборудования ИИ-фабрик, таких как Vertiv, библиотека даёт возможность распространять модели складских и серверных стеллажей, систем охлаждения и другой инфраструктуры. Разработчики и передовые ИИ-агенты могут использовать их в цифровых двойниках ИИ-фабрик, сохраняя геометрию и свойства, заданные в профилях SimReady.

Для производителей робототехники — Comau, FANUC, Franka Robotics, Robotiq, Standard Bots и Universal Robots — библиотека делает доступными для поиска манипуляторы и захваты. Разработчики могут сочетать их с промышленным оборудованием и создавать сценарии складов и заводов для обучения и оценки роботов.

Для поставщиков моделей симуляции, таких как Palatial, в библиотеке представлены набор данных NVIDIA Robotics 1K, выпущенный совместно с NVIDIA Robotics, и сложные сочленённые модели, созданные по тексту, изображениям, сканам, технической документации и чертежам САПР. Эти объекты можно использовать для подготовки сцен и моделей для обучения и оценки роботов.

Производители вроде LG Electronics (LGE), которые разрабатывают домашних роботов и бытовую технику, с которой те работают, могут публиковать модели холодильников и посудомоечных машин. Опыт LGE в бытовой технике и робототехнике помогает разработчикам создавать домашние симуляции для обучения и оценки роботов, а также генерации синтетических данных.

Поставщики инструментов проектирования с ИИ, например ForgeCAD, могут размещать сочленённые модели робототехнических объектов с качественными текстурами. Разработчики используют их для создания сред, в которых роботы учатся воспринимать предметы и манипулировать ими, а также для генерации синтетических данных.

Чтобы добавить модели в библиотеку, производители могут воспользоваться навыком отправки SimReady Central: он помогает проверить объекты по подходящим профилям SimReady, подготовить пакет и подать его на публикацию.

Как собирать симуляции из SimReady-моделей

SimReady Central предлагает готовую основу для рабочих ячеек роботов, промышленных сред и цифровых двойников ИИ-фабрик. Разработчики и ИИ-агенты могут находить объекты с профилями, подходящими для их задач, и собирать из них среды OpenUSD.

Модели SimReady позволяют наполнять обучающие среды объектами и препятствиями, менять их расположение и оценивать поведение робота. Такие среды можно использовать, например, в проектах вроде Microduck — открытого робота от Hugging Face и Pollen Robotics.

Поиск NVIDIA USD Search позволяет находить объекты в библиотеке SimReady Central на обычном языке. Он помогает разработчикам и ИИ-агентам искать модели во всех подключённых наборах данных. Hugging Face также встроила USD Search в поиск платформы: он учитывает индексированные свойства USD и метаданные симуляции, чтобы агенты могли находить SimReady-модели для задач физического ИИ.

Ещё один способ собирать сцены — использовать инструменты с поддержкой ИИ. Разработчики могут сочетать передовые модели, например GPT-6 Astra от OpenAI, с поиском объектов и средствами создания сцен. По требованиям к задаче и ограничениям пространства Astra может подобрать модели, написать код для сборки сцены и подготовить варианты сценария.

Производители также могут использовать Astra для подготовки и доработки моделей OpenUSD в соответствии с требованиями SimReady Foundation, а затем проверять их и отправлять в библиотеку.

Сценарий с захватом и перемещением предметов

Разработчик, который создаёт сценарий захвата и перемещения предметов роботом, может начать с такого промта:

Using SimReady assets from SimReady Central on Hugging Face, create a basic warehouse pick-and-place scenario in Isaac Sim using PhysX.
Use the nvidia-simready-central.hf.space to find a FANUC robotic arm, a compatible Robotiq gripper, and suitable warehouse assets. Generate the Python code to assemble the scene and configure the pick-and-place task. Render a .mov preview so I can review the results.
Include the scripts, asset versions, and runtime versions so I can reproduce the scenario.

Промт просит Astra найти на Hugging Face модели FANUC, подходящий захват Robotiq и складские объекты, а затем собрать в Isaac Sim на PhysX базовый сценарий захвата и перемещения предметов. Также нужно сгенерировать Python-код, настроить задачу, подготовить видео .mov для проверки и указать версии скриптов, моделей и среды выполнения, чтобы результат можно было воспроизвести.

В этом сценарии Astra должна:

Сравнение планировок ИИ-фабрики

Тот же подход подойдёт независимому поставщику программного обеспечения, который создаёт цифровой двойник ИИ-фабрики. Здесь вместо взаимодействий робота нужно размещать оборудование: расставить стеллажи, системы охлаждения и вспомогательную инфраструктуру с учётом ограничений пространства.

Using SimReady assets from SimReady Central on Hugging Face, create two alternative ИИ factory layouts with racks and cooling equipment.
Use the supplied equipment dimensions and aisle-clearance requirements. Check for equipment overlaps and clearance violations, and report any issues.
Save each layout as an OpenUSD scene. Include the scene-building scripts, asset versions, and runtime versions so I can reproduce and compare the results.

Промт просит создать две планировки ИИ-фабрики из стеллажей и оборудования для охлаждения. Нужно учесть заданные размеры оборудования и требования к ширине проходов, проверить пересечения и нарушения зазоров, а затем сохранить обе планировки как сцены OpenUSD. Вместе с ними следует приложить скрипты сборки и версии моделей и среды выполнения, чтобы результаты можно было воспроизвести и сравнить.

Astra соберёт выбранные модели SimReady в две сцены OpenUSD и подготовит скрипты для проверки пересечений оборудования и ширины проходов по заданным требованиям. Затем разработчики смогут открыть сцены в приложении для симуляции, сравнить размещение оборудования и маршруты доступа, проверить отмеченные проблемы и доработать выбранный вариант.

В обоих сценариях разработчики могут развивать среды несколькими способами:

Как расширить библиотеку

В планах SimReady Central — подключить новых производителей и расширить библиотеку моделей, чтобы разработчики могли собирать больше типов оборудования и сред из готовых объектов.

Отзывы сообщества помогут определить, какие дополнения нужны в первую очередь. Разработчиков просят рассказать в комментариях, какие модели им нужны, какие среды выполнения они используют и где сталкиваются с проблемами совместимости.

Производители могут отправить модели в SimReady Central по руководству для поставщиков оборудования. Их материалы расширяют доступный набор объектов, а примеры разработчиков показывают, как использовать модели в разных приложениях. Примеры можно публиковать в комментариях, а об ошибках и запросах на новые функции и требования SimReady — сообщать через issue в SimReady Foundation.

Начало работы на Hugging Face

Выберите модель из SimReady Central для следующей симуляции робототехники или цифрового двойника ИИ-фабрики. Ресурсы ниже помогут найти объекты, собрать сцену или добавить модели оборудования.

Поиск моделей

Сборка сцены

Подготовка и публикация моделей

NVIDIA Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models

NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation

Сообщество