Встраивайте физический ИИ в существующие приложения: библиотеки NVIDIA Omniverse

NVIDIA открыла библиотеки Omniverse для интеграции физического ИИ

Физический ИИ — это системы, которые воспринимают среду, рассуждают и действуют в физически правдоподобных симуляциях. Такой подход позволяет проектировать и проверять роботов и промышленные системы ещё до их запуска на производстве. На GTC 2026 NVIDIA назвала физический ИИ одним из ключевых направлений для робототехники и цифровых двойников: политики можно обучать и тестировать в средах, учитывающих физические свойства объектов.

Библиотеки вместо монолитного комплекса

Чтобы упростить интеграцию Omniverse в существующие приложения, NVIDIA добавляет модульную архитектуру на базе библиотек. Основные компоненты платформы — визуализация RTX, симуляция PhysX и конвейеры хранения данных — доступны как автономные C API с привязками для C++ и Python:

Такой подход рассчитан на разработчиков с уже работающими программными комплексами: им не придётся существенно менять архитектуру или подключать полный контейнерный комплекс Omniverse.

В крупных робототехнических и промышленных проектах монолитные среды затрудняют масштабирование симуляций, работу без графического интерфейса и интеграцию с системами непрерывной интеграции и доставки. Библиотечная архитектура позволяет встраивать визуализацию, физику и хранение данных непосредственно в собственные сервисы. Приложения смогут обращаться к API Omniverse из своих процессов, не запуская всё внутри единой среды выполнения.

Модульные библиотеки NVIDIA Omniverse позволяют разработчикам интегрировать возможности цифровых двойников в реальном времени в существующие приложения

Источник: developer.nvidia.com

Библиотеки подключаются к уже существующим компонентам Omniverse: описанию сцен OpenUSD, ресурсам SimReady, подготовленным для симуляции, и среде разработки приложений Omniverse Kit Framework.

Сейчас ovrtx, ovphysx и ovstorage доступны в раннем доступе на GitHub и NGC. В следующих версиях API могут меняться, а NVIDIA публикует инструкции по миграции и собирает отзывы через GitHub и Discord Omniverse. На этом этапе компания расширяет поддержку физических возможностей и моделей сенсоров, а также оптимизирует использование GPU. Производственный релиз со стабильным API и долгосрочной поддержкой планируется выпустить позже в этом году.

NVIDIA уже применяет библиотеки внутри компании — для следующего поколения наборов решений и средств разработки физического ИИ. Сначала их проверяют на высокопроизводительных внутренних вычислительных комплексах и промышленных решениях, чтобы подготовить библиотеки к требованиям корпоративных систем до общего релиза.

ИИ-агенты и MCP

Чтобы сделать симуляцию доступной для ИИ-агентов на базе больших языковых моделей, Omniverse предоставляет возможности через серверы протокола Model Context Protocol (MCP). Они описывают операции в машиночитаемой схеме: например, загрузку сцен USD, редактирование примитивов и переход симуляции на следующий шаг. Благодаря этому инструменты вроде Claude и Cursor могут безопасно вызывать нужные операции.

Каждый MCP-сервер можно запустить локально через Docker или Python. NVIDIA отдельно документирует серверы USD Code MCP, Kit MCP и OmniUI MCP.

Для работы используется размещённый в облаке NVIDIA сервис создания эмбеддингов и сервис повторного ранжирования, а доступ к ним предоставляется по API-ключу. Локальные GPU не нужны. Масштабировать такие сценарии можно с помощью NemoClaw — нового инфраструктурного комплекса для сообщества OpenClaw. Он предназначен для развёртывания защищённых постоянно работающих автономных ИИ-агентов в изолированных песочницах с ограничениями на основе политик.

MCP-серверы берут на себя низкоуровневые удалённые вызовы процедур к Omniverse, поэтому разработчикам достаточно описать поведение агентов и правила безопасности, не связывая вручную каждый вызов API симуляции.

Что меняется в Isaac Lab

Переход к библиотечной архитектуре NVIDIA показывает на примере Isaac Lab — высокопроизводительной программной среды для симуляции робототехники и обучения с подкреплением. Isaac Lab требует масштабируемости и детерминированного управления.

В Isaac Lab 3.0 Beta базовый слой программной среды перенесли с монолитного Kit на модульную архитектуру с несколькими подсистемами.

Пример архитектуры NVIDIA Isaac Lab 3.0 Beta с интеграцией новых библиотек Omniverse

Источник: developer.nvidia.com

Релиз пока находится в стадии бета-тестирования, а общий доступ запланирован на конец этого года. Новая архитектура меняет способ сборки комплексов симуляции NVIDIA: вместо одной среды выполнения используются взаимозаменяемые подсистемы физики и визуализации.

Переход на автономные библиотеки решает для команды Isaac Lab три архитектурные проблемы. После удаления служебного слоя платформы программная среда может использовать тензоризированный обмен данными и получать состояния симуляции напрямую через буферы GPU. Например, позиции и скорости доступны как тензоры PyTorch без копирования данных на основную систему.

Промышленные разработчики цифровых двойников и симуляторов робототехники уже начинают подключать библиотеки Omniverse — в пилотных проектах и ранних производственных интеграциях.

Для ABB Robotics, Adobe, Cadence, PTC, Siemens и Synopsys ключевая возможность заключается в подключении базовой визуализации RTX, физически точной симуляции PhysX и встроенной поддержки OpenUSD без полной перестройки программной архитектуры.

ABB Robotics встраивает Omniverse в RobotStudio, используя проверенный промышленностью виртуальный контроллер, инструменты автономного программирования и рабочие процессы ввода в эксплуатацию. Это позволяет обучать и проверять промышленных роботов с помощью физического ИИ в большом масштабе. PTC напрямую связывает Onshape с Isaac Sim для проектирования, тестирования и развёртывания роботов в облаке. Siemens подключает библиотеки Omniverse для масштабного создания промышленных цифровых двойников.

Как выбрать способ интеграции

Подход зависит от требований конкретного программного комплекса.

Руководство по выбору, помогающее определить, разрабатывать ли с использованием библиотек Omniverse или Omniverse Kit Framework

Источник: developer.nvidia.com

Одно из преимуществ библиотек Omniverse, прежде всего ovrtx и ovphysx, — они не зависят от основной среды Omniverse Kit. Обе библиотеки предоставляют тонкие привязки Python поверх C API, поэтому их можно подключать к собственным приложениям.

Поддержка DLPack позволяет обмениваться данными без копирования и работать напрямую с популярными средствами разработки NumPy, PyTorch и Warp.

Визуализация через ovrtx

ovrtx даёт облегчённый доступ к аппаратно ускоренной визуализации RTX. Сцену можно загрузить, отрисовать кадр и сохранить его в PNG, используя NumPy и всего 10 строк кода.

Привязки Python работают через ctypes и не требуют других зависимостей, кроме самой C-библиотеки. Поддерживаются среды Python 3.10 и новее.

Подробности опубликованы в репозитории ovrtx на GitHub.

Минимальный цикл физики

Если ovrtx отвечает за изображение, то ovphysx связывает базовый комплект разработчика PhysX со средами USD и тензорными данными.

Для запуска физической симуляции приложение проходит пять основных асинхронных шагов через базовый API.

Результат рендеринга нашей сцены robot.usda в формате PNG

Источник: developer.nvidia.com

Подробности NVIDIA приводит в репозитории ovphysx на GitHub.

Хранилище данных

ovstorage выступает единым слоем хранения для приложения. Он напрямую связывает PLM-системы и существующие репозитории с экосистемой Omniverse через единый API. Это устраняет отдельные задачи синхронизации и затратные миграции данных, позволяя использовать рабочие процессы USD без перемещения файлов.

Библиотека рассчитана на развёртывание без графического интерфейса в Kubernetes. Архитектура даёт возможность независимо масштабировать микросервисы и сохранять контроль над устройством системы, не ограничиваясь монолитным устаревшим комплексом.

Сейчас это только начальный набор возможностей ovstorage; NVIDIA планирует расширять его. Дополнительные материалы доступны в ресурсах ovstorage на NVIDIA NGC.

Пример архитектуры реализации ovstorage

Источник: developer.nvidia.com

Вывод

NVIDIA превращает Omniverse в набор модульных строительных блоков — библиотек и средств разработки, из которых можно собрать собственный комплекс физического ИИ. Компоненты ovrtx и ovphysx предназначены для создания автономных систем внутри уже используемых разработчиками экосистем.

Omniverse Kit остаётся вариантом для команд, которые создают полностью новые приложения с большим набором функций. Автономные библиотеки рассчитаны на интеграцию симуляции в существующие продукты и конвейеры данных для обучения. Их уже применяют промышленные разработчики программного обеспечения и команда Isaac Lab.

NVIDIA предлагает начать с подключения модульных компонентов физического ИИ к уже существующим приложениям.