JetPack 7.2.1: ИИ-агенты и эмуляция T3000

JetPack 7.2.1 добавил видеонавыки для ИИ-агентов и эмуляцию T3000

NVIDIA выпустила JetPack 7.2.1 для Jetson: в него вошли поддержка библиотеки PyNvVideoCodec 2.2, базовые видеонавыки для ИИ-агентов и эмуляция производительности недавно представленного Jetson T3000 на модуле Jetson T5000 из комплекта Jetson Thor AGX Developer Kit. Видеонавыки проверяют устройство, выбирают подходящую конфигурацию кодеков, запускают тест и возвращают измерения задержки, пропускной способности и загрузки. T3000 заявлен с производительностью 865 FP4 TFLOPS.

Видео в приложениях Jetson

Видео — один из основных потоков данных в приложениях NVIDIA Jetson: роботах, системах интеллектуального видеоанализа, промышленной автоматизации, медицине, обработке медиаданных и удалённых операциях. Система может одновременно получать изображение с нескольких камер, декодировать сетевые потоки, запускать инференс ИИ или обычную компьютерную обработку, наносить результаты на кадры и кодировать видео для хранения или передачи.

Отдельные вызовы для этих операций несложны. Основная инженерная работа связана с выбором интерфейса, кодека, формата пикселей, пути работы с памятью, управления битрейтом и буферизации для конкретного устройства Jetson. После этого нужно подтвердить, что весь путь укладывается в целевые показатели задержки, пропускной способности и качества.

В JetPack 7.1 NVIDIA добавила для Jetson Thor поддержку набора средств разработки Video Codec. Разработчики на C и C++ получили прямой и детальный доступ к аппаратным блокам NVIDIA Video Encoder (NVENC) и NVIDIA Video Decoder (NVDEC).

В JetPack 7.2.1 впервые для Jetson появилась поддержка PyNvVideoCodec 2.2 — библиотеки NVIDIA на Python для аппаратного кодирования и декодирования видео на GPU NVIDIA. Библиотека создаёт и принимает видеокадры в памяти устройства GPU через протокол DLPack и буферы CUDA.

PyNvVideoCodec также включает функции, рассчитанные на конвейеры ИИ: несколько режимов выборки кадров и ThreadedDecoder. Последний заранее декодирует кадры в фоновом потоке, повышая эффективность конвейера и отделяя задержку декодирования от задержки инференса.

Видеонавыки для ИИ-агентов

JetPack 7.2.1 добавляет поверх этих наборов средств разработки базовые навыки для ИИ-агентов, работающих с видео. Наборы средств разработки дают программируемые примитивы для видео, а навыки связывают цель разработчика с обнаружением устройства, поддерживаемыми конфигурациями, готовыми рецептами, запуском, измерениями и воспроизводимыми доказательствами результата.

Это упрощает разработку открытых моделей и ИИ-агентов на Jetson и делает производительность ИИ передового уровня доступнее для разработчиков.

На запрос вроде «Сколько потоков H.264 1080p30 сможет обрабатывать этот Jetson в сценарии с низкой задержкой?» нельзя ответить только генерацией кода или ограничением из технических характеристик. Результат зависит от установленного программного обеспечения, реальных возможностей кодеков на целевом устройстве, пути передачи данных через память и контролируемого запуска, который подтверждает задержку и пропускную способность.

Видеонавыки Jetson превращают такой запрос в повторяемый рабочий процесс с кодеком:

1. проверить целевое устройство;

2. выбрать поддерживаемый путь через набор средств разработки Video Codec или PyNvVideoCodec;

3. сгенерировать проверенную конфигурацию;

4. запустить её и вернуть измерения, предупреждения и подтверждающие данные.

В JetPack 7.2.1 эти возможности объединены в навык `jetson-videosdk`. Разработчики могут запускать отдельные рабочие процессы или объединять их, чтобы настраивать и проверять этапы работы с кодеками внутри более широкого конвейера. В следующих выпусках NVIDIA планирует расширить эту основу другими навыками для разработки под Jetson.

Наборы средств разработки предоставляют ускоренные примитивы для видео, а навыки добавляют настройку и проверку с учётом конкретного устройства. Они отделяют заявленные производителем возможности от операций, которые действительно выполняются на целевой платформе, а также сохраняют рецепты, входные и выходные данные и измерения для воспроизводимости.

Как работает видеоконвейер

Рассмотрим запрос: «Декодируй это видео, обработай его с помощью моего ИИ или компьютерного зрения и проверь, соответствует ли этап работы кодека целевым показателям производительности».

ИИ-агент для программирования использует видеонавык Jetson, чтобы настроить и проверить PyNvVideoCodec. Образцы приложений, поставляемые вместе с PyNvVideoCodec, дают основу для такого приложения.

Шаг 1. Проверка и настройка. ИИ-агент обращается к навыку, чтобы проверить платформу Jetson, установленное ПО и возможности кодеков. Затем он выбирает декодер, формат вывода, путь работы с памятью и буферизацию.

Шаг 2. Передача декодированных данных в программную платформу. Образец PyNvVideoCodec может подготавливать кадры в фоновом потоке и передавать каждый кадр тензору программной платформы без написания специального кода для работы приложения с буферами кодека.

Шаг 3. Сборка полного потока приложения. После настройки этапа кодека ИИ-агент может расширить образец нужными операциями: предварительной обработкой, обнаружением или классификацией объектов, фильтрами конфиденциальности вроде размытия, визуализацией и обработкой вывода. Конкретную модель ИИ, модель компьютерного зрения и логику приложения выбирает разработчик.

Шаг 4. Измерение и проверка. Навык сохраняет конфигурацию кодека и проверяет состояние запуска, пропускную способность, задержку, загрузку, предупреждения и подтверждающие данные.

Ограничения видеонавыков

Видеонавыки JetPack 7.2.1 охватывают набор средств разработки Video Codec и PyNvVideoCodec. В этот выпуск не входят навыки для GStreamer, V4L2, моделей ИИ или построения конвейеров на уровне приложений. Они дополняют ИИ-агента на этапах работы с кодеками.

Дополнительные навыки Jetson в будущих выпусках можно будет объединять с ними для поддержки более широких приложений от начала до конца.

Jetson предоставляет несколько взаимодополняющих программных уровней:

Эти уровни можно комбинировать, если рабочий процесс включает захват видео, кодирование или декодирование, обработку ИИ и передачу результата.

JetPack 7.2.1 связывает задачу разработчика с проверяемым результатом: можно выбрать подходящий интерфейс Linux, C/C++ или Python, оставить ускоренные данные рядом с GPU и использовать видеонавыки для настройки и проверки этапов набора средств разработки Video Codec или PyNvVideoCodec. Сейчас эта основа дополняет ИИ-агентов для программирования, а в будущем сможет объединяться с другими навыками Jetson для более широких сквозных приложений.

Эмуляция Jetson T3000

Jetson T3000 обеспечивает 865 FP4 TFLOPS в компактной платформе с низким энергопотреблением, рассчитанной на гуманоидных роботов и другие робототехнические задачи. По производительности инференса в мультимодальном ИИ он сопоставим с T5000, но отличается меньшими габаритами, энергопотреблением и стоимостью.

После выхода JetPack 7.2.1 разработчики могут начать работу, эмулируя заявленную производительность недавно представленного T3000 на модуле Jetson T5000 из комплекта Jetson Thor AGX Developer Kit. Подробности реализации эмуляции NVIDIA приводит в руководстве разработчика Jetson Linux.