NVIDIA Halos для робототехники: полный стек функциональной безопасности физического ИИ

NVIDIA представила Halos — платформу безопасности для роботов

Безопасность из автомобильного опыта

Традиционные системы безопасности рассчитаны на структурированные пространства. Когда роботы покидают ограждённые зоны и начинают работать в меняющейся обстановке рядом с людьми, этого подхода становится недостаточно. NVIDIA считает, что здесь нужны системы безопасности на базе ИИ.

NVIDIA Halos OS для робототехники — комплексная система безопасности полного стека для промышленных роботов, человекоподобных роботов и автономных мобильных роботов. Вместе с NVIDIA IGX Thor она образует базовую аппаратно-программную платформу NVIDIA Halos.

Agility, выпускающая человекоподобного робота Digit, интегрирует NVIDIA IGX Thor и Halos OS в собственную систему безопасного обнаружения людей. Компания также присоединяется к лаборатории NVIDIA Halos по инспекции систем ИИ, чтобы ускорить разработку безопасных человекоподобных роботов для промышленных условий. Такой переход означает отказ от разрозненных решений в пользу общей основы, согласованной со стандартами.

У NVIDIA большой опыт в функциональной безопасности. Компания накопила более 18 000 инженерных лет работы над безопасностью автомобилей, проверила свыше 21 млрд транзисторов и подготовила более 7 млн строк кода, прошедшего оценку безопасности. Кроме того, NVIDIA разработала более 22 000 системных мониторов безопасности, опубликовала свыше 330 научных работ по безопасности автономных автомобилей и выпустила более 30 сертификатов и отчётов об оценке.

Эти наработки создавались для автономных автомобилей — одной из наиболее требовательных областей инженерной безопасности. В NVIDIA считают, что для робототехники не нужно строить такую основу заново: её можно расширить на новые типы машин.

В автомобильном и робототехническом стеках используются одни и те же процессы разработки безопасности — жизненный цикл программного продукта и процесс разработки аппаратной части, — а также проверенные инструменты и базовые стандарты функциональной безопасности: ISO 26262, IEC 61508 и ISO 13849. Соответствие требованиям в обеих областях подтверждено независимыми оценками TÜV SÜD и TÜV Rheinland.

NVIDIA также участвует в формировании стандартов безопасности робототехники. Компания возглавляет работу IEC 61508 — основного стандарта функциональной безопасности для робототехники, — и ISO/IEC TS 22440, который разрабатывается для функциональной безопасности и ИИ. Кроме того, NVIDIA руководит IEC TC 65 AhG 30 и участвует в работе над ISO 25785-1.

Что такое NVIDIA Halos

NVIDIA Halos для робототехники построена как комплексная система безопасности полного стека. Она объединяет аппаратные и программные компоненты на трёх уровнях, по аналогии с NVIDIA Halos для автономных автомобилей.

Нижний уровень — безопасность аппаратной платформы. В робототехнике её обеспечивают NVIDIA IGX Thor и NVIDIA Holoscan Sensor Bridge, или HSB.

Следующий уровень — NVIDIA Halos OS, программный стек безопасности, работающий на IGX Thor в роботах и автономных мобильных роботах. Это тот же проверенный подход, который используется для безопасности автономных автомобилей на DRIVE AGX, но расширенный для робототехники.

В состав Halos OS входит Halos Core — базовая операционная система безопасности для разработки и развёртывания приложений, — а также набор схем, включая эталонную схему безопасности NVIDIA Halos по принципу «извне внутрь». Эта схема дополняет восприятие робота внешними камерами рабочей зоны и агентами ИИ, которые могут динамически управлять поведением машины.

Многоуровневая архитектура NVIDIA Halos

Источник: developer.nvidia.com

NVIDIA IGX Thor

NVIDIA IGX Thor — промышленный вычислительный модуль для ИИ, в котором производительность восприятия объединена с аппаратными средствами функциональной безопасности. Модуль обеспечивает до 2 070 FP4 TFLOPS производительности ИИ, оснащён 14 процессорными ядрами Neoverse ARM и 128 ГБ памяти с пропускной способностью 273 ГБ/с. Этого достаточно, чтобы одновременно выполнять требовательные задачи робототехники в реальном времени и функции мониторинга безопасности.

IGX отличается от универсальных вычислительных платформ встроенными аппаратными механизмами безопасности. Они управляются пакетом расширения безопасности, или SEP, внутри Halos Core. SEP собирает и распределяет аппаратные ошибки между FSI и Safety MCU, а также включает эталонные прошивки FSI и Safety MCU, уровень распространения ошибок EPL и протокол безопасности Edge Safety Link.

Описание применения IGX и Halos OS в контексте безопасности доступно по соглашению о неразглашении.

HSB подключает датчики и исполнительные механизмы к IGX по Ethernet, продолжая цепочку безопасности вплоть до уровня датчиков.

Аппаратную платформу поддерживает растущая сеть партнёров. В число партнёров NVIDIA по производству IGX входят Advantech, Nexcobot, Inventec и Connect Tech. Среди поставщиков микроконтроллеров безопасности и датчиков — Infineon, NXP Semiconductors и Texas Instruments. Партнёры HSB по микросхемам — Texas Instruments, STMicroelectronics, NXP Semiconductors и Lattice Semiconductor.

Поток данных NVIDIA Holoscan Sensor Bridge от камеры через IP FPGA к обработке на хостовой GPU

Источник: developer.nvidia.com

Halos Core

NVIDIA Halos OS располагается между аппаратной платформой и приложением и предоставляет робототехническим командам сертифицированные строительные блоки. Сейчас к ним относятся Halos Core — операционная система безопасности, — и приложения Halos, куда входят схемы безопасности вроде схемы по принципу «извне внутрь». Инструменты промежуточного программного обеспечения для робототехники и Halos Infra доступны, но пока не предназначены для приложений безопасности.

Halos Core — следующее поколение NVIDIA DriveOS, сертифицированное по автомобильным стандартам безопасности. Этот программный слой работает на IGX Thor. Сейчас доступны две конфигурации: Halos Core Linux и Halos Core Linux с QNX.

Стек NVIDIA Halos OS для робототехники на NVIDIA IGX

Источник: developer.nvidia.com

Halos Core Linux предоставляет полноценную безопасную программную основу: среду выполнения Linux для приложений и вычислительных задач, SEP для сбора и распределения аппаратных ошибок, протокол безопасной связи Edge Safety Link, RTOS для FSI и прошивку RTOS для Safety MCU.

Вариант Halos Core Linux с QNX дополнительно включает гипервизор NV Hypervisor. Он разделяет IGX на изолированные виртуальные машины: Linux VM для ИИ и приложений и QNX VM для критически важных функций безопасности. QNX — операционная система реального времени с большим опытом применения в сертифицированных системах безопасности. Её включение обеспечивает более строгую изоляцию программных компонентов для задач с повышенными требованиями к уровню безопасности.

Конфигурации Halos Core включают только Linux (слева) и Linux плюс QNX с NV Hypervisor (справа)

Источник: developer.nvidia.com

На этом уровне с NVIDIA сотрудничают Blackberry, поставляющая QNX, Acontis с решением EtherCAT/FSOE, и FreeRTOS. AWS, курирующая FreeRTOS, предложит в составе Halos OS пакет сертификации безопасности. В экосистему входят и другие партнёры.

Обе конфигурации уже доступны для раннего доступа. Подробная документация по архитектуре опубликована в кратком описании продукта NVIDIA IGX Safety Product Brief и доступна зарегистрированным разработчикам через портал NVIDIA Developer.

Схема безопасности по принципу «извне внутрь»

На уровне приложений NVIDIA предоставляет разработчикам эталонные схемы для создания агентов функциональной безопасности.

Эталонная схема безопасности NVIDIA Halos по принципу «извне внутрь» расширяет восприятие робота за пределы бортовых датчиков. Схема использует внешние камеры инфраструктуры, восприятие на базе ИИ и логику безопасности, чтобы ускорить разработку решений функциональной безопасности в реальном времени и сохранить производительность операций.

Схема работает на NVIDIA IGX и доступна с открытым исходным кодом. Она позволяет роботам безопаснее работать рядом с людьми и адаптироваться к сложной обстановке. Кроме того, для неё подготовлена документация по стандартам функциональной безопасности ИИ, включая ISO/IEC TR 5469 и разрабатываемый ISO/IEC TS 22440.

В состав эталонной схемы входят настраиваемые компоненты для создания агентов безопасности по принципу «извне внутрь»: на вход поступают данные, например видеопотоки с камер, а на выходе формируются сигналы безопасности для автономных автомобилей или роботов.

Схема Halos Outside-In Safety охватывает промышленный объект, конвейер безопасности ИИ и валидацию цифрового двойника

Источник: developer.nvidia.com

Погрузка прицепов

В качестве примера используется система автоматизированной загрузки прицепов ATL. Это концепция безопасности, проверенная TÜV Rheinland и построенная на базе эталонной схемы безопасности NVIDIA Halos по принципу «извне внутрь». Она решает одну из распространённых проблем складской автоматизации: автономный погрузчик должен загружать прицепы эффективно, не останавливаясь постоянно из-за срабатывания безопасности.

Системы по принципу «изнутри наружу», которые опираются только на датчики самого робота, часто плохо работают внутри прицепов. Ограниченное пространство и ошибки бортовых датчиков приводят к тому, что груз и стенки прицепа распознаются как препятствия. В результате погрузчик движется крайне медленно или полностью останавливается. Отключение бортовой безопасности может вернуть производительность, но делать это требуется контролируемо и безопасно. Здесь используется подход по принципу «извне внутрь».

В примере ATL система SIPP построена на базе эталонной схемы NVIDIA VSS для складских операций. Она принимает несколько видеопотоков, обнаруживает и отслеживает объекты, а затем сопоставляет их с событиями внутри заданной области интереса вокруг зоны загрузки и контрольной линии у входа в прицеп.

Модуль SDM в любой момент определяет, находятся ли люди в зоне загрузки и расположен ли погрузчик внутри прицепа или снаружи.

Вид с двух камер на зону погрузки склада с активным обнаружением объектов; отслеживаются погрузчик и работники в пределах заданной области интереса

Источник: developer.nvidia.com

Если погрузчик находится внутри прицепа, а в зоне загрузки нет работников, SDM временно отключает бортовую систему безопасности погрузчика. Это позволяет машине работать с полной эффективностью. Как только работник входит в зону загрузки, событие пересечения области интереса передаётся через SEI в SDM, после чего система безопасности погрузчика полностью включается.

Если модуль SAIM обнаруживает ухудшение условий для камер — например, выключился свет или обзор закрыли пары, — он отправляет дополнительное событие выхода за пределы распределения данных. SDM реагирует на него соответствующим образом.

По данным NVIDIA, такой подход обеспечивает более высокую пропускную способность и более надёжное покрытие сценариев безопасности, чем использование только бортовых систем.

Лаборатория сертификации

Сертификация безопасности требует участия нескольких организаций. Лаборатория NVIDIA Halos по инспекции систем ИИ — инспекционный орган, аккредитованный ANAB по ISO/IEC 17020. NVIDIA называет его первой в мире аккредитованной программой, которая занимается ИИ и функциональной безопасностью одновременно для автономных автомобилей и робототехники.

Процесс устроен так: партнёр или производитель исходного оборудования обращается в лабораторию, чтобы проверить корректность интеграции требований Halos к безопасности, безопасности ИИ и кибербезопасности в своём продукте. Группа экспертов NVIDIA по безопасности и регулированию оценивает систему на основе заранее проверенных компонентов стека Halos — IGX SoM, Halos Core и приложений Halos — и выдаёт инспекционный сертификат и отчёт.

Затем партнёр передаёт этот сертификат стороннему сертификационному агентству: TÜV Rheinland, TÜV SÜD, SGS, exida, CERTX или UL Solutions. Там проводится финальная сертификация всей системы.

Поскольку компоненты Halos и их интеграция с конечным продуктом уже прошли предварительную оценку, партнёрам не нужно проверять платформу с нуля. Они могут сосредоточиться на сертификации собственной логики приложения, сократив время и затраты на процедуру.

Agility использует лабораторию для проверки программного обеспечения Digit, компонентов ИИ и средств кибербезопасности на соответствие IEC 61508, ISO 13849 и ISO/IEC TR 5469 перед итоговой сертификацией у сторонней организации.

В экосистему участников лаборатории NVIDIA Halos по инспекции систем ИИ входят более 43 компаний, и она продолжает расти. Среди новых участников — Agility, Lyte ИИ, Neurealm, Ouster и Peer Robotics. Ранее к программе присоединились Boston Dynamics, KION Group, Infineon, Texas Instruments, NXP Semiconductors, Lattice Semiconductor, Synapticon, Reynolds & Moore, SecEdge, специализирующаяся на кибербезопасности, и FORT Robotics.

Ранний доступ

Разработчики могут зарегистрироваться для раннего доступа к NVIDIA Halos Core и начать создавать приложения безопасности для робототехники на NVIDIA IGX.

Для разработки агентов безопасности по принципу «извне внутрь» доступен репозиторий NVIDIA/halos-outside-in-safety на GitHub. В нём можно использовать два навыка ИИ-агентов — warehouse-deploy и halos-deploy. Они позволяют собрать и запустить агента для безопасности по одному запросу: навыки автоматически обрабатывают предварительные требования, загрузку компонентов из NGC, настройку, эталонную схему NVIDIA VSS для складских операций и развёртывание Halos SIL. Благодаря этому разработчикам не нужно вручную подготавливать окружение, и они могут сразу адаптировать эталонную схему безопасности NVIDIA Halos по принципу «извне внутрь» под собственный сценарий.