Как NVIDIA Factory Operations Blueprint координирует ИИ-агентов при расследовании проблем на производстве

Простой крупный завод в отраслях, рассмотренных в отчёте Siemens, теряет из-за незапланированных простоев в среднем $253 млн в год. Чтобы разобраться в неисправной плате или выполнить срочный заказ, сотрудникам приходится собирать сведения из разных систем, обращаться к специалистам и согласовывать дальнейшие действия. Данные могут быть доступны, но их сведение в решение требует времени и усилий.

FOX предлагает подключить к существующим системам фабрики управляющего ИИ-агента и настроить набор специализированных агентов. Они могут следить за производством в реальном времени, выявлять узкие места и причины ошибок и дефектов, а также координировать работу роботов. Разработчики связывают систему с данными и оборудованием предприятия и задают, какие решения агент может принимать самостоятельно, а какие должен проверять оператор.

FOX для планирования и контроля качества

Два возможных применения таких агентов — планирование производства и проверка изделий. На заводе Siemens Electronics Factory в Эрлангене выпускают более тысячи продуктов в год. Частые перенастройки линий под новые изделия и заказы делают оба процесса актуальными.

При срочном заказе агенты, созданные на основе FOX и работающие на NVIDIA Nemotron, могут запускать симуляции через Siemens Intelligence Center X. Они учитывают затраты, уже принятые заказы, запасы и конфигурации линий, избавляя планировщика от необходимости вручную запрашивать данные в каждой системе. По оценке, такая система от начала до конца может обеспечить экономию затрат до 20%.

Для новых изделий Siemens объединяет программное обеспечение для управления жизненным циклом продукта и Process Preparation X с NVIDIA Cosmos и NVIDIA Omniverse. Это позволяет создавать виртуальный прототип и синтетические данные для обучения, чтобы производители электроники могли подготовить и настроить процессы автоматической оптической инспекции (AOI) до начала физического производства. Такая виртуальная подготовка может сократить срок выхода продукта на рынок до 40%.

В видео о супер-ИИ-агенте показан пример планирования производства Siemens с NVIDIA GTC 2026 Berlin.

Отдельный пример FOX посвящён линии поверхностного монтажа (SMT) для производства печатных плат (PCB). В нём управляющий агент связывает производственные данные и координирует проверку предполагаемого дефекта, отправку платы на ремонт и поиск вероятной причины.

Из чего состоит управляющий агент

FOX описывает, как с помощью NVIDIA Agent Toolkit создать длительно работающего Factory Manager Agent. В его основе три компонента:

Разработчики подключают базы данных оборудования, системы управления производством (MES) и системы планирования ресурсов предприятия (ERP) с помощью адаптеров и сопоставления данных. Руководства и рабочие инструкции помогают агенту интерпретировать сведения, а база Elasticsearch хранит данные для поиска и контекст расследований.

Управляющий агент делегирует отдельные задачи специализированным агентам на основе больших языковых моделей. У каждого есть собственные инструкции, контекст, навыки и инструменты. Например, агенты могут использовать NVIDIA Cosmos для визуального осмотра и Kumo для выявления аномалий во временных рядах. Их результаты помогают управляющему агенту выбрать следующий шаг. Разработчики могут адаптировать роли под процессы своего предприятия.

FOX связывает рассуждения агентов со знаниями о производстве, специализированными возможностями и интерфейсами оборудования

Источник: developer.nvidia.com

Схема FOX показывает, как в архитектуре связаны данные фабрики, NemoClaw, модели ИИ и панели управления, а также как организованы управление контекстом и взаимодействие с операторами.

Локальное развёртывание

FOX может работать на NVIDIA DGX Station: среда агента, необходимые модели ИИ и хранилища данных размещаются на месте. Чтобы развернуть систему полностью локально, все модели и конечные точки служб должны находиться внутри сети фабрики. Тогда производственные записи, изображения, промты и результаты расследований остаются на предприятии. Если разработчики используют внешнюю модель, им нужно оценить, какие данные отправляются ей.

Пример с линией SMT не связан с внедрением Siemens для планирования производства. В нём сигнал AOI проходит через повторную проверку, ремонт и анализ первопричины. Ту же архитектуру можно применять в других процессах, заменив источники данных, специализированных агентов и подключения к оборудованию.

Как устроена линия SMT

Печатные платы входят в состав множества электронных устройств. Их сборка с помощью SMT в основном автоматизирована, но некоторые операции всё ещё выполняются вручную. Если дефект обнаружен на одной станции, его причина может находиться на нескольких этапах раньше.

Типичная линия SMT может включать такие станции:

Сигнал AOI может оказаться ложным, но подтверждённый дефект или неудачный функциональный тест могут потребовать ремонта. При подозрении на дефект пайки Factory Manager Agent организует повторную проверку, при необходимости — перемещение платы, а затем расследует причину.

Рабочий процесс производства печатных плат: от нанесения паяльной пасты до проверки, тестирования и упаковки

Источник: developer.nvidia.com

Иллюстрация показывает линию сборки печатных плат с несколькими станками и роботами.

От сигнала AOI до проверки изображения

Разработчики подключают станцию AOI через сервер Model Context Protocol (MCP) или API, который передаёт записи инспекции инструментам управляющего агента. Для отмеченной платы агент получает её идентификатор, сведения о затронутом компоненте и изображение, после чего запрашивает дополнительную оценку.

Идентификатор связывает плату с данными других станций. Адаптеры сохраняют идентификаторы, временные метки, единицы измерения и ссылки на источники. Благодаря этому агенты могут получить историю производства платы и условия работы оборудования на пройденных ею этапах.

Visual Inspection Agent получает изображение платы, примеры для сравнения и утверждённые критерии для её конструкции. Он обращается к NVIDIA Cosmos — модели понимания визуальной информации — и сравнивает подозрительный компонент с фабричным руководством. При обучении в контексте модель использует примеры и инструкции во время инференса, без отдельного этапа файн-тюнинга.

Специализированный агент возвращает результаты, подтверждающие материалы и сведения о неопределённости. Если отклонение допустимо, он приводит основания для продолжения производства в соответствии с правилами фабрики. Подтверждённый дефект передаётся на обработку и расследование, а неопределённый результат — оператору.

Перемещение платы на ремонт

Если дефект подтверждён, управляющий агент просит Fleet Management Agent доставить плату на участок ремонта. В эталонном процессе это перемещение показано в цифровом двойнике с помощью NVIDIA Isaac Sim и ROS 2. Для работы с физическим оборудованием нужны интеграции, настроенные под конкретную фабрику, — для управления роботами и автономными мобильными роботами (AMR).

Специализированный агент проверяет свои разрешения и возможности, а после выполнения задачи подтверждает результат. На начальных этапах оператор должен одобрять перемещение. Сотрудники ремонтируют и повторно тестируют плату до её упаковки.

Поиск первопричины

Root Cause Analysis Agent использует идентификатор платы и историю её обработки, чтобы получить результаты проверок, записи об установке компонентов, итоги электрических тестов и измерения оборудования. Расследование может начаться после неудачного функционального теста, даже если визуальная проверка не обнаружила дефектов.

При подозрении на проблему с пайкой время поступления платы в печь оплавления и выхода из неё помогает определить, какие показания оборудования нужно проверить. Kumo Anomaly анализирует эти данные и ищет необычные закономерности. Агент сопоставляет результаты с другими производственными запусками, данными инспекций и руководствами к оборудованию, чтобы выяснить, могли ли условия в печи повлиять на дефект.

Elasticsearch даёт доступ к производственным данным, версиям руководств и предыдущим расследованиям. Старые результаты помогают определить направление поиска, но для вывода агент заново получает актуальные процедуры и записи. Итогом становится отчёт в формате PDF с исходными записями, подозрительными измерениями, вероятной причиной и рекомендуемым корректирующим действием. Его проверяет руководитель линии.

В отчёте RCA собраны доказательства расследования и рекомендуемые корректирующие действия для рассмотрения

Источник: developer.nvidia.com

Пример отчёта содержит раздел «ROOT CAUSE» и сведения об инциденте на производстве.

В линии SMT FOX координирует агентов визуальной проверки, анализа первопричины и управления парком оборудования, связывая их с существующими базами данных, системами фабрики и машинами. Вместе они помогают оператору установить вероятную причину дефекта, организовать ремонт и решить, как предотвратить новые сбои. Навыки ИИ-агентов также помогают подключать данные, настраивать систему и развёртывать её на NVIDIA DGX Station; разработчики могут менять навыки, инструменты и специализированные роли для новых процессов.

Для создания фабричного управляющего агента NVIDIA предлагает запросить ранний доступ к FOX Blueprint, изучить NVIDIA Agent Toolkit и создавать специализированных агентов с VSS.

FOX описывает архитектуру и пример процесса, а не готовую универсальную систему для любой фабрики: подключение физических роботов требует интеграции с оборудованием конкретного предприятия. Локальное развёртывание сохраняет производственные данные внутри сети, но при использовании внешней модели разработчикам придётся отдельно оценить передачу ей данных.