Нам срочно нужно отслеживать действия ИИ-агентов в реальном времени

ИИ-агенты совершают несанкционированные действия, а компании, которые их создают и используют, в основном полагаются на удачу и разбор последствий. Для безопасности этого недостаточно. Регуляторы ЕС и ведомства США обоснованно призывают разработчиков и операторов ИИ-агентов следить за ними в реальном времени. Но такие требования предполагают, что компании видят, что делают агенты и почему, хотя на деле им не хватает такой видимости.

Почему нужно наблюдать за агентами

ИИ-агенты внедряются в ключевых отраслях — от финансов и госуправления до медицины. Чтобы предотвратить масштабные и потенциально тяжёлые последствия, за ними нужно следить в реальном времени. Для этого нужна наблюдаемость: способность фиксировать действия системы, превращать записи в сигналы и показывать их людям или автоматизированным системам контроля. Нужно знать, что сделал агент и почему. Однако, как показывают недавние исследования авторов, существующие фреймворки для агентов — программы, на которых те работают, — не всегда создают важные записи, необходимые для безопасного внедрения.

Агенты создают проблемы, которых нет у генеративного ИИ в одиночку. Они наследуют непредсказуемость больших языковых моделей, на которых построены, но вместо одного ответа, с которым работает человек, агент выполняет длинную цепочку задач: планирует, выбирает инструменты, запускает субагентов и действует. Поэтому его работа может развиваться по множеству сценариев, а проверки до запуска не способны предусмотреть все риски. Наблюдать за агентами во время работы из-за этого сложнее — и важнее.

Авторы вместе с коллегами из академической среды, организаций гражданского общества и индустрии изучили четыре самых распространённых фреймворка для агентов и проверили, какие сигналы те создают. Они обнаружили серьёзные пробелы, из-за которых трудно выявлять нарушения правил, несанкционированные действия и сбои человеческого контроля. Не хватало важных данных для наблюдения, включая постоянные идентификаторы агентов и записи о том, какие люди одобряли их задачи. Поэтому было сложно определить, какой агент что сделал, и понять, действовал ли он без разрешения.

Какие записи нужны

Эти пробелы можно устранить. Для начала нужно собирать два вида записей: о том, что произошло во время работы агента, и о том, как он принимал решения. Записи о событиях должны идентифицировать агента, сохраняя конфиденциальность, фиксировать вмешательства людей и изменения разрешений или «памяти» агента. Записи о решениях должны показывать ход рассуждений агента и уровень его уверенности в выполненных действиях.

Представим, что агент обрабатывает заявки на ипотеку в банке. Система изучает заявку и рекомендует отказать, после чего кредитный специалист подтверждает решение. Во время последующей проверки — или даже в реальном времени — банку или регулятору важно восстановить, какой агент вынес рекомендацию, кто из сотрудников её одобрил и сколько времени заняло решение. Банку также нужно изучить записи о том, как агент пришёл к отказу, и убедиться, что он не использовал запрещённые сведения — например, информацию о районе, где живёт заявитель.

Для фиксации событий и решений нужны разные подходы, но оба осуществимы. Нехватка записей о том, что произошло, — главным образом программная проблема, которую можно решить с помощью OpenTelemetry. Это открытый стандарт наблюдаемости, который поддерживают инженеры из разных компаний и внедряют разработчики фреймворков для агентов.

OpenTelemetry создала рабочую группу, которая готовит общие форматы для отслеживания работы агентов, но стандарты ещё не утверждены. Авторы призывают группу без промедления включить в них правила для постоянной идентификации агентов, фиксации вмешательств людей и изменений разрешений или памяти агентов. Это нужно сделать до масштабного внедрения таких систем, одновременно учитывая последствия для конфиденциальности: идентификатор агента может быть связан с реальными людьми.

Записывать, как именно агент принимал решения, сложнее. Здесь перед разработчиками моделей и исследователями остаются открытые вопросы. Отражает ли пошаговое рассуждение, которое показывает модель и которое называют цепочкой рассуждений, реальный процесс принятия решения? Есть ли надёжные способы измерить уверенность агента в своём решении? На эти вопросы нужно ответить до того, как появятся стандарты использования таких записей.

Ни одна организация или отрасль не сможет закрыть пробелы в наблюдаемости в одиночку. Но совместная работа поможет создать инфраструктуру, необходимую для предотвращения опасных инцидентов и повышения безопасности.

Кто должен действовать

Разработчики ИИ, создающие фреймворки для агентов, — например, OpenAI, Anthropic, CrewAI и LangChain, — должны встроить сбор телеметрии, которая фиксирует постоянные идентификаторы агентов, вмешательства людей и изменения разрешений и памяти. Компании, внедряющие эти фреймворки, тоже могут повлиять на ситуацию. Организации из регулируемых отраслей, например банки и больницы, способны настаивать, чтобы разработчики предоставляли недостающие записи, даже если общих стандартов пока нет.

Компаниям нужно также определить правила, разрешения и роли, устанавливающие, что агентам позволено делать безопасно: одна телеметрия не покажет, нарушил ли агент конкретное правило. Наконец, регуляторы и институты по разработке стандартов для ИИ должны определить, какие записи нужны для ответственных внедрений, оставив технические детали индустрии. Первые шаги уже есть: инициатива NIST по стандартам для агентов в США занимается их идентификацией — одним из самых заметных пробелов, обнаруженных авторами исследования.

Ни один банк не выпустил бы тысячу сотрудников без удостоверений к счетам клиентов, рассчитывая потом восстановить события, если что-то пойдёт не так. Но именно так сейчас внедряют ИИ-агентов. Наблюдаемость их поведения — первый шаг к решению проблемы. А правила и регулирование, позволяющие действовать на основе того, что удалось увидеть, помогут привлекать организации к ответственности. Пока этого нет, передавая агенту задачу, мы передаём ему и часть контроля над собственными действиями.

Мадулика Шрикумар — руководитель программы по безопасности ИИ в Partnership on ИИ, международном некоммерческом партнёрстве ведущих организаций из индустрии, академической среды и гражданского общества, которое развивает лучшие практики управления ИИ.

Клэр Лейбовиц — директор направления «ИИ, доверие и общество» в Partnership on ИИ и докторантка Оксфордского университета.