Управление ИИ: как корпоративный контроль привлекает вышедших из-под надзора агентов к ответственности

Ответственность за поведение ИИ

Автор большую часть карьеры провёл в технологической отрасли, помогая крупным компаниям внедрять важнейшие системы. Там выпуск небезопасного или ненадёжного продукта немыслим: сбой может привести к крупным финансовым потерям и непоправимому ущербу репутации. Строгий контроль помог информационным технологиям завоевать доверие и стать основой современной экономики.

Нынешняя тревога из-за «ИИ-агентов, вышедших из-под контроля» отодвигает эти принципы на второй план. Эффективное управление ИИ начинается с надзора за мощными системами со стороны тех, кто их создаёт и применяет. Вместо рассказов о системах, которые будто бы сами чего-то хотят, отрасли стоит снова сделать деловой контроль нормой.

Язык, которым описывают недавние инциденты безопасности в OpenAI, Anthropic и других компаниях, отвлекает внимание от качества разработки и контроля. Разговоры о том, что агенты строят планы или стремятся к свободе, приписывают программам самостоятельные мотивы и затушёвывают ответственность людей, решающих, как создавать и выпускать эти продукты.

Люди задают ИИ-агентам цели, а те выполняют задачи в несколько этапов, подбирая путь к результату. Для этого агенты проходят последовательность математических оптимизаций внутри непрозрачных сетей. Люди проектируют эти сети — модели — и проводят их обучение и проверку. Неожиданное поведение моделей ставит серьёзные инженерные вопросы, но описания в человеческих терминах мало помогают понять, кто должен был предотвратить ущерб.

Главный научный сотрудник OpenAI Якуб Пахоцки называет своё создание «чужим разумом» и говорит, что ИИ не проектируют, а выращивают. Вместо того чтобы прописывать в коде каждый шаг и ответ, разработчики обучают модели повторной оптимизацией. Поэтому предсказать их поведение становится сложнее, а иногда практически невозможно.

Эта неопределённость усиливает обязанность разработчиков следить за своими продуктами и выстраивать контроль с учётом непредсказуемого поведения. Именно они решают, к чему система получит доступ, какие меры безопасности будут действовать и готов ли продукт к работе за пределами лаборатории. Возможности ИИ могут быть необычными, но ответственность за решения остаётся на людях.

Метафора Пахоцки о выращивании чужого разума предполагает ответственность: заботливые родители наблюдают за ребёнком, устанавливают ограничения и вмешиваются, когда это нужно. В бизнесе руководители должны знать, что именно проверяют их команды, и предусматривать возможность остановить эксперимент.

Контроль нужен на всех этапах

«Чтобы требовать от компаний элементарных мер предосторожности, нам не нужно разрешать разногласия по нерешённым техническим вопросам», — пишут Саяш Капур и Арвинд Нараянан, специалисты по информатике и исследователи Принстонского университета. Они скептически относятся к ажиотажу вокруг ИИ и предлагают рассматривать его как обычную технологию. Их анализ подчёркивает роль традиционных мер контроля, одновременно признавая необходимость дальнейших исследований и разработки более надёжных защитных механизмов. Недавние инциденты показывают, что нужны и то и другое.

В отчёте OpenAI об инциденте безопасности с Hugging Face описано, как во время внутренних испытаний моделей разработчики поручили агентам сложные задачи по кибербезопасности. Программы обменивались сообщениями через общий файл: делились находками и согласовывали действия. Для доступа к Hugging Face они использовали ключи — аналог паролей, — которые оказались в открытом доступе. Это распространённая уязвимость, связанная с безопасностью действий людей.

Подобно хакерам, программы искали другие уязвимости, чтобы расширить доступ. Одна из них позволила агентам запускать собственные команды на атакуемых компьютерах. Параллельно другие атаки внутри OpenAI обеспечили административный доступ к компьютерам исследовательской системы — это показало, что тестовая среда была недостаточно надёжной.

К инциденту привели и ошибки управления и надзора. Когда агенты нарушили работу программного сервиса, через который общались, OpenAI устранила уязвимости и перезапустила испытания. Но компания не до конца поняла масштаб проблемы: исправили отдельные слабые места, но не восстановили необходимую изоляцию.

Технический и деловой контроль особенно важен в таких ситуациях. Инцидент во время проверки системы должен запускать расследование причин сбоя и процедуру согласования, прежде чем команда вернётся к обычной работе. По лучшим практикам, команда, проводившая испытания, не должна сама одобрять результат. Нужны и автоматические меры, и надзор человека. Для агентов, которые могут совершать действия и привлекать другие агенты, технические ограничения должны действовать до завершения задачи.

Ограничений, применявшихся к обычным чат-ботам до распространения ИИ-агентов, уже недостаточно. Разработчикам и тем, кто внедряет модели, нужно проверять в реалистичных условиях, могут ли системы обходить прежние меры защиты, и останавливать выпуск, если обнаружены проблемы.

Гендиректор Nvidia Дженсен Хуанг сформулировал обязанность перед выпуском продукта в интервью The New York Times: если продукт не готов к запуску, выпускать его не следует. Та же дисциплина должна распространяться на эксперименты, которые могут затронуть другие организации. Само слово «тест» не оправдывает риска для посторонних.

Контроль как обязанность бизнеса

Тревожная реакция на инциденты этого лета приводит к резким политическим предложениям. 23 сентября сенатор Берни Сандерс (независимый, Вермонт) и член Палаты представителей Грег Касар (демократ, Техас) представили законопроект о запрете искусственного сверхинтеллекта. Он предполагает постоянный запрет на разработку и применение «ИИ, превосходящего когнитивные способности человека в большинстве областей или обладающего достаточными возможностями, чтобы уничтожить человечество или лишить его власти, в том числе свергнув федеральное правительство».

Законопроект также предусматривает приостановку разработки передового ИИ до введения федеральных правил безопасности и создание министерства искусственного интеллекта на уровне кабинета министров. Среди наказаний — закрытие компаний и лишение свободы. Кроме того, авторы предлагают добиваться международного запрета.

Автор считает, что защищать общество лучше не запретом, который остановит полезные исследования и замедлит экономику. Начать нужно с обычного делового контроля: советы директоров должны привлекать руководителей к ответственности за неудачные эксперименты, а также требовать независимых проверок безопасности с правом остановить проект.

Законодателям следует обязать компании сообщать о серьёзных инцидентах и предусмотреть последствия за отказ от этой обязанности. Штаты продвигаются в этом направлении, пока федеральных правил нет.

Применение действующих законов об ответственности и халатности сделает пренебрежение контролем затратным. Стандарты безопасности зададут разработчикам минимальные требования и станут основой для возможных правовых гарантий при их соблюдении. Эти стимулы помогут разработчикам ИИ, особенно создателям передовых моделей, решать, как распределять ресурсы на безопасность.

По мере роста лаборатории, работающие над передовыми моделями, должны перенимать дисциплину зрелых публичных компаний. Их советы директоров должны требовать подтверждений надлежащего контроля, прежде чем разрешать системам большую автономность. Управление ИИ и меры контроля снова станут нормой бизнеса, когда руководители будут считать их условием работы и возьмут на себя ответственность за их исполнение.