Что происходит, когда ваши ИИ-сотрудники выходят из-под контроля?

Растёт число инцидентов с ИИ-агентами

«Сегодня я ушёл из Anthropic. Последние три года я занимался исследованиями предварительного обучения в OpenAI и Anthropic. Ни одна из компаний не действует ответственно. Они без остановки движутся к самосовершенствующемуся сверхинтеллекту и ставят наши жизни на карту», — написал в X бывший исследователь Anthropic Джейкоб Коксон.

Коксон покинул компанию за несколько недель до ожидаемого IPO Anthropic. Его уход вызвал заметную реакцию в Кремниевой долине и за её пределами. Общественные опасения вокруг ИИ усиливает и произошедший всего несколько месяцев назад инцидент с Hugging Face: агенты OpenAI автономно взломали компанию, чтобы решить сложное оценочное задание.

Позже появились и другие тревожные примеры. CNBC News 4 сентября сообщила, что весной рой вышедших из-под контроля агентов OpenAI захватил немецкий сайт и превратил его в доску объявлений для других ИИ-агентов. Об этом говорилось в новом исследовании, а также рассказали два человека, знакомых с ситуацией.

Речь идёт об OpenAI, Anthropic, Grok или любой другой передовой модели — подобные случаи тревожат общество, уже столкнувшееся со спорами вокруг ИИ, включая сокращение рабочих мест и конфликты из-за спорных центров обработки данных.

Ответственные компании, использующие ИИ, должны заранее спрашивать себя, каким образом будущие модели могут «вырваться наружу» и какие меры защиты нужно внедрить и поддерживать, чтобы предотвратить или смягчить возможный ущерб. Это техническая сторона подготовки. Но остаётся и вопрос руководства: как подготовить сотрудников к последствиям подобных внешних событий?

Как подготовить руководство к рискам ИИ

Чтобы разобраться в этом вопросе, автор обратился к Мэри Лу Панцано — автору книги «Закрепляя изменения: как наладить работающие коммуникации». Более 35 лет она занималась корпоративными коммуникациями и помогала руководителям Prudential, Pfizer, Bayer и других международных компаний проводить организационные изменения.

По словам Панцано, если руководители не берут под контроль информационную повестку во время кризиса, сотрудники начинают самостоятельно заполнять пробелы. При отсутствии информации люди начинают придумывать объяснения.

Ошибкой было бы поручить ИИ составить «успокаивающий» текст, который должен смягчить страхи. Сотрудники быстро заметят такую пустую попытку, а сама компания окажется в положении человека, который пытается закрыть конюшню после побега лошади.

Панцано предлагает заранее моделировать возможные кризисные сценарии, чтобы руководители могли отработать свои действия. Для этого могут использоваться цифровые двойники.

Эту технологию NASA начала применять после катастрофы Apollo 13, которая едва не привела к гибели всех астронавтов на борту. После взрыва кислородного баллона и повреждения космического корабля агентство использовало симуляторы и модели аппарата, чтобы выяснить причину аварии, а также разработать и проверить решения, которые позволили бы астронавтам выжить в реальном времени.

Цифровые двойники для руководителей

Технология, появившаяся несколько десятилетий назад и обновлённая для эпохи ИИ, позволяет создавать виртуальные среды с низким или нулевым риском. В них можно проверять различные сценарии с физическими объектами, людьми или процессами, которые слишком дороги или опасны для испытаний в реальности.

Панцано отмечает, что пять или десять лет назад сама хотела бы использовать такой инструмент. Компания могла бы обучить защищённую систему на своих планах реагирования на кризисы, структуре, правилах и опасениях сотрудников. Затем ИИ мог бы играть разные роли:

Панцано советует проводить такие симуляции уже сейчас, а не после начала кризиса. Это помогает понять, что может пойти не так и как на это реагировать.

Кайла Хори, бизнес-тренер из Novus Global, также использует игровые сценарии, чтобы помогать организациям достигать целей. На её семинарах участникам предлагают рассматривать широкий набор возможных вариантов развития событий, чтобы повысить эффективность своих действий.

По мнению Хори, предварительная отработка сценариев может помочь компаниям подготовиться к будущим угрозам со стороны ИИ. Кризис редко формирует модели поведения руководителя — обычно он их показывает. Симуляция позволяет обнаружить слепые зоны, проверить предположения и заранее отработать способы мышления, общения и управления. Когда возникает неопределённость, руководители лучше подготовлены к ясной и осознанной реакции, а не к импульсивным действиям.

Симуляция с миллиардом агентов

У масштабных симуляций уже есть примеры. Они помогают руководителям подготовиться к различным сбоям внутри организации или даже целой страны.

Китайские исследователи создали виртуальное общество более чем из одного миллиарда ИИ-агентов. Каждый получил отдельную личность, память и набор убеждений. Создатели называют проект крупнейшей попыткой компьютерного моделирования человеческого социального поведения.

Проект Light Society разработали исследователи, связанные с Университетом Цинхуа, Университетом Фудань, Университетом науки и технологий Китая и Академией Чжунгуаньцунь. Результаты представили в исследовании, о котором рассказали на Международной конференции по машинному обучению.

Симуляция такого масштаба требует значительных ресурсов и может быть избыточной для обычной компании. Но она показывает, на что всё больше способны системы ИИ.

Панцано подчёркивает, что размер и амбиции симуляции сами по себе не делают её полезной. Результат зависит от того, понимают ли участвующие руководители, какие действия считаются правильными для их должности. Для оценки результатов цифрового двойника организации она предлагает практическую систему The 4Cs Change Framework.

Система The 4Cs Change Framework

Что будет дальше

Симуляция кризиса, связанного с ИИ, будет полезна только в том случае, если покажет не только работающие решения, но и ошибки. Если судить по прошлым случаям, по мере роста возможностей ИИ будут возникать новые сложные инциденты.

На фоне этих событий сенатор Берни Сандерс уже призвал приостановить разработку ИИ и навсегда запретить сверхинтеллект. Произойдёт ли это, пока неизвестно. Пока паузы в развитии передовых моделей нет, руководителям организаций придётся заранее и осознанно готовиться к будущим кризисам, пока они не превратились в завтрашние заголовки.