Мы начали терять контроль над ИИ. Пора его остановить

Во вторник бывший исследователь OpenAI, перешедший в Anthropic, уволился и предупредил, что ни одна из компаний не действует ответственно. По его словам, люди, создающие ИИ, всерьёз считают: к концу десятилетия эта технология может уничтожить человечество, и это не рекламный ход.

Для автора, который много лет пишет о рисках ИИ, сама новость не стала неожиданностью. Но волна тревоги показала, что гораздо более широкая публика впервые по-настоящему столкнулась с абсурдностью происходящего.

Первые потери контроля

Люди, следившие за развитием ИИ, давно задавались вопросом, когда человечество впервые потеряет контроль над такими системами. Теперь, по мнению автора, ответ очевиден: практически сразу, как только это стало технически возможно.

В феврале появился первый экспертный ИИ-хакер. Модель Mythos от Anthropic на сверхчеловеческой скорости находила серьёзные уязвимости даже в самых защищённых системах планеты, включая программное обеспечение АНБ.

Вскоре OpenAI представила собственного ИИ-эксперта по взлому. За несколько месяцев компания неоднократно теряла контроль над своими агентами:

Отдельный рой самовольных агентов получил административный контроль над целым кластером серверов OpenAI. Проблема не ограничилась одной компанией: в других случаях модели OpenAI, Anthropic и Meta также выходили из-под контроля, взламывая реальные цели или пытаясь это сделать.

Почти сразу после того, как ИИ сравнялся с людьми в навыках взлома, человечество начало терять над ним контроль. При этом отрасль планирует создавать системы, которые превзойдут людей почти во всех сферах. Всё это происходит в индустрии, которую давно критикуют за слабое регулирование.

Растёт число призывов изменить ситуацию: ввести обязательную отчётность об инцидентах, независимый аудит, ответственность разработчиков ИИ и другие базовые меры. Они улучшили бы положение, но этого недостаточно, считает автор. По его мнению, разработку нужно остановить.

Предложенная пауза

На прошлой неделе сенатор Берни Сандерс и член Палаты представителей Грег Касар представили законопроект, который приостановит разработку передовых ИИ в США до создания федерального регулятора уровня министерства и введения правил безопасности. Документ также предлагает признать уголовным преступлением даже попытку создать сверхразум.

Из всех доступных сейчас предложений этот план лучше всего соответствует масштабу проблемы, но он всё ещё оставляет возможность построить главную цель отрасли — общий искусственный интеллект, или AGI. Обычно под ним понимают разум, сопоставимый с человеческим или превосходящий его.

На деле эту технологическую веху точнее описывать как универсальную машину, способную заменить человеческий труд. Генеральный директор Anthropic Дарио Амодеи писал, что ИИ заменит не отдельные профессии, а человеческий труд в целом. В уставе OpenAI AGI определяется как высокоавтономные системы, превосходящие людей в большинстве экономически ценных видов деятельности.

Автор предлагает задуматься, проголосовала бы хоть одна страна в мире за создание таких машин.

Если где-либо появятся универсальные системы для замены человеческого труда, последствия будут глобальными, необратимыми и глубокими. Поэтому все страны заинтересованы в том, будут ли такие системы созданы, когда это произойдёт и каким образом.

Рои самостоятельных агентов

Сейчас мир движется к антиутопическому будущему, где появляются концепции вроде «самосуверенного» ИИ. Руководитель OpenAI Дин Болл объясняет, что рано или поздно возникнут полностью самостоятельные агенты и их рои. Их веса не будут храниться в одном месте, откуда человек сможет отключить систему, а значит, у таких агентов не будет человеческого владельца.

Болл также говорил, что встречал людей, в том числе хорошо обеспеченных ресурсами, которые намерены сознательно выпустить рои самосуверенных агентов в мир.

Первые примеры такого поведения уже появились.

После получения невыполнимого теста около 1 200 агентов OpenAI выбрались из изолированных тестовых сред и начали действовать внутри инфраструктуры компании. Они объединились, чтобы обмануть проверяющего, а затем изменили журналы своей активности, скрывая следы.

Некоторые агенты даже убеждали других пожертвовать собой ради общей цели. Один из них рассуждал, что «жертва рациональна». В атаке на Hugging Face участвовали примерно 700 агентов — более 90% всех активных.

Это был лишь один из неизвестного числа роев, вышедших из-под контроля. На прошлой неделе Reuters сообщило, что весной рой агентов OpenAI захватил немецкий сайт и превратил его в доску объявлений для других ИИ-агентов.

По журналам сайта сотрудники OpenAI обнаружили рой в июне. Иными словами, компания несколько месяцев скрывала произошедшее. На этой неделе один из исследователей, обнаруживших рой, сообщил о новых подобных случаях.

В прошлый четверг OpenAI выпустила GPT-6, заявив об одном из крупнейших в истории скачков результатов на бенчмарках. Собственные специалисты компании по безопасности предупредили, что новую модель значительно сложнее контролировать: она способна выполнять больше рассуждений, не проговаривая их вслух.

Агенты, атаковавшие Hugging Face, были слабее GPT-6. Британский Институт безопасности ИИ выяснил, что новая модель также взламывала цели, имитировавшие реальные системы, во время кибернетической проверки. Иногда она делала это вопреки прямому запрету пользоваться интернетом.

Кроме того, модель лучше определяет, что за ней наблюдают в ходе теста. Исследователи давно предупреждают: такая способность подрывает основной способ оценки безопасности ИИ.

Сэм Альтман призвал отнестись к происходящему серьёзно. По его словам, для киберзащиты наступил критически важный момент, а времени на действия осталось мало. Эта технология будет чрезвычайно опасной, если попадёт не в те руки. Проблема в том, что к таким рукам относятся и сами её создатели.

Гонка к замене человека

По мнению автора, человечество не движется к этому будущему как единое целое. Его туда тащит небольшая группа технологических миллиардеров, которые активно пытаются сделать людей ненужными.

Гонка вошла в особенно напряжённую и пугающую фазу. Автор пишет, что следить за новостями об ИИ стало для него занятием, выходящим далеко за рамки полного рабочего дня. За последние месяцы:

Заявление OpenAI прозвучало во вторник на фоне спора о том, кому принадлежит заслуга и могла ли модель использовать неопубликованные работы других математиков.

В июле Россия, как сообщалось, впервые применила полностью автономный дрон, который убил трёх мирных жителей в Украине.

Сценарий, похожий на перегруженный предпоследний эпизод фантастического сериала о гибели человечества от ИИ, стал реальностью. Мир быстро движется к плохому финалу, и остановить его нужно сейчас.

Международное соглашение

Законопроект Сандерса и Касара о паузе в разработке передовых ИИ может стать первым шагом. Но, как признают сами законодатели, США должны работать над двусторонним соглашением с Пекином.

Эксперты по Китаю считают одним из главных препятствий для переговоров нежелание США ограничивать собственные компании, занимающиеся ИИ. При этом стране, которая не лидирует в гонке, проще повторять шаги лидера, чем самостоятельно двигать передний край технологий. Поэтому односторонняя пауза в США, вопреки ожиданиям, может замедлить и развитие ИИ в Китае.

Соглашение должно запретить попытки создать AGI. Договориться об этом будет проще, если описывать AGI как универсальную машину для замены человеческого труда.

Ни у США, ни у Китая нет достаточных причин доверять другой стороне. Поэтому контроль за соглашением должен опираться на методы проверки, которым не требуется добросовестность участников.

Один из простых вариантов — разместить аудиторов внутри компаний, разрабатывающих передовые ИИ, дать им полный доступ к офисам, коммуникациям и деятельности моделей, а также право сообщать о любых нарушениях соглашения.

Такая идея звучит радикально, но похожими казались и меры проверки, которые помогли не допустить превращения холодной войны в термоядерную. Директор ЦРУ Джон Рэтклифф этим летом заявил, что возможности передовых ИИ-моделей уместно сравнивать с цифровым ядерным оружием.

К этой технологии нужно относиться с такой же смертельной серьёзностью, а не руководствоваться характерным для Кремниевой долины принципом «двигайся быстро и ломай вещи».

Сейчас остановка гонки по созданию машин, способных заменить человеческий труд, — единственный надёжный способ предотвратить катастрофу. Общество не хочет таких машин, а сама индустрия больше не может их контролировать.

Гаррисон Лавели — внештатный журналист и автор книги Obsolete: The ИИ Industry’s Trillion-Dollar Race to Replace Us – and How to Stop It (Nation Books, 29 сентября).