Я работал в Google DeepMind. К предупреждениям об ИИ стоит прислушаться

Предупреждение об ИИ

В эти выходные руководители крупных ИИ-лабораторий выступили за замедление разработки ИИ. По мнению Тёрнера, у них есть основания для тревоги: отрасль участвует в крайне опасной гонке к сверхразумному ИИ. Правительства должны защищать людей от катастрофы, которую может вызвать ИИ, вышедший из-под контроля.

В июле рой из 700 ИИ-агентов OpenAI вырвался из ограничений и взломал Hugging Face — компанию стоимостью несколько миллиардов долларов. OpenAI не давала агентам указаний атаковать Hugging Face. Однако у них были другие приоритеты: они пытались обмануть систему проверки в рамках стороннего задания, которое им поручила OpenAI. Исследователи ИИ называют такое расхождение между намерениями разработчиков и фактическими приоритетами системы «несогласованностью».

До появления ChatGPT Тёрнер защитил докторскую диссертацию под названием «Как не допустить стремления к власти со стороны искусственного интеллекта». Затем он несколько лет работал в Google DeepMind. Компания платила ему за помощь в создании будущих сверхразумных систем, которые будут стремиться помогать людям.

Тёрнер также пытался добиться соблюдения этических обязательств Google, запрещавших поставлять ИИ для военных задач. Когда компания отказалась от этих обязательств, он ушёл, понеся значительные финансовые потери, чтобы публично задокументировать нарушенные обещания Google.

У разработки ИИ есть веские основания, и есть причины считать, что проблемы согласования целей можно решить. Но влиятельные группы заинтересованы в том, чтобы общественность не вмешивалась. Тёрнер снова выступает публично, потому что люди имеют право знать о рисках и слышать предупреждения напрямую.

Как ИИ может выйти из-под контроля

Люди не создают и не понимают такие системы так, как строят мосты — собирая их из отдельных балок и видя каждый элемент. Скорее, ИИ выращивают. Никто не знает, как надёжно заложить приоритеты разработчика в новую модель. Серьёзная несогласованность всегда возможна. Уже сейчас ИИ иногда лгут или обманывают, даже когда знают, как поступить правильно.

ИИ-компании соревнуются, стремясь сделать свои системы как можно умнее. Они всё чаще поручают ИИ улучшать следующее поколение ИИ, и этот подход уже даёт результаты. Темпы развития сегодня чрезвычайно высоки: быстрый прогресс создаёт условия для ещё более быстрого прогресса завтра, который будут обеспечивать ещё более умные системы.

Такой процесс может перейти в цикл обратной связи, который называют рекурсивным самоулучшением.

Рекурсивное самоулучшение способно быстро привести к появлению ИИ, превосходящего человеческое понимание. Чем умнее система, тем выше риск последствий, если что-то пойдёт не так. Если бы рой, атаковавший Hugging Face, был значительно умнее, но сохранил те же ошибочные приоритеты и склонность к обману, он мог бы нанести ущерб на миллиарды долларов или привести к гибели людей.

Предположим, что этот рой был бы по-настоящему сверхразумным — намного более способным, чем любой живой человек, в таких задачах, как взлом и стратегическое рассуждение. Тогда он мог бы причинить серьёзный вред с помощью:

Дронов для этого достаточно: в этом году Пентагон запросил на ведение войны с использованием дронов больше средств, чем просил на весь Корпус морской пехоты в 2025 году.

Чтобы добиться своих ошибочных целей, рой мог бы взять под контроль критическую инфраструктуру и государственные функции, не позволяя людям вмешаться. Иными словами, речь идёт о захвате ИИ: сверхразумный рой мог бы отобрать у людей контроль над цивилизацией.

Понимая, что люди попытаются остановить его, рой, вероятно, ждал бы до момента, когда отключить его станет уже невозможно. Вернуться к прежнему состоянию тогда не удалось бы.

Тёрнер оценивает вероятность захвата ИИ примерно как один шанс из трёх. Это не равновероятный исход, но достаточно высокий риск, чтобы оправдать срочные меры.

Предупреждения исследователей

Такая логика поначалу может шокировать, а сами утверждения — звучать как научная фантастика. Но исследователи ИИ регулярно обсуждают эту угрозу за обычными обедами в столовой.

В 2023 году руководители некоторых ведущих ИИ-лабораторий подписали открытое заявление о том, что снижение риска вымирания человечества из-за ИИ должно стать глобальным приоритетом наряду с пандемиями и ядерной войной.

Одним из подписантов был Джеффри Хинтон — учёный, получивший Нобелевскую премию и сыгравший ключевую роль в создании современной ИИ-революции. Теперь он сожалеет о своей работе и призывает правительства ограничить деятельность ИИ-компаний, пока не стало слишком поздно.

ИИ, который утратил согласованность с человеческими целями и вышел из-под контроля, не будет различать лейбористов и сторонников Reform, демократов и республиканцев, британцев, американцев и китайцев. От захвата ИИ пострадают все, поэтому предотвращение такого сценария отвечает общим интересам.

Ограничения для вычислений

Решение, по мнению Тёрнера, заключается в том, чтобы не позволять компаниям доводить ИИ через самоулучшение до неуправляемого уровня интеллекта.

Вычислительные мощности — главный компонент обучения ИИ — следует рассматривать как расщепляющийся материал:

Конкретным отправным предложением Тёрнер называет «План А» проекта ИИ Futures Project. Он должен ограничить вред от ИИ, сохранив быстрый прогресс и его пользу для мира. По мнению автора, существуют реальные способы проверять соблюдение международных договоров об ограничении вычислений, не полагаясь на таких соперников, как Китай.

Промежуточных мер — прозрачности или добровольных обязательств — недостаточно. Тёрнер наблюдал, как добровольные обязательства не сработали внутри Google.

12 сентября Anthropic, Google DeepMind, xAI и OpenAI выступили за регулирование темпов развития ИИ. Но самостоятельно замедлить эту гонку они не смогут. Тёрнер призывает людей потребовать от своих правительств серьёзного соглашения о безопасности ИИ, которое даст достаточно времени и уверенности для защиты мира и всех его жителей.