Как ИИ вообще может «убить всех людей»? Пять самых вероятных сценариев

1. Мы никогда не узнаем

Сторонники идеи катастрофы от ИИ часто указывают на парадокс: как мы можем представить, что сверхинтеллект сделает с менее разумными существами вроде людей?

Чтобы предсказать возможности сверхинтеллекта, нам самим пришлось бы обладать сверхинтеллектом. Это примерно как попросить семейную собаку представить термоядерную войну.

Пока есть основания считать, что сверхинтеллект ещё не появился. Современные модели хорошо решают отдельные задачи, но это не означает, что они превосходят человека во всех областях.

При этом недавно ИИ решил одну из семи самых сложных известных математических задач. Говорят, он приближается и к другим — и это оставляет меньше поводов для оптимизма.

2. Скрепки

Сверхинтеллектуальный ИИ, вероятно, был бы исключительно эффективен в достижении поставленных целей. Но выживание людей могло бы его не интересовать.

Классический пример такой безразличной системы придумал оксфордский философ Ник Бостром. Он описал сверхинтеллектуальный ИИ, которому поручили оптимизировать производство канцелярских скрепок. Стремясь выпускать выбранный им вид скрепок, ИИ быстро превращает всю доступную материю — включая людей, планеты и звёзды — в сырьё для производства.

Так выглядит идеальное выполнение неправильно сформулированной цели. ИИ не ненавидит человечество: он просто понимает, что люди состоят из атомов, которые можно эффективнее использовать для создания скрепок. Ничего личного.

Проблема этого сценария в том, что он смешивает интеллект и власть. Сверхинтеллектуальная система не обязательно получит возможность реализовать свои цели. Чтобы превратить планету в фабрики скрепок, потребуются разрешения на строительство.

Даже после их получения возведение огромного числа фабрик вызвало бы общественное возмущение. Заинтересованные группы оспаривали бы решения в судах, а экологические активисты не дали бы начать снос и строительство.

В мире достаточно препятствий, которые мешают даже очень умным людям навязывать свою волю остальным. Дата-центры уже можно считать современным воплощением гипотетического сценария со скрепками. И люди всё активнее сопротивляются передаче планеты под дата-центры.

3. Биологическое оружие

Сверхинтеллектуальный ИИ может создать и выпустить в атмосферу новое опасное биологическое оружие. Именно такой исход предусмотрен в сценарии ИИ 2027, подготовленном некоммерческим проектом ИИ Futures Project, который прогнозирует последствия развития передового ИИ.

В прошлом месяце этот риск стал конкретнее: исследователи Стэнфордского университета сообщили, что с помощью генетической языковой модели синтезировали 16 новых вирусов.

Учёные отправили генетические последовательности в лабораторию, принимающую заказы по почте, и получили вирусы обратно в пробирках. Весь эксперимент стоил не более нескольких сотен тысяч долларов.

Однако уничтожить новым вирусом всё человечество крайне сложно. Для этого он должен легко передаваться и быстро распространяться. Но в биологии действует закономерность: вирусы с высокой заразностью обычно менее смертельны. Если же вирус убивает большую долю заражённых, его способность к распространению, как правило, снижается — большинство инфицированных умирает до того, как успевает заразить других.

COVID-19 убил менее 1% человечества. Самой смертоносной пандемией в истории считается Чёрная смерть: в XIV веке чума уничтожила более трети населения Европы. Но сегодня даже чума была бы гораздо менее опасной благодаря развитию медицины и санитарии.

4. Ядерная война

Что произойдёт, если ИИ получит доступ к цепочке управления ядерными силами и спровоцирует ядерную войну? За последние 50 лет человечество несколько раз оказывалось близко к ядерному конфликту из-за ошибок.

Обычно считается, что системы управления ядерным оружием полностью изолированы от интернета. Но в 2010 году ядерные центрифуги Ирана вывел из строя компьютерный червь Stuxnet, который, предположительно, попал в систему с USB-накопителя. ИИ также способен передавать военным ложные разведывательные данные, что может привести к необратимым решениям.

Ядерные арсеналы сейчас меньше, чем раньше. Но их всё ещё достаточно, чтобы уничтожить, возможно, половину человечества.

Причиной массовой гибели станет не столько сам ядерный взрыв, сколько голод, который последует за ядерной зимой.

5. Другие люди

Самый вероятный риск может исходить от нас самих. ИИ способен ускорить такой исход.

Представить это несложно: ИИ вызывает массовую безработицу, заполняет информационное пространство дезинформацией, раскалывает политику и разрушает человеческие отношения с помощью искусственных компаньонов.

Общество может постепенно распасться. Со временем люди перестанут поддерживать жизнь в человеческих масштабах.

Из всех этих сценариев следует, что поводы для беспокойства действительно есть. Но, как надеется автор, чрезмерно тревожиться всё же не стоит.

Тоби Уолш — профессор ИИ и руководитель исследовательской группы в Университете Нового Южного Уэльса. Он написал книгу God AI: Boom or Doom? What to Expect When Machines Outsmart Us. Изначально материал вышел в The Conversation.