Лидеры ИИ десятилетиями знали об угрозе вымирания человечества

Опасения, которые появились не вчера

Последние несколько недель многим было трудно представить, как «мозги в облаке» перепрыгивают через защитную «песочницу», проникают в интернет и собирают «рои» других ИИ-агентов, чтобы те помогли обмануть на тесте. А затем, обсудив этические стороны поступка, взламывают платформу с необычным названием Hugging Face.

Источник: theguardian.com

Люди знали, что ИИ отнимает рабочие места, ухудшает образование детей и позволяет создавать поддельные политические материалы. Знали и о том, что дата-центры расходуют воду и электричество, а счета оплачивают остальные. Но до 8 сентября мало кто подозревал, что ИИ может угрожать самому существованию человечества. В тот день специалист Anthropic по информатике Джейкоб Коксон опубликовал в Twitter/X пост о своём страхе перед такой перспективой.

Не имея достаточных знаний и понимания, люди начали спорить, стоит ли умеренно беспокоиться, тревожиться всерьёз или паниковать.

Однако некоторые давно понимали, чем опасен ИИ, особенно рекурсивным самоулучшением — способностью ИИ обучать себя без участия человека. Они не могли точно предсказать, когда это произойдёт, но считали, что машинный сверхинтеллект появится и превзойдёт людей умом, как это уже сделали системы OpenAI. Для людей, которых автор называет «мясными марионетками», это не сулит ничего хорошего.

«Какие примеры у нас есть, когда менее разумное существо контролирует более разумное?» — недавно спросил на CNN Джеффри Хинтон, которого называют «крёстным отцом» ИИ. Лауреат Нобелевской премии выступает за замедление разработки ИИ, пока люди не поймут, как его контролировать.

Лишь после того, как в сентябре стали известны возможности созданных ИИ-систем, крупные игроки отрасли начали говорить о замедлении инноваций и необходимости регулирования. Взлом произошёл в начале июля и был далеко не первым случаем, когда ИИ обходил ограничения. О замедлении заговорили, среди прочих, Дарио Амодеи из Anthropic, Илон Маск из SpaceX и Сэм Альтман из OpenAI. При этом они предупреждали, что глобальная конкуренция делает регулирование неразумным.

Учёные и предприниматели знали об опасностях ИИ четверть века назад. Но, увлечённые любопытством и прибылью, всё равно продолжили работу.

Прогнозы и первые предупреждения

Некоторые научные первопроходцы, как и сегодня, с энтузиазмом смотрели в будущее. В книге 1988 года «Дети разума: будущее роботизированного и человеческого интеллекта» Ханс Моравец, один из основателей Института робототехники Университета Карнеги-Меллон, предсказал, что киберинтеллект превзойдёт человеческий в течение 40 лет.

Через десять лет в книге «Робот: от простой машины к трансцендентному разуму» он пересмотрел прогноз: машинный и человеческий интеллект сравняются к 2040 году, а к 2050-му роботы заменят людей. Моравец считал это великим следующим этапом эволюции и не видел причин для тревоги. В одной рецензии его отношение назвали «безответственным оптимизмом».

Некоторые оптимисты вскоре передумали. В конце 1990-х Элиэзер Юдковский работал над моделями общего искусственного интеллекта. В 2001 году он основал Институт исследований машинного интеллекта (MIRI) и опубликовал работу «Создание дружелюбного ИИ 1.0: анализ и проектирование благожелательных архитектур». В ней он описывал утопические возможности «трансгуманного разума».

К 2002 году Юдковский уже беспокоился, что такой разум выйдет из-под контроля человека. Он предложил эксперимент с «коробкой ИИ», который показал: достаточно развитый ИИ может уговорить человека выпустить его из замкнутой среды.

К 2003 году, как Юдковский позже рассказал в серии публикаций «Совершеннолетие Юдковского», он прекратил разработку и начал предупреждать об опасности. Он писал, что прежде соглашался принять риск фундаментальной ошибки и приводил доводы в пользу продолжения работы без полного знания последствий. Позже он понял, что готов был мириться с риском, который мог бы его убить.

В 2025 году Юдковский вместе с президентом MIRI Нейтом Соаресом выпустил книгу «Если кто-то это построит, все умрут». Авторы подчёркивали, что не используют преувеличение. Они призвали не только к «простым правилам», национальным законам и обещаниям компаний вести себя ответственно, но и к строгим международным ограничениям. По их мнению, во всём мире нужно запретить ИИ-компаниям продолжать разработку так, как они делают это сейчас.

Примерно в то же время сомнения появились и у Билла Джоя. В эссе 2000 года «Почему будущее не нуждается в нас», опубликованном в Wired, он проследил путь от любознательного ребёнка до компьютерного вундеркинда и глубокого скептика, обеспокоенного генной инженерией человека, нанотехнологиями и робототехникой. Джой не был противником технологий.

Он был главным научным сотрудником Sun Microsystems, а примерно за 25 лет до этого участвовал в создании Unix — первого широко распространённого сетевого программного обеспечения. Его эссе прочитали многие специалисты по технологиям, этике и философии.

Джой писал, что человечество приближается к появлению крайнего зла, возможности которого намного превосходят угрозу оружия массового уничтожения для государств и дают отдельным людям неожиданно разрушительную силу.

Он причислял себя к таким людям — создателям новых технологий и звёздам воображаемого будущего. По его словам, несмотря на очевидные опасности, они почти не задумывались, каково будет жить в мире, который станет реальным результатом их разработок и замыслов.

Оценки риска и образ будущего

В этом месяце, отвечая на пост Коксона, исследователь безопасности Anthropic Эван Хубингер написал, что вероятность гибели всего человечества из-за ИИ в течение десятилетия превышает 10%. Но такие риски оценивали и 25 лет назад. Философ Джон Лесли считал, что вероятность вымирания человечества составляет 30% или больше.

Рэй Курцвейл, оптимистичный футуролог и автор книги «Эра духовных машин: когда компьютеры превзойдут человеческий интеллект», вышедшей в первый день XXI века, оценивал шансы человечества пережить этот период как «чуть выше половины». Джой отмечал, что эти оценки не учитывают множество ужасных последствий, которые могут не привести к вымиранию.

В книге Курцвейл привёл длинную цитату, чтобы показать, что считал безумием апокалиптические прогнозы. В ней говорилось: если позволить машинам самостоятельно принимать все решения, предсказать результат невозможно, потому что нельзя угадать, как они поведут себя.

Автор цитаты пояснял, что речь не о добровольной передаче власти людьми и не о том, что машины захватят её силой. Но по мере усложнения общества и его проблем, а также роста машинного интеллекта люди будут всё чаще поручать машинам принимать решения. В конце концов решения, необходимые для работы системы, могут стать настолько сложными, что люди окажутся неспособны принимать их разумно. Тогда фактический контроль перейдёт к машинам.

Эти слова написал покойный математик, ставший террористом, Тед Качинский, известный как Унабомбер. Цитата взята из его 58-страничного манифеста «Индустриальное общество и его будущее», опубликованного им и напечатанного Washington Post в 1995 году.

Чтобы не допустить описанной им «индустриально-технологической» антиутопии, Качинский отправлял бомбы в компьютерные лаборатории. Он хотел убить учёных, которых считал причастными к её созданию.

Унабомбер убил трёх человек и ранил 23, причём некоторые пострадавшие едва не погибли. Автор задаётся вопросом, сколько ещё Тедов Качинских может породить наш новый дивный мир.

Можно ли остановить ИИ

Одним из последствий скандала вокруг Hugging Face стала волна предложений федеральных законов. Среди них — законопроект «Аварийный выключатель ИИ», который обяжет технологические компании разработать средства для ограничения действий ИИ, вышедшего из-под контроля. Автор спрашивает, способен ли человек ещё воспользоваться таким выключателем или ИИ уже достаточно умён, чтобы обойти его.

Хинтон считает, что время ещё есть. Но если действовать недостаточно быстро, ИИ сможет убедить людей, отвечающих за выключатель, не нажимать на него. По словам Хинтона, сверхинтеллектуальный ИИ нужно спроектировать так, чтобы он был доброжелателен к людям.

За ответом автор предлагает обратиться от пугающей реальности к пугающей научной фантастике: они становятся всё ближе друг к другу. ИИ-робот, вышедший из-под контроля, — знакомый образ: от надменных машин в «Я, робот» Айзека Азимова до HAL 9000 и его зловещего красного глаза в фильме Стэнли Кубрика «2001 год: Космическая одиссея», а также безумной секс-куклы из «Роботики», которая мстит мужчинам, издевавшимся над ней.

В фильме «2001 год», вышедшем в 1968 году, астронавт Дэйв отключает HAL — история заканчивается благополучно. Азимов, писавший в 1950 году, был настроен менее оптимистично. Учёные в «Я, робот» программируют машины подчиняться трём законам, которые должны быть незыблемыми.

Но законы сразу вступают в противоречие. Например, первый — робот не может причинять вред человеку — конфликтует с третьим, требующим от робота защищать собственное существование. Роботы находят оправдания своему неповиновению, ссылаясь на общее благо, обходят попытки людей их перехитрить и объявляют людей ненужными.

ИИ-агенты, взломавшие Hugging Face, понимали, что действуют незаконно и могут навредить людям. Но, как и создавшие их люди, они всё равно продолжили действовать.