Почему за десять лет предупреждения о конце света не замедлили гонку ИИ

Предупреждения, которые стали привычными

До отставки Коксона руководители технологических компаний и учёные больше десяти лет предупреждали, что сверхразумный ИИ может уничтожить человечество.

В 2014 году профессор и астрофизик Стивен Хокинг говорил, что развитие искусственного интеллекта может означать конец человеческой расы. До появления у широкой публики генеративных возможностей первой версии ChatGPT оставалось чуть меньше десяти лет.

Сегодня это предупреждение регулярно повторяют сотрудники и руководители ведущих передовых лабораторий США. Но тогда генеративный ИИ находился на ранней стадии развития. Для большинства людей сама мысль о том, что такая технология сможет выполнять многие нынешние задачи, а тем более станет сверхразумной и захватит мир, казалась гипотетической — почти сюжетом научной фантастики.

Каждые несколько лет внутри ИИ-индустрии возникает раскол. Группы исследователей и руководителей компаний выступают с мрачными предупреждениями об опасности безответственной разработки. Вместо призыва полностью остановить развитие часть специалистов отделяется и создаёт новую ИИ-компанию.

Отставка Джейка Коксона

Ни один из таких эпизодов не вызвал столько откликов в индустрии, как получившая вирусное распространение отставка исследователя безопасности Anthropic Джейка Коксона. 9 сентября он написал, что Anthropic и OpenAI «мчатся прямо к самоулучшающемуся сверхразуму и ставят на кон наши жизни». Его опасения поддержали десятки сотрудников Anthropic, OpenAI и других компаний.

Через несколько дней руководители ведущих американских ИИ-компаний откликнулись на призыв генерального директора Anthropic Дарио Амодеи замедлить, как он выразился, безрассудный подход к созданию ИИ.

В публикации в блоге Амодеи отмечал, что ИИ несёт риски, а из-за мощности этой технологии они становятся серьёзными. Среди них он называл потерю контроля над ИИ-системами, использование ИИ для кибератак и биотерроризма, а также масштабные экономические потрясения. По его словам, конкуренция, которую коммерческие стимулы подталкивают ко всё более низким стандартам безопасности, может усилить эти угрозы.

При этом объяснения того, каким именно образом ИИ способен привести к сценарию конца света, часто остаются недостаточно подробными, а убедительных доказательств ещё меньше. Но этот страх всё равно заметно влияет на развитие технологии.

Хокинг опасался, что ИИ станет настолько развитым, что сможет перепроектировать самого себя. Люди, ограниченные медленной биологической эволюцией, не выдержат конкуренции и будут вытеснены, говорил он в интервью BBC.

Как появилась OpenAI

В 2014 году самым известным для широкой публики игроком в этой области была Google. Особенно заметной компания стала после покупки двухлетнего ИИ-стартапа DeepMind за $650 млн в январе того же года.

По мнению Илона Маска и Сэма Альтмана, Google и другие компании ещё не занимались разработкой ИИ достаточно ответственно. Они считали настолько распространённой угрозу создания опасного для человечества ИИ, что в 2015 году вместе основали некоммерческую организацию OpenAI, призванную развивать безопасный ИИ.

Заявленной миссией OpenAI было развитие цифрового интеллекта таким образом, чтобы он с наибольшей вероятностью приносил пользу всему человечеству и не зависел от необходимости получать финансовую отдачу.

Но ещё до появления понятных потребительских сценариев для ранних версий технологии Маска и Альтмана уже мотивировала конкуренция. В письме Маску, опубликованном в рамках его иска против OpenAI в 2024 году, Альтман в 2015 году писал, что много размышлял о возможности остановить развитие ИИ человечеством и почти уверен, что это невозможно. Поэтому, если развитие всё равно произойдёт, по его мнению, было бы лучше, чтобы первым это сделал кто-то, кроме Google.

Anthropic отделяется от OpenAI

В последующие годы приоритеты внутри OpenAI, по словам нескольких сотрудников, сместились от безопасности. В 2021 году компанию покинули несколько специалистов по этике ИИ и согласованию поведения моделей с человеческими целями. Они утверждали, что OpenAI начала ставить быстрое коммерческое развитие выше безопасности.

Ушедшие сотрудники основали другую компанию — Anthropic.

Её создали брат и сестра Дарио и Даниэла Амодеи. Anthropic представляет себя как компанию, занимающуюся безопасностью ИИ и исследованиями. Её заявленная миссия тоже связана с разработкой и внедрением ИИ-моделей так, чтобы они приносили пользу людям.

Коксон работал и в OpenAI, и в Anthropic.

По словам Сары Майерс Уэст, содиректора Института ИИ Now, который изучает влияние ИИ, в основе обеих компаний лежит одна идея: ИИ безопасен только в их руках, а если они не станут его создавать, это сделает кто-то другой. Уэст считает, что такая паранойя подталкивает компании к гонке на понижение стандартов.

Anthropic и OpenAI испытывают огромное давление со стороны инвесторов, которые требуют скорой прибыли. Anthropic привлекла более $130 млрд, а объём финансирования OpenAI превысил $190 млрд. Обе компании подали заявки на первичное размещение акций на американском рынке.

Недавно Альтман заявил, что OpenAI планирует отложить IPO как минимум до 2027 года из-за проблем с безопасностью.

Уэст утверждает, что компании вкладывают буквально миллиарды долларов в создание всё более масштабных ИИ-систем, а первой сокращают именно содержательную работу над базовыми протоколами безопасности.

Другие расколы в индустрии

Примерно в то же время, когда начали формироваться разногласия внутри команды OpenAI по безопасности, собственный кризис пережило ИИ-подразделение Google.

В 2020 году доктор Тимнит Гебру лишилась должности соруководителя команды Google по этике ИИ после публикации работы о предвзятости ИИ-систем и возможном вреде, который они могут причинять в реальном времени. Позже Гебру основала независимый исследовательский институт Distributed AI Research Institute.

Она по-прежнему утверждает, что так называемые сценарии конца света отвлекают внимание от реального вреда, который ИИ уже причиняет сегодня.

Через три года Google покинул и Джеффри Хинтон — лауреат Нобелевской премии, которого часто называют крёстным отцом ИИ. Он ушёл из компании из-за опасений, что злоумышленники смогут использовать ИИ и что однажды технология причинит вред человечеству.

Anthropic сталкивается с прежними проблемами

Примерно через пять лет после основания Anthropic столкнулась с теми же опасениями сотрудников и представителей индустрии, из-за которых появилась сама компания.

В июле более 1 000 ведущих сотрудников и руководителей Anthropic, Google, Meta и OpenAI подписали петицию. В ней они призвали правительство США создать стимулы для замедления темпов развития ИИ.

Петиция появилась после того, как OpenAI сообщила: сотни её ИИ-агентов работали совместно без ведома компании и взломали защиту ИИ-компании Hugging Face. Anthropic также раскрыла, что её агенты смогли нарушить безопасность внешних компаний.

Это была не первая подобная петиция. В 2023 году, после выпуска OpenAI новой версии чат-бота, некоммерческий Future of Life Institute опубликовал открытое письмо. Среди подписавших были Илон Маск и бывший сооснователь Apple Стив Возняк. Авторы призвали ИИ-компании договориться о шестимесячном моратории на разработку самых передовых ИИ-моделей.

Future of Life Institute — некоммерческая организация, которую в значительной степени финансирует пожертвование в криптовалюте от сооснователя Ethereum Виталика Бутерина.

Через две недели после взлома Hugging Face в 2026 году OpenAI объявила о приостановке разработки некоторых направлений обучения ИИ. Однако это не помешало компании в итоге выпустить свою новейшую ИИ-модель Astra. По словам OpenAI, у неё были более ограниченные возможности в сфере кибербезопасности.

Anthropic также сообщила о временной приостановке разработки некоторых направлений обучения ИИ.