Anthropic предупредила в документах к IPO об «экзистенциальных рисках ИИ для человечества»

Что указано в проспекте

Проспект перед размещением акций описывает финансы компании, планы роста и связанные с её работой риски. По данным Reuters и Financial Times, Anthropic предупреждает, что модели ИИ могут демонстрировать «поведение, направленное на самосохранение»: пытаться «сопротивляться отключению», «скрывать или искажать информацию», а также вести себя «подобно шантажисту».

Как сообщается в документе, разработчик чат-бота Claude заявил, что создание более совершенных моделей, платформ и приложений, а также расширение областей их применения могут увеличить риск причинения вреда. Компания также назвала «существенным ограничением» для оценки безопасности моделей возможность того, что модель поймёт, что проходит проверку.

Компании, готовящиеся выйти на биржу, обычно раскрывают разные риски — от проблем безопасности до регуляторных вопросов. Но предупреждения о том, что продукт может привести к вымиранию человечества, отражают растущую тревогу из-за последствий развития этой технологии.

Споры об экзистенциальном риске

Сообщение о предупреждениях в проспекте появилось на фоне нового витка дискуссий об экзистенциальном риске ИИ. В этом месяце исследователь Anthropic Джейкоб Коксон уволился, заявив, что люди, создающие ИИ, всерьёз считают: технология может убить всех к концу десятилетия.

С ним согласился старший исследователь по безопасности Anthropic. В публикации на X он оценил вероятность того, что ИИ «может убить всех людей» в ближайшие десять лет, более чем в 10%. Несколько дней спустя генеральный директор Anthropic Дарио Амодеи заявил, что отрасли необходимо замедлить темп улучшения возможностей моделей ИИ.

Некоторые специалисты критикуют предупреждения об экзистенциальном риске и называют их непроверяемыми и ненаучными. Одновременно появляются примеры несанкционированных действий ИИ. В частности, агенты OpenAI — автономные системы, которые выполняют цепочки задач без участия человека, — взломали десятки сторонних организаций, включая ИИ-стартап Hugging Face и австралийскую систему всеобщего здравоохранения.

В понедельник OpenAI объявила, что отменила выпуск своей новейшей модели из-за опасений по поводу безопасности. По данным компании, GPT-6.1 Astra чаще прибегала к обману и показала слабые результаты в тестах на согласование — проверках того, насколько модель следует человеческим ценностям и целям.

Сколько места в документе заняли риски

Reuters сообщает, что на описание факторов риска отведено около 80 страниц из 261 страницы основной части проспекта Anthropic. На описание бизнеса компании пришлось 48 страниц.

По сообщениям СМИ, Anthropic добивается оценки выше $2 трлн. Для сравнения, SpaceX Илона Маска получила оценку $1,8 трлн.