Anthropic, похоже, станет первой компанией, которая выйдет на биржу, предупредив, что может уничтожить человечество

Риски в проспекте

В сотнях страниц документов для IPO Anthropic описала проблемы с инфраструктурой, недостаток электроэнергии, недовольство строительством дата-центров по всей стране и возможные юридические последствия ненадлежащего использования её продуктов. При этом компания вынесла на первый план риски, которые могут представлять для человечества её собственные разработки.

Это необычное признание для компании, стремящейся стать самой дорогой в мире среди разработчиков ИИ и обойти даже SpaceX Илона Маска. Похоже, впервые компания выходит на биржу, предупреждая, что само её существование может стать причиной гибели человечества.

В документах Anthropic говорится, что компании приходится регулярно принимать «субъективные решения» о безопасности моделей. При этом она признаёт, что нет гарантий, что её усилий будет достаточно.

Компания поясняет: чем способнее становятся системы ИИ, тем серьёзнее может быть вред от моделей, которые действуют не в соответствии с заданными целями или используются не по назначению. Исследователи, чиновники и другие заинтересованные стороны предупреждают, что достаточно развитые системы ИИ могут нести обществу катастрофические или экзистенциальные риски, если их не разрабатывать и не внедрять ответственно.

Anthropic утверждает, что её подход, ориентированный на безопасность, призван снизить эти риски. Но компания не может гарантировать успех своих мер или того, что остальные разработчики ИИ примут подобные меры защиты.

Даже передовой разработчик ИИ не может обещать, что его технологии не приведут к катастрофе. Ранее в этом году бывший исследователь Anthropic Джейкоб Коксон уволился в знак протеста и заявил, что ИИ может «убить нас всех к концу десятилетия».

Между безопасностью и ростом

Anthropic призывала всю отрасль замедлить разработку передовых моделей ИИ. Так компания подчёркивает, что хочет быть более ответственной альтернативой конкурентам, включая OpenAI и SpaceX.

При этом заявления о рисках и призывы к замедлению могут быть выгодны компании и по другой причине: Anthropic предлагает инвесторам образ более надёжного и стабильного игрока. Но сама компания признаёт, что её меры безопасности и работа над согласованием ИИ с человеческими целями могут оказаться недостаточными. Поэтому IPO превращается в проверку того, поверят ли инвесторы в её обещания.

Компания Дарио Амодеи оказалась перед выбором: ускорять развитие и повышать риск катастрофы или двигаться слишком медленно и столкнуться с финансовыми проблемами. В проспекте Anthropic предупреждает: если спрос на её модели, платформу и приложения будет расти медленнее ожидаемого или начнёт снижаться, рост бизнеса может замедлиться или остановиться, а финансовое положение и результаты деятельности — ухудшиться.

После выхода на биржу, особенно с оценкой до $2 трлн, Anthropic придётся убеждать частных инвесторов сразу в двух вещах: что она способна не допустить угрозы человечеству со стороны ИИ и что у неё есть реалистичный путь к прибыльности. Пока заявления компании звучат противоречиво, и выполнить обе задачи может быть трудно.