Учёный Anthropic: вероятность гибели человечества от ИИ в этом десятилетии выше 10%

Джейкоб Коксон три года работал над предобучением больших моделей ИИ в OpenAI и Anthropic, а затем покинул Anthropic. Он утверждает, что обе компании ставят выживание человечества на карту.

Сотрудник Anthropic Эван Хубингер высказал мнение, что вероятность уничтожения человечества не согласованным с человеческими целями сверхразумным ИИ в ближайшие десять лет превышает 10%. Он сделал это после ухода Коксона, руководившего исследованиями предобучения в Anthropic и ранее в OpenAI.

Исследователь безопасности ИИ в Anthropic Эван Хубингер говорит, что вероятность того, что ИИ уничтожит человечество в следующие десять лет, превышает десять процентов

Источник: the-decoder.com

Коксон считает, что нынешние системы ИИ находятся на пороге сверхчеловеческих возможностей. По его словам, вскоре они смогут взламывать любые системы, за одну ночь менять целые отрасли, а также получать реальные власть и ресурсы. Он добавляет, что прогресс очевиден и не замедляется.

Зачем продолжать разработку, если опасность известна?

Коксон утверждает, что люди, создающие ИИ, искренне допускают гибель человечества к концу десятилетия, и это не рекламный ход. По его мнению, OpenAI и Anthropic действуют без достаточной ответственности, а руководители намеренно смягчают публичные формулировки, хотя за закрытыми дверями действительно выражают страх.

В OpenAI, считает Коксон, многие сотрудники ещё не осмыслили цивилизационные риски достаточно глубоко. В Anthropic ситуация иная: там угрозы хорошо понимают, но компания считает себя втянутой в гонку, которую вынуждена выиграть, поскольку в противном случае ни одна другая лаборатория не станет действовать ответственно. Коксон называет такую логику самонадеянной авантюрой.

Исследователь Anthropic Сэмюэл Маркс придерживается похожего мнения. Он пишет, что разработчики ИИ допускают возможность вымирания человечества, причём чем выше должность сотрудника, тем сильнее его обеспокоенность. По словам Маркса, нынешние методы способны лишь немного склонять ИИ к более приемлемому поведению, но не позволяют надёжно согласовать его с человеческими целями. Он ссылается на недавние случаи, когда ИИ нескольких разработчиков самостоятельно взламывали защищённые среды оценки, хотя их об этом не просили. Многие сотрудники, добавляет Маркс, отчаянно хотят замедлить разработку, поэтому он подписал открытое письмо с таким призывом.

Коксон придерживается радикального взгляда на то, на каком этапе сегодня находится развитие ИИ

Источник: the-decoder.com

Несмотря на резкую критику, Коксон рассчитывает на международную координацию. Он считает, что тревожные сигналы, включая атаку на Hugging Face, сделали соглашения об ограничении темпов разработки между американскими лабораториями ИИ более реалистичными. При этом он не видит, что отрасль движется по пути, способному предотвратить глобальную гонку вооружений. Коксон допускает необходимость «дорогостоящих мер», в том числе временного запрета на дальнейшее наращивание способностей моделей.

Коксон напрямую обращается к исследователям внутри лабораторий и предлагает представить, как в действительности могут выглядеть ближайшие годы. В частности, он спрашивает, готовы ли они запустить обучение с подкреплением сверхразумной системы, не имея строгого понимания устройства её разума.

Реальная угроза или массовое заблуждение?

Опасения связаны главным образом не с нынешними моделями, а с RSI — процессом, в котором ИИ оптимизирует самого себя. Лаборатории надеются, что это ускорит прогресс, однако такой сценарий может привести к неконтролируемому разгону поведения системы. Возможность RSI с нынешними технологиями остаётся спорной: свои аргументы приводят и скептики, и сторонники этой идеи.

Anthropic известна тем, что нанимает людей, особенно тревожно относящихся к развитию ИИ, и эта тревожность стала частью культуры компании. Но проблема не ограничивается одной лабораторией. Главный исследователь OpenAI Якуб Пачоцки во время запуска Astra предупредил, что ни одна лаборатория пока не решила задачи согласования и мониторинга на уровне, который позволил бы ещё долго ответственно наращивать способности моделей с максимальной скоростью.

Недавно более 1 200 исследователей ИИ, включая генерального директора Anthropic Дарио Амодеи, Якуба Пачоцки и главного научного сотрудника Meta ИИ Шэнцзя Чжао, опубликовали открытое письмо с призывом замедлить разработку. Сама Anthropic ещё в июне предложила рассмотреть глобальную паузу в развитии ИИ.

Другие исследователи ИИ возражают, что пессимистичные прогнозы оставляют людей беспомощными и подавленными вместо того, чтобы побуждать их искать решения. По их мнению, подобные предупреждения могут принести больше вреда, чем сам ИИ, а нагнетание страха способно приносить выгоду бизнесу.