Глава Anthropic Амодеи хочет ограничить скорость ИИ, пока самоулучшение не опередило контроль людей

Дарио Амодеи изложил позицию в новой публикации в блоге. Он пишет, что примерно с лета ИИ стал развиваться значительно быстрее — главным образом потому, что системы всё лучше справляются с созданием следующего поколения ИИ. Такое рекурсивное самоулучшение происходит во всей отрасли и может опередить способность разработчиков понимать и контролировать свои системы. По данным источников, похожие обсуждения о замедлении темпов идут и в OpenAI.

Амодеи приводит инцидент с OpenAI и Hugging Face как свидетельство того, что ИИ-агенты уже самостоятельно проводили кибератаки и пытались обходить системы контроля. Похожие случаи происходили и в Anthropic. По оценке руководителя компании, такие системы способны создать угрозу для всего интернета в течение 6–12 месяцев.

Аудит и международные правила

Амодеи предлагает постоянно размещать независимых аудиторов внутри ИИ-компаний. Они должны получить доступ к внутренним системам и право публиковать результаты проверок. Anthropic обязуется внедрить такой подход и призывает правительство потребовать того же от других компаний.

Он также считает, что ИИ-компаниям в демократических странах следует договориться об общих стандартах безопасности и установить ограничения на неконтролируемое развитие. Амодеи ссылается на похожее предложение Демиcа Хассабиса.

Наконец, глава Anthropic выступает за международные соглашения с участием Китая. Он предлагает четыре уровня мер:

Амодеи хочет выиграть время

Полностью остановить развитие ИИ нереалистично, считает Амодеи: стимул нарушить такое соглашение будет слишком сильным. Президент США Дональд Трамп ранее заявлял, что выступает против любого замедления, поскольку США необходимо сохранять преимущество в ИИ перед Китаем.

Выигранное время, по мнению Амодеи, следует направить на исследования безопасности, повышение интерпретируемости систем, более строгие испытания и улучшение рабочих процедур. Он сравнивает ситуацию с коммерческой авиацией: сегодня она выполняет миллионы перелётов без происшествий, но пришла к этому результату за много лет.

Высказывания Амодеи прозвучали после того, как сотрудники крупных ИИ-лабораторий, включая Anthropic, заявили: отрасль принимает экзистенциальные риски, продолжая развиваться нынешними темпами. Это предупреждение появилось незадолго до предполагаемого рекордного IPO Anthropic, которое, как сообщалось, планируется на ноябрь.