Крестные отцы ИИ предупреждают о возможном «взрыве интеллекта», который выйдет из-под контроля

Что авторы называют «взрывом интеллекта»

Хинтона и Бенжио считают «крёстными отцами» современного ИИ за их вклад в эту область. В докладе они призывают политиков действовать до того, как развитие технологии выйдет из-под контроля.

Документ называется «Что, если автоматизация исследований и разработок в области ИИ запустит взрыв интеллекта». Авторы описывают такой взрыв как резкое ускорение прогресса в ИИ, вызванное самим ИИ: достижения, на которые иначе ушли бы годы, могут появиться за месяцы или даже быстрее.

Авторы обеспокоены тем, что ИИ сможет улучшать себя без участия человека. Этот процесс называют рекурсивным самоулучшением; в докладе его в целом обозначают как автоматизацию исследований и разработок в области ИИ. Когда системы достигнут экспертного уровня в таких исследованиях, один разработчик сможет управлять трудом, сопоставимым с работой «миллионов» ведущих исследователей-людей.

Почему автоматизация может ускорить прогресс

Авторы считают автоматизацию исследований и разработок в области ИИ наиболее вероятным источником взрыва интеллекта. ИИ уже помогает улучшать собственные технологии, а усовершенствованные системы можно быстро развернуть после создания.

В докладе говорится, что взрыв интеллекта может стать самым значительным технологическим событием в истории человечества: прогресс на годы может уместиться в несколько месяцев или меньше. Это способно поставить под угрозу контроль людей над системами ИИ и серьёзно ослабить механизмы сдерживания власти внутри государств и компаний, а также между ними и ветвями власти.

Авторы призывают правительства не откладывать подготовку: когда взрыв интеллекта начнётся, окно для действий может закрыться.

Они выделяют три приоритета в государственной политике:

Anthropic и OpenAI согласились на независимую оценку своих моделей после предупреждений о том, что развитие ИИ достигло критического уровня с точки зрения безопасности.

Anthropic утверждает, что ИИ уже пишет 80% кода компании. OpenAI использует автономных ИИ-агентов, в частности, при обучении новых моделей.

Авторы доклада считают, что предварительные данные указывают на возможность взрыва интеллекта, вызванного развитием программного обеспечения. Такой сценарий может привести к чрезвычайно быстрому появлению мощных систем ИИ — в том числе превосходящих человека.

Возможные выгоды и риски

Такое развитие может принести медицинские открытия и технологические прорывы, но авторы выделяют три группы рисков:

При этом доклад признаёт, что последствия неопределённы. Например, внедрение технологического прорыва может занять время: потребуется наладить поставки особых материалов или соблюсти требования регулирования. Авторы также отмечают, что ИИ может ускорить смягчение рисков.

Если подобный прорыв всё же произойдёт, системы ИИ могут быстро превзойти человеческих экспертов в большинстве областей и радикально ускорить технологический прогресс. Авторы считают, что подготовка к такому развитию событий должна стать срочной задачей, в том числе на высшем уровне государственного руководства.

Правительствам предлагают рассмотреть меры, которые учитывают возможность взрыва интеллекта:

Когда автоматизация может стать переломной

Даже с учётом сбоев нынешних систем — например, когда они не следуют инструкциям, — к 2028 году ИИ может полностью автоматизировать исследовательские и разработческие проекты, на которые у людей уходят месяцы.

Авторы говорят, что прирост производительности от автоматизации исследований и разработок в области ИИ пока не достиг уровня, необходимого для запуска взрыва интеллекта. Однако показатели новых систем, вероятно, приближаются к этому порогу.