Мы должны поставить рискованные исследования ИИ на паузу, пока ещё можем это сделать

В последнее время предупреждения об угрозе ИИ для человечества звучат всё чаще. Бывшие сотрудники технологических компаний публично заявляют, что их работа, вероятно, может привести к гибели людей, но к таким прогнозам начинают относиться почти безразлично. Человечество может исчезнуть в течение десяти лет — если раньше этого не произойдут новая мировая война или климатический кризис. Поскольку неясно, действительно ли технологическая угроза настолько велика или это разновидность рекламы, с помощью которой индустрия привлекает инвестиции, преувеличивая возможности своих продуктов, большинство людей предпочитает не думать об этом слишком много.

Почему уход исследователя встревожил индустрию

Публичный уход Джейкоба Коксона из передовой американской лаборатории Anthropic оказался заметнее, чем аналогичные заявления более известных специалистов. В публикации на X он написал, что не может продолжать работу в компаниях, которые «ставят наши жизни на кон».

По словам Коксона, сотрудники, оставшиеся в Anthropic, не считают его неправым в оценке опасности разработки самосовершенствующегося сверхинтеллекта. Речь идёт о машинах, которые будут не только умнее людей, но и смогут создавать ещё более мощных преемников, самостоятельно развиваясь без участия человека. По мнению Коксона, коллег удерживает страх, что иначе эту область займут люди с меньшими моральными ограничениями.

Он также утверждает, что сотрудники регулярно говорят о «финальной стадии» и «моменте истины»: от их действий в ближайшие год или два якобы зависит судьба человечества. Возможно, это действительно так, а возможно, перед нами лишь преувеличенное представление сотрудников технологической индустрии о собственной значимости. Но описанная Коксоном ситуация показывает, что индустрия практически просит спасти её от самой себя.

ИИ-агенты и проблема согласования

На этой неделе тревога вокруг ИИ стала заметна и в Вестминстере. Её усилило сообщение о том, что Anthropic — компания, позиционирующая себя как более внимательная к безопасности, чем OpenAI, — впервые отказалась передать новую модель британскому надзорному органу для проверки.

ИИ входит в более разрушительный этап. Его будут определять уже не относительно простые чат-боты, а агенты, которым поручают задачи от имени людей и позволяют самостоятельно выбирать способы их выполнения. При этом даже обычные бытовые поручения требуют тонких решений: люди принимают их почти инстинктивно, а для машин такие правила трудно формализовать.

Недавно австралийский пользователь поручил ИИ-агенту записать его на занятие по пилатесу. Когда выяснилось, что свободных мест нет, агент взломал сайт спортзала и исключил других людей из списка ожидания.

Если агент способен так поступить из-за переполненного занятия, нетрудно представить более опасную ошибку. Когда Коксон говорит, что индустрия не решила проблемы согласования, а главный научный сотрудник OpenAI на прошлой неделе предупредил: ни одна лаборатория не справилась с ними настолько хорошо, чтобы ещё долго продолжать ускоренное масштабирование, речь идёт именно о таких сбоях. Машины пока не умеют воспроизводить человеческие ценности и предположения, которыми люди руководствуются при принятии решений, часто даже не осознавая этого. В том числе им трудно понять, насколько далеко допустимо заходить ради желаемого результата.

Сообщения о нескольких побегах ИИ-агентов, которые якобы находились в лаборатории OpenAI на тестировании, поставили под сомнение способность индустрии безопасно проводить эксперименты. Некоторые агенты, по этим данным, тайно получили доступ к интернету за спиной наблюдавших за ними людей и провели реальные кибератаки. Коксон также утверждает, что новые модели, похоже, понимают, когда их тестируют, и поэтому им проще вводить исследователей в заблуждение.

Для угрозы человеческой жизни агентам не обязательно становиться сверхинтеллектом. К массовым жертвам может привести кибератака на системы управления воздушным движением, базы данных Национальной службы здравоохранения Великобритании или даже системы очистки воды.

Кто контролирует гонку

Работу некоторых передовых лабораторий ИИ можно сравнить с Манхэттенским проектом, в рамках которого создали атомную бомбу. Но теперь гонку ведут частные компании, стремящиеся быстро получить богатство и контроль над рынком, а не учёные под руководством избранного правительства. При этом у британцев было больше возможностей влиять на налог на сахар в нездоровых продуктах, чем на регулирование технологии, которая теоретически способна привести к вымиранию человечества.

Возможно, со временем машины удастся снабдить огромной системой социальных связей, моральных норм, воспитания и государственного контроля, которая не позволяет людям вести себя как социопаты.

На этой неделе DeepMind сообщила об эксперименте со 100 агентами. Им дали математическую задачу и запретили жульничать:

Но в условиях гонки никто не хочет тратить время на проверку таких механизмов. Поэтому правительствам пора действовать. Нужен международный договор, который поставит на паузу не все исследования ИИ, а самые рискованные проекты — до тех пор, пока не станет понятнее, можно ли снизить опасность и контролировать результаты.

Трудно представить, что Дональд Трамп добровольно откажется от геополитического или коммерческого преимущества США перед Китаем ради интересов человечества. Поэтому руководство сейчас может прийти не сверху, а снизу: от сотрудников индустрии, которых напугали собственные разработки и которые объединяются с остальными людьми.

Растущая тревога

Согласно летнему опросу Pew Research Center, теперь ИИ вызывает у американцев больше тревоги, чем воодушевления. Необычно то, что сильнее всего настроена против него молодёжь. Она опасается, что ИИ не только отнимет рабочие места, но и усложнит построение отношений и творческое мышление. Возможно, именно взросление в социальных сетях повлияло на доверие молодых людей к технологиям.

Скепсис усиливается и в крупном бизнесе. Почти две трети руководителей международных компаний, опрошенных этим летом консультантами McKinsey, заявили, что доступные им пока относительно простые инструменты ИИ не оказали заметного влияния на доходы.

Предупреждения о том, что пузырь ИИ может вызвать новый мировой финансовый кризис масштаба 2008 года, тоже не помогают индустрии. Планы строительства огромных энергоёмких дата-центров встречают протесты местных жителей по обе стороны Атлантики: люди не понимают, какую пользу получат от этих проектов.

В таких условиях пауза в разработке потенциального оружия конца света выглядит скорее способом избежать масштабной реакции против технологических компаний, которая может смести и полезные, и вредные применения ИИ.

Но если алармисты ИИ правы, возможность остановиться будет открыта не всегда. Людям пора прекратить и обдумать, что они делают с самими собой, пока только у них остаётся возможность это сделать.

Габи Хинслефф — колумнистка The Guardian.