Предупреждение Коксона об ИИ стало мейнстримом. Что теперь?

Кратко

Последние 75 лет предупреждения об ИИ неоднократно становились достоянием широкой публики, но подход, способный на них ответить, почти не был заметен. В основе всех этих предупреждений лежит одна и та же проблема: не интеллект, а власть. Алгоритмическую власть, как и любую другую, необходимо разделять. В конечном счёте она должна сталкиваться с другой властью, иначе рискует стать абсолютной и необратимой.

Иногда цивилизация слышит сигнал тревоги и принимает сам звук за действие.

Джейкоб Коксон, после работы в OpenAI и Anthropic, сформулировал проблему предельно прямо: не стоит недооценивать мощь этой технологии.

Ключевое слово здесь — «власть». Его нельзя пропускать. Речь не о производительности, не об интеллекте и не о продуктивности, а о власти.

Как и Алан Тьюринг, Норберт Винер, И. Дж. Гуд и Стивен Хокинг до него, а также Ник Бостром, Стюарт Рассел, Элиезер Юдковский, Джеффри Хинтон, Йошуа Бенжио, Пол Кристиано, Джозеф Карлсмит, Макс Тегмарк, Стив Возняк, Илья Суцкевер, Демис Хассабис, Дарио Амодеи, Лихи и, позднее, Билл Гейтс, Коксон сталкивается с тревожной возможностью. Интеллект может перестать быть лишь способностью и превратиться в автономное средство получения «реальной власти и ресурсов», что в конечном счёте создаст экзистенциальную угрозу для человечества. Популярная культура тоже помогла сделать такие предупреждения понятнее — в частности, через фильмы вроде «Я, робот» Уилла Смита.

За три четверти века — 75 лет от Винера и Тьюринга до наших дней — заметные представители науки и технологий по-разному повторяли одну и ту же мысль: если интеллект станет автономным и превзойдёт человеческий, он может перестать быть просто инструментом и превратиться во власть, неподконтрольную людям.

С тех пор почти всё в дискуссии об искусственном интеллекте должно было измениться. Теперь нельзя оправдываться незнанием: наша ненасытная, почти павловская тяга к предупреждениям, которые захватывают внимание и сегодня распространяются почти со скоростью света, больше не оставляет нам удобной возможности ничего не знать.

Но это не учитывает нашего безразличия ко всему, что могло бы устранить сами причины таких предупреждений. Решения, способные убрать условия их возникновения и остановить цепную реакцию одного и того же стимула, остаются в стороне. Сам стимул не меняется, потому что он позволяет дёшево и массово привлекать внимание, бесконечно перерабатывая один и тот же сюжет. Такие решения, напротив, тщательно удерживаются на максимальном расстоянии от нашего постоянного интереса к предупреждениям.

Поэтому вскоре можно ожидать новую лавину заголовков с тем же предупреждением. Она снова поднимет прежние вопросы, вызовет прежнее удивление, прежние колебания и те же озабоченные выражения лиц. А мы останемся мышью, запертой в стеклянной банке: будем повторять одни и те же движения, возвращаться на тот же путь и бегать по кругу, словно сама повторяемость уже является формой прогресса.

Технология, которая просто быстрее считает, создаёт инженерную проблему. Технология, способная накапливать и применять власть, создаёт политическую проблему. А политическая проблема достаточного масштаба со временем становится конституционной.

Человечество уже сталкивалось с этим. Короли уверяли, что власть безопасна в мудрых руках. Империи говорили, что она безопасна в цивилизованных руках. Институты утверждали, что власть можно доверить экспертам. Ответ истории был удивительно постоянным: характер правителя не заменяет архитектуру власти.

Конституционное правление появилось не потому, что каждый правитель был злым. Оно понадобилось потому, что даже хорошие правители остаются людьми, преемники меняются, интересы сталкиваются, а сосредоточенная власть со временем учится оправдывать саму себя.

Почему алгоритмической власти следует сделать исключение из одного из самых трудно добытых уроков цивилизации?

Вопрос о легитимности

Вопрос о том, безопасен ли ИИ или станет ли он безопасным, сужает поле зрения до преимущественно утилитарных задач. Безопасность власти полезна и даже необходима. Но потребность в безопасности и определённости не должна мешать видеть: сама полезность создаёт власть. Когда эта власть становится значительной, возникает вопрос, который важнее её пользы, — вопрос о легитимности её применения.

Для каких целей следует создавать алгоритмическую власть и кто имеет право определять эти цели? Это законодательный вопрос, который мы не задаём.

Кому разрешено применять алгоритмическую власть, на каком основании и в каких пределах? Это вопрос исполнительной власти, который мы не задаём.

Кто должен обладать независимым правом оценивать, является ли такое применение справедливым, законным, приемлемым и соответствующим правилам? По каким стандартам его следует судить? Это вопрос судебной власти, который мы не задаём.

Наконец, как должна быть устроена власть алгоритмического противовеса — способность оспаривать, ограничивать, приостанавливать, отменять или отзывать применение самой алгоритмической власти? Это конституционный вопрос, который мы не задаём.

Такова исходная идея Trias Algorithmica 1.

Если существует алгоритмическая власть с серьёзными последствиями, полномочия устанавливать её правила, исполнять их и оценивать их легитимность не должны сходиться в одних руках.

Не потому, что каждая компания, связанная с ИИ, действует злонамеренно. Просто ни один институт нельзя заставлять быть законодателем, исполнителем и судьёй собственной власти.

Люди внутри таких институтов могут понимать цивилизационную опасность большой власти без контроля. Они могут быть умными, ответственными и искренними. Они могут даже отчаянно желать безопасного результата. Но при этом именно они будут двигать вперёд развитие такой значимой власти.

Это разрушает одну из удобных иллюзий нашего времени: будто ответственные люди решат проблему, просто ведя себя ответственно.

Если компания A замедлит гонку в области ИИ, она будет опасаться, что компания B этого не сделает. Компания B будет бояться компании C. Компания C — компании A. Цикл замкнётся. Каждая из них сможет оправдывать ускорение как ответственное решение. В этом и заключается абсурд.

Все движутся к опасности именно потому, что боятся опасности самой гонки.

Если такая логика кажется иррациональной, это не так. В плохо спроектированной системе она остаётся рациональным поведением.

Нельзя строить безопасность цивилизации на том, что конкуренты добровольно откажутся от преимуществ, которые, как им кажется, в противном случае заберут другие.

Когда ответственных участников системы постоянно подталкивают к результатам, которых они сами опасаются, проблема перестаёт быть прежде всего моральной. Она становится институциональной.

Пауза не отвечает на главный вопрос

Многие из тех, кто сегодня высказывает подобные предупреждения, недавно рассматривали столь радикальную меру, как временный запрет на улучшение способностей моделей. Поддерживать такой запрет или нет — вопрос вторичный.

Сам факт его появления показывает, насколько обеднела дискуссия и почему она не должна оставаться такой.

Мы свели воображение к двум кнопкам: ускорить или остановить, строить всё или не строить ничего.

Но раньше цивилизация уже сталкивалась с мощными технологиями и институтами и не выбирала навсегда между капитуляцией и запретом.

Мы придумали третий вариант: управлять властью, разделяя власть.

Пауза может дать время. Но время на что?

Если завтрашний мораторий закончится тем, что те же компании сохранят те же сосредоточенные полномочия — самостоятельно создавать, разворачивать, оценивать и разрешать внедрение в общество всё более значимых алгоритмических систем, — это лишь отложит вопрос, но не решит его.

Поэтому Trias Algorithmica 1 задаёт вопросы, которые не возникают в споре о паузе:

Так выглядит устройство свободы в цивилизации, где решения принимаются при посредстве алгоритмов.

Нужна не очередная этическая хартия, написанная теми, кого она должна ограничивать. Не очередной комитет по безопасности, зависящий от организации, чьи системы он оценивает. Не очередное обещание, что беспрецедентная концентрация власти останется благотворной лишь потому, что её нынешние хранители понимают риски.

Нам нужна более старая и более трудная идея — контрвласть.

И не следует с самого начала создавать исключительную систему, в которой существование цивилизации зависит от исключительного доверия.

То, что предупреждение о гонке в области ИИ снова становится заметным, не является хорошим признаком. Такие предупреждения повторяются уже как минимум 75 лет.

Приходится признать: сигнал тревоги сообщает, что дом может загореться. Но когда его резкий звук стихает, все ведут себя так, будто выключение сигнала каким-то образом потушило саму возможность пожара.

Поэтому теперь важна гонка, которая шире гонки за искусственный интеллект и разумнее гонки за его остановку.

Это гонка за созданием условий, при которых нынешняя алгоритмическая власть сможет существовать, не превращаясь в абсолютную власть, — до того как дальнейший рост способностей закрепит ещё большую алгоритмическую власть над жизнью людей.

Теперь в мейнстрим должен выйти и вопрос о том, что делает алгоритмическую власть легитимной.

Подробнее — в Trias Algorithmica: What Code Rules.