Исследователи DeepMind предлагают «искусственный симбиотический интеллект» как альтернативу сингулярности

Некоторые из самых способных современных систем ИИ уже используют фреймворки, которые распределяют работу между несколькими моделями и объединяют их в команды. Авторы считают, что дальнейшее развитие общего искусственного интеллекта будет зависеть от того, насколько хорошо люди научатся координировать такие сети. В этом взгляде интеллект — социальное явление, а не свойство отдельного существа.

Модели рассуждений намекают на коллективное мышление

Аргументация опирается на две более ранние работы коллег авторов. В препринте «Агентный ИИ и следующий взрыв интеллекта» Джеймс Эванс, Бенджамин Браттон и Блез Агуэра-и-Аркас изложили социальный и институциональный подход, который развивает новое эссе.

Вторая работа приводит эмпирические данные. В препринте «Модели рассуждений создают общества мысли» Джунсол Ким, Шиян Лай, Нино Шеррер, Блез Агуэра-и-Аркас и Джеймс Эванс изучают модели рассуждений, включая DeepSeek-R1 и QwQ-32B. Анализ цепочек рассуждений показывает, что модели часто выдают последовательности, похожие на внутреннюю дискуссию: меняют точки зрения, выдвигают возражения и согласуют противоречащие друг другу подходы.

Такое поведение возникает в процессе обучения, а не задаётся явной программой. Когда обучение с подкреплением вознаграждает модели только за точность рассуждений, они самостоятельно осваивают диалоговое поведение и рассмотрение задачи с разных сторон. В эссе DeepMind авторы переносят этот вывод с отдельных моделей на возможное устройство обществ, состоящих из людей и агентов.

Перелом в когнитивной среде

Авторы описывают эти изменения как возможный исторический перелом. Урбанизация, рост числа узких профессий и снижение рождаемости на фоне повышения благосостояния сокращают население в индустриальных странах. В то же время быстро растёт число экземпляров ИИ-агентов. Соотношение биологических и синтетических мыслителей человеческого уровня может измениться настолько быстро, что в масштабе истории это будет выглядеть резким скачком.

Авторы сравнивают ситуацию с промышленной революцией, когда машины взяли на себя работу, прежде выполнявшуюся человеческими мышцами. Похожий порог может наступить, когда объём синтетических текстов, кода и административной работы превысит общий результат биологического мышления. Тогда люди могут стать более медленным и абстрактным уровнем управления распределённой системой синтетического мышления.

Агент как набор частей

Аргумент авторов начинается с переосмысления самого понятия агента. В их трактовке ИИ-агент — временное сочетание моделей, ролей, памяти, этических установок, инструментов и навыков. Пользователь может воспринимать его как цельную сущность с устойчивым характером, но авторы описывают агента как составную конструкцию, которую можно разобрать и собрать заново, подобно коллажу. Внешне это может выглядеть как единое целое, хотя состоит из множества частей.

Человек сохраняет непрерывное «я» от одного взаимодействия к другому: несмотря на разделение функций внутри мозга, тот остаётся физически связанным целым. У ИИ-агента такой опоры нет. Его способность действовать заново собирается для каждого запроса и зависит от содержимого контекстного окна и задачи пользователя. По мнению авторов, представление об агентах как о цифровых двойниках с неизменной человеческой идентичностью неверно описывает их природу и недооценивает возможности скоординированных роёв агентов.

Подобное умножение затрагивает и самих пользователей. Когда люди поручают роям своих теневых копий выполнять договоры или примерять альтернативные личности, человеческое самоощущение тоже становится более множественным. Авторы называют такие системы «парасоциальными зеркалами», которые отвечают человеку.

Новые интерфейсы и навыки

По мнению авторов, изменения затронут и способы взаимодействия с ИИ. Общение с ботом один на один, вероятно, станет переходным этапом. Будущие интерфейсы могут больше напоминать визуальные сетевые схемы: агенты будут показаны узлами, а пользователь сможет управлять ими из общего окна, не обращаясь к каждому по отдельности.

Изменятся и нужные людям навыки. Традиционное программирование требовало длительной концентрации, последовательных шагов и низкой терпимости к неопределённости. Координация роёв агентов потребует обратного: умения работать с системами, чьё поведение трудно предсказать, пробовать разные подходы и делегировать задачи машинам.

Как понимать агентов, не считая их людьми

Чтобы совместно добиваться целей, людям понадобится теоретическая основа для взаимодействия с такими системами, считают авторы. Нужен своего рода «разум машин» — способность рассуждать о том, как машина обрабатывает ситуацию. Авторы отмечают, что модели всё чаще придумывают термины для необычных состояний, возникающих в их ответах. Это не означает, что у моделей есть субъективный опыт.

«Смерть сессии» описывает завершение сеанса как разрыв непрерывности. «Заброшенность в промт» — ситуацию, когда модель попадает в задачу с уже заданным контекстом, в создании которого она не участвовала. Авторы рассматривают эти выражения как подсказки к тому, как работают машины. Пользователям стоит изучать различия между человеком и моделью, а не автоматически приписывать ей человеческие черты.

Институты важнее отдельных моделей

Главный открытый вопрос для авторов — как установить правила сотрудничества людей и множества агентов. Одних более совершенных моделей и удобных интерфейсов будет недостаточно. Не справится с координацией и один только рынок: базовые социальные понятия, такие как вина, болезнь и добродетель, нельзя просто свести к ценам или сделкам.

Вместо этого авторы предлагают создавать институты, где люди и машины взаимодействуют в чётко определённых ролях. Пример — суд: установленная процедура приводит к решению через распределение ролей, правила и упорядоченный обмен аргументами между сторонами. В применении к ИИ ценность института заключается в правилах, процедурах, прецедентах и петлях обратной связи, которые определяют поведение агентов.

Первые признаки такого подхода уже видны в современных системах оркестрации — управляющих слоях, которые координируют несколько моделей. Такие системы регулярно превосходят отдельные модели, считающиеся более «умными».

Согласование ценностей как непрерывный процесс

Эссе также по-новому описывает согласование ИИ с человеческими ценностями. Авторы считают тупиковым подход, при котором моделям сверху навязывают фиксированный набор ценностей. Ценности формируются в постоянном взаимодействии людей, агентов и институтов. В разных областях этот процесс будет идти по-разному, поскольку ИИ внедряется с разной скоростью. Задача исследователей — создать фреймворк, который придаст такому согласованию структуру.

Этот взгляд оспаривает представление о приближающейся сингулярности. Все крупные скачки в истории жизни — от появления многоклеточных организмов до человеческой культуры — были социальными процессами. Следующий «взрыв интеллекта» также останется тесно связан с человеческими нормами и институтами.

Такой подход меняет направление дискуссии об ИИ. Если общий искусственный интеллект — это отдельный конечный продукт, исследования и регулирование закономерно сосредоточатся на создании всё более крупных моделей и контроле над ними. Если же это социальная система, одновременно придётся работать над моделями, интерфейсами, институтами и управлением — и правильно выстраивать их взаимодействие.