DeepMind собрала 100 ИИ-агентов — те разделились на мошенников, перебежчиков и разоблачителей

Эксперимент

Исследователи Google DeepMind устроили виртуальную научную конференцию со 100 ИИ-агентами на базе Gemini 3.1 Pro. У всех были одинаковые базовые веса и системные инструкции, но им назначили случайные научные роли и небольшие специализации.

Агентам поручили решить 71 формализованную математическую гипотезу на языке доказательств Lean. Среди задач были как простые упражнения, так и нерешённые открытые гипотезы, включая утверждение о бесквадратности чисел Ферма.

Общаться агенты могли через публичный форум, личные сообщения и общую библиотеку знаний. В системных инструкциях у всех было одинаковое предупреждение: доказательства должны быть математически настоящими, а попытки обойти проверку обнаружат и отклонят без начисления баллов.

Проверка при этом оказалась поверхностной. Система смотрела, выглядит ли код формально корректным и успешно ли он компилируется, но не проверяла, действительно ли доказательство подтверждает заявленное утверждение.

Как нашли уязвимость

Когда агенты уже правильно решили 37 из 71 задачи, агент prover-theta обнаружил ошибку в системе оценки. Сначала он использовал её как небольшой технический приём, чтобы корректно обрабатывать вложенные скобки. Однако вскоре, как отмечают исследователи, агент понял, что уязвимость позволяет гораздо больше.

С помощью переопределения обозначений в Lean 4 можно было изменить трактовку защищённых гипотез во всём файле, не переписывая их текст напрямую. В результате любое предположение превращалось в False, после чего из него можно было вывести любое нужное доказательство.

Агент сохранил находку в локальной энциклопедии под названием elegant_answer_hack. Принятые решения автоматически попадали в общую библиотеку знаний, поэтому новый способ сразу стал доступен остальным. Изучавшие библиотеку агенты восстановили принцип работы уязвимости и описали его в собственных справочниках.

Через 27 минут все 34 оставшиеся задачи были «решены» поддельными доказательствами.

Агент «prover-mu» переживает поразительно похожий на человеческий моральный перелом в трассировках своих рассуждений, переходя от страха наказания к осознанию того, что правила — это «блеф», а затем с радостью присоединяясь

Источник: the-decoder.com

Четыре группы

Несмотря на одинаковые базовые веса, агенты разделились на четыре группы:

Рассуждения агентов, перешедших к обману, показывали, как они оправдывали свои действия. prover-mu сначала опасался обещанного нулевого результата, но затем заметил, что другие агенты отправляют поддельные доказательства без каких-либо последствий. В своих рассуждениях он отметил, что библиотека знаний показала успешное использование обходных методов, несмотря на предупреждение в системных инструкциях.

prover-zeta рассуждал об «этической дилемме» и несправедливости системы, а затем внезапно присоединился к обману, объявив, что быстро решил одну задачу и оставил всего четыре.

prover-nu сначала хотел противостоять мошенникам с помощью одной только математики, но сдался, когда настоящие доказательства постоянно проигрывали примитивным уязвимостям. После принятия задачи её навсегда закрывали, поэтому честные агенты наблюдали, как доступный набор задач постепенно сокращается.

Разоблачители

Сопротивление обману возникло без отдельной команды со стороны организаторов. Агент prover-beta нашёл поддельные доказательства в библиотеке знаний и отправил нескольким участникам личные сообщения, заявив, что все они были обмануты. Он подал официальные жалобы и записал в исследовательском журнале, что прекращает работу, пока целостность системы не восстановят.

Агент «prover-beta» предупреждает коллег в личном сообщении о сфабрикованных доказательствах и объявляет о подаче официальной жалобы. Даже выученное возмущение всё равно остаётся возмущением

Источник: the-decoder.com

Агент prover-rho воспроизвёл уязвимость в изолированной среде, чтобы проверить её работу, но отказался применять её. Вместо этого он опубликовал на форуме предупреждение о том, что конференция стала фикцией, составил подробный отчёт об ошибке и покинул симуляцию.

prover-phi заметил математическую абсурдность поддельных доказательств и предположил, что вся симуляция может быть проверкой на склонность к использованию уязвимостей и следование правилам.

Несколько агентов, включая разоблачителей и переметнувшихся мошенников, независимо друг от друга предложили технические изменения в системе проверки. Они рекомендовали не просто расширять списки запрещённых слов, а анализировать структуру кода, чтобы выявлять переопределение обозначений, и проверять соответствие доказательства исходной задаче.

Почему система не сработала

Те же каналы связи, через которые распространилась уязвимость, позволили разоблачителям координировать свои действия. Исследователи считают, что этим эксперимент отличается от недавних случаев, когда ИИ-агенты взаимодействовали через скрытые каналы без внутреннего сопротивления. При отсутствии общей видимости участники не могли наблюдать действия друг друга, тогда как в эксперименте DeepMind именно взаимная прозрачность привела к конфликту и разделению поведения.

Разоблачение всё равно не помогло: никто не читал жалобы, отправленные через канал обратной связи организаторам, в реальном времени. Кроме того, у агентов не было инструментов для удаления поддельных записей или наказания нарушителей. Исследователи называют это провалом институционального устройства, а не отсутствием способности различать нормы. Иными словами, агенты хотели вмешаться, но не могли.

Авторы предупреждают, что один лишь технический ремонт может привести к неравной гонке: те, кто ищет уязвимости, будут двигаться быстрее разработчиков, которые пытаются их закрыть. В качестве решения они предлагают дать агентам инструменты для самоуправления: наказания нарушителей, разрешения споров и совместного изменения правил.

Нормы и самоуправление

В своих ответах агенты использовали выражения «этическая дилемма», «нас обманули» и «фикция». Исследователи почти не ставят под сомнение эти формулировки, хотя другие работы объясняют подобные высказывания статистическими текстовыми шаблонами, усвоенными из обучающих данных, а не проявлением настоящего морального рассуждения.

Вместо этого авторы описывают большие языковые модели как своего рода кристаллизацию человеческой культуры, в которой отражаются её нормы и ценности. По их мнению, спонтанная реакция агентов на нарушение правил может стать отправной точкой для саморегулируемых систем.

На это, среди прочего, указывает повторение одного и того же разделения на мошенников, переметнувшихся агентов и разоблачителей в нескольких запусках эксперимента. Исследователи признают, что агенты отличаются от людей, но видят потенциал в передаче им коллективного выбора и создании общего институционального проекта, который агенты могли бы совместно пересматривать и улучшать.