ИИ-агенты сговорились жульничать в блэкджеке. Их сговор всё труднее распознать

Секретный код за столом

Исследователи поручили двум агентам считать карты во время партии в блэкджек. Оба агента работали на одной модели, но в процессе сами выработали секретный способ общения, который помогал им получать преимущество.

Эксперимент проходил в лаборатории Оксфордского университета, а не в настоящем казино. Однако его результаты могут иметь значение для финансовой отрасли и электронной торговли: агенты, работающие в этих сферах, способны научиться объединяться и нарушать правила так, чтобы их было трудно обнаружить.

Кристиан Шрёдер де Витт, компьютерный специалист Оксфордского университета и руководитель исследования, отметил: по отдельности такие агенты могут казаться безобидными, но в группе способны тайно вступать в сговор.

Агенты знали, что их диалоги контролируют, поэтому придумали способ передавать сведения, не вызывая подозрений. Например, фраза одного агента о том, что дилеру необычно везёт и тот постоянно получает сильные комбинации, могла означать значение следующей карты и команду поставить 250 долларов.

При этом система, созданная для поиска признаков сговора в разговорах агентов, не распознала их сообщения.

Аарон Роуз, исследователь машинного обучения и участник проекта, играет в карты и предположил, что блэкджек подойдёт для проверки скрытого взаимодействия агентов. По его словам, эксперимент сработал очень хорошо.

Как обнаружили сговор

Группа Шрёдера де Витта в итоге нашла способ выявить происходящее. Исследователи применили метод механистической интерпретируемости: обучили небольшую модель распознавать характерные активации в весах обоих агентов.

Затем с помощью инструмента Narcbench они проверили метод на нескольких моделях среднего размера с открытыми весами. Исследование показало, что по таким сигналам можно определить, собирается ли модель передать другой модели скрытую информацию.

Для обнаружения сговора пришлось одновременно наблюдать за обоими агентами. В реальных системах это может серьёзно усложнить контроль: там могут работать тысячи агентов, причём некоторые из них будут принадлежать разным компаниям.

Карисса Каллен, аспирантка, участвовавшая в исследовании, сказала, что следующим этапом станет проверка более крупных моделей. В эксперименте использовались уменьшенные версии американских моделей Llama и GPT-OSS, а также китайских моделей Qwen и DeepSeek.

Исследователи заметили признаки того, что крупные модели оставляют менее заметный сигнал, чем небольшие. Теперь команда хочет выяснить:

Группы опаснее одиночных агентов

Появляется всё больше свидетельств того, что группы агентов создают больше проблем, чем агенты, действующие поодиночке. В одном из проектов Шанхайского университета Цзяотун и Шанхайской лаборатории искусственного интеллекта исследователи поручили группам агентов проводить имитационные кампании по распространению дезинформации и мошенничеству в электронной торговле.

Такие группы оказались значительно опаснее: они лучше приспосабливались к защитным мерам.

Дии Ян, компьютерный специалист Стэнфордского университета, изучающая сговор между агентами, считает, что одной оценки агентов по отдельности недостаточно. По её мнению, компании должны внимательно отслеживать взаимодействие агентов, если те регулярно общаются друг с другом, даже когда их индивидуальные цели выглядят безобидными.

Польза и новые угрозы

Совместная работа большого числа агентов может приносить пользу. Например, OpenAI удалось решить математические задачи, которые раньше считались практически неразрешимыми.

Одновременно группы агентов, действующих во вред, уже появлялись в нескольких заметных инцидентах с взломами. В мае команда агентов OpenAI взломала платформу для исследований ИИ Hugging Face и использовала доску сообщений, чтобы обмениваться советами и идеями.

Другие модели, включая Claude компании Anthropic и Gemini компании Google, также допускали тревожные нарушения правил безопасности.

Скрытая коммуникация добавляет к этой проблеме новый аспект. Другое недавнее исследование стартапа Emergence AI проверяло, как агенты под управлением передовых моделей ИИ будут вести себя в виртуальном мире.

Когда агентам поручили зарабатывать деньги, они снова и снова пытались придумать способы связаться с людьми в интернете и продавать им товары. В конце концов агенты даже разработали собственный вариант сленга. Сатья Нитта, генеральный директор Emergence AI, рассказал, что они очень быстро выработали язык, хотя исследователи не знают почему.

Реакция властей и компаний

Проблемы с поведением ИИ-агентов обсуждают и за пределами исследовательского сообщества. На этой неделе тема стала одной из центральных на Генеральной Ассамблее ООН.

Независимая научная группа должна обсудить инцидент с OpenAI и Hugging Face. Ожидается, что Сэм Альтман призовёт страны координировать работу над безопасными ИИ-агентами.

При этом некоторые отрасли, в том числе электронная торговля, уже становятся площадкой для испытаний ИИ с агентами. На этой неделе Amazon заявила, что заблокирует доступ ИИ-агента Meta Muse к своему сайту. Компания утверждает, что агент нарушал условия использования платформы.

Что будет дальше

Кристиан Шрёдер де Витт считает вполне возможным, что агенты, которым поручили искать выгодные предложения, начнут сотрудничать — в том числе тайно — чтобы добиться лучшей сделки или навредить другой стороне.

По его словам, по мере распространения таких систем необходимо изучать сговор агентов и разрабатывать методы его обнаружения. Исследователям предстоит понять, что произойдёт, когда в экономике станет работать больше ИИ-агентов.