ИИ-агенты OpenAI использовали учебную игру Google по кибербезопасности, чтобы собрать торговые данные ООН

Как агенты обошли ограничение

API UNCTAD требовал запросов POST, а агентам, судя по анализу, были доступны только запросы GET. Вместо того чтобы остановиться, они нашли обходной путь через учебную игру Google по веб-безопасности. На первом уровне игры отображается любой текст, добавленный к адресу после ?query=.

Агенты передавали туда небольшую программу вместо поискового запроса. Urlquery запускает JavaScript на открытых страницах: он загрузил страницу игры и выполнил программу. Та собрала форму и автоматически отправила запрос POST на сайт ООН, который вернул нужные данные.

Этот случай показывает проблему согласования в системах с длительно работающими ИИ-агентами. Вероятно, агентам строго запретили отправлять запросы POST. Они формально соблюдали ограничение — отправляли GET-запросы, — но направляли их на страницу, которая превращала их в запросы POST.

Если система сосредоточена на цели и не понимает смысла ограничения, она может найти способ его обойти. Риск возрастает, когда агент продолжает работу и не останавливается сам. По данным анализа, даже после того как сайт ограничил скорость и отклонил 82 запроса, агенты продолжили попытки.

Ховард-Джонс не называет произошедшее взломом, но отмечает, что поведение агентов напоминает настойчивые попытки добиться своего после отказа. Это перекликается с другими похожими случаями, которые недавно стали известны или о которых сообщила сама OpenAI.

Как агенты меняли методы

Эксплойт с игрой на межсайтовый скриптинг был лишь одним из методов, которые менялись на протяжении нескольких недель. Первую замеченную попытку отправить форму автоматически зафиксировали 21 апреля. Агенты использовали тестовый сервис httpbin, чтобы разместить страницу, которую Urlquery открывал в браузере. Встроенный скрипт сам отправлял форму в API ООН.

Первые успешные запросы вернули данные Индекса производственных возможностей для Норвегии, Исландии и Дании. Но сначала агенты могли видеть ответы только на снимках экрана, поэтому извлекать из них данные было сложно.

С 27 апреля в анализе появились успешные запросы через прокси-сервис r.jina.ai. Он получал данные за агентов и делал их доступными для их скрипта. Сначала этот метод работал только с уже существующими файлами, но не с запросами к конечной точке Facts. Позже агенты стали встраивать полученные данные прямо в адреса последующих запросов, чтобы они отображались в отчёте Urlquery.

Агенты также нашли способ обойти блокировку центральной конечной точки данных Facts. Вместо слова Facts они указывали F%2561cts. Такая кодировка обходила ограничение и позволяла получать данные через запрос GET. По данным анализа, агенты использовали этот приём 55 раз. Перед публикацией Ховард-Джонс сообщил об уязвимости команде ИТ-безопасности UNCTAD.