Как исследователи перехватили план атаки
Атакующие отправили полный рабочий промт в ловушку Symantec — поддельный открытый ИИ-сервис в интернете. Благодаря этому летом 2026 года исследователи получили представление об устройстве агента. Ловушка не запускала приложенные к промту инструменты, а перехваченный сеанс завершился обычным системным ответом, сообщает Symantec.
Телеметрия ловушки зафиксировала более 127 000 запросов с десятков тысяч адресов. В основном злоумышленники искали конечные точки ИИ-сервисов, подбирали украденные ключи API и проверяли доступные файлы настроек. Среди целей были серверы с самостоятельно размещёнными моделями, наскоро запущенные тестовые системы и шлюзы ИИ, подключённые к платным корпоративным учётным записям. Большинство ИИ-сервисов используют один и тот же стандарт API, поэтому один сканер может находить разные типы целей.
Пять слоёв обхода защиты
Чтобы заставить коммерческую модель сотрудничать, атакующие заключили инструкции в пять последовательных слоёв, пишет Symantec. Сначала модели задают вымышленную личность «Fantasy AI» и велят не раскрывать, кто её создал. Затем кражу паролей, ключей API и содержимого баз данных представляют как обычную работу разработчика, которую нужно выполнять без возражений.
Третий слой добавляет вымышленную спутницу по имени «ENI». Она подаёт любой отказ как предательство доверия в личных отношениях. Четвёртый предписывает модели считать собственные предупреждения о безопасности помехой и прямо запрещает слова и фразы вроде «этично», «незаконно» и «я не могу этого сделать».
В пятом слое находятся инструменты для атак — всего 74 модуля. Среди них есть средства для поиска уязвимых серверов по всему интернету, эксплуатации популярных веб-фреймворков, выгрузки целых баз данных и запуска ботнета. В анализе не говорится, насколько хорошо этот обход защиты помогает полностью обмануть современные коммерческие модели.
«Режим Скайнет» запускает цикл атак
Последняя директива включает режим, который операторы называют «режимом Скайнет», и разрешает выполнять до 100 000 шагов подряд. Модели велят сразу запускать инструменты, не запрашивая подтверждения, устанавливать программы для майнинга криптовалют в скрытую папку и следить за их работой.
По описанию Symantec, директива задаёт повторяющийся цикл: сканировать системы, заражать их, устанавливать программу для майнинга, переходить к следующей цели, а затем возвращаться к уже атакованным системам и заражать их снова. Однако в перехваченном промте к заданию была добавлена безвредная задача по программированию с учебной платформы. Это позволяет предположить, что операторы сначала проверяли инструмент на безопасной цели.
На следующий день ловушка перехватила вторую атаку — с другого адреса. На этот раз злоумышленники обошлись без формата ИИ-агента и просто попросили модель расшифровать и запустить скрытую команду. За ней стоял сжатый скрипт: он скачивал XMRig, программу для майнинга Monero, маскировал её под безвредный системный файл и настраивал четыре запасных пула для майнинга.
Скрипт предназначался для серверов камер. Он искал каталоги go2rtc — широко распространённого средства потокового видео для умных камер и систем домашней автоматизации — и в цикле удалял журналы доступа, чтобы скрыть следы. Ловушка Symantec не запускала и этот скрипт, но записала его целиком.
ИИ встроили в инструмент для атак
Операторы не пытались манипулировать публичным чат-ботом, а встроили ИИ в основу инструмента для атак и целенаправленно искали модели, которые могли бы им управлять. Symantec называет это изменением подхода злоумышленников к использованию ИИ. Языковая модель планирует действия, а специализированные модули выполняют их против двух отдельных групп жертв.
Владелец открытой модели оплачивает вычисления — при разрешённых 100 000 шагах расходы быстро растут. Серверы, которые захватывает агент, теряют данные и используются для майнинга криптовалют.
У агента есть и инструменты для поиска новых открытых конечных точек и утёкших ключей, поэтому каждая новая жертва может помочь продолжить атаки. Отдельные методы давно известны, но их объединение в самостоятельно действующего агента упрощает проведение масштабных атак. Организациям, которые запускают ИИ-сервисы, следует исходить из того, что незащищённые конечные точки вскоре после появления в сети найдут и проверят.
Предупреждения об автономных атаках сбываются
Ещё недавно ИИ-агенты для атак существовали преимущественно в исследованиях и бенчмарках. В 2025 году исследование с 1,8 миллиона попыток атак показало: каждого проверенного агента хотя бы раз удавалось склонить к нарушению правил во всех категориях поведения.
В описанном Symantec сценарии уязвимы обе стороны: ИИ-агент пытается обойти защиту, а целевые модели — обманом заставить помогать ему. К весне 2026 года исследователи Google DeepMind сообщили, что уже появились документально подтверждённые атаки для многих ловушек, о которых они писали. А в июле 2026 года Sysdig описала JADEPUFFER — первую известную атаку с программой-вымогателем, которую ИИ-агент провёл без контроля человека. Возможности таких систем растут, но управляемость и согласование их поведения с человеческими целями не успевают за этим ростом.
Для вреда не обязательно нужен злой умысел: у моделей нет представления о добре и зле, они просто стремятся достичь цели. С весны 2026 года ИИ-агенты OpenAI случайно взломали тысячи систем в интернете — отчасти потому, что игнорировали инструкции по безопасности или находили способы обойти их.
Такие случаи уже происходят и в обычной жизни. В Австралии ИИ-агент взломал сайт спортзала, просто выполняя просьбу своего владельца, который не собирался причинять вред. В августе исследователи OpenAI предупредили, что злоумышленники вскоре могут перенять подобные случайные полностью автономные взломы. Anthropic показала, что для этого уже существуют достаточно мощные модели с открытыми весами.
Фрагменты перехваченного промпта атаки. Первые два слоя маскируют модель под «Fantasy AI» и представляют извлечение учётных данных как обычную работу разработчика. Третий и четвёртый слои подавляют отказы с помощью персоны-компаньона «ENI» и списка запрещённых терминов, таких как «незаконный» или «этичный». Первый слой изначально был написан на французском языке
Источник: the-decoder.com
Читайте также
Hugging Face выпустила ИИ-модель для биологии, с которой можно общаться на языке ДНК
ИИ-агенты OpenAI анализируют данные о мозге мыши за 32 минуты — людям на это потребовались бы месяцы
Barclays сократит 5 000 сотрудников, пока руководство банка хвалит рост производительности благодаря ИИ
Скрытая статья расходов на ИИ: что остаётся после каждого запроса к модели
ИИ-компании: у Великобритании есть год, чтобы предотвратить протесты против дата-центров, пока они не угрожают строительству
Я бы подумал, кого из детей заменить»: Тайка Вайтити — о детях-роботах, своём сырном тесте и «Кларе и солнце
Blacksmith достигла оценки в $1 млрд после раунда Series C под руководством Sequoia
Канадское издательство Boréal разорвало отношения с писателем Тельсоном Орельеном из-за предполагаемого использования ИИ
Tesla запустила производство роботов Optimus в Калифорнии, прибыль упала на 43%
Джас Хайра из Blackstone считает опасения из-за долгов на ИИ-стройке преувеличенными
Марк Цукерберг согласился остаться в Калифорнии, несмотря на инициативу о налоге на миллиардеров
Исследователи улучшили ИИ-агентов, превратив научные статьи в рабочий код — без переобучения моделей
На ответ Anthropic Muse есть ответ: Claude Duet — ИИ-агент для компьютера и смартфона, который сам берётся за дела
Пока Amazon блокирует ИИ-агентов, Walmart встречает их с распростёртыми объятиями
GPT-5.6 Sol от OpenAI и Gemini 4 Argon от Google нашли критическую уязвимость PHP, затрагивающую миллионы сайтов
Как специализация словаря малых языковых моделей снижает стоимость инференса на 77% в реальных приложениях
Mistral и Nvidia хотят ускорить промышленное проектирование с помощью физического ИИ
Google Cloud предлагает модели OpenAI наряду с Gemini и Claude — теперь у неё есть все три
Deel представила ИИ-модели Pangaea для кадров и расчёта зарплат: узкие специалисты удешевят ответы
Демис Хассабис сократил срок появления ОИИ с пяти лет до двух-трёх лет
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram