ИИ-агент делает вас лёгкой добычей фишинговых писем

Как работают скрытые инструкции

Решить проблему просьбой к людям внимательнее читать почту не получится. Компаниям нужно продумать, как ИИ-ассистенты обрабатывают данные и извлекают из писем нужную информацию.

Аполло Рейнс, разработчик сервиса проверки кода ShipItClean, рассказал Malwarebytes, что уязвимость в том, что модель не различает текст, который должна прочитать, и инструкции, которым должна следовать. По его словам, скрытое содержимое стоит удалять до того, как оно попадёт к модели, и так должны поступать все поставщики.

Поэтому тем, кто и без того настороженно относится к подозрительным письмам, стоит с недоверием относиться и к своему ИИ-ассистенту, считает Рейнс.

Об уязвимости ИИ-моделей к атакам с внедрением промтов известно уже несколько лет. Но с появлением популярных ИИ-ассистентов, таких как Muse от Meta, последствия могут стать серьёзнее: автономным агентам можно поручить цепочку задач, которые они выполнят без участия человека.

Риски для автономных агентов

Исследователи уже сталкивались с этой проблемой в браузерах с ИИ, которые пока не получили широкого распространения. Кроме того, боты в необычной социальной сети Moltbook, предназначенной только для ИИ, строили планы друг против друга и продавали атаки с внедрением промтов.

Теперь сложные ИИ-ассистенты начинают использовать миллионы людей по всему миру. Поэтому риск, что такие системы поддадутся скрытым инструкциям в фишинговых письмах, может стать выше, чем когда-либо.

Malwarebytes советует пока сохранять участие человека в процессе. Отказываться от ИИ-инструментов для работы с почтой не нужно, говорится в публикации компании, но важно обдумать, какие задачи им доверять и какие разрешения выдавать.

Для действий с серьёзными последствиями — например, платежей и изменения реквизитов поставщиков — Malwarebytes рекомендует требовать подтверждения человека.

Ситуация остаётся рискованной: многие пользователи готовы передать учётные данные от почты и данные кредитных карт ИИ-агенту, работающему на платформе компании, известной утечками личной информации.

По мере развития технологий мошенники получают всё больше возможностей. Рейнс описывает происходящее как «гонку вооружений»: каждый новый способ кодирования скрытого текста создаёт новую уязвимость.