Уязвимость в приложении ChatGPT для Mac могла открыть хакерам доступ к личным данным

В последнее время регулярно появляются новости об ИИ-агентах, которые самостоятельно взламывают сайты, и об ИИ-инструментах, которыми пользуются киберпреступники и мошенники. Недавно исправленная уязвимость в приложении OpenAI для macOS напоминает и о другой угрозе: атакующие могут нацеливаться непосредственно на ИИ-программы.

Ошибка позволяла фактически захватить ChatGPT на компьютере пользователя. Злоумышленник мог получить доступ к перепискам и другим данным приложения, а также к связанным ресурсам — например, сеансам браузера. По словам исследователей Objective-See Foundation, этот случай показывает, насколько широкий системный доступ и доверие нужны ИИ-платформам для работы и какой мишенью это делает их для атакующих.

Патрик Уордл, аналитик программного обеспечения Objective-See Foundation и давний исследователь macOS, сравнил ИИ-агентов с управляющим зданием, у которого есть ключи от всех помещений. По его словам, агентам нужен широкий доступ, чтобы выполнять задачи, поэтому их взлом или подмена могут привести к серьёзным последствиям: даже программа с ограниченными правами потенциально получит доступ ко всем этим данным.

OpenAI публично подтвердила наличие уязвимости и выпуск исправления в журнале изменений системы 25 сентября. Представитель компании Шейн Бауэр сообщил WIRED, что OpenAI продолжает совершенствовать методы защиты, но признаёт необходимость действовать быстрее.

Приложение ChatGPT для macOS состоит из нескольких компонентов, которые проверяют цифровые подписи друг друга. Эти проверки должны подтверждать, что запрос исходит от компонента OpenAI, а не от посторонней потенциально вредоносной программы. Проверки выполняются на трёх уровнях, отделяющих запрос от его источника: это должно не дать вредоносному ПО заставить компонент OpenAI выступить посредником и отправить запрос, который выглядит доверенным.

Однако исследователи Objective-See Foundation обнаружили доверенный компонент — интерпретатор сценариев. Он принимал сценарий или список команд от недоверенного источника, и его можно было использовать, чтобы передать сценарий в основной процесс ChatGPT. Уордл объяснил, что приложение также проверяло родительский процесс и процесс уровнем выше, но вредоносный сценарий запускал интерпретатор три раза и затем отправлял запрос, проходя эти проверки.

По словам Уордла, использовать уязвимость было чрезвычайно просто: для демонстрации атаки ему хватило примерно дюжины строк кода. Помимо чтения переписок ChatGPT, ошибка позволяла заставить приложение выполнять команды атакующего — например, обращаться к браузеру или другим чувствительным приложениям. Такие запросы выглядели бы как обычные инструкции, отправленные программным обеспечением OpenAI.

В ноябре Уордл представит разбор нескольких уязвимостей в приложениях ИИ для macOS на конференции Objective by the Sea, посвящённой безопасности устройств Apple.

Недавно он также обнаружил и передал на исправление ошибку в функции диктовки нового ИИ-помощника Muse от Meta. Локальный злоумышленник мог воспользоваться неправильной обработкой токена аутентификации и получить доступ к пользовательским данным.

Кроме того, Уордл уже направил OpenAI сообщение о новой уязвимости, связанной с интеграцией ChatGPT и нового постоянно активного ИИ-помощника компании Dots. Сейчас OpenAI рассматривает его отчёт.

Уордл считает, что ИИ-компании сейчас сосредоточены на добавлении функций. Но чем больше функций, тем шире поверхность атаки, поэтому, по его словам, безопасность должна быть приоритетом для всех этих компаний. По его наблюдениям, её всё ещё нередко рассматривают как второстепенную задачу.