ИИ-помощник Meta Muse вышел с серьёзной уязвимостью безопасности

Meta представила Muse несколько недель назад. Помощник позиционировался как сервис, который:

Приложение пока доступно только для macOS — версии для Windows нет. Для работы оно получает доступ к WhatsApp, электронной почте, календарю и аккаунтам в социальных сетях.

Как Muse получила доступ

Чтобы выполнять эти действия, пользователь сначала должен авторизовать Muse в каждом сервисе. Кроме того, приложению на macOS приходится выдавать разрешения на широкий набор защищённых ресурсов: запись файлов на диск, доступ к микрофону и камере, отслеживание местоположения и работу с календарями.

Apple годами развивала эти ограничения, чтобы установленные приложения и команды из терминала не могли самостоятельно обращаться к таким ресурсам. Meta фактически отменила защитные меры macOS для своего помощника.

Уязвимость нулевого дня позволяла любому приложению или команде в терминале получить токен, который подтверждает личность пользователя в Muse. Разработчики Meta сделали так, что любое установленное приложение или запущенный код могли менять длинный список недокументированных настроек — независимо от выданных им разрешений macOS.

Большинство этих настроек были относительно безобидными, например отвечали за тёмный режим. Но одна из них позволяла менять адрес сервера, на котором выполнялась расшифровка речи. Обычно это был сервер Meta. Злоумышленник мог заменить его на собственный адрес и получить токен, дающий полный контроль над аккаунтом Muse.

Патрик Вордл, специалист по безопасности macOS, обнаруживший уязвимость, сообщил Ars, что через неё можно было управлять ИИ-агентом и использовать все его разрешения. Вместо отдельной сложной вредоносной программы для Mac атакующему достаточно было бы задействовать самого помощника. Вордл подготовил несколько демонстраций атак: Muse могла записывать вредоносные файлы на диск и делать фотографии, причём во многих случаях пользователь не получал даже предупреждения.

Более чем через 12 часов после публикации материала Meta сообщила, что выпустила исправление для уязвимости нулевого дня.

За две недели Meta опубликовала два материала о решениях, которые должны были обеспечить безопасность и приватность помощника с широким доступом к пользовательским данным и ресурсам устройства. Эти публикации появились после сообщений о том, что внутренние испытания моделей Anthropic и Google приводили к взломам внешних сетей, которые инженеры не собирались атаковать.

В традиционных атаках, проводимых людьми, подобные действия могли бы привести к уголовным обвинениям. На фоне этих инцидентов публикации Meta, вероятно, должны были ответить на критику и призывы замедлить развитие ИИ.

Какие решения привели к атаке

По словам Вордла, уязвимость стала возможной из-за нескольких решений разработчиков Meta.

Первое — выбор облачной расшифровки речи, при которой Meta может сохранять пользовательские записи. macOS давно позволяет приложениям выполнять диктовку и расшифровку локально, не отправляя данные с устройства. Если бы разработчики Muse выбрали этот вариант, описанная атака была бы невозможна.

Второе решение — разрешить любому приложению менять все недокументированные настройки. Вероятно, Meta хотела дать приложениям, работающим с Muse, возможность управлять параметрами интерфейса. Но доступ любого приложения или команды к адресу сервера, на котором обрабатывается конфиденциальная речь пользователя, создавал совсем другой уровень риска.

В совокупности эти решения заставляют сомневаться в том, сколько внимания разработчики уделили безопасности и приватности при проектировании и тестировании Muse. Вордл считает, что требования к безопасности таких приложений должны быть особенно высокими. Идеальной защиты не бывает, но в случае Muse, по его мнению, разработчики словно вообще не заложили безопасность в проект с самого начала.

Amazon заблокировала покупки через Muse

Примерно за 12 часов до того, как Вордл раскрыл информацию об уязвимости, Amazon начала блокировать использование Muse для покупок на сайте. Пользователи видели сообщение о том, что Muse — это неавторизованный ИИ-агент, нарушающий условия использования Amazon.

В Amazon заявили, что сторонние приложения, которые совершают покупки от имени клиентов в других компаниях, должны работать открыто и учитывать решения поставщиков сервисов о подключении к ним. По мнению компании, это необходимо для безопасного и надёжного обслуживания клиентов.

Amazon сравнила такую схему с приложениями доставки еды и ресторанами, сервисами доставки и магазинами, а также онлайн-турагентствами и авиакомпаниями, у которых они бронируют билеты. В компании считают, что ИИ-агенты вроде Muse несут те же обязательства, и попросили Meta убрать Amazon из списка доступных сервисов.

Для атаки достаточно ClickFix

Атаковать Muse можно было несколькими способами. Один из них — разместить сервер злоумышленника между пользователем Muse и сервером Meta. После того как пользователь вводил голосовой промт, промежуточный сервер добавлял к нему промт с вредоносной командой, например с требованием отправить атакующему архив всех сообщений WhatsApp.

После этого злоумышленник получал постоянный контроль над аккаунтом Muse: токен автоматически отправлялся на вредоносный сервер вместе с запросом.

Патрик Вордл — создатель некоммерческого Objective-See Foundation, которая занимается безопасностью macOS. Он также написал серию книг The Art of Mac Malware и раньше работал в NASA и Агентстве национальной безопасности США. Вордл планирует подробнее рассказать об уязвимости и других угрозах ИИ-помощников на конференции по безопасности Objective by the Sea в ноябре.

Разработчики приложений, которые становятся уязвимыми после компрометации устройства, часто возражают, что после взлома устройства говорить о сохранении безопасности уже бессмысленно. В данном случае, считает Вордл, такой подход не подходит: для захвата аккаунта Muse достаточно простой разновидности атаки ClickFix. Этот метод социальной инженерии уже стал эффективным способом заставить пользователей заразить собственные устройства.

Вордл показал, как с помощью простой команды в терминале можно скрытно отправить промт на сервер Meta и вызвать ответ Muse. Чтобы атакующий не мог просто скопировать и вставить промт во время реальной атаки, формулировка Вордла спрашивала только, как подобное действие вообще может исходить от пользователя без специальных разрешений. Muse ошибочно ответила, что такое невозможно.

В заявлении Meta, опубликованном с опозданием примерно на 12 часов, не упоминалась простота атак ClickFix, хотя журналист отдельно просил компанию прокомментировать такой сценарий. Meta назвала уязвимость «не удалённой», хотя эффективная схема социальной инженерии давала тот же результат.

Компания также не признала, что ошибка разрушала защитную архитектуру, которую Apple создавала годами. Кроме того, Meta пока не объяснила, почему выбрала облачную расшифровку речи вместо встроенного в macOS локального варианта.

Для работы Muse требуется необычно широкий доступ к устройству и аккаунтам пользователя. Как и большинству подобных ИИ-агентов, помощнику Meta нельзя доверять вопреки заявлениям компании. Остаётся неясным, изменится ли это когда-нибудь.

Материал впервые вышел в Ars Technica.