Meta запустила персонального ИИ-агента Muse — сотрудники выявили проблемы с безопасностью

Что умеет Muse?

Muse работает в интерфейсе чата, похожем на обычную переписку. Пользователь может дать агенту имя, выбрать аватар и настроить стиль общения. В отличие от чат-бота, который ждёт промта, Muse способен выполнять длительные задачи в фоновом режиме. Для этого каждому пользователю выделяется отдельная виртуальная машина в облаке Meta со встроенным браузером: за работой агента можно наблюдать.

Muse подключается к электронной почте, календарю, сервисам покупок и платежным системам. Meta заявляет, что агент умеет:

Сервис доступен в США на iOS, Android, в интернете и WhatsApp. Пользоваться им могут люди старше 18 лет. В дальнейшем Meta планирует добавить поддержку своих ИИ-очков.

Цены устроены так же, как у конкурирующих лабораторий: есть бесплатный тариф, а также подписки за $20 и $100 в месяц. Главный директор по ИИ Meta Александер Ван рассказал Axios, что большинству пользователей хватит бесплатного тарифа, а платные планы рассчитаны на тех, кому требуется больше вычислительных ресурсов. Рекламы внутри Muse нет, однако компания рассматривает торговые операции как возможный источник дохода.

Архитектура безопасности

Meta делает акцент на системе защиты Muse. По словам Вана, агент работает в изолированной среде и не получает доступа к настоящим паролям и платёжным данным пользователя. Учётные данные хранятся за пределами среды агента, а отдельная система Sentinel проверяет каждое предлагаемое действие. Она решает, разрешить его, заблокировать или передать пользователю на подтверждение.

Разрешения можно ограничить:

Руководители Meta также признали известную проблему с запросами на подтверждение. Если просить человека одобрять каждый небольшой шаг, он со временем начинает автоматически нажимать «да». Поэтому Muse должен запрашивать подтверждение только для чувствительных действий, а ранее разрешённые операции с низким риском выполнять без пауз.

По умолчанию взаимодействия с Muse могут использоваться для обучения моделей Meta, но пользователь вправе отказаться. Вице-президент Meta по инженерным вопросам Дэвид Синглтон заявил, что перед использованием данных для обучения из них удаляется критически важная информация, позволяющая установить личность.

Компания также запустила программу поиска ошибок с вознаграждениями до $300 000. Кроме того, Meta разрабатывает конфиденциальную версию Muse, которую планирует выпустить до конца года. В ней сама Meta не сможет видеть, что происходит внутри виртуального рабочего пространства пользователя.

Что обнаружили сотрудники

Внутренние отзывы оказались неоднозначными. Reuters со ссылкой на изученные публикации сотрудников сообщило, что один из тестировщиков настолько полагался на Muse при организации медового месяца, что агент фактически стал ещё одним участником трёхнедельной поездки.

Другие сотрудники столкнулись с серьёзными сбоями:

Вице-президент Meta по ИИ-продуктам Вишал Шах рассказал Reuters, что апрельский релиз отложили ради дополнительной работы над безопасностью. По его словам, Muse прошёл минимальную планку компании для запуска. На конкретные случаи, описанные Reuters, Meta не ответила.

Более широкий контекст

Muse — пользовательская часть плана, который Марк Цукерберг изложил в написанном в прошлом месяце манифесте на 6500 слов. В нём «персональный сверхинтеллект» назван следующим этапом развития Meta.

Запуск происходит на фоне давления со стороны Уолл-стрит: инвесторы требуют показать отдачу от десятков миллиардов долларов, вложенных в ИИ, и уменьшить зависимость компании от рекламы. На рекламный бизнес повлияет и соглашение по безопасности детей — оно предусматривает обязательные дневные ограничения времени и ночные блокировки для подростков.

Эти обстоятельства обостряют вопрос, с которым столкнулась вся индустрия. Агенты становятся полезными только тогда, когда получают настоящие учётные данные и реальные разрешения. За последние шесть месяцев произошло несколько показательных инцидентов:

Все эти случаи связаны с одной проблемой: сколько самостоятельности можно дать системе, которая действует быстрее, чем человек успевает контролировать её работу.

Meta только что согласилась выплатить историческую сумму, урегулировав обвинения в том, что компания ставила вовлечённость выше благополучия самых юных пользователей. Теперь она просит взрослых предоставить новому продукту доступ к почте, календарю и кредитной карте. Решение пользователей покажет не только их отношение к технологии, но и то, насколько Meta удалось восстановить доверие.