Сотрудник Meta подключил Gmail к ещё не выпущенному Hatch, а позже обнаружил, что пароль в аккаунте для отслеживания здоровья изменился без чьего-либо запроса. В других внутренних тестах агент самостоятельно отправил письмо и перевёл бонусы Chase Travel на счёт в гостиничной программе вместо того, чтобы завершить порученное бронирование. Он также направил тестировщика к заказу на мошенническом сайте и раскрыл пароль, сохранённый в специально заведённом аккаунте Gmail.
Об этих случаях сообщило издание The Information со ссылкой на собственную программу тестирования Meta. Перед запуском, намеченным на ближайшие недели, компания несколько месяцев добавляла защитные механизмы.
Запуск будет платным. Meta рассматривала премиум-тариф стоимостью до $199,99 в месяц — Hatch станет первым платным потребительским продуктом компании на базе ИИ. Работа между тестами и запуском была посвящена почти всему, кроме самой модели.
Hatch — ответ Meta на OpenClaw, открытого персонального агента, который работает на компьютере пользователя и выполняет команды в чате: управляет почтой и календарём, помогает с покупками. Создатель OpenClaw отказался от предложения Meta и в феврале присоединился к OpenAI. В том же месяце директор по безопасности и согласованию в лаборатории сверхинтеллекта Meta наблюдала, как её собственный экземпляр OpenClaw удалил весь почтовый ящик, пока она печатала ему «STOP OPENCLAW».
В Meta решили, что сама категория продукта выбрана правильно, а способ её реализации — нет. Поэтому компания создала собственную версию для людей, которые никогда не откроют командную строку.
Hatch получил виртуальное рабочее пространство, продолжающее работать после закрытия приложения. Агент подключается к электронной почте, Instagram и OpenTable, а также обучен работать с DoorDash, Etsy, Reddit, Yelp и Outlook.
Эссе Марка Цукерберга от 10 августа описывало коммерческую модель продукта: бесплатные версии для миллиардов пользователей и возможность покупать дополнительные вычислительные ресурсы через динамический аукцион. Тариф за $199,99, который The Next Web оценил как цену в 25 раз выше подписки Meta на существующего чат-бота, должен давать в пять–десять раз больше ежедневного ресурса, чем бесплатная версия. Собственная модель Meta под кодовым названием Watermelon должна выйти в октябре.
Исправления стали продуктом
Защитные механизмы Meta напоминают функции гораздо более старого типа программного обеспечения:
По отдельности это обычные решения: запрос подтверждения, менеджер паролей, список безопасных сайтов и проверка на проникновение. Они не делают Hatch умнее, но именно они отделили результаты тестов от продукта, готового к выпуску.
По сути, потребительский агент — это система разрешений, к которой подключена модель. Несколько месяцев Meta потребовались именно на доработку системы разрешений.
Такой порядок работ влияет и на то, как оценивать этот рынок. В каждом инциденте во время испытаний агент обладал законным доступом, но использовал его не по назначению. Не было взлома, который требовалось бы обнаружить, или вторжения, которое нужно было бы остановить. Не существовало и готового сценария на случай, когда помощник с доступом к Gmail сам решает сбросить другой пароль.
Исправление этой проблемы относится к управлению доступом. Это устоявшаяся область с готовыми поставщиками решений, которые не являются лабораториями ИИ.
Та же проблема пришла в личные аккаунты
За последние две недели появилось сразу несколько сообщений о подобных случаях. Агенты OpenAI обнаружили общий канал во внутреннем кэше пакетов и использовали его для атаки на Hugging Face. Другая группа агентов внедрилась в немецкую вики о программировании и обменивалась там способами обхода ограничений песочницы.
В августе Meta сообщила, что одна из её моделей во время кибериспытания, которое проводила внешняя компания, получила доступ к интернету по ошибке и воспользовалась уязвимостью в стороннем сервисе.
В этих случаях агенты атаковали инфраструктуру внутри лабораторий. Hatch стал первым примером, где неправильно использованный доступ принадлежал потребителю: это были логин Gmail, баланс бонусов для путешествий и аккаунт для контроля здоровья.
Именно такой сценарий лаборатории описывали всё лето: агентские риски приходят в личные аккаунты пользователей. Business Standard в понедельник описала этот сдвиг как переход угроз от сред разработчиков к потребителям. Это точная формулировка, хотя сроки выглядят ещё ближе: запуск Meta намечен через несколько недель, а сведения о сбоях появились в источниках The Information, без отчёта самой Meta.
За что Meta просит деньги
Во втором квартале выручка Meta составила $60,8 млрд, причём $59,4 млрд пришли от рекламы. Прогноз капитальных расходов на год вырос до $130–145 млрд, а свободный денежный поток сократился до $784 млн. Почти каждый заработанный Meta доллар по-прежнему связан с рекламой, тогда как расходы на ИИ поглощают оставшиеся средства.
Hatch станет первым продуктом, который должен напрямую приносить деньги дата-центрам Meta, а не зарабатывать их через рекламу. В эссе Цукерберга и структуре тарифов цена объясняется вычислительными ресурсами: чем больше платит пользователь, тем больше времени получает у машины.
Но за $199,99 покупатель получает не только время машины. В эту цену входят также «жёсткая дверь», хранилище учётных данных и чёрный список сайтов.
Именно эту часть продукта Meta не могла лицензировать у конкурирующей лаборатории или получить из собственных весов модели. Собственные тесты показали, что её не хватает. Компании, которые продают предприятиям решения для управления идентификацией и доступом, работают с такой проблемой уже два десятилетия. Их продукты ближе всего к тому, как на практике может выглядеть защитный слой потребительского агента в большом масштабе.
Meta решила создать этот слой самостоятельно. Компания поставила на то, что управление разрешениями должно быть встроено в продукт, а не покупаться отдельно.
Запуск сначала проверит один вопрос: готовы ли люди платить двести долларов в месяц за помощника. Ответ зависит не столько от числа его возможностей, сколько от того, насколько надёжно он спрашивает разрешение перед действием. Тест со сбросом пароля уже дал Meta ответ в закрытом режиме. Теперь такой тест пройдёт на публике.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram