Представляем Muse Spark 1.1 — новую модель

Meta представила мультимодальную модель Muse Spark 1.1

Meta Superintelligence Labs выпустила Muse Spark 1.1 — мультимодальную модель рассуждения для задач с ИИ-агентами. По сравнению с первой Muse Spark она заметно улучшилась в работе с инструментами и компьютером, программировании и понимании изображений и видео. Модель получила контекстное окно на 1 млн токенов, умеет координировать мультиагентные системы и работать с меняющимися данными в разных приложениях. Muse Spark 1.1 уже доступна в режиме «Размышление» в приложении Meta для ИИ и на meta.ai, а разработчики могут испытать её через публичную предварительную версию Meta Model API.

Вместе с запуском Muse Image, представленным на этой неделе, новая модель приближает Meta к идее персонального сверхинтеллекта — систем, которые помогают достигать целей, создавать задуманное, поддерживать отношения и действовать в соответствии с приоритетами пользователя.

Подробные результаты оценок Meta опубликовала в отдельном отчёте.

ИИ-агенты и длинный контекст

Muse Spark 1.1 показывает высокие результаты в персональных задачах с ИИ-агентами, где нужно планировать действия и координировать работу разных внешних приложений и сервисов. Модель без дополнительного обучения переносит полученные способности на новые встроенные инструменты, MCP-серверы и пользовательские навыки.

Сложные проекты она выполняет заметно быстрее первой Muse Spark: модель обучали координировать мультиагентные системы и сокращать общее время работы. В роли главного агента она собирает контекст, составляет план и распределяет действия между параллельными вспомогательными агентами. В роли вспомогательного агента Muse Spark 1.1 придерживается своей задачи, понимает доступные инструменты и знает, когда нужно передать управление главному агенту.

Модель может самостоятельно управлять контекстным окном на 1 млн токенов. Она запоминает выполненные действия, извлекает сведения из ранних этапов работы и сжимает контекст так, чтобы сохранить критически важные шаги для продолжения задачи.

Muse Spark 1.1 рассчитана на сценарии работы с компьютером, которые проходят сразу в нескольких приложениях, а данные в них меняются по ходу выполнения. Она сохраняет контекст во время длинных сессий, подстраивается под новые требования и ориентируется в незнакомых интерфейсах при минимальном участии человека.

Модель не прокручивает каждый шаг на рабочем столе через отдельные клики. Она определяет, когда быстрее автоматизировать действие, а когда проще воспользоваться интерфейсом напрямую: пишет сценарии, если автоматизация эффективнее, нажимает элементы при прямом взаимодействии и создаёт группы действий для каждого этапа.

В сценарии с организацией званого ужина модель замечает новые обстоятельства уже во время оформления заказа и самостоятельно вносит необходимые изменения.

Программирование

Muse Spark 1.1 заметно улучшилась на практических задачах с большими и сложными кодовыми базами. Она может находить и исправлять сложные ошибки, добавлять функции в корпоративные системы и выполнять масштабные миграции кода. В задачах вроде создания веб-приложений и сквозного ответа на вопросы модель показала большой прирост по сравнению с первой Muse Spark.

Meta обучала модель адаптироваться к разным средам запуска и надёжно работать со сложными многоходовыми сценариями. Muse Spark 1.1 поддерживает распространённые возможности агентов для программирования: режим планирования, привязку к цели, делегирование вспомогательным агентам и сжатие контекста.

В демонстрации с OpenCode модель создаёт чат-приложение, делает автоматические снимки экрана, находит по ним ошибки, заметные пользователю, связывает проблемы с нужными участками кода, исправляет их и проверяет результат. В этом сценарии она объединяет программирование, мультимодальное понимание и вызов инструментов.

Разработчики и исследователи Meta ежедневно используют Muse Spark 1.1, чтобы быстрее создавать продукты и проводить исследования. На внутреннем бенчмарке Meta для программирования модель заметно опередила Muse Spark и конкурирует с ведущими альтернативами.

Исследователи также автоматизируют с её помощью задачи по разработке и оценке моделей.

В другой демонстрации, проведённой в OpenCode, Muse Spark 1.1 проверяет себя на части заданий DeepSWE с разными уровнями рассуждения, а затем создаёт по результатам аналитическую панель.

Мультимодальные задачи

Помимо программирования и работы в качестве ИИ-агента, Muse Spark 1.1 хорошо справляется с восприятием, мультимодальным рассуждением и использованием инструментов. Она взаимодействует с реальными средами и создаёт результаты, связанные с исходными данными. Среди её возможностей Meta выделяет преобразование изображений в кодовые артефакты, подробное описание изображений и видео, а также выполнение рабочих процессов с ИИ-агентами и мультимодальными данными.

Мультимодальные способности особенно полезны в задачах, где восприятие и действие должны происходить одновременно. Модель анализирует визуальную и звуковую информацию, сохраняет детали на протяжении длинного рабочего процесса и использует их, управляя компьютером от имени пользователя.

В сценарии с Facebook Marketplace Muse Spark 1.1 получает видео, снятое на смартфон, выбирает из него подходящие фотографии, анализирует товар, открывает браузер пользователя и самостоятельно создаёт объявление на Facebook Marketplace.

Безопасность

До развёртывания Meta провела расширенные проверки безопасности в соответствии с расширенной системой масштабирования ИИ. Эта система определяет набор оценок, модели угроз и пороги запуска для наиболее передовых моделей компании.

По всем категориям передовых рисков — химическим и биологическим угрозам, кибербезопасности и потере контроля — Muse Spark 1.1, согласно оценкам Meta, остаётся в безопасных пределах. Модель устойчива к прямым попыткам обхода ограничений, а также к косвенным атакам через недоверенные данные, внедрение запросов и атаки с использованием запросов разработчика. Meta также сообщает о большей устойчивости к атакам, меньшем числе галлюцинаций и сниженной склонности поддакивать пользователю.

Полное описание мер безопасности для Muse Spark 1.1 опубликовано в отчёте об оценке.

Meta Model API

Впервые разработчики могут начать работать с Muse Spark 1.1 через новую Meta Model API, которая сейчас находится в публичной предварительной версии. Ранние партнёры Meta называют модель полноценной основой для ИИ-агентов: она сочетает длинный контекст с возможностями программирования и рассуждения для масштабных задач с ИИ-агентами.

Партнёры отдельно отмечают контекст на миллион токенов, поддержку изображений, видео и PDF, встроенный поиск с цитатами, рассуждение, программирование, структурированный вывод и параллельный вызов инструментов. Всё это доступно в пакете, совместимом с OpenAI.

В Cline сообщили, что Muse Spark 1.1 подходит для серьёзных задач по программированию благодаря сильной работе с инструментами и цене, позволяющей запускать такие задачи в масштабе.

В Box заявили, что на корпоративном наборе задач модель показала возможности, сопоставимые с ведущими передовыми моделями. По словам Yashodha Bhavnani, вице-президента по продуктам ИИ в Box, Muse Spark особенно хорошо подходит для структурированных процедурных рабочих процессов в профессиональных услугах, государственном секторе и промышленности.

Ещё один ранний партнёр, OpenClaw, отметил скорость и возможности Muse Spark 1.1 для запуска ИИ-агентов.

Meta сообщила, что продолжает обучать более способные модели и планирует рассказать о них позднее.

График масштабирования вычислений во время инференса для Muse Image

Источник: ai.meta.com