Что нового в Palette 3.0
Обновление меняет порядок передачи задач процессору: приложения отправляют запросы напрямую драйверам в ядре операционной системы, минуя промежуточную службу. Каждый вычислительный блок обрабатывает по одному запросу за раз, но разные блоки могут работать параллельно. Разработчики могут назначать приоритет каждому запросу.
В презентации SiMa.ai один чип Modalix одновременно запускает языковую модель и три зрительно-языковые модели. В отдельной демке шесть контейнеров Docker делят ресурсы чипа между задачами от обнаружения объектов до оценки трёхмерной позы.
Менеджер по продуктам генеративного ИИ SiMa.ai Мануэль Лопес Рольдан привёл пример камеры, которая непрерывно ищет объекты, пока языковая модель время от времени добавляет контекст к сцене. Разработчики могут дать запросам системы обнаружения объектов более высокий приоритет, а языковой модели — использовать ускоритель, когда он свободен. При этом презентационные материалы не показывают, как долго приоритетным запросам, возможно, придётся ждать при постоянной высокой нагрузке.
Компания также заявила, что один чип Modalix выполнял обнаружение объектов YOLOv26 на 60 одновременных видеопотоках с разрешением 720p. Суммарная скорость составила 600 кадров в секунду, или в среднем 10 кадров в секунду на поток.
В другом примере новый сенсор настраивают, направив камеру на цветовую таблицу: ИИ-агент корректирует параметры обработки изображения. По словам Лопеса Рольдана, для таких изменений не нужно заново собирать код приложения — команды могут самостоятельно настраивать новый датчик.
Что стоит за ускорением генерации
Основной прирост скорости SiMa.ai связывает со спекулятивным декодированием. Метод заранее подготавливает несколько следующих токенов, а затем целевая модель проверяет их вместе. Так сокращается количество последовательных шагов для генерации ответа.
В презентации компании ускорение пропускной способности декодирования составляет от 2,21 до 3,49 раза по сравнению с обычной генерацией на тех же целевых моделях. Среди использованных методов — EAGLE3, DFlash и предсказание нескольких токенов для Gemma 4. Один из выделенных результатов получен с DFlash N16 и Qwen3.5 9B.
Эти значения сравнивают Modalix с обычным декодированием тех же моделей. В отдельном тесте с 900 запросами к автомобильному ассистенту время ответа сократилось в 1,35–2,06 раза. По данным SiMa.ai, все 900 запросов завершились ожидаемыми структурированными вызовами функций.
Компания также оценивает снижение энергии на вычислительный запрос в 25,9–51,4% при примерно одинаковой средней мощности. Экономия возникает за счёт того, что чип быстрее заканчивает работу. Расчёт относится только к вычислениям: общее энергопотребление робота зависит также от его датчиков, двигателей и других компонентов.
Ещё одна заявленная возможность — запуск OpenAI GPT-OSS-20B на модуле Modalix с 16 ГБ памяти. Однако самого факта, что модель помещается на устройстве, недостаточно для оценки пригодности: заказчикам предстоит проверить время ответа, ограничения контекста и точность в своей конфигурации.
Браузер моделей раскрывает показатели
Обновлённый Model Browser показывает не только пропускную способность и задержку, но и мощность чипа, использование центрального процессора и памяти, а также работу отдельных слоёв модели. Если у модели есть несколько конфигураций, разработчики могут сравнить, как снижение числовой точности влияет на скорость и качество. Это помогает выбрать вариант для проверки после файн-тюнинга модели на собственных данных.
Кнопка загрузки выдаёт готовый к локальному запуску на Modalix артефакт. Для самостоятельной сборки доступны сценарии в открытом репозитории: они берут исходную модель из источников вроде GitHub, Hugging Face или Roboflow. Лопес Рольдан пояснил, что тот же порядок действий можно повторить и для подготовки модели после файн-тюнинга. При выборе начального набора моделей SiMa.ai учитывала запросы заказчиков.
Браузер моделей должен заработать 17 ноября. SiMa.ai сообщила, что набор средств разработки Palette SDK доступен с 31 октября.
Обновления работают на уже выпущенном оборудовании. Менеджер по продуктам генеративного ИИ SiMa.ai Мануэль Лопес Рольдан подтвердил VentureBeat, что изменения реализованы программно. Ашок Сударасанам, заместитель вице-президента по программному обеспечению ускорителей машинного обучения, рассказал, что его команда создаёт компилятор, переводящий модели в инструкции для ускорителя, и ПО, которое распределяет их выполнение.
По словам Сударасанама, компания с самого начала разрабатывала оборудование и ПО совместно, а программную платформу обновляет для поддержки новых моделей и ускорения приложений на уже поставленных клиентам чипах.
Заказчики могут загружать пакеты обновлений там, где есть подключение к сети, а затем устанавливать их на устройства в полевых условиях. Самой плате, по словам Лопеса Рольдана, доступ в интернет для этого не требуется.
Цены и альтернативы
Palette 3.0 предназначена для разработчиков, которые встраивают ИИ в физические устройства. Библиотека Palette Neat, входящая в слой разработки приложений, распространяется по лицензии Apache 2.0. Условия лицензирования компилятора и микропрограммного обеспечения пока не подтверждены.
Начать работу можно через SiMa.ai Developer Center и организацию компании на GitHub. DevKit 3.0 стоит $1 499 в США и Европе. В комплект входят модуль Modalix, плата-носитель, корпус, блок питания и накопитель на 500 ГБ. Отдельную цену программного обеспечения Palette 3.0 и стоимость оборудования для серийных поставок SiMa.ai не раскрыла.
SiMa.ai конкурирует с разными решениями для краевых вычислений. Nvidia предлагает комплекты разработки Jetson и программную среду JetPack, а Hailo выпускает ускорители для локальной обработки ИИ-задач на хост-компьютере. Приведённые цены относятся к оборудованию для разработки, а не к полному бюджету внедрения: при планировании нужно учитывать серийные поставки и интеграцию.
Для сравнения вариантов компания приводит такие характеристики:
Более дешёвый вариант на базе Hailo требует отдельно добавить Raspberry Pi, накопитель и другие компоненты. У Nvidia предложение включает оборудование Jetson и программный стек компании, а не полностью открытую программную платформу.
Проверка на реальных приложениях
Palette 3.0 рассчитана прежде всего на команды, чьи модели восприятия и рассуждения уже работают по отдельности, но начинают конкурировать за вычислительные ресурсы и память при совместном запуске. Для робота это может означать, например, что обнаружение объектов должно отвечать в заданный срок, пока языковая модель формирует ответ.
Показатели декодирования дают оценку скорости генерации, но демки со смешанными нагрузками не отвечают на вопрос, укладывается ли конкретное приложение в свои сроки. Это разработчикам нужно проверять на собственном оборудовании и задачах.
Нынешним заказчикам также предстоят работы по переходу на новую версию: уведомление SiMa.ai указывает, что обновление с платформы 2.1.3 до 3.0.0 требует миграции. Кроме того, разработчикам нужно заново собрать нативные приложения с соответствующими компонентами.
По оценке Dataist, главное преимущество Palette 3.0 — возможность запускать разные ИИ-задачи на одном чипе и настраивать приоритеты без замены оборудования. Заявленные показатели ускорения и экономии энергии не заменяют испытаний в составе готового устройства: результат зависит от конкретной нагрузки, а полная стоимость внедрения включает серийное оборудование и интеграцию.
Читайте также
Isomorphic Labs привлекла $5 млрд — второй мега-раунд компании за полгода
Fountain запускает Orchestra: ИИ-агенты помогут нанимать, планировать смены и управлять почасовыми сотрудниками
ИИ-агенты уже заполняют медицинские формы и подают страховые запросы вместо персонала клиник
Новое обещание работодателя: готовить сотрудников к будущему с ИИ
В праздничный сезон за покупками вместо вас может отправиться не человек
Voyage Labs привлекла $12 млн на создание специализированного ИИ-помощника для путешествий
OpenAI предоставила НАТО и европейским правительствам доступ к инструменту киберзащиты Daybreak
Genesis AI привлекла $500 млн на создание роботов, работающих в сенсорных перчатках
Nvidia после ухода Дженсена Хуанга впервые крупно взялась за вопросы нацбезопасности
Пол Келли призвал Альбанезе проявить твёрдость в вопросе ИИ — творческая индустрия добивается защиты авторских прав
IPO Anthropic: как купить акции и стоит ли это делать?
Live Rewind на Apple Watch записывает разговоры и позволяет их прокручивать — это довольно неловко
Британские актёры получат больше прав на свои цифровые копии по соглашению о защите от ИИ
Фабрика миллионеров: IPO Anthropic может разжечь ажиотаж на рынке элитной недвижимости Лондона
ФБР: с помощью Artex AI хакеры взламывали сети менее чем за три часа
Стартап в сфере кибербезопасности Corma достиг оценки в $1 млрд примерно за три месяца
OpenAI выпустила классификатор изображений и предупреждения в ChatGPT для борьбы с материалами сексуального насилия над детьми
Google Maps теперь составляет маршруты поездок с актуальной информацией о каждой остановке
Член совета OpenAI предупреждает: через год люди могут быть мертвы или порабощены
GPT-6 Astra от OpenAI берётся за сложнейшую математическую задачу Стандартной модели на решётке
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram