i
Новости
Новости · 2026-11-17

SiMa.ai ускорила локальный краевой ИИ: Palette 3.0 генерирует текст в 3,5 раза быстрее и получила новый браузер моделей

Dataist Dataist

SiMa.ai выпустила Palette 3.0 — обновление программной платформы для краевых ИИ-процессоров Modalix. Компания заявляет, что новая версия улучшает совместную работу нескольких ИИ-задач на одном чипе, а ускоренное декодирование повышает скорость генерации текста до 3,5 раза. Обновление также включает браузер моделей с показателями производительности и потребления ресурсов. Платформа рассчитана на устройства вроде роботов, дронов и промышленных систем, которым нужно обрабатывать данные датчиков и выполнять приложения при ограниченных запасах памяти и энергии.

Обложка: SiMa.ai ускорила локальный краевой ИИ: Palette 3.0 генерирует текст в 3,5 раза быстрее и получила новый браузер моделей

Что нового в Palette 3.0

Обновление меняет порядок передачи задач процессору: приложения отправляют запросы напрямую драйверам в ядре операционной системы, минуя промежуточную службу. Каждый вычислительный блок обрабатывает по одному запросу за раз, но разные блоки могут работать параллельно. Разработчики могут назначать приоритет каждому запросу.

В презентации SiMa.ai один чип Modalix одновременно запускает языковую модель и три зрительно-языковые модели. В отдельной демке шесть контейнеров Docker делят ресурсы чипа между задачами от обнаружения объектов до оценки трёхмерной позы.

Менеджер по продуктам генеративного ИИ SiMa.ai Мануэль Лопес Рольдан привёл пример камеры, которая непрерывно ищет объекты, пока языковая модель время от времени добавляет контекст к сцене. Разработчики могут дать запросам системы обнаружения объектов более высокий приоритет, а языковой модели — использовать ускоритель, когда он свободен. При этом презентационные материалы не показывают, как долго приоритетным запросам, возможно, придётся ждать при постоянной высокой нагрузке.

Компания также заявила, что один чип Modalix выполнял обнаружение объектов YOLOv26 на 60 одновременных видеопотоках с разрешением 720p. Суммарная скорость составила 600 кадров в секунду, или в среднем 10 кадров в секунду на поток.

В другом примере новый сенсор настраивают, направив камеру на цветовую таблицу: ИИ-агент корректирует параметры обработки изображения. По словам Лопеса Рольдана, для таких изменений не нужно заново собирать код приложения — команды могут самостоятельно настраивать новый датчик.

Что стоит за ускорением генерации

Основной прирост скорости SiMa.ai связывает со спекулятивным декодированием. Метод заранее подготавливает несколько следующих токенов, а затем целевая модель проверяет их вместе. Так сокращается количество последовательных шагов для генерации ответа.

В презентации компании ускорение пропускной способности декодирования составляет от 2,21 до 3,49 раза по сравнению с обычной генерацией на тех же целевых моделях. Среди использованных методов — EAGLE3, DFlash и предсказание нескольких токенов для Gemma 4. Один из выделенных результатов получен с DFlash N16 и Qwen3.5 9B.

Эти значения сравнивают Modalix с обычным декодированием тех же моделей. В отдельном тесте с 900 запросами к автомобильному ассистенту время ответа сократилось в 1,35–2,06 раза. По данным SiMa.ai, все 900 запросов завершились ожидаемыми структурированными вызовами функций.

Компания также оценивает снижение энергии на вычислительный запрос в 25,9–51,4% при примерно одинаковой средней мощности. Экономия возникает за счёт того, что чип быстрее заканчивает работу. Расчёт относится только к вычислениям: общее энергопотребление робота зависит также от его датчиков, двигателей и других компонентов.

Ещё одна заявленная возможность — запуск OpenAI GPT-OSS-20B на модуле Modalix с 16 ГБ памяти. Однако самого факта, что модель помещается на устройстве, недостаточно для оценки пригодности: заказчикам предстоит проверить время ответа, ограничения контекста и точность в своей конфигурации.

3,5 разамаксимальное ускорение генерации
900запросов в тесте автомобильного ассистента
16 ГБпамяти у модуля Modalix

Браузер моделей раскрывает показатели

Обновлённый Model Browser показывает не только пропускную способность и задержку, но и мощность чипа, использование центрального процессора и памяти, а также работу отдельных слоёв модели. Если у модели есть несколько конфигураций, разработчики могут сравнить, как снижение числовой точности влияет на скорость и качество. Это помогает выбрать вариант для проверки после файн-тюнинга модели на собственных данных.

Кнопка загрузки выдаёт готовый к локальному запуску на Modalix артефакт. Для самостоятельной сборки доступны сценарии в открытом репозитории: они берут исходную модель из источников вроде GitHub, Hugging Face или Roboflow. Лопес Рольдан пояснил, что тот же порядок действий можно повторить и для подготовки модели после файн-тюнинга. При выборе начального набора моделей SiMa.ai учитывала запросы заказчиков.

Браузер моделей должен заработать 17 ноября. SiMa.ai сообщила, что набор средств разработки Palette SDK доступен с 31 октября.

Обновления работают на уже выпущенном оборудовании. Менеджер по продуктам генеративного ИИ SiMa.ai Мануэль Лопес Рольдан подтвердил VentureBeat, что изменения реализованы программно. Ашок Сударасанам, заместитель вице-президента по программному обеспечению ускорителей машинного обучения, рассказал, что его команда создаёт компилятор, переводящий модели в инструкции для ускорителя, и ПО, которое распределяет их выполнение.

По словам Сударасанама, компания с самого начала разрабатывала оборудование и ПО совместно, а программную платформу обновляет для поддержки новых моделей и ускорения приложений на уже поставленных клиентам чипах.

Заказчики могут загружать пакеты обновлений там, где есть подключение к сети, а затем устанавливать их на устройства в полевых условиях. Самой плате, по словам Лопеса Рольдана, доступ в интернет для этого не требуется.

Цены и альтернативы

Palette 3.0 предназначена для разработчиков, которые встраивают ИИ в физические устройства. Библиотека Palette Neat, входящая в слой разработки приложений, распространяется по лицензии Apache 2.0. Условия лицензирования компилятора и микропрограммного обеспечения пока не подтверждены.

Начать работу можно через SiMa.ai Developer Center и организацию компании на GitHub. DevKit 3.0 стоит $1 499 в США и Европе. В комплект входят модуль Modalix, плата-носитель, корпус, блок питания и накопитель на 500 ГБ. Отдельную цену программного обеспечения Palette 3.0 и стоимость оборудования для серийных поставок SiMa.ai не раскрыла.

SiMa.ai конкурирует с разными решениями для краевых вычислений. Nvidia предлагает комплекты разработки Jetson и программную среду JetPack, а Hailo выпускает ускорители для локальной обработки ИИ-задач на хост-компьютере. Приведённые цены относятся к оборудованию для разработки, а не к полному бюджету внедрения: при планировании нужно учитывать серийные поставки и интеграцию.

Для сравнения вариантов компания приводит такие характеристики:

DevKit 3.0 стоит $1 499; цены на серийные поставки предоставляет SiMa.ai по запросу. В платформе есть библиотека Neat с лицензией Apache 2.0 и другие компоненты.
SiMa.ai ориентируется на совместное выполнение нескольких моделей при ограниченном энергопотреблении.
Nvidia Jetson — комплект оборудования с программной средой JetPack. В таблице SiMa.ai указаны цены Nvidia из раздела часто задаваемых вопросов. Технический обзор Jetson Thor описывает подключение комплекта разработки к существующему роботу и создание и проверку приложений с JetPack 7.
Вариант на базе Hailo стоит от $200 за ускоритель; плата Raspberry Pi и другие компоненты оплачиваются отдельно. Решение включает ПО Hailo и инструменты для работы с моделями.
В документации Raspberry Pi описана поддержка языковых и зрительно-языковых моделей примерно до 6 млрд параметров. Это отличается от приведённого SiMa.ai примера с моделью на 20 млрд параметров типа «смесь экспертов», но число параметров само по себе не показывает точность или скорость.
В сравнении для Modalix отмечены 8 ГБ выделенной памяти для локальной работы с языковыми и зрительно-языковыми моделями.

Более дешёвый вариант на базе Hailo требует отдельно добавить Raspberry Pi, накопитель и другие компоненты. У Nvidia предложение включает оборудование Jetson и программный стек компании, а не полностью открытую программную платформу.

Проверка на реальных приложениях

Palette 3.0 рассчитана прежде всего на команды, чьи модели восприятия и рассуждения уже работают по отдельности, но начинают конкурировать за вычислительные ресурсы и память при совместном запуске. Для робота это может означать, например, что обнаружение объектов должно отвечать в заданный срок, пока языковая модель формирует ответ.

Показатели декодирования дают оценку скорости генерации, но демки со смешанными нагрузками не отвечают на вопрос, укладывается ли конкретное приложение в свои сроки. Это разработчикам нужно проверять на собственном оборудовании и задачах.

Нынешним заказчикам также предстоят работы по переходу на новую версию: уведомление SiMa.ai указывает, что обновление с платформы 2.1.3 до 3.0.0 требует миграции. Кроме того, разработчикам нужно заново собрать нативные приложения с соответствующими компонентами.

По оценке Dataist, главное преимущество Palette 3.0 — возможность запускать разные ИИ-задачи на одном чипе и настраивать приоритеты без замены оборудования. Заявленные показатели ускорения и экономии энергии не заменяют испытаний в составе готового устройства: результат зависит от конкретной нагрузки, а полная стоимость внедрения включает серийное оборудование и интеграцию.

Isomorphic Labs привлекла $5 млрд — второй мега-раунд компании за полгода Fountain запускает Orchestra: ИИ-агенты помогут нанимать, планировать смены и управлять почасовыми сотрудниками ИИ-агенты уже заполняют медицинские формы и подают страховые запросы вместо персонала клиник Новое обещание работодателя: готовить сотрудников к будущему с ИИ В праздничный сезон за покупками вместо вас может отправиться не человек Voyage Labs привлекла $12 млн на создание специализированного ИИ-помощника для путешествий OpenAI предоставила НАТО и европейским правительствам доступ к инструменту киберзащиты Daybreak Genesis AI привлекла $500 млн на создание роботов, работающих в сенсорных перчатках Nvidia после ухода Дженсена Хуанга впервые крупно взялась за вопросы нацбезопасности Пол Келли призвал Альбанезе проявить твёрдость в вопросе ИИ — творческая индустрия добивается защиты авторских прав IPO Anthropic: как купить акции и стоит ли это делать? Live Rewind на Apple Watch записывает разговоры и позволяет их прокручивать — это довольно неловко Британские актёры получат больше прав на свои цифровые копии по соглашению о защите от ИИ Фабрика миллионеров: IPO Anthropic может разжечь ажиотаж на рынке элитной недвижимости Лондона ФБР: с помощью Artex AI хакеры взламывали сети менее чем за три часа Стартап в сфере кибербезопасности Corma достиг оценки в $1 млрд примерно за три месяца OpenAI выпустила классификатор изображений и предупреждения в ChatGPT для борьбы с материалами сексуального насилия над детьми Google Maps теперь составляет маршруты поездок с актуальной информацией о каждой остановке Член совета OpenAI предупреждает: через год люди могут быть мертвы или порабощены GPT-6 Astra от OpenAI берётся за сложнейшую математическую задачу Стандартной модели на решётке

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram