PrismML надеется, что её крошечная LLM изменит наше обращение с ИИ

PrismML пока известна не масштабом финансирования: стартап привлёк посевной раунд на $22,25 млн. В компании делают ставку на то, что производительные большие языковые модели с рассуждением необязательно должны быть большими.

PrismML создаёт модели рассуждений настолько компактными, что они могут работать на ПК и смартфонах. Также ходят слухи, что компания ведёт переговоры с Apple, но генеральный директор Бабак Хассиби отказался комментировать это TechCrunch.

В четверг PrismML представила Bonsai 2 27B — новую модель в своей линейке. Она сжимает широко используемую открытую модель Qwen3.8 27B от Alibaba до 5,9 ГБ. Это в 9–10 раз меньше памяти, чем требуется оригиналу.

Команда и инвесторы

PrismML основала группа исследователей Caltech. Компанию возглавляет Бабак Хассиби — профессор Caltech и специалист по технологиям сжатия.

Советником стартапа стал Ион Стойка, сооснователь Databricks и других компаний, а также директор знаменитой лаборатории Sky Computing при Калифорнийском университете в Беркли. В этой лаборатории появились многие технологии и стартапы, включая Letta и SGLang.

PrismML поддержали следующие инвесторы:

PrismML — не единственная компания, которая занимается сжатием больших языковых моделей. Ещё один пример — Multiverse Computing, основанная известным профессором из испанского Международного физического центра Донoстии. Multiverse Computing уже привлекла значительное финансирование.

Результаты сжатия

По словам Хассиби, технология PrismML отличается тем, что сжатые модели почти не теряют производительность по сравнению с исходными. Bonsai 2 набирает 98% от совокупных результатов Qwen на бенчмарках. Первая Bonsai, выпущенная несколькими месяцами ранее, в марте, показывала 95% от исходного результата.

С того времени первую модель скачали более 11 млн раз. Ещё 2,6 млн загрузок пришлись на более компактные модели PrismML, сообщает компания.

Результаты показывают, что качество сжатия улучшается от одного выпуска к следующему. Достигнет ли PrismML полного совпадения с исходными моделями на бенчмарках, пока неизвестно. Хассиби считает, что сжатие, вероятно, всегда будет немного влиять на результат.

При этом идеальное совпадение на бенчмарках имеет скорее академическое значение. Исходные большие языковые модели не настолько точны, а сами бенчмарки не настолько точно отражают реальные задачи, чтобы снижение результата на 2% заметно повлияло на работу модели в повседневном использовании. На точность также существенно влияет окружающее программное обеспечение — оболочка, внутри которой запускается модель.

Как PrismML уменьшает модели

PrismML уменьшает «веса» модели — информацию, которую она усваивает и хранит во время обучения. Обычно для хранения каждого веса требуется 16 бит.

Подход компании называется тернарными весами. Вместо большого набора значений каждый вес принимает одно из трёх:

Благодаря этому для каждого веса нужно хранить гораздо меньше данных, а сама модель занимает значительно меньше места. Более подробное описание технологии сжатия опубликовано на странице проекта в GitHub.

Следующая цель

Теперь стартап хочет применить ту же технологию к ещё более крупным моделям. По словам Хассиби, следующие модели PrismML могут выйти в течение нескольких месяцев и будут иметь от нескольких сотен миллиардов параметров. Он ожидает, что сохранить их способность рассуждать будет проще.

По мере роста модели, объяснил Хассиби, появляется больше возможностей сжать её без потери интеллектуальных способностей. В целом, считает он, крупным моделям проще сохранить 100% исходного качества.

Локальный запуск

Ион Стойка связывает перспективность технологии с тем, что передовые модели смогут работать непосредственно на устройствах пользователей. В этом случае ИИ будет доступен без отдельной платы, поскольку запустится на уже купленном устройстве. Данные также не придётся отправлять в облако, что обеспечит приватность.