Как устроены модели для принятия решений
Эти модели основаны на больших языковых моделях, но не генерируют выходные токены. Их настраивают так, чтобы они применяли свои общие способности для выбора одного из заранее заданных вариантов и одновременно оценивали уверенность в своём решении. Такой подход подходит для рабочих систем, где важны скорость и стоимость, а развёрнутые рассуждения не обязательны.
TypeSafe стала компанией стоимостью $7,5 млрд после выпуска семейства моделей Jev. Они по-прежнему лидируют по использованию — по крайней мере, среди сервисов, чьи показатели доступны. Например, на прошлой неделе OpenRouter обработал более 1,5 млрд запросов к моделям TypeSafe.
Создать такую модель сравнительно просто, поэтому после появления Jev вышли десятки аналогов. Один инженер Amazon собрал свою модель за выходные, а вскоре собственный вариант появился у каждого крупного облачного провайдера. Во вторник генеральный директор Microsoft Сатья Наделла сообщил, что компания сразу начинает широкое внедрение Microsoft-Decision-1.1 в Azure.
Стартап делает ставку на данные клиентов
Британский стартап Sqwish, разработчик модели для принятия решений kettei fat, объявил о привлечении $3 млн на предпосевном раунде. Сооснователи Ушниш Сенгупта и Федерика Фредди познакомились во время учёбы в магистратуре Кембриджского университета. До появления Jev они разрабатывали небольшие большие языковые модели, а затем поняли, что их архитектуры можно приспособить для создания модели, выбирающей между вариантами.
Для таких систем важны данные. Генеральный директор TypeSafe Диого Алмейда рассказал TechCrunch, что самой сложной частью работы над Jev была точная калибровка суждений модели с помощью синтетических данных, скорректированных статистическими методами.
Sqwish тоже использует синтетические данные, но предлагает встроенные инструменты дообучения на данных клиентов. Компании могут загружать данные из своей рабочей среды, чтобы улучшать способность модели решать нужные им задачи. Сенгупта считает, что именно это отличает Sqwish от типовых предложений: клиентская модель может продолжать улучшаться на материалах, которые компания использует в работе.
Почему бенчмарков недостаточно
Сравнивать модели для принятия решений непросто. kettei fat показала хорошие результаты на некоторых бенчмарках, но разработчики считают более показательными испытания в конкретной среде: заменить одну модель другой обычно несложно, и можно непосредственно проверить, как она справляется с нужной задачей.
Сенгупта описывает бенчмарк как повод попробовать модель, а постоянную настройку — как причину продолжать ею пользоваться. Microsoft также разрабатывала Decision 1.1, балансируя стоимость, задержку, уровень интеллекта и калибровку. Руководивший проектом вице-президент по инженерным вопросам Ачинт Шривастава согласился, что чрезмерная ориентация на бенчмарки — ошибка.
По его словам, модели, оптимизированные под бенчмарки, быстро показывают слабые результаты при реальном корпоративном использовании. Тестирование Microsoft, добавил Шривастава, показывает, насколько сложно одновременно добиться точности, надёжности, скорости и экономичности. Он назвал Microsoft-Decision-1.1 и Jev одними из немногих моделей, которые хорошо работают по всем четырём показателям, в том числе на незнакомых бенчмарках, отражающих реальные сценарии.
Рынок для стартапов
Федерика Фредди считает, что в будущих системах интеллект первого типа, к которому относятся модели для принятия решений, будет работать вместе с интеллектом второго типа — большими передовыми языковыми моделями. По её оценке, даже в таком будущем рынок для систем первого типа может составить $10–50 млрд. Для сравнения, она упомянула ожидания, связанные с возможным выходом OpenAI на биржу и оценкой компании в $1–2 трлн, и отметила, что для крупных игроков модели для принятия решений могут оставаться побочным проектом.
По оценке Dataist, спрос на быстрый выбор уже заметен в статистике Vercel, но преимущества отдельных моделей нельзя надёжно определить только по бенчмаркам. Конкуренция будет зависеть в том числе от того, насколько хорошо модели работают на данных конкретных компаний и продолжают ли улучшаться под их задачи.
Читайте также
SiMa.ai ускорила локальный краевой ИИ: Palette 3.0 генерирует текст в 3,5 раза быстрее и получила новый браузер моделей
Isomorphic Labs привлекла $5 млрд — второй мега-раунд компании за полгода
Fountain запускает Orchestra: ИИ-агенты помогут нанимать, планировать смены и управлять почасовыми сотрудниками
ИИ-агенты уже заполняют медицинские формы и подают страховые запросы вместо персонала клиник
Новое обещание работодателя: готовить сотрудников к будущему с ИИ
В праздничный сезон за покупками вместо вас может отправиться не человек
Voyage Labs привлекла $12 млн на создание специализированного ИИ-помощника для путешествий
OpenAI предоставила НАТО и европейским правительствам доступ к инструменту киберзащиты Daybreak
Genesis AI привлекла $500 млн на создание роботов, работающих в сенсорных перчатках
Nvidia после ухода Дженсена Хуанга впервые крупно взялась за вопросы нацбезопасности
Пол Келли призвал Альбанезе проявить твёрдость в вопросе ИИ — творческая индустрия добивается защиты авторских прав
IPO Anthropic: как купить акции и стоит ли это делать?
Live Rewind на Apple Watch записывает разговоры и позволяет их прокручивать — это довольно неловко
Британские актёры получат больше прав на свои цифровые копии по соглашению о защите от ИИ
Фабрика миллионеров: IPO Anthropic может разжечь ажиотаж на рынке элитной недвижимости Лондона
ФБР: с помощью Artex AI хакеры взламывали сети менее чем за три часа
Стартап в сфере кибербезопасности Corma достиг оценки в $1 млрд примерно за три месяца
OpenAI выпустила классификатор изображений и предупреждения в ChatGPT для борьбы с материалами сексуального насилия над детьми
Google Maps теперь составляет маршруты поездок с актуальной информацией о каждой остановке
Член совета OpenAI предупреждает: через год люди могут быть мертвы или порабощены
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram