OpenAI открыла широкий доступ к конкуренту Jev на фоне обострения борьбы за рынок моделей для принятия решений

Как OpenAI адаптировала Luna

Модель Jev от TypeSafe помогла сформировать отдельную категорию моделей глубокого обучения — «суперклассификаторов». Получив набор вариантов, такая модель быстро выбирает один из них и оценивает уверенность в решении. Разработчики ПО вскоре обнаружили, что модели принятия решений, или модели «Системы 1», могут заменить большие языковые модели во многих рабочих процессах, выполняя задачи быстрее и с гораздо меньшими затратами.

Никундж Ханда, руководитель продуктового направления API в OpenAI, рассказал TechCrunch, что его коллеги увидели Jev и сразу заметили множество возможных применений. Команда Ханды быстро подготовила собственный вариант: вместо создания специально откалиброванной модели для принятия решений она перенастроила ChatGPT Luna, чтобы ускорить инференс и снизить стоимость.

По словам Ханды, главное преимущество Decisions API — скорость: время выполнения задач удалось сократить с одной–трёх секунд до 100, 120 или 180 миллисекунд. В будущем OpenAI может обучить модели специально для таких задач, но сейчас API использует обычную Luna, которая, как выразился Ханда, справляется с работой.

OpenAI анонсировала Decisions API на дне разработчиков компании 29 сентября, а в четверг открыла доступ к нему всем клиентам. В общедоступную версию добавили голосовой и визуальный ввод, а для снижения задержек в разных регионах разместили ресурсы для инференса с учётом географии.

Первые применения и скорость

На первых испытаниях с Box, Datadog, Ramp и Speak инженеры использовали API, чтобы заменить большие языковые модели OpenAI и увеличить пропускную способность. Эндрю Сюй, технический директор Speak — компании, создающей языковых ИИ-репетиторов, — сообщил, что Decisions API сократил время между действиями с 1,4 секунды до 0,13 секунды. OpenAI также применила продукт, чтобы повысить скорость отклика голосового помощника Dots.

Время между действиями в Speak: с 1,4 секунды до 0,13 секунды.

Как сравнивают модели

Пока неясно, что именно делает модель принятия решений хорошей, кроме того, что она подходит для конкретной задачи. Баланс между качеством рассуждений, стоимостью, калибровкой и скоростью зависит от рабочего процесса. Генеральный директор TypeSafe Диогу Алмейда скептически относится к бенчмаркам и советует проверять модели на собственных задачах. Однако на прошлой неделе TypeSafe опубликовала собственные рейтинги вместе с новой версией Jev: в ней появились поддержка изображений и интеллектуальные условные операторы.

В публичных бенчмарках AIM System One Index и Artificial Analysis Decision Index лидируют D1 Ultra — новая модель для принятия решений, выпущенная Liquid на прошлой неделе, — и Elephant-1 от Base Lab. Новая Jev занимает в этих рейтингах седьмое и третье места, а Decision Model от OpenAI — восьмое и четырнадцатое соответственно. При этом модели TypeSafe пока чаще всего запрашивают через OpenRouter.

Самый необычный бенчмарк Jev — JevMan: в нём модели для принятия решений играют в Pac-Man. Последняя версия Jev занимает первое место. Феликс Вундерлих, директор по росту Opper AI, создавшей бенчмарк, объяснил, что классическая игра подходит для проверки из-за непрерывной череды быстрых решений с высокими ставками: на каждом повороте модели нужно за несколько сотен миллисекунд выбрать направление.

Работа с изображениями и дальнейшее ускорение

Преимущество модели OpenAI, которая, возможно, обладает более широкими возможностями, может проявиться в мультимодальных задачах. Ханда рассказал TechCrunch, что Luna особенно эффективна в классификации изображений и показывает более точную калибровку. По его словам, клиенты OpenAI также хотят, чтобы Decisions API гибче работал с изображениями на выходе.

Ханда считает, что дальнейшее ускорение откроет новые сценарии. Если сократить время ответа примерно до 60 миллисекунд, API, возможно, получится вызывать для каждого кадра видео.

Более быстрые и дешёвые модели могут привести к тому, что их начнут применять гораздо шире — как в экономическом эффекте Джевонса, названном в честь экономиста, который объяснял, как более эффективное использование ресурса повышает его распространённость. Ханда ожидает, что модели для принятия решений откроют множество прежде незаметных вариантов применения.