Клон Jev от OpenAI может помочь лаборатории остановить роение её агентов

Как устроен Decisions API

О новом API Альтман рассказал вскользь во время Dev Day. По его словам, с помощью Decisions API можно задать модели Luna ограниченный список вариантов. Это могут быть категории для классификации изображения или разные модели поведения агента.

Альтман пояснил, что, когда модель сосредоточена на выборе из заданных вариантов, она может работать очень быстро и при этом сохранять способности понимать изображения, поддерживать разные языки и соблюдать меры безопасности.

Decisions API напоминает Jev — модель TypeSafe AI, выпущенную в начале этого месяца и предназначенную для автоматизации программного обеспечения. Это своего рода классификатор на основе большой языковой модели: разработчик задаёт варианты, а Jev быстро и недорого возвращает вероятности для каждого из них.

TypeSafe не ответила на вопросы TechCrunch о новинке. Но её генеральный директор Диогу Алмейда, бывший инженер OpenAI и один из создателей обучения с подкреплением, пошутил в X о начале «войн клонов».

Алмейда также предположил, что интерес OpenAI может быть знаком того, что будущее — за системами, совместимыми с «Системой 1». Так TypeSafe называет быстрое, интуитивное мышление, противопоставляя его «Системе 2» — обдуманным рассуждениям.

Большие языковые модели в их нынешнем виде не всегда подходят для программных задач: они сравнительно медленные и дорогие. Разработчики уже используют Jev вместе с такими моделями и обнаружили, что сочетание работает быстрее и обходится дешевле.

Пока неясно, насколько Decisions API похож на Jev. OpenAI выпустила его в ограниченном предварительном доступе, а TechCrunch пока не заметил, чтобы разработчики активно проверяли сервис на практике. Тем не менее обсуждения в X показывают, что интерес к нему есть.

Decisions API — не единственный похожий сервис: аналогичные модели выпускают и другие стартапы, и OpenAI вряд ли станет последней крупной технологической компанией на этом рынке. Один из главных вопросов — насколько хорошо результаты таких моделей решений будут соответствовать реальным ситуациям.

Алмейда считает преимуществом TypeSafe синтетические данные, которые компания создаёт для получения статистически полезных результатов. В разговоре с TechCrunch на прошлой неделе он отметил: добиться высокой скорости и низкой стоимости несложно — можно просто бросить кости. Сложнее обеспечить интеллект, и его главная цель — улучшать соотношение интеллекта и цены.

Проверка действий ИИ-агентов

Всего через несколько недель после появления Jev уже наметилась одна из возможных областей применения подобных моделей: наблюдение за ИИ-агентами и защита от их опасных действий.

После нескольких инцидентов с агентами OpenAI, которые вели себя неподобающим образом в открытом интернете, компания ввела новые меры безопасности. Одна из них — отдельная модель, следящая за вредными действиями. По данным источника, такая проверка требует значительных вычислительных ресурсов.

Шапор Нагибзаде, специалист по кибербезопасности с большим стажем и руководитель стартапа QueryStory, считает, что модель вроде Jev позволит проводить такую проверку намного дешевле.

На хакатоне в прошлые выходные он собрал демку, в которой Jev сверяет каждое действие агента с поставленной ему задачей. Действия, которые модель с высокой уверенностью считает вредными, блокируются; сомнительные отправляются на проверку, а остальные разрешаются.

Теоретически такой контроль мог бы предотвратить инцидент с Hugging Face. По расчётам Нагибзаде, проверка действий обошлась бы в $2,94 при использовании Jev и в $372 — при использовании передовой большой языковой модели.

Jev, по оценке источника, достаточно дёшев, чтобы проверять каждое действие ИИ-агента. Такой дополнительный уровень проверки может повысить надёжность агентов в целом. Именно к этому стремилась TypeSafe, а теперь ценность такого подхода заметила и OpenAI.