Говорить необязательно: Jev показывает ценность моделей принятия решений

Модель для решений

В технологических медиа обсуждают новый продукт Typesafe под названием Jev. Когда пользователь задаёт вопрос, модель не формирует страницы текста, а возвращает вероятности возможных вариантов.

Jev называют инструментом «агент-агент» (A2A), а не системой для непосредственного общения с пользователем. Это выделяет его на фоне большинства современных моделей, которые по умолчанию выступают в роли разговорного интерфейса.

Преобладание такого формата привело к спорам о том, обладает ли ИИ сознанием: имитируя человеческое мышление, языковые модели одновременно имитируют человеческую деятельность через язык.

Jev в некотором смысле напоминает детерминированное программирование прошлых лет. Полностью детерминированной модель не является, но её поведение более ограничено: получив промт, она должна выдать более предсказуемый и узкий по диапазону ответ.

Отсюда возникает вопрос стоимости вычислений.

Обработка токенов

На один и тот же промт Jev генерирует значительно меньше токенов, чем разговорные модели. Любой дополнительный текст требует вычислений: модель переводит идеи в слова, а затем обрабатывает эти слова.

Независимый консультант по технологиям Дэвид Линтикам, которого цитирует Анirбан Гошал в материале InfoWorld, считает, что многие компании используют универсальные большие языковые модели как общий слой интеллекта даже там, где приложению нужно лишь быстро принять ограниченное решение. По его сравнению, это похоже на использование полноценной корпоративной шины сервисов для ответа на вопрос о маршрутизации с вариантами «да» или «нет».

В агентском рабочем процессе одна задача может запускать множество обращений к модели. Поэтому стоимость и задержка быстро растут, если для каждого решения применять универсальную большую языковую модель. Модель вроде Jev могла бы брать на себя часть ограниченных решений через вероятностные вызовы функций, а универсальные модели оставались бы для участков, где действительно требуются их возможности.

Большой объём генерируемого текста в таких случаях становится лишней вычислительной нагрузкой, поэтому альтернативный формат имеет практический смысл. Марвин Минский из MIT когда-то описывал мозг как совокупность множества небольших компьютеров. В этой аналогии Jev может представлять цифровой аналог отдельной части мозга, которая не связана с языковыми центрами и выполняет другую функцию.

Как устроен Jev

Пользователь GitHub Vinnylarouge описывает архитектуру модели следующим образом:

Jev превращает каждый вариант в вектор запроса — короткий список чисел, представляющий его текст. Затем запрос назначает веса внимания токенам контекста. Эти веса формируют для конкретного варианта единый вектор контекста. Общий скалярный продукт превращает каждую пару «вариант — контекст» в одну оценку. После этого функция softmax переводит оценки в вероятности, сумма которых по всем вариантам равна единице.

Jev устроен иначе, чем разговорные модели. В руководстве по этому типу моделей NNNN показывает, как его можно применять для оценки состояния браузера через распознавание элементов, прогнозирования нажатий, ветвления динамического процесса и управления несколькими вкладками. Для обучения Jev используется метод обучения с подкреплением на откалиброванных решениях (RLCD).

Молчаливая модель

Неразговорную модель вроде Jev можно применять в бизнес-процессах по-новому. В деловых запросах обычно не нужны подробные комментарии — требуется вернуть числовой результат. Jev рассчитан именно на такие задачи.

Название модели связано с английским экономистом XIX века Уильямом Стэнли Джевонсом, известным благодаря парадоксу Джевонса. Он утверждал, что повышение эффективности использования угля может не сокращать, а увеличивать его потребление.

Название также отсылает к ставке индустрии ИИ на то, что рост эффективности работы с токенами увеличит их потребление даже при снижении цен. Эта ставка предполагает, что рынок токенов окажется столь же широким, как рынок энергии. Однако это пока не установлено: многие люди, имеющие доступ к ИИ-инструментам, не находят им применения или избегают их по моральным соображениям. Об этом пишет Томас Клабёрн в The Register.

Парадокс Джевонса в таком случае предполагает устойчивый спрос на то, что становится доступнее и эффективнее. Jev планируют применять в бизнес-процессах.