Модели решений вроде Jev не объясняют свои ответы — контекст приходится задавать вам

Скорость вместо рассуждений

Современные большие языковые модели используют архитектуру трансформера: они обрабатывают промт и последовательно создают текст. Модели с миллиардами параметров обучаются на триллионах строк текста и усваивают сложные языковые закономерности. В развёрнутом ответе часто содержится и ход рассуждений, который привёл модель к выводу. Для его явного построения существуют отдельные модели рассуждений.

Модели решений сознательно обходятся без таких подробных рассуждений и сразу выдают результат. Этот подход, который автор называет мышлением первого типа, полезен там, где важны низкая задержка и экономия токенов. Однако разработчики могут получить взамен технический долг и лишиться одной из ключевых возможностей больших языковых моделей — объяснять, как получен ответ.

Автор проверил разницу, задав разным моделям через интерфейс OpenRouter вопрос: «Сегодня будет дождь?» Обычная языковая модель может рассмотреть, какая информация нужна для прогноза и каких данных не хватает. Модель решений вроде Jev вместо этого выдаёт значение в структуре noul — она названа в честь швейцарского математика и физика Даниэля Бернулли. В ней содержится только true или false.

Без пояснений такой ответ может ввести в заблуждение, особенно если речь идёт о важных вопросах. Это не означает, что модели решений бесполезны или ошибочны: просто они не объясняют свои выводы так, как традиционные языковые модели.

Контекст приходится готовить заранее

Обычный ИИ-агент при неясном вопросе может попросить уточнения или подробно описать предположения, на которых строится ответ. Модель решений использует только предоставленный контекст: сопоставляет его со своими обучающими данными и возвращает структурированный результат, часто одно значение. Разработчик может использовать его и вероятность для выбора действия в приложении, но журналов с ходом принятия решения нет — понять, почему модель ответила именно так, полностью не получится.

Поэтому разработчику ИИ нужно заранее собрать в контексте или состоянии все сведения, необходимые для обоснованного ответа. Автор называет проектирование такого контекста важнейшим навыком для тех, кто создаёт ИИ-системы на основе моделей решений.

Где применяют модели решений

Среди подходящих задач автор называет оценивание ответов чат-бота: их можно сравнивать с заранее заданными эталонными ответами. Ещё один пример — распределение обращений в службу поддержки по категориям и командам. Такие обращения часто содержат много текста, который нужно понять и отнести к нужной категории.

Какие ещё основные сценарии применения появятся, покажет время. Автор считает модели решений заметным технологическим обновлением в развитии больших языковых моделей. Даттарадж Рао — архитектор инноваций и исследований и разработок в Persistent Systems.

По оценке Dataist, модели решений переносят часть работы с модели на разработчика: ответ приходит быстрее, но его условия нужно тщательно задавать заранее. Отсутствие журнала рассуждений ограничивает возможность проверить, почему система выбрала конкретный вариант.