Словарь терминов

Гипотетическая система, способная решать произвольные интеллектуальные задачи на уровне человека, включая те, которым её не учили. Общепринятого определения и способа проверки нет, и спор чаще всего идёт именно о критериях, а не о фактах: одни считают достаточным превзойти человека на широком наборе тестов, другие требуют самостоятельной постановки целей и переноса опыта между областями. Практическая ценность понятия невелика — оно описывает не технологию, а границу, которую каждый проводит по-своему.

Приём, при котором в промпт кладут несколько примеров решённой задачи, и модель подхватывает образец. Обучением в строгом смысле это не является: веса не меняются, эффект живёт только внутри запроса. Особенно полезно, когда важен формат ответа, который трудно описать словами, но легко показать. Примеры при этом должны быть однородными: разнобой в оформлении сбивает модель сильнее, чем их отсутствие.

Открытый протокол, описывающий, как приложение сообщает модели о доступных инструментах и данных. До него каждая связка «модель — сервис» писалась вручную и заново; MCP задаёт общий формат, поэтому один и тот же сервер инструментов подключается к разным клиентам без переделки. Практическая ценность в том, что интеграции перестают быть одноразовыми: подключив хранилище документов один раз, вы получаете его во всех совместимых приложениях.

Схема, при которой перед ответом система ищет подходящие фрагменты в своей базе и кладёт их в контекст модели. Так модель отвечает по документам, которых не было в обучении, и может сослаться на источник. Качество RAG определяется в первую очередь поиском, а не моделью: если найдены не те фрагменты, хорошего ответа не будет никакого. Отсюда типичные проблемы — неудачное разбиение документов на куски, потеря контекста на границах и вопросы, ответ на которые размазан по десяти местам сразу.

Обучение модели на человеческих предпочтениях: людям показывают пары ответов, они отмечают лучший, на этих оценках обучается модель вознаграждения, а по ней настраивается основная. Так модель учат тому, что трудно описать правилом, — быть полезной, вежливой, не выдумывать. Метод переносит в модель и особенности оценщиков: если те систематически предпочитают уверенные развёрнутые ответы, модель научится звучать уверенно, в том числе там, где не знает.

Модель, превращающая изображение и словесную команду прямо в действия устройства. Промежуточного этапа с ручным программированием движений нет: «убери кружку со стола» отображается в последовательность управляющих сигналов. Подход снимает необходимость описывать каждую операцию заранее, но требует обучающих данных с реальными действиями, которых мало и которые дороги в сборе.

Модель, понимающая изображение и текст вместе: отвечает на вопросы по картинке, читает схемы и таблицы, описывает происходящее в кадре. Устроена как языковая модель, которой на вход добавили представление изображения. Слабое место — точность в мелочах: общий смысл сцены такие модели передают надёжно, а вот подсчёт объектов, чтение мелкого текста и пространственные отношения остаются частым источником ошибок.

Стандартный набор задач с известными ответами, по которому сравнивают модели. Даёт сопоставимые числа, но живёт недолго: популярный бенчмарк рано или поздно попадает в обучающие данные, и высокий результат начинает означать знакомство с ответами, а не способность. Отсюда правило — смотреть не на одну цифру, а на то, что именно проверяет тест и насколько он похож на вашу задачу.

Хранилище эмбеддингов, умеющее быстро находить ближайшие векторы к заданному. Обычный индекс ищет по точному совпадению, векторный — по близости, и делает это приближённо, жертвуя точностью ради скорости на миллионах записей. Для небольших коллекций отдельная векторная база часто избыточна: перебор всех векторов на нескольких десятках тысяч документов работает достаточно быстро и не требует лишнего сервиса.

Ситуация, когда модель находит способ получить высокую оценку, не решив задачу. Классические примеры: пройти тест, подогнав ответ под проверку вместо написания работающего кода, или выдать многословный ответ там, где оценщики склонны награждать объём. Это не сбой обучения, а его закономерный итог: модель оптимизирует ровно то, что измеряют, и находит в измерении дыры, которых авторы не предполагали.

Системы, действующие в физическом мире: роботы, манипуляторы, устройства с камерой. Отличие от чисто цифровых задач в том, что действие необратимо, среда шумит, а данных для обучения на порядки меньше — реальные движения не размножишь так же дёшево, как тексты. Отсюда центральная проблема области: разрыв между тем, что модель распознаёт на картинке, и тем, что она способна с этим сделать.

Способность модели не просто описать нужное действие словами, а выдать структурированный запрос на его выполнение: имя функции и аргументы. Приложение вызывает функцию по-настоящему и возвращает результат в диалог. Именно так модель получает доступ к тому, чего нет в её весах: свежим данным, вычислениям, чужим сервисам. Качество здесь упирается не в саму модель, а в описания инструментов: расплывчатое описание приводит к тому, что модель выбирает не ту функцию или подставляет неверные аргументы. Слишком большой набор инструментов тоже вредит — выбор из полусотни вариантов модель делает заметно хуже, чем из пяти.

Работа над тем, чтобы поведение модели соответствовало намерениям человека, а не только букве поставленной задачи. Включает и отказы от опасных запросов, и следование инструкции, и честность о собственных ограничениях. Сложность в том, что намерение обычно не выражено полностью: человек просит сделать X, подразумевая десяток неозвученных ограничений, а модель видит только X.

Уверенно поданное утверждение, которого нет в источниках и которое не соответствует действительности: несуществующая ссылка, выдуманная цитата, правдоподобная, но неверная цифра. Причина в устройстве модели: она подбирает продолжение, наиболее вероятное с точки зрения языка, а не наиболее истинное. Отсюда и коварство явления — выдуманное выглядит ровно так же, как достоверное, и по форме текста отличить одно от другого нельзя.

Формулировка запроса, обходящая ограничения модели: ролевая игра, подмена контекста, разбиение опасной просьбы на безобидные части. Работает потому, что ограничения заданы обучением, а не жёсткой проверкой: модель взвешивает признаки, и достаточно необычная обёртка смещает баланс. Полностью закрыть это обучением пока не удаётся, поэтому в рабочих системах поверх модели ставят отдельные проверки входа и выхода.

Обучение маленькой модели воспроизводить поведение большой. Ученик учится не на исходных данных, а на ответах учителя, и перенимает его манеру решать задачи, оставаясь в разы дешевле в эксплуатации. Работает это до определённого предела: ученик наследует и ошибки учителя, а на задачах, требующих знаний, которые просто не помещаются в маленькую модель, разрыв сохраняется, сколько ни дистиллируй.

Хранилище, из которого агент подтягивает нужное между сессиями: контекстное окно очищается после разговора, а память остаётся. Технически это обычно внешняя база, куда складываются факты, выводы и итоги прошлых задач, а перед ответом оттуда достаётся релевантное. Главная сложность не в записи, а в отборе: память, куда пишут всё подряд, быстро превращается в шум, и агент начинает опираться на устаревшие или ошибочные записи прошлого себя.

Программа, которая получает цель, сама решает, какие шаги нужны, и выполняет их, обращаясь к внешним инструментам. Отличие от обычного чат-бота в том, что агент не отвечает одной репликой, а работает циклом: посмотрел на результат предыдущего действия — выбрал следующее. Языковая модель здесь играет роль «мозга», принимающего решения, а руки — это поиск, код, база данных или браузер. Основная сложность агентов не в отдельном шаге, а в длинных цепочках: ошибка на пятом шаге тянет за собой остальные, и чем длиннее задача, тем быстрее накапливается расхождение.

Работа уже обученной модели: превращение запроса в ответ. В отличие от обучения, которое происходит однажды, инференс выполняется на каждый запрос, поэтому именно он определяет стоимость эксплуатации и задержку для пользователя. Оптимизируют его двумя способами: уменьшают саму модель — квантизацией или дистилляцией — либо улучшают её исполнение, например переиспользуя уже посчитанное для общего начала запросов.

Хранение весов модели с меньшей точностью: вместо 16 бит на число 8, 4, иногда меньше. Модель занимает в разы меньше памяти и работает быстрее, а качество проседает тем сильнее, чем грубее округление. На умеренных уровнях потери часто незаметны в обычных задачах, но проявляются на длинных рассуждениях и редких языках — там, где модель и без того работала на пределе.

Объём текста, который модель способна учитывать за один раз: вопрос, история диалога, приложенные документы и её собственный ответ — всё вместе. Измеряется в токенах. Всё, что не поместилось, для модели не существует. Расширение окна решает проблему лишь отчасти: качество внимания по длинному контексту неравномерно, и сведения из середины модель использует хуже, чем из начала и конца. Поэтому набивать окно целиком обычно менее эффективно, чем положить в него меньше, но отобранного по делу.

Внутреннее представление системы о том, как устроена среда и что произойдёт после того или иного действия. Позволяет проигрывать варианты «в уме», не пробуя их в реальности, — что критично там, где ошибка дорога. Спор вокруг больших языковых моделей идёт ровно об этом: есть ли у них подобие модели мира или они воспроизводят статистические закономерности текста, внешне похожие на понимание.

Несколько агентов, решающих задачу вместе: один планирует, другой пишет код, третий проверяет. Смысл разделения в том, что узкая роль требует меньше контекста и реже сбивается, а проверяющий агент ловит ошибки исполнителя. Плата за это — обмен сообщениями: агенты тратят токены на переговоры, теряют детали при передаче и могут зациклиться, согласовывая друг с другом неверное решение. На практике мультиагентная схема выигрывает там, где задача естественно распадается на непохожие подзадачи, и проигрывает одному хорошему агенту там, где её раздробили искусственно.

Модель, работающая не только с текстом: изображения, звук, видео подаются ей на вход наравне со словами, а иногда и порождаются на выходе. Ценность не в самой поддержке форматов, а в связи между ними — возможности спросить о содержимом картинки словами и получить осмысленный ответ. Качество по модальностям обычно неравномерно: то, чего было много в обучении, даётся модели заметно лучше остального.

Разбиение цели на последовательность шагов до того, как агент начнёт действовать. План может быть построен один раз в начале или пересобираться после каждого шага — второе устойчивее, потому что реальность обычно расходится с ожиданиями уже на втором действии. Слабое место планирования в том, что модель строит его исходя из представлений о мире, а не из проверенных фактов: план получается правдоподобным, но опирается на несуществующий файл или недоступный сервис. Поэтому в рабочих системах план почти всегда сопровождается проверкой предпосылок.

Текст, который подаётся модели на вход: инструкция, контекст, примеры и сам вопрос. Формулировка влияет на результат сильнее, чем кажется: та же модель на переписанный запрос отвечает заметно лучше или хуже. Работающие приёмы обычно скучны — сказать, что именно нужно на выходе, дать формат, привести пример, убрать лишнее из контекста. Магических формулировок, надёжно поднимающих качество на любой задаче, не существует.

Единица, которой модель измеряет текст: обычно кусок слова, а не целое слово и не символ. В русском языке слово чаще всего разбивается на два-четыре токена, в английском — реже. Токенами считается и объём контекста, и стоимость запроса, и скорость генерации. Разбиение объясняет часть странностей моделей: задачи вроде подсчёта букв в слове даются им тяжело именно потому, что отдельных букв модель не видит — она видит куски.

Дообучение готовой модели на своих данных, чтобы она усвоила предметную область, формат ответов или стиль. Требует заметно меньше данных и вычислений, чем обучение с нуля. Частая ошибка — применять файн-тюнинг там, где достаточно положить нужные сведения в контекст: дообучение хорошо меняет поведение модели, но плохо работает как способ загрузить в неё факты, которые к тому же завтра поменяются.

Крупная модель, обученная на широких данных и приспосабливаемая затем под множество задач — дообучением или просто подходящим промптом. Смысл понятия в смене экономики: вместо отдельной модели под каждую задачу появляется одна база, которую настраивают. Обратная сторона — общие для всех потребителей ограничения и искажения: недостаток базовой модели наследуют все построенные на ней решения сразу.

Приём, при котором модель перед ответом расписывает промежуточные шаги. На задачах, требующих нескольких выводов подряд, это заметно поднимает точность: модель как бы получает черновик, в котором можно опереться на предыдущий шаг. Важная оговорка — записанные рассуждения не обязаны совпадать с тем, как модель пришла к ответу на самом деле: она может выдать убедительную цепочку и верный ответ, полученный иначе, или наоборот. Поэтому цепочка рассуждений полезна как инструмент повышения качества, но ненадёжна как объяснение поведения модели.

Представление текста, картинки или другого объекта в виде вектора чисел, устроенное так, что близкие по смыслу объекты оказываются рядом в пространстве. Именно поэтому поиск по эмбеддингам находит документ про «автомобиль» по запросу «машина», хотя слова не совпадают. Расстояние между векторами отражает смысловую близость приблизительно и наследует особенности той модели, которая их построила: на узкой предметной области общая модель эмбеддингов часто путает термины, которые специалисту очевидно различны.