Непрозрачная рекуррентность и другие термины ИИ, которые вам стоит знать

AGI

Искусственный общий интеллект, или AGI, — расплывчатое понятие. Обычно так называют ИИ, который способен справляться со многими, а возможно, и с большинством задач лучше среднего человека.

Генеральный директор OpenAI Сэм Альтман однажды описал AGI как «эквивалент среднего человека, которого можно нанять коллегой». В уставе OpenAI AGI определяется как «высокоавтономные системы, превосходящие людей в большинстве экономически ценных видов деятельности».

Google DeepMind трактует этот термин немного иначе: лаборатория считает AGI ИИ, который как минимум не уступает людям в большинстве когнитивных задач. Даже специалисты, работающие на переднем крае исследований ИИ, не пришли к единому определению.

ИИ-агент

ИИ-агент — это инструмент, использующий технологии ИИ для выполнения серии задач от имени пользователя. В отличие от простого чат-бота, он может оформлять расходы, бронировать билеты или столик в ресторане, а также писать и поддерживать код.

У этого направления много компонентов, поэтому разные люди могут вкладывать в выражение «ИИ-агент» разные смыслы. Инфраструктура для реализации таких возможностей тоже ещё развивается.

В основе концепции лежит автономная система, которая может привлекать несколько ИИ-систем для выполнения многоэтапных задач.

Конечные точки API

Конечные точки API можно представить как кнопки на задней панели программы: другие приложения нажимают их, чтобы заставить программу выполнить определённое действие.

Разработчики используют такие интерфейсы для интеграций. Например, одно приложение может получать данные из другого, а ИИ-агент — напрямую управлять сторонними сервисами без ручной работы пользователя с каждым интерфейсом.

У большинства устройств умного дома и подключённых платформ есть такие скрытые кнопки, хотя обычные пользователи их не видят. По мере развития ИИ-агентов они всё чаще могут самостоятельно находить и использовать конечные точки API. Это открывает широкие, а иногда и неожиданные возможности для автоматизации.

Цепочка рассуждений

На простой вопрос человек иногда отвечает почти мгновенно — например, какое животное выше: жираф или кошка. Но для других задач приходится использовать бумагу и ручку, чтобы пройти промежуточные шаги.

Если у фермера есть куры и коровы, а всего животных 40 и ног у них 120, для решения можно записать простое уравнение. Ответом будут 20 кур и 20 коров.

В ИИ цепочка рассуждений означает разбиение задачи на небольшие промежуточные шаги, чтобы улучшить итоговый результат большой языковой модели. Ответ обычно занимает больше времени, зато с большей вероятностью окажется правильным — особенно в логических задачах и задачах по программированию.

Модели рассуждений создаются на основе традиционных больших языковых моделей и оптимизируются для работы с цепочками рассуждений с помощью обучения с подкреплением.

Агенты для программирования

Агент для программирования — более узкий вариант ИИ-агента, то есть программы, которая самостоятельно выполняет действия шаг за шагом для достижения цели.

Вместо того чтобы просто предложить код для проверки и вставки человеком, такой агент может сам писать, тестировать и отлаживать программы. Он выполняет итеративную работу методом проб и ошибок, которая обычно занимает значительную часть дня разработчика.

Агенты для программирования способны работать со всей кодовой базой, находить ошибки, запускать тесты и отправлять исправления при минимальном контроле человека. Их можно сравнить с очень быстрым стажёром, который не спит и не теряет концентрацию, хотя результат всё равно должен проверить человек.

Вычислительные ресурсы

Термин «вычислительные ресурсы» может иметь несколько значений, но обычно он обозначает вычислительную мощность, необходимую для работы моделей ИИ.

Эта обработка данных позволяет обучать и запускать мощные модели. Часто под вычислительными ресурсами подразумевают оборудование, обеспечивающее такую мощность:

Именно они составляют основу современной индустрии ИИ.

Глубокое обучение

Глубокое обучение — разновидность самоулучшающегося машинного обучения, в которой используются искусственные нейронные сети с несколькими слоями. Благодаря этому алгоритмы могут находить более сложные зависимости, чем системы на основе линейных моделей или деревьев решений.

Такая структура вдохновлена взаимосвязанными путями нейронов человеческого мозга.

Модели глубокого обучения сами находят важные признаки в данных, тогда как в более ранних системах эти признаки должны были заранее определять инженеры. Алгоритмы также могут учиться на ошибках и улучшать результаты за счёт повторения и корректировки.

Для хорошей работы глубокому обучению обычно требуется много данных — миллионы и более примеров. Обучение таких систем, как правило, занимает больше времени, чем обучение простых алгоритмов машинного обучения, поэтому разработка обходится дороже.

Диффузия

Диффузия лежит в основе многих моделей ИИ, которые создают изображения, музыку и текст.

Диффузионные системы постепенно «разрушают» структуру данных — например, фотографий или музыкальных записей, — добавляя шум, пока исходная структура не исчезает. В физике диффузия происходит самопроизвольно и необратимо: растворившийся в кофе сахар нельзя снова собрать в кубик.

В ИИ диффузионные системы учатся своего рода обратному процессу: восстанавливать разрушенные данные и извлекать их из шума.

Дистилляция

Дистилляция — метод переноса знаний из большой ИИ-модели в другую модель по схеме «учитель — ученик».

Разработчики отправляют запросы модели-учителю и записывают её ответы. Иногда ответы сравнивают с набором данных, чтобы проверить точность. Затем полученные результаты используют для обучения модели-ученика, которая должна приблизить своё поведение к поведению учителя.

Дистилляция позволяет создать меньшую и более эффективную модель на основе крупной, сохранив небольшую потерю качества. Вероятно, именно так OpenAI разработала GPT-4 Turbo — более быструю версию GPT-4.

Все компании, работающие с ИИ, используют дистилляцию внутри своих процессов. Иногда этот метод могли применять и для того, чтобы догнать передовые модели конкурентов. Однако дистилляция из чужих моделей обычно нарушает условия использования ИИ-API и чат-ассистентов.

Файн-тюнинг

Файн-тюнинг — это дополнительное обучение модели ИИ для конкретной задачи или области, которая не была главным направлением её первоначальной подготовки. Обычно для этого используют новые специализированные данные, ориентированные на определённую задачу.

Многие ИИ-стартапы берут большие языковые модели за основу коммерческого продукта. Затем они повышают полезность модели для выбранной отрасли или задачи, добавляя к исходному обучению собственные отраслевые знания и данные.

GAN

GAN, или генеративно-состязательная сеть, — разновидность фреймворка машинного обучения. Такие сети применяются в том числе для создания реалистичных данных и лежат в основе некоторых инструментов для создания дипфейков.

GAN состоит из двух нейронных сетей:

Обе сети фактически соревнуются друг с другом. Генератор старается провести свой результат мимо дискриминатора, а дискриминатор ищет признаки искусственного происхождения.

Такое состязание помогает делать результаты реалистичнее без дополнительного участия человека. При этом GAN лучше подходят для узких задач — например, создания реалистичных фотографий или видео, — чем для ИИ общего назначения.

Галлюцинации

Галлюцинациями в индустрии ИИ называют случаи, когда модель выдумывает сведения и выдаёт неверную информацию.

Это серьёзная проблема для качества ИИ. Галлюцинации могут приводить к вводящим в заблуждение результатам и даже создавать реальные риски. Например, модель способна дать опасный медицинский совет в ответ на вопрос о здоровье.

Считается, что выдумывание фактов возникает из-за пробелов в обучающих данных. Галлюцинации подталкивают компании к созданию более специализированных и отраслевых моделей — ИИ-систем, рассчитанных на более узкую область знаний. Такой подход должен уменьшить пробелы и снизить риск распространения дезинформации.

Инференс

Инференс — это процесс запуска ИИ-модели, когда она делает прогнозы или выводы на основе ранее увиденных данных.

Без обучения инференс невозможен: сначала модель должна выявить закономерности в наборе данных, а уже потом использовать их для новых выводов.

Инференс может выполняться на разном оборудовании — от процессоров смартфонов до мощных GPU и специализированных ускорителей ИИ. Но разные устройства работают с моделями неодинаково. Очень большая модель будет гораздо дольше формировать прогноз на ноутбуке, чем на облачном сервере с современными ИИ-чипами.

Большая языковая модель (LLM)

Большие языковые модели, или LLM, используются популярными ИИ-ассистентами:

Когда пользователь общается с ИИ-ассистентом, он взаимодействует с большой языковой моделью. Она обрабатывает запрос напрямую или использует дополнительные инструменты — например, веб-браузер или интерпретатор кода.

LLM — это глубокие нейронные сети с миллиардами числовых параметров, или весов. Они учатся отношениям между словами и фразами и создают представление о языке — своего рода многомерную карту слов.

Модели формируются на основе закономерностей, найденных в миллиардах книг, статей и расшифровок. Когда пользователь отправляет промт, LLM создаёт наиболее вероятное продолжение, соответствующее этому промту.

Кэш памяти

Кэш памяти — важный механизм ускорения инференса, то есть процесса, в котором ИИ формирует ответ на запрос пользователя.

Кэширование — это оптимизация, повышающая эффективность инференса. ИИ выполняет большое количество математических операций, и каждая из них требует вычислительной мощности. Кэш сохраняет результаты отдельных вычислений, чтобы не выполнять их заново для будущих запросов и операций.

Существует несколько видов кэширования. Один из наиболее известных — KV-кэш, или кэш ключей и значений. Он используется в моделях на основе трансформеров и ускоряет получение ответов, уменьшая время и объём вычислительной работы.

Протокол контекста модели (MCP)

Протокол контекста модели, или MCP, — открытый стандарт, который позволяет ИИ-моделям подключаться к внешним инструментам и данным: файлам, базам данных, Slack, Google Drive и другим приложениям.

MCP можно сравнить с портом USB-C для ИИ. Anthropic представила этот протокол в 2024 году, а позднее передала его Linux Foundation.

После этого MCP приняли OpenAI, Google и Microsoft. Благодаря этому он стал одним из самых быстро распространяющихся стандартов в новейшей истории ИИ.

Смесь экспертов (MoE)

Смесь экспертов — архитектура модели, в которой нейронная сеть разделена на множество небольших специализированных подсетей, или «экспертов». Для каждой конкретной задачи активируется только часть из них.

Вместо того чтобы пропускать каждый запрос через всю модель, встроенный маршрутизатор выбирает специалистов, подходящих для текущей работы.

Такой подход позволяет создавать очень большие модели, которые остаются относительно быстрыми и недорогими в эксплуатации: в каждый момент вычисления выполняет только часть сети.

Известный пример — модель Mixtral от Mistral ИИ. Считается, что более новые GPT-модели OpenAI также используют разновидность этого подхода, однако компания официально этого не подтверждала.

Нейронная сеть

Нейронная сеть — многослойная алгоритмическая структура, лежащая в основе глубокого обучения и, шире, современного развития генеративных инструментов ИИ после появления больших языковых моделей.

Идея использовать плотные взаимосвязи человеческого мозга как образец для алгоритмов обработки данных появилась ещё в 1940-х годах. Однако раскрыть потенциал этой концепции помогло гораздо более позднее развитие графических процессоров благодаря игровой индустрии.

GPU хорошо подошли для обучения алгоритмов с гораздо большим количеством слоёв, чем было возможно раньше. Это позволило нейросетевым системам ИИ добиться более высоких результатов в разных областях, включая распознавание речи, автономную навигацию и разработку лекарств.

Нейролексика

Нейролексика — гипотетический худший сценарий, при котором модель рассуждает исключительно во внутренних числовых представлениях, а не на понятном человеку языке. В таком случае ход её рассуждений превращается в полностью закрытый механизм.

Сегодня ни одна выпущенная модель так не работает. OpenAI заявляет, что её модель Astra, выпущенная в сентябре 2026 года и известная ранним применением метода «непрозрачной рекуррентности», сохраняет понятную цепочку рассуждений. Компания также отвергает сравнения Astra с нейролексикой.

Однако исследователи безопасности считают применение Astra непрозрачной рекуррентности первым реальным шагом в этом направлении. Поэтому после сообщений о запуске модели термин стал звучать значительно чаще.

Непрозрачная рекуррентность

Непрозрачная рекуррентность — это метод, при котором ИИ-модель многократно пропускает один и тот же запрос через свои внутренние слои вместо последовательного рассуждения на понятном человеку языке.

Такой подход эффективнее: небольшие модели могут показывать результаты выше ожидаемых, используя меньше вычислительных ресурсов. Но при этом он оставляет гораздо меньше читаемых следов, чем обычная цепочка рассуждений — последовательные пояснения, которые пользователь видит после запроса к чат-боту.

Это беспокоит исследователей безопасности, поскольку журналы рассуждений помогают обнаруживать неправильное поведение модели. Непрозрачная рекуррентность может значительно усложнить такой контроль.

Открытый исходный код

Открытым исходным кодом называют программное обеспечение, а всё чаще и ИИ-модели, внутренний код которых доступен для использования, изучения и изменения.

В мире ИИ заметный пример — семейство моделей Llama от Meta. Историческая параллель в области операционных систем — Linux.

Открытый подход позволяет исследователям, разработчикам и компаниям по всему миру создавать новые проекты на основе чужой работы. Он ускоряет развитие технологий и даёт возможность проводить независимые проверки безопасности, которые закрытые системы не позволяют выполнять так же легко.

В закрытых системах код не публикуется: продуктом можно пользоваться, но нельзя увидеть, как он устроен. Так работают GPT-модели OpenAI. Разница между открытыми и закрытыми системами стала одним из главных предметов споров в индустрии ИИ.

Параллелизация

Параллелизация означает одновременное выполнение нескольких действий вместо последовательного. Это можно сравнить с десятью сотрудниками, которые одновременно работают над разными частями проекта, а не с одним человеком, выполняющим всю работу по очереди.

В ИИ параллелизация важна и для обучения, и для инференса. Современные GPU специально рассчитаны на тысячи параллельных вычислений, поэтому они стали основой отраслевого оборудования.

По мере усложнения ИИ-систем и увеличения моделей способность распределять работу между множеством чипов и машин всё сильнее влияет на скорость и стоимость разработки и запуска.

Исследования более эффективных методов параллелизации уже стали самостоятельным направлением.

RAMageddon

RAMageddon — новый и ироничный термин для неприятной тенденции: дефицита оперативной памяти, или чипов RAM, которые используются почти во всех привычных технологических продуктах.

По мере роста индустрии ИИ крупнейшие технологические компании и лаборатории скупают всё больше памяти для своих дата-центров. Они стремятся создавать самые мощные и эффективные ИИ-системы, но из-за этого другим потребителям остаётся меньше чипов.

Дефицит предложения приводит к росту цен. Это затрагивает:

Рост цен, как ожидается, прекратится только после окончания дефицита. Однако пока признаков скорого завершения нехватки памяти почти нет.

Рекуррентная глубина

Рекуррентная глубина — более техническое название того же метода, который описывается термином «непрозрачная рекуррентность». Запрос многократно проходит через слои модели, а модель не рассуждает последовательно на естественном языке.

Медиа используют оба выражения почти как взаимозаменяемые. Поэтому они включены в словарь вместе:

См. также «Непрозрачная рекуррентность» и «Цепочка рассуждений».

Рекурсивное самоулучшение

Как и AGI, рекурсивное самоулучшение — это пороговое понятие, связанное с тем, насколько умным может стать ИИ и насколько мало он будет зависеть от людей.

В сценарии RSI модели начинают улучшать себя без участия человека. Это приводит к резкому ускорению их возможностей и автономности.

В некоторых описаниях такой момент сравнивают с катастрофическим наступлением сингулярности — состоянием, при котором ИИ-модели становятся невосприимчивыми к внешнему вмешательству.

Но RSI можно понимать и как базовую способность: может ли ИИ спроектировать собственного преемника? Такая формулировка значительно упрощает инженерную задачу и позволяет пытаться создать подобную систему.

Несколько недавно созданных ИИ-стартапов поставили целью разработку рекурсивно самоулучшающихся моделей. Большинство из них отвергает апокалиптические трактовки и представляет RSI как следующее направление исследований.

Обучение с подкреплением

Обучение с подкреплением — способ обучения ИИ, при котором система пробует разные действия и получает награды за правильные ответы.

Схему можно сравнить с дрессировкой домашнего животного лакомствами. Только вместо животного выступает нейронная сеть, а вместо лакомства — математический сигнал, обозначающий успех.

В отличие от обучения с учителем, где модель работает с фиксированным набором размеченных примеров, обучение с подкреплением позволяет системе исследовать среду, предпринимать действия и постоянно менять поведение на основе обратной связи.

Этот подход оказался особенно эффективен для обучения ИИ играм, управления роботами и, в последнее время, улучшения способности больших языковых моделей к рассуждению.

Методы обучения с подкреплением на основе обратной связи от человека, или RLHF, стали важной частью дообучения моделей ведущими ИИ-лабораториями. С их помощью модели делают полезнее, точнее и безопаснее.

Токен

В общении человека и машины есть очевидная проблема: люди используют естественный язык, а ИИ-программы выполняют задачи с помощью сложных алгоритмических процессов, работающих с данными.

Токены связывают эти два уровня. Это базовые элементы общения человека с ИИ — отдельные фрагменты данных, которые LLM обработала или создала.

Они появляются в процессе токенизации: исходный текст разбивается на небольшие части, которые языковая модель может обработать. Это похоже на работу компилятора, переводящего понятный человеку язык в двоичный код.

В корпоративных системах токены также определяют стоимость. Большинство ИИ-компаний взимает плату за использование LLM по числу токенов: чем больше токенов обрабатывает бизнес, тем выше расходы.

Пропускная способность по токенам

Токены — небольшие части текста, часто фрагменты слов, а не целые слова, на которые языковые модели разбивают язык перед обработкой. Для оценки нагрузки на ИИ их можно примерно сравнить со словами.

Пропускная способность показывает, какой объём данных система способна обработать за определённое время. Поэтому пропускная способность по токенам — это мера того, сколько работы с ИИ система может выполнить одновременно.

Высокая пропускная способность важна для команд, создающих ИИ-инфраструктуру: от неё зависит, сколько пользователей модель сможет обслуживать одновременно и как быстро каждый из них получит ответ.

Исследователь ИИ Андрей Карпати рассказывал, что испытывает тревогу, когда его подписки на ИИ простаивают. Он сравнивал это с ощущением из студенческих лет, когда дорогое компьютерное оборудование использовалось не полностью. Это наблюдение объясняет, почему максимизация пропускной способности по токенам стала одной из главных целей отрасли.

Обучение

Разработка систем машинного обучения включает процесс, который называют обучением. В простом виде это подача данных модели, чтобы она могла находить закономерности и создавать полезные результаты.

Система реагирует на характеристики данных и постепенно подстраивает свои ответы под заданную цель — например, учится находить изображения кошек или создавать хокку по запросу.

Обучение может быть дорогим, поскольку требует большого количества примеров, а необходимые объёмы данных постоянно растут. Поэтому гибридные подходы помогают контролировать расходы. Например, можно дообучать ИИ на основе правил целевыми данными, не создавая всю систему с нуля.

Перенос обучения

Перенос обучения — метод, при котором уже обученную ИИ-модель используют как основу для создания новой модели, рассчитанной на другую, обычно связанную задачу.

Знания, полученные в ходе предыдущего обучения, применяются повторно. Это сокращает расходы и время разработки. Метод особенно полезен, когда данных для новой задачи немного.

У подхода есть ограничения. Моделям, использующим перенос обучения для получения обобщённых способностей, вероятно, потребуется дополнительное обучение на новых данных, чтобы они хорошо работали в целевой области.

Потери на проверочном наборе

Потери на проверочном наборе — число, показывающее, насколько хорошо модель учится во время обучения. Чем оно меньше, тем лучше.

Исследователи внимательно отслеживают этот показатель как своего рода текущую оценку успеваемости модели. Он помогает решить:

Одна из проблем, которую помогает обнаружить этот показатель, — переобучение. В таком случае модель запоминает обучающие данные, но не учится выявлять закономерности, применимые к новым ситуациям.

Это похоже на разницу между учеником, который понял материал, и учеником, который просто запомнил прошлогодний экзамен. Потери на проверочном наборе помогают понять, к какому варианту приближается модель.

Веса

Веса — один из основных элементов обучения ИИ. Они определяют, насколько сильно разные признаки, или входные переменные, влияют на результат модели.

Иными словами, веса — числовые параметры, показывающие, что именно наиболее важно в наборе данных для конкретной задачи. Они работают за счёт умножения входных значений.

В начале обучения веса обычно назначаются случайным образом. Затем они постепенно меняются, пока модель подбирает результат, максимально близкий к целевому.

Например, модель для прогнозирования цен на жильё может обучаться на исторических данных о недвижимости в конкретном регионе. В ней будут веса для таких признаков, как:

В итоге веса, связанные с каждым входным параметром, отражают его влияние на стоимость недвижимости с учётом конкретного набора данных.