Почему ИИ-агенты пока не так автономны как кажутся

Где кончается автоматизация и начинается настоящий агент

Слово «агент» в ИИ сегодня лепят почти на всё подряд. Есть расширение для редактора кода — агент. Есть обвязка вокруг LLM с вызовом инструментов — тоже агент. Есть бот, который кликает по кнопкам в браузере, — снова агент. Но авторы большой концептуальной статьи Critique of Agent Model предлагают неприятный, но полезный вопрос: а что, если почти всё, что мы сейчас называем агентами, на самом деле ими не является?

Это не очередная работа с новым бенчмарком и таблицей, где кто-то обогнал кого-то на 2,3%. Это попытка навести порядок в терминах и архитектурах. Авторы разбирают, что вообще делает систему агентом, чем отличаются «агентные» системы от систем с настоящей самостоятельностью, и предлагают свою схему под названием GIC.

Почему это важно? Потому что от ответа зависит сразу всё: как строить ИИ-системы нового поколения, чего от них ждать в реальном мире и чего, наоборот, не бояться раньше времени. Если нынешние «агенты» в основном держатся на внешних сценариях, промтах и инженерной обвязке, то разговоры о «машинной воле» звучат совсем иначе, чем если бы эта самостоятельность действительно была внутри модели.

Главная мысль: не всякий «агент» — это агент

Авторы проводят ключевое различие между двумя типами систем.

Первый тип — это то, что они называют агентными системами. Это современные практичные решения: LLM в связке с инструментами, памятью, планом шагов, проверками, циклами выполнения. Они могут быть очень полезными и мощными. Но их «ум» часто сидит не в самой модели, а вокруг неё — в программной обвязке, правилах и заранее прописанном процессе.

Второй тип — системы с подлинной самостоятельностью. Здесь важные вещи должны жить внутри самой системы: долгосрочные цели, представление о себе, выбор способа действия, управление глубиной рассуждения, собственное обучение.

Именно это, по мнению авторов, и отделяет просто хорошую автоматизацию от настоящего агента.

Базовая схема: агент действует в среде, получает наблюдения и пытается прийти к цели.

На бумаге это может звучать как философское рассуждение. Но дальше статья очень быстро становится инженерной. Авторы раскладывают «самостоятельность» на пять конкретных осей: цели, идентичность, принятие решений, саморегуляция и обучение. И по каждой оси показывают, где слабые места нынешних систем.

Пять мест, где сегодняшние ИИ-агенты недотягивают

Первая проблема — цели. Сегодняшним системам обычно дают короткий промт на один эпизод: сделай это, найди то, нажми сюда. Как только сессия заканчивается, цель исчезает. Для простых задач это нормально. Но для по-настоящему длинных сценариев — исследования, сложной разработки, физической работы в мире — этого мало. Нужна не просто команда «на сейчас», а долговременная цель, которую система сама раскладывает на подцели и пересматривает по ходу дела.

Вторая проблема — идентичность. Сейчас роль, ограничения и возможности агента часто задаются системным промтом, конфигом или набором доступных инструментов. Иначе говоря, система знает, кто она, потому что ей это руками прописал человек. Авторы считают, что у более зрелого агента должна быть модель себя: понимание собственных возможностей, ограничений, ролей, отношений с другими участниками среды. И эта модель должна обновляться по опыту.

Сравнение двух подходов к целям: пошаговые внешние указания против внутренней декомпозиции долгосрочной цели на подцели.

Третья проблема — принятие решений. Авторы спорят с популярной идеей, что если достаточно сильно масштабировать единую модель и дать ей много рассуждений, то планирование «само появится» внутри скрытых состояний и длинных цепочек текста. Их тезис: длинное рассуждение — это ещё не планирование. Чтобы по-настоящему планировать, системе нужна модель мира, то есть отдельный механизм, который предсказывает, что случится после того или иного действия.

Четвёртая проблема — саморегуляция. Даже если у системы есть и быстрый режим реакции, и более медленное планирование, остаётся вопрос: когда чем пользоваться? Сегодня это обычно решается грубо. Либо система всегда «думает долго», либо следует жёсткому внешнему сценарию, либо человек вручную включает нужный режим. Авторы предлагают сделать этот выбор частью самого агента.

Пятая проблема — обучение. Почти все текущие системы сначала обучают, потом замораживают и выкатывают. Если что-то пошло не так — дообучение, новый промпт, новая обвязка. Авторы хотят большего: чтобы агент умел учиться и от реального опыта, и от внутренних симуляций в модели мира, причём сам решал, когда ему тренироваться, а когда действовать.

Почему модель мира здесь в центре

Один из самых сильных моментов статьи — чёткое разведение двух ролей, которые в последнее время часто смешивают. Есть модель, которая отвечает на вопрос «что делать?». А есть модель, которая отвечает на вопрос «что произойдёт дальше?».

Авторы настаивают: это разные сущности, и их нельзя безболезненно слеплять в одно. Модель мира должна учиться предсказывать реальность как можно точнее. Агент должен учиться выбирать действия ради цели. Если смешать эти задачи в один котёл, можно получить красивую, но опасную путаницу: система будет не столько предсказывать мир, сколько подгонять предсказания под выгодные для себя действия.

Отсюда их любимый термин — симулятивное рассуждение. Идея простая: прежде чем действовать, агент может мысленно прокрутить несколько вариантов в модели мира, оценить последствия и выбрать лучший.

Реактивная политика против симулятивного рассуждения: во втором случае решение опирается на предсказание последствий в модели мира.

Это важная развилка. Сегодня многие надеются, что длинные текстовые рассуждения внутри LLM сами по себе заменят планирование. Авторы говорят: не заменят. Текст может выглядеть убедительно, но без опоры на динамику мира он остаётся историей, а не проверяемым прогнозом.

Что они предлагают вместо этого: архитектура GIC

На этой критике строится собственное предложение авторов — архитектура GIC. Название расшифровывается как «цель — идентичность — конфигуратор».

Схема выглядит так.

Сначала агент получает наблюдения и превращает их во внутреннее представление состояния мира. Затем модуль целей берёт общую долгосрочную цель и выбирает текущую подцель. Параллельно модуль идентичности обновляет представление агента о самом себе. После этого специальный конфигуратор решает, как именно действовать прямо сейчас: быстро реагировать, продолжать старый план, строить новый план или, например, уйти в режим обучения.

Если нужно планирование, включается второй контур: агент через модель мира симулирует возможные траектории, оценивает их с помощью критика и выбирает наиболее полезную. Если ситуация простая или срочная, можно обойтись быстрым реактивным действием.

Архитектура GIC: цель, идентичность и конфигуратор управляют тем, когда агент планирует, а когда действует напрямую.

Это очень похоже на человеческую интуицию о двух режимах мышления: быстром и медленном. Но здесь авторы добавляют третий слой — метауровень, который решает, когда запускать какой режим.

В статье этот подход описан через три системы:

Чем эта работа сильна

Главный плюс статьи — она очень хорошо задаёт рамку. Вокруг ИИ-агентов сейчас много маркетинга и мало аккуратных определений. Здесь, наоборот, авторы пытаются отделить реальные архитектурные вопросы от шума.

Второй сильный момент — разделение агентной модели и модели мира. Это не просто терминологическая придирка. За ней стоит практическая мысль: если мы хотим планирование, отладку и безопасность, полезно понимать, какой модуль ошибся — тот, что плохо предсказал мир, или тот, что выбрал плохое действие.

Третий плюс — взгляд на безопасность. Авторы делают смелый ход: они утверждают, что более модульная и внутренне организованная архитектура может быть не опаснее, а наоборот, удобнее для контроля. Почему? Потому что цели, подцели, идентичность и режимы рассуждения становятся явными и проверяемыми. Не нужно гадать, что там тихо возникло внутри чёрного ящика.

Но есть и вопросы

При всей силе идеи статья местами выглядит скорее как манифест и программа исследований, чем как завершённая инженерная система. Формальных утверждений и теорем тут много, но полноценных масштабных экспериментов пока мало. Авторы сами честно пишут, что детали и первые прототипы вынесены в сопутствующие работы.

Есть и другой вопрос: насколько всё это подъёмно по вычислительным ресурсам. Модель мира, планирование, критик, конфигуратор, обновляемая идентичность, постоянное обучение — звучит мощно, но и дорого. Особенно если речь идёт не об игрушечной среде, а о реальном открытом мире.

Наконец, спорным останется и сам критерий «настоящей агентности». Авторы проводят жёсткую границу между внешней инженерной обвязкой и внутренней организацией. Это полезно как исследовательская позиция, но в индустрии ещё долго будут доминировать гибриды, где часть самостоятельности внутри модели, а часть — снаружи. И, возможно, именно они окажутся самым практичным классом систем на ближайшие годы.

Почему это важно прямо сейчас

С одной стороны, рынок уже продаёт «агентов» как следующий интерфейс к ИИ. С другой — общественный разговор всё чаще перескакивает к страшным сценариям про потерю контроля. Авторы предлагают более здравую картину.

Их аргумент можно пересказать так: сегодняшние системы чаще всего гораздо менее самостоятельны, чем кажется. Но если мы действительно хотим строить более автономные системы, то делать это лучше не на хаотичной программной обвязке, а на архитектуре, где цели, саморегуляция, обучение и модель мира устроены явно и раздельно.

Это меняет вопрос с «как добавить ещё инструментов к LLM» на «как спроектировать систему, которая сама организует своё поведение».

Вывод

Critique of Agent Model — это статья про то, что мы вообще строим, когда говорим слово «агент».

Её главный вклад — не в цифрах, а в ясности. Авторы показывают, что нынешние ИИ-агенты часто являются сложными конвейерами, а не самостоятельными субъектами действия. И предлагают альтернативу: агент как единую систему с внутренними целями, развивающейся идентичностью, симулятивным рассуждением, саморегуляцией и постоянным обучением, работающую в связке с отдельной моделью мира.

Станет ли GIC стандартом? Пока рано говорить. Но как интеллектуальный фреймворк эта работа очень сильна. Она помогает отделить хайповый ярлык от настоящей архитектурной задачи. А это сегодня, пожалуй, важнее любого очередного лидерства в бенчмарке.