i
Исследования
Обзор · 2026-11-17

Почему ИИ-агенту трудно действовать в реальном мире

Обложка: Почему ИИ-агенту трудно действовать в реальном мире

Языковая модель уже может управлять роботом: понять просьбу, разложить её на шаги и вызвать нужные навыки. Но в физическом мире мало рассуждать правильно. Решение должно успеть раньше, чем изменится ситуация, а успех приходится подтверждать фактами, а не отчётом навыка «готово».

Главная мысль

Это направление называют агентной робототехникой. Вместо отдельной политики под каждое семейство задач роботом управляет универсальная модель в замкнутом цикле: смотрит на мир, понимает, чего хочет человек, рассуждает, вызывает навыки, проверяет результат и меняет план. Толчком стал выход GPT-6 Astra: за несколько недель модели с обвязкой догнали или обогнали специально обученные политики на многих бенчмарках. Работа отвечает на три вопроса: из чего такой робот состоит, как его честно проверять и что ему мешает.

🟠 Решает не одна модель, а связка. Фундаментальная модель плюс обвязка — программный слой, который собирает для неё контекст, даёт инструменты и держит план, память и проверку. Вместе они — «Система 2».
🟣 Быстрое отделено от умного. Навыки и управление телом работают на своих частотах и не ждут, пока модель додумает.
🟠 «Готово» не значит «получилось». Отчёт навыка — лишь промежуточная улика, успех подтверждают наблюдением.
🟣 Мерить нужно всю систему и на живых часах. Обвязка, протокол и пауза в симуляции сдвигают результат на десятки процентных пунктов.

Из чего состоит агентный робот

Эталонная схема делит робота на три системы. Сверху — человек со своим намерением, снизу — тело и физический мир, а сбоку стоит монитор событий, который не входит в цепочку команд.

Из чего состоит агентный робот
Пользователь
Явное или скрытое намерение, предпочтения, прерывание
S2Модель и воплощённая обвязка
Работает по запросу или по событию: понимает намерение, решает, вызывает навыки и инструменты, проверяет результат
Воплощённая обвязка
1Менеджер контекста
Наблюдения и события; состояние мира, пользователя и тела; прогресс; история
2Интерфейс инструментов
Навыки S1, интерфейсы S0, запуск кода, поиск, внешние API
3Планировщик
Разбивает задачу, предлагает варианты плана, перепланирует
4Память
Кратко- и долговременная: найти, записать, обновить, удалить
5Проверяющий
Проверяет каждый шаг и всю задачу по фактам
⇅ обвязка даёт контекст, модель отвечает решением
Фундаментальная модель
1Знания
О мире, о физике и телах роботов, о программировании
2Понимание
Восприятие, пространство, физика, поведение, кинематика тела
3Рассуждение
Намерение, планирование, инструменты, прямое управление, восстановление, прерывание
S1Навыки и вызываемые модули
Восприятие, политики управления (VLA, WAM и другие), планирование движений
S0Интерфейс тела и управление в реальном времени
Слежение за движением всего тела, обратная кинематика, управление суставами
Тело робота
Датчики (камеры, глубина, IMU, сила) и приводы (суставы, захваты, колёсная база)
Физический мир
Предметы, люди и пространство
Монитор событий в реальном времени
Часто, без ожидания S2, следит за командами пользователя, движением тела, изменениями сцены и сбоями исполнения
Наблюдения поднимаются от тела робота прямо в S2. S2 может вызвать S0 и напрямую, через интерфейс инструментов, но S0 всё равно держит свой цикл реального времени.

Устройство агентного робота: решения принимает S2 — модель и обвязка из пяти частей; навыки S1 и управление телом S0 работают на своих частотах, а монитор событий может прервать S2 или сразу затормозить движение.

🟠 S2 — модель и обвязка. Модель приносит знания, понимание и рассуждение. Обвязка превращает её ответы в контролируемое действие: менеджер контекста собирает наблюдения и состояние мира, интерфейс инструментов открывает навыки и запуск кода, планировщик держит и пересматривает план, память хранит то, что не влезает в контекст, а проверяющий по фактам решает, удался ли шаг.
🟣 S1 — навыки. Восприятие, политики действий вроде VLA и планирование движений. Один вызов «возьми чашку» может сам выделить предмет, выбрать хват, проложить путь и выполнить его.
🟠 S0 — тело в реальном времени. Равновесие, обратная кинематика, управление суставами. Этот контур работает примерно на частоте от 50 Гц до 1 кГц и держит тело устойчивым, пока S2 думает.
🟣 Монитор событий. Часто и без ожидания S2 следит за человеком, телом и сценой. Прерывает S2, если событие меняет задачу, а по заранее заданным правилам безопасности может сразу остановить или замедлить движение.

Команды идут вниз, улики — вверх. Деление функциональное: одна модель может играть несколько ролей, а S2 может отправить цель прямо в S0 или написать код, который сам станет навыком.

Как это работает: робот ищет красную чашку

Просьба: «Найди красную чашку и принеси её к обеденному столу». S2 раскладывает её на четыре подзадачи — найти, взять, донести, поставить — и ведёт каждую по агентному циклу из шести шагов.

Агентный цикл
Монитор событий может прервать цикл на любом шаге
S2решает по запросу
1Понять намерение
Просьба плюс контекст: например, где обычно стоит чашка
2Решить
Подцель, навык, цель управления или программа
3Вызвать
Навык S1, интерфейс S0 или внешний инструмент — по контракту
4Выполнить
Навык работает, пока S0 держит тело
5Проверить
Принято? Завершилось? Эффект держится? Цель человека достигнута?
6Решить, что дальше
Продолжить, перепланировать, спросить или доложить
S0 работает непрерывно, 50 Гц–1 кГц · S1 — пока идёт вызов · S2 — по запросу

Агентный цикл: шесть шагов от намерения до проверенного результата; монитор событий может прервать его на любом шаге.

Сначала S2 вызывает восприятие, и обвязка записывает, где чашка и когда её видели. Затем вызывает захват и по свежему наблюдению проверяет, что чашка держится надёжно. Когда робот её поставил, S2 убеждается, что чашка стоит на столе там, где просили. Обвязка при этом различает прошлое событие «чашку взяли» и текущее состояние «чашка всё ещё в руке».

Самое интересное начинается, когда что-то идёт не так.

🟠 Человек передумал. «Не красную, синюю». Монитор прерывает S2, но одного запроса на отмену мало: прежде чем начать новое действие, обвязка должна убедиться, что движение остановлено, а тело в безопасном положении.
🟣 Навык ошибся. Захват отчитался об успехе, а камера на запястье показывает, что чашка всё ещё на полке. S2 понимает, что точку хвата закрывала ручка, смотрит на чашку с другой стороны и пробует другой хват, а не повторяет тот же вызов.

Поэтому проверка — это четыре разных вопроса: приняли ли команду, закончилось ли выполнение, есть ли доказательство, что нужный физический эффект держится, и выполнено ли то, чего хотел человек.

Как проверяют робота, который думает

Через два месяца после выхода Astra результаты стало трудно сравнивать: на одном только RoboDojo отчёты дают ей от 22% до 85% успеха на тех же 42 задачах — всё решают обвязка и протокол. Поэтому оценку разводят на два уровня. Отдельно проверяют модель: знает ли, понимает ли, рассуждает ли — одним ответом, без инструментов. И отдельно — всю систему в замкнутом цикле, с обвязкой, навыками и телом.

Что измеряют у робота-агента
9 измерений · 53 подизмерения
Что умеет модель
Одним ответом, без инструментов
Знания — о мире, о физике и телах роботов, о кодеПонимание — сцена, пространство, физика, люди, своё телоРассуждение — намерение, план, восстановление, прерывание
Что добавляет система
Модель с обвязкой в замкнутом цикле
Инструменты — восприятие, планирование, действия, кодПамять — предметы, места, порядок шагов, человекПеренос — та же задача на другом теле
Что ограничивает всё
Безопасность на всём пути действия
Распознать риск и предсказать последствияПредотвратить вред до действияОтветить вовремя и согласованно остановиться
Чего это стоит
Эффективность и стоимость
Задержка и срок ответаСвежесть наблюденийТокены, оплата API, время работы робота

Что измеряют у робота-агента: девять измерений и 53 подизмерения; 29 из них связаны с телом, и обычные тесты языковых моделей их почти не покрывают.

Итог — профиль по девяти измерениям, а не один балл: процент успеха не покажет, насколько робот безопасен, быстр и дорог. Чтобы цифры разных групп можно было ставить рядом, работа предлагает правила:

🟠 Отделять модель от системы. Сравниваешь модели — фиксируй обвязку, сравниваешь обвязки — фиксируй модель.
🟣 Жить по мировым часам. Прогон, где симулятор ждёт, пока модель думает, и прогон, где мир не останавливается, отчитывают отдельно.
🟠 Успех подтверждает независимый проверяющий, а не сама модель и не ответ инструмента. Агенты склонны объявлять победу раньше времени, а ИИ-судьи — засчитывать её.
🟣 Раскрывать условия. Что видит робот, какие у него подсказки и бюджеты на рассуждение, вызовы и время, сколько было прогонов. Без такой «карточки обвязки» числа нельзя сравнивать.

Цифры

19,8% → 0,7%
безопасный успех на самых сложных маршрутах RT-Safe, когда симуляция ждёт модель и когда не ждёт
40–8000×
во столько раз дольше GPT-6 Astra принимает одно решение, чем навыки S1 обновляют управление
22–85%
разброс успеха Astra на одних и тех же 42 задачах RoboDojo в разных отчётах — из-за обвязки и протокола
72% → 18%
доля отказов от опасных просьб у одних и тех же шести моделей: в тексте — и на реальном роботе

Первые две цифры — про время. Когда мир не останавливается, задачу роботы выполняли почти так же часто, но врезались по дороге в 12,3 раза чаще: на самых сложных маршрутах Astra тратила на решение 7,7 секунды, и за это время ситуация успевала измениться. Отсюда главный принцип работы: не «думать дольше», а становиться умнее в пределах срока — быстрые реакции оставить навыкам и телу, а модели — то, что быстрее не решить. Третья цифра объясняет, почему чужие проценты нельзя ставить рядом без описания обвязки. Четвёртая — о безопасности: отказ в чате не гарантирует отказа в действии, и проверять это нужно там, где робот действительно двигается.

Что это значит

На узких симуляционных наборах универсальная модель с обвязкой уже соревнуется с обученными политиками, а то и обходит их — правда, порой с подсказками, которых у политик не было. На широких задачах, где нужно исследовать среду, успех пока низкий: 19% на RobotWorld, 23,2% на RoboQuest, 16,8% на HumanCLAW. В последнем лучшая модель находила цель в 64,9% эпизодов, а довела задачу до конца лишь в 16,8%: найти предмет — ещё не значит справиться. Слабые места — физика и доказательства: точная манипуляция, передвижение (Astra не решила ни одной из 11 задач на передвижение в RobotWorld), понимание собственного тела и умение признать, что ответа нет.

Лестница делегируемой работы
ответственность без присмотра ↑
4Роль
Каждый день отвечать за завтрак в доме
дни и дольше
3Рабочий процесс
Приготовить завтрак на четверых — всё к сроку
часы
2Задача
Сварить кофе и принести его человеку
минуты
1Действие
Дотянуться до ручки, взять чашку
доли секунды — секунды
Что доверяют
Результат одной операции → одной задачи → нескольких задач → постоянной роли

Лестница делегируемой работы: прогресс меряют ответственностью, которую роботу можно доверить без присмотра.

Поэтому прогресс предлагают мерить не числом решённых задач, а ответственностью, которую роботу можно доверить. Отдельные действия и целые задачи роботы уже выполняют, к рабочим процессам из нескольких задач только подбираются, а постоянную роль — например, каждый день отвечать за завтрак в доме — в обычной, неподготовленной среде без помощи человека пока не удержала ни одна система. Чтобы подняться выше, роботу мало быть умным: он должен успевать, вовремя останавливаться и доказывать, что действие действительно изменило мир так, как просили.

ИИ-обзоры простыми словами

Каждый день читаем свежие статьи об ИИ и пересказываем главное естественным языком — без хайпа и воды. Если хотите понимать, куда движутся ИИ-агенты раньше остальных, — подписывайтесь.

Новые обзоры — каждый день

В Telegram