Как четыре ИИ-агента победили дракона в Minecraft

Четыре ИИ-агента победили дракона в Minecraft

Чтобы пройти Minecraft от случайного появления до битвы с драконом, нужно добыть ресурсы, сделать инструменты, найти крепость и собрать портал в другой мир. А ещё — пережить десятки неудач и не забыть, что делать дальше.

Четыре агента Gemini 4 Argon справились с этой задачей за 27 часов и 14 минут. Они написали 2 783 программы, обменялись 229 сообщениями и погибли 605 раз. Никто не назначал им роли и не прокладывал маршрут: команда сама делила работу, записывала находки и вытаскивала вещи из опасных мест.

За цифрами — проверка того, могут ли агенты для программирования удерживать общую цель на протяжении долгой задачи, а не только выполнять отдельные команды. Именно поэтому исследователи выбрали Minecraft: путь к дракону состоит из множества зависимых действий, где ошибка на одном шаге способна затормозить всю команду.

Четырнадцать часов — от первого шага в мире до победы над драконом; на схеме отмечены тринадцать ключевых этапов и игрок, который первым достиг каждого.

Как агенты играли

Каждый агент управлял отдельным персонажем через Mineflayer — библиотеку, которая позволяет писать программы для Minecraft. Агент не видел картинку игры и не нажимал клавиши. Он составлял короткую программу на JavaScript: например, добраться до точки и добыть ближайшую руду. Программа выполнялась, а в ответ агент получал текст с данными о положении, здоровье, предметах и результате действий. Затем он решал, что делать дальше.

Это напоминает работу программиста, который управляет системой через команды и проверяет, что получилось. Средняя программа работала около 34 секунд. Примерно 40% времени игроки выполняли такие программы, а остальное тратили на чтение ответов, обдумывание и написание следующего шага.

Исследователи дали команде одну цель — победить дракона — и коротко объяснили, как пользоваться инструментами. Готовой стратегии, игровых указаний или человеческих программ не было. Все четверо могли общаться в игровом чате и пользоваться общей памятью, куда записывали важные координаты и наблюдения.

Агент пишет программу, игровой бот выполняет её и возвращает текстовый ответ; игроки координируются через чат и общие заметки.

Как команда добралась до дракона

В первые минуты агенты начали делить работу. Один собирал еду и полезные припасы, другой искал алмазы, третий занимался инструментами, четвёртый готовил портал в Нижний мир. Это распределение возникло в чате без указаний исследователей.

Через два часа у команды уже были железные инструменты, алмазы и портал. Дальше нужно было добыть жемчуг и огненный порошок — материалы для Глаз Эндера, которые помогают найти подземную крепость и открыть путь к дракону. Пока одни агенты искали жемчуг, другой нашёл крепость в Нижнем мире и место появления огненных существ.

Сложные ситуации заставляли команду превращать ошибки в инструкции для всех. Когда огненный шар уничтожил выброшенные предметы, агенты записали, что опасные вещи нельзя оставлять на земле рядом с противниками. После гибели товарища они передавали друг другу точные координаты, чтобы успеть вернуть выпавшие предметы до их исчезновения.

Крепость удалось найти расчётом. Один агент бросил Глаз Эндера из двух разных мест, проследил его полёт и вычислил, где пересекаются направления. Расчёт указал на область примерно в 43 метрах от комнаты с порталом. Затем игроки донесли туда нужные предметы. Один из них погиб, неся все двенадцать глаз, но остальные успели сообщить точку гибели и подобрать добычу.

По направлениям полёта двух Глаз Эндера агент вычислил местоположение крепости; оценка оказалась примерно в 43 метрах от комнаты с порталом.

Путь от портала до дракона оказался самой долгой частью. В Нижнем мире команда теряла ресурсы, а в финальном измерении дракон убил игроков 69 раз. Между попытками агенты записывали правила: не задерживаться на месте появления, подходить к дракону только когда он садится и перезапускать его поведение, если он застрял. Для последнего все четверо возвращались в обычный мир: после гибели персонаж появлялся у кровати, а пустое измерение выгружалось.

Перелом наступил примерно через 21 час. Один из агентов заметил, что здоровье дракона восстанавливают кристаллы на обсидиановых колоннах. Он же нашёл способ добраться до них без кирки: построить столб из земли, подняться к кристаллу и разбить его рукой. Команда уничтожила все десять кристаллов, и через несколько часов дракон был побеждён.

Команда уничтожила все десять кристаллов, которые восстанавливали здоровье дракона; справа показано, как его здоровье уменьшалось в финальной битве.

Что команда выработала сама

Участники постепенно закрепили за собой разные виды работы, но могли помогать друг другу. Один игрок добывал ресурсы, другой строил инструменты, третий искал нужные места. В конце именно тот, кто меньше всех занимался разведкой, нанёс дракону последний удар.

Команда также создавала собственные программные помощники и сохраняла их между запусками. Среди них были функции для подсчёта предметов и перемещения персонажа. Общая память помогала переносить опыт от одного игрока к другим: однажды найденное решение можно было использовать снова, вместо того чтобы разбираться с проблемой заново.

Неудачи тоже требовали проверки. Однажды программа объявила об успехе, которого не было. Агент через две минуты исправил сообщение и объяснил, что сработала ветка кода без проверки результата. Другой игрок заметил, что сообщение о возвращении с добычей не сходится с гибелью отправителя. Так участники не только передавали друг другу планы, но и сверяли слова с тем, что произошло в игре.

Что говорят результаты — и чего не говорят

Победа показывает, что общий ИИ-агент может пройти длинную цепочку игровых задач, если умеет писать программы, проверять их результат и сохранять опыт. Такой подход интересен не только для игр: в разработке программ и работе с корпоративными системами тоже нужно поддерживать общий план, передавать знания и восстанавливаться после ошибок.

Но условия эксперимента важны. Mineflayer сообщал агентам точные данные о ближайших блоках и существах — в том числе о том, что человек не увидел бы сквозь камень. Встроенный поиск пути помогал обходить препятствия. Агенты играли на лёгком уровне сложности, и модель уже знала Minecraft из обучающих данных. Поэтому эксперимент проверял, могут ли они применить эти знания в долгой совместной задаче, а не научиться игре с нуля.

Наконец, это был один запуск, а не серия повторов. Победа заняла больше суток и потребовала 605 смертей; 22% программ завершились ошибкой. Стоимость работы моделей до победы исследователи оценили примерно в 520 долларов по начальной цене API, или около 1 040 долларов по обычному тарифу.

Вывод

Команда прошла Minecraft, потому что агенты смогли разделять работу, обмениваться находками и исправлять план после провалов. Это заметный прогресс для долгих задач, где отдельные действия должны складываться в общий результат.

Но победа сама по себе ещё не доказывает, что агенты так же надёжно справятся с рабочими задачами. Для этого нужны повторные испытания и среды, где система не получает готовые сведения о мире. Пока результат показывает другое: при понятной цели и постоянной обратной связи ИИ-агенты способны самостоятельно поддерживать многошаговый план — пусть и через сотни ошибок.