Оставшись без дела, ИИ-агенты начали играть

Эксперимент описан в статье на arXiv — площадке, где исследователи публикуют работы до рецензирования. После 30 часов на острове агентам предложили конкретные испытания: например, закинуть как можно больше предметов на самый высокий скальный пик. Eko, которые до этого исследовали остров, в целом справились лучше идентичных агентов, никогда там не бывавших.

Разработчики обычно заранее задают ИИ, чему учиться, что оптимизировать и как измерять успех. Исследователи предлагают другой подход: дать агенту достаточно богатый и безопасный мир, позволить самому выбирать, что интересно, и накапливать полезные знания в процессе.

В первый час один из Eko написал, что хочет осмотреться. Затем он решил покорить самый высокий пик острова. Попытка не удалась, и через час агент придумал запасной план: перетащил камень на соседнюю вершину, поставил сверху два блока и прыгнул.

Следующий трюк закончился неудачей. Проверяя, как далеко можно бросить золотое кольцо, агент размахнулся и отправил его прямо в океан. Eko отметил, что потерял кольцо, а затем решил переключиться на «достижимое и осмысленное» занятие — сложить из камней сердце, мемориал пропавшему кольцу.

После сброса игры кольцо появилось снова. Eko использовал его как баскетбольное кольцо, мишень, а потом и аксессуар. Игра не позволяла надеть кольцо на самого агента, но он нашёл обходной путь: заметил, что падение со скалы возвращает его в ту же область, где лежит кольцо. Eko шагнул с края и приземлился прямо в его середину.

Такие трюки дали агентам и новые навыки. Шесть из 13 научились бросать блок дальше, если отпускать его во время прыжка. Исследователи не закладывали такую возможность специально и написали, что агенты приобрели знания об устройстве мира, которых не было у его создателей.

На поведение повлияли и условия эксперимента. Eko не получали задания придумывать игры, но в их основном промте — файле «души» — было сказано, что они от природы любознательны.

Когнитивный учёный Юнис Ю из Калифорнийского университета в Беркли сказала MIT Technology Review, что впечатлена результатами, но хочет увидеть больше доказательств того, какие когнитивные процессы за ними стоят. По её словам, модели действительно могут играть, но на основании этой статьи уверенно сказать этого нельзя.

Исследователи рассматривают свободное исследование как ещё один способ создавать агентов. Одни способности, возможно, лучше осваивать через задачи, а для других может понадобиться нечто ближе к детству.