ИИ-предприниматель создаёт агентов, умеющих заранее планировать на случай неожиданностей

Источник: technologyreview.com

Офис Хафнера в районе SoMa в Сан-Франциско почти пустует. Стартап запустился недавно, пока работает в закрытом режиме, и его название даже не указано на двери. В день визита там находится всего один сотрудник, мебели почти нет. Зато вдоль центра просторного помещения на стойках висят гуманоидные роботы разных форм и размеров — словно марионетки.

Хафнеру 31 год, и о новом проекте он пока рассказывает немного. По его словам, стартап продолжает его многолетнюю работу над тем, чтобы ИИ мог ориентироваться в среде, с которой не сталкивался во время обучения. Гуманоидные роботы, которых он привозит из Китая, стали следующим этапом этой работы и её физическим воплощением.

Чтобы робот мог работать в человеческом пространстве, он должен реагировать на ранее не проверенные ситуации. Например, домашний робот должен справляться с планировкой и мебелью, которых никогда прежде не видел.

Обучение в моделях мира

Хафнер использует модельно-ориентированное обучение с подкреплением. Он создаёт модели мира — ИИ-модели, имитирующие физическую реальность, — и обучает агентов внутри них.

Агент воспринимает такую модель как симуляцию настоящего мира и учится действовать в ней. Затем он использует накопленный опыт, чтобы предсказывать будущие последствия своих действий — или, как говорит Хафнер, «мечтать» и представлять возможные варианты развития событий. Благодаря этому агенты и роботы, в которых они работают, могут ориентироваться в незнакомых ситуациях в реальном мире.

Один из коллег Хафнера считает, что тот входит в верхнюю половину 1% исследователей Google.

Такой подход позволяет агентам и управляемым ими роботам выполнять сложные задачи без традиционного обучения в реальном мире методом проб и ошибок.

От программирования к ИИ

Хафнер вырос в небольшом сельском городе на северо-востоке Германии. Оба его родителя были классическими музыкантами. Программированию его научил сосед, а в старших классах Хафнер начал проходить онлайн-курсы по ИИ. Вскоре это стало его увлечением.

Он интересовался тем, как работает мышление, и видел в ИИ способ воспроизвести его на компьютере.

В 2015 году, на втором курсе инженерной специальности в Hasso Plattner Institute в Потсдаме, Хафнер получил место студента-исследователя в Google Brain. После этого он прошёл около дюжины стажировок и занял несколько должностей в компании, работая в Google Brain и Google DeepMind. Эти подразделения позднее объединили под брендом DeepMind. Хафнер работал в Великобритании, Канаде и США.

Среди его коллег были известные исследователи:

Тимоти Лилликрэп, бывший руководитель Хафнера и соавтор его работ в Google, считает его одним из самых заметных исследователей среди сильных специалистов. По словам Лилликрэпа, Хафнер нередко в одиночку создавал то, на что у целых команд инженеров ушло бы много времени.

От игр к роботам

Хафнер годами проверял и совершенствовал свой подход, сопоставляя агентов, обученных в моделях мира, с популярными видеоиграми.

Его проекты развивались так:

Позже Хафнер начал переносить агентов из виртуального мира в физическую реальность. В проекте DayDreamer алгоритм Dreamer позволил роботам самостоятельно работать в новых условиях и реагировать на неожиданный опыт — например, когда их толкают и они падают, — без специального обучения под каждую такую ситуацию.

Новый стартап

Осенью 2025 года Хафнер ушёл из Google DeepMind и основал собственный стартап. О дальнейших шагах он говорит уклончиво, но намекает, что хочет решить проблему, способную изменить мир.