Эти исследователи научили ИИ довезти Toyota Corolla до In-N-Out

Один из инженеров пошутил, что, возможно, общий искусственный интеллект уже появился. Так называют идею машин, способных сравниться с человеком в интеллекте.

Беспилотные автомобили давно существуют, но обычно ими управляют алгоритмы, специально обученные и разработанные для вождения. В случае с Astra машина ехала под управлением модели, предназначенной для генерации текста, причём инженеры не готовили её к поездке заранее. Во время этой вылазки не произошло ничего тревожного, однако команда признаёт: поручать универсальной модели управление быстро движущейся машиной — рискованное решение. По мере развития понимания физического мира модели могут всё активнее воздействовать на реальность — и не всегда безопасно.

Физическое рассуждение

Современные модели хорошо отвечают на сложные вопросы и могут самостоятельно выполнять некоторые задачи в виртуальной среде, но их умения обычно ограничены компьютерами и интернетом. В реальном мире они быстро теряются. Несмотря на заявления о появлении общего искусственного интеллекта, компании, разрабатывающие ИИ, всё ещё считают физическое рассуждение нерешённой задачей.

Некоторые исследователи уходят из крупных компаний и создают стартапы, чтобы работать над этой проблемой. Эндрю Дай, руководитель Elorian AI, раньше был исследователем в Google DeepMind. По его словам, более развитое визуальное рассуждение откроет для ИИ новые применения: например, системы смогут определять, нравится ли посетителям еда в ресторане, а роботы — работать в домашней обстановке. Дай считает робототехнику важной проверкой навыков физического рассуждения: без них сложно представить домашнего робота.

Недавно Elorian и Scale AI, компания, которая предоставляет обучающие данные крупным лабораториям ИИ, создали новый бенчмарк Humanity’s Sixth Sense. Он измеряет, насколько хорошо модели понимают физические сцены.

«Большинство исследований компьютерного зрения посвящено восприятию, — говорит Синган Го, научный сотрудник Scale AI, участвовавший в создании бенчмарка. — Мы хотели выяснить, что нужно модели, чтобы интуитивно понимать сцену так же, как человек, которому для этого не приходится задумываться».

Как модели сели за руль

Рамабадран, Манс и Гесслер проверяли на проекте с In-N-Out, который они делали вне работы в Axiom, насколько хорошо модели справляются с беспорядком реального мира.

Идея проверить способность моделей водить машину возникла у инженеров во время встреч выходного дня. Они заметили, что модели вроде Astra способны создавать сложные трёхмерные симуляции, и задумались, поможет ли это им ориентироваться в реальности.

«Мы все живём в районе залива Сан-Франциско, где повсюду Tesla и Waymo. Возможно, это тоже повлияло», — рассказал Рамабадран.

Сначала инженеры проверили Grok от SpaceXAI, а затем перешли к новейшим моделям OpenAI и Anthropic. Поначалу модели отказывались управлять машинами и отвечали примерно так: «Я могу помочь интерпретировать изображения дорог, но не могу отдавать команды движения настоящему автомобилю». Но с помощью тщательно подобранных промтов их удавалось подтолкнуть к дальнейшим действиям. Когда модели начали вести машины, инженеры были поражены.

По словам инженеров, крупные компании, разрабатывающие ИИ, сосредоточились на развитии пространственного рассуждения в новых моделях. Однако команда сомневается, что эти модели специально учат водить. Вероятно, способности к управлению автомобилем появились в ходе обучения рассуждению о трёхмерном пространстве. Манс предполагает, что это могло стать следствием масштабирования мультимодальности моделей, которые теперь обучают на изображениях, видео и трёхмерных моделях.

Новый бенчмарк команды DrivingBench показывает, что до сдачи экзамена по вождению моделям пока далеко. Он проверяет, как модель проезжает простой маршрут, размеченный на парковке. Завершить его смогла только Astra — и очень медленно. Claude Fable 5.1 проехала 45 процентов маршрута, а Grok — лишь 11 процентов.

Рамабадран говорит, что новейшие модели, похоже, умеют исправлять ошибки: они приспособились к управлению автомобилем и улучшали вождение прямо во время поездки. По его словам, модели корректировали свои действия, учились на ошибках в контексте и постепенно лучше управляли машиной.

В конце инженеры предложили GPT взять руль.