Как устроен HomeBody
Обычно между языковой моделью и роботом есть отдельный обученный слой управления. HomeBody обходится без него: сменная визуально-языковая модель — в этой версии GPT Astra — напрямую вызывает навыки из расширяемой библиотеки. Среди них — захват предметов, навигация и открывание ящиков.
Сначала робот исследует комнату и создаёт её цифровую копию в Nvidia Isaac Sim, а затем записывает предметы и их расположение в пространственную память. Благодаря этому он может найти вещь, даже если она вышла из поля зрения камеры. Для задачи вроде «убрать на кухне» языковая модель планирует действия по шагам и исправляет ошибки по ходу выполнения.
Ограничения и предыдущие проверки
Среди ограничений HomeBody — задержки GPT Astra, перегрев сервоприводов пальцев и высокие затраты на вычисления. Код проекта опубликован на GitHub.
В более ранних бенчмарках отмечалось, что пространственное рассуждение Astra заметно улучшилось. Другая проверка выявила проблемы безопасности, возникающие, когда Astra управляет роботом. OpenAI уже объявила о планах вернуться к робототехнике, в том числе для бытового применения.
Источник: the-decoder.com
Читайте также
Демократия застала врасплох кремниевых магнатов, мечтавших преобразить мир с помощью ИИ
Nvidia выпустила бесплатную модель на 100 млн параметров, которая в реальном времени распознаёт до восьми собеседников
Десятки тысяч проверок безопасности показывают: инцидент OpenAI с Hugging Face был лишь началом
Ещё пятерых полицейских обвинили в злоупотреблении камерами Flock — скандалов уже не счесть
Билл Гейтс призвал регулировать ИИ: без контроля он может привести к миллиарду смертей
Goldman Sachs: к 2027 году Big Tech потратит на ИИ-инфраструктуру $1,2 трлн — намного больше прогнозов Уолл-стрит
«Люди встают и дают отпор»: жители Северного Девона восстают против огромного ИИ-дата-центра
Google тестирует покупки на принадлежащем Walmart маркетплейсе Flipkart через Gemini и режим ИИ в Индии
Чиновники: протесты против дата-центров в Австралии — заимствованный у США шум. «Мы не США»
Две трети ИТ-руководителей отмечают результаты от ИИ, но мало кто прервал бы из-за них отпуск гендиректора
Оператора дата-центра оштрафовали на $1 млн за выбросы токсичного газа в окрестностях
Исследование: доступ к ИИ почти полностью отбивает у людей желание отвечать «не знаю»
Я создала интерактивного цифрового аватара — и с ним можно поговорить
Глав OpenAI и Anthropic вызвали на сенатское расследование после инцидентов с вышедшими из-под контроля ИИ-агентами
Споры об ИИ уже влияют на выборы 2028 года: чего хотят кандидаты от демократов
Нарушенные обещания и отобранные земли: в крошечной индийской деревне строят ИИ-дата-центр гигантского масштаба
OpenAI пыталась скрыть, что ChatGPT подробно объяснял школьному стрелку, как добиться максимального числа жертв. Переписки ужасают.
Оксфорд разрешил OpenAI обучать ИИ-модели на материалах Бодлианской библиотеки
Muse от Meta — только для взрослых. Почему он похож на детскую игрушку?
SoL-Pi от Nvidia почти вдвое сокращает расход токенов у кодинг-агентов, оптимизируя управляющий слой
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram