Результаты StationeryBench
Новый робототехнический бенчмарк StationeryBench сравнивает OpenAI GPT-6 Astra и MolmoAct2 от Ai2 на пяти задачах с предметами на столе. Среди них — снять колпачок с маркера, высыпать скрепки и передать линейку между двумя роботизированными руками.
Обе модели управляли одинаковыми двурукими роботами YAM в ходе 200 испытаний. Astra полностью выполнила 7 из 100 задач, а MolmoAct2 не завершила ни одной. Медианный показатель прогресса составил 46 баллов из 100 у Astra и 12 баллов у MolmoAct2.
Источник: the-decoder.com
Все результаты, видео и исходный код опубликованы на GitHub. В долгосрочных планах OpenAI — создание собственных потребительских роботов.
Пространственное рассуждение
Йоав Арци, исследователь ИИ из Cornell и Google DeepMind, назвал Astra резким скачком в пространственном рассуждении.
В ещё не опубликованном бенчмарке REMAP GPT-6 Astra показывает точность, близкую к человеческому уровню. При этом Арци отмечает, что даже Astra не достигает человеческих результатов в других сценариях.
Он предполагает, что OpenAI обучала модель на больших объёмах трёхмерных данных, например сцен Blender. Это согласуется с тем, что Astra особенно заметно улучшила результаты именно в задачах, связанных с 3D.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram