Первая ИИ-модель Elorian рассуждает с помощью изображений, а не только об изображениях

Стартап считает, что современные модели ИИ, несмотря на умение работать с языком и кодом, всё ещё плохо «видят». Большинство мультимодальных моделей однократно преобразуют изображение в токены, а затем рассуждают о нём текстом — словно описывают фотографию по памяти. Glimpse может возвращаться к исходному материалу: во время рассуждения модель обрезает нужную область, извлекает отдельные кадры из видео или запускает код, чтобы что-то измерить или сравнить. Elorian называет этот механизм «визуальным черновиком». Его можно представить как приближение фотографии на телефоне, чтобы проверить, правильно ли вы что-то разглядели.

Генеральный директор Elorian Эндрю Дай, бывший исследователь Google DeepMind, задумался о том, что модели пока не умеют по-настоящему видеть, во время вечера настольных игр. В прошлом году он сфотографировал игру, в которую только что сыграл с друзьями, и спросил передовую модель, кто выигрывает. Та не смогла ответить.

Дай объяснил TechCrunch, что у каждой настольной игры свой визуальный язык, символы и значки. Взрослому человеку нетрудно разобраться в происходящем, даже если текста почти нет, но модели не могут интуитивно понять значение символов.

Дай также сравнил эту задачу со сборкой мебели IKEA: люди умеют собирать её по схемам без слов, и он задался вопросом, почему модели ИИ не справляются с тем же.

Идея возвращаться к изображению не нова: в 2025 году OpenAI добавила обрезку и приближение изображений во время рассуждения в модели серии o. Elorian утверждает, что построила вокруг этого принципа всю модель и сделала это недорого. По словам компании, Glimpse обучала небольшая команда, использовав несколько сотен графических процессоров. Модель существенно меньше передовых систем, с которыми её сравнивали на бенчмарках.

Glimpse стоит $0,60 за миллион входных токенов и $3 за миллион выходных. Это дешевле моделей среднего уровня, таких как Sonnet и Sol, но дороже лёгких моделей Haiku и Luna.

По результатам тестов Elorian, Glimpse превосходит даже GPT-6 Astra в рассуждениях по научным графикам и создании коротких описаний видео. На других задачах визуального рассуждения она показывает конкурентоспособные результаты.

Elorian вышла из скрытого режима шесть месяцев назад, одновременно объявив о раунде финансирования. Его совместно возглавили Striker Venture Partners, Menlo Ventures и Altimeter Capital; среди участников также были Nvidia и главный научный сотрудник Google Джефф Дин.

Сначала компания планирует работать с организациями, у которых много видеоданных: робототехническими компаниями, научными лабораториями, медиа- и творческими компаниями. В перспективе Elorian хочет перейти от анализа изображений к действиям: модель будет строить представление о сцене и выбирать, что делать, в том числе управлять роботами напрямую.

В следующем году компания намерена создать, по словам Дая, «лучшую в мире модель визуального рассуждения», которая будет лидировать во всех тестах на визуальное рассуждение.