От восприятия к визуальному мышлению:
как добавить ИИ внутреннее «воображение»

За последние годы мультимодальные LLM научились распознавать объекты, но как добавить им визуальное воображение? Разбор концепции Cognitive Supersensing.

За последние годы мультимодальные LLM (MLLM) научились распознавать объекты, читать подписи, отвечать на вопросы по изображению и даже неплохо объяснять, что происходит в кадре. Но у них есть упрямая слабость: как только задача требует не просто описать увиденное, а удержать визуальные детали в памяти и мысленно выполнить над ними несколько шагов преобразований, качество резко падает. Например, понять правило в матрице фигур, мысленно повернуть объект, предсказать результат простого «физического» действия или пройтись вниманием по схеме в правильном порядке.

Авторы работы Toward Cognitive Supersensing in Multimodal Large Language Model называют это разрывом между восприятием и визуальным мышлением. В современных подходах его часто пытаются закрыть текстовыми цепочками рассуждений: модель генерирует подробное объяснение шаг за шагом и якобы «думает». Проблема в том, что текст — неудобный интерфейс для пространственных операций. Когда вы в уме вращаете куб или достраиваете закономерность в узоре, вы не переводите каждую микропроверку в слова. Модели же вынуждены «сжимать» пространство в последовательность токенов, и на длинных визуальных задачах это превращается в узкое горлышко.

Бенчмарк, который проверяет не описание, а визуальное мышление

Чтобы измерять именно «визуальное мышление», авторы собрали CogSense-Bench и связанный с ним датасет CogSense-Dataset-105K. Вопросы распределены по пяти когнитивным измерениям: текучий интеллект (решение новых абстрактных задач), кристаллизованный интеллект (опора на выученные знания), зрительно‑пространственное мышление, мысленная симуляция и визуальные процедуры — то есть задачи, где важно уметь правильно направлять внимание и выполнять последовательность визуальных операций.

Смысл этого шага простой: если бенчмарк проверяет только распознавание, то модель может выглядеть умной, оставаясь «пассивной камерой с хорошим словарём». CogSense-Bench специально устроен так, чтобы без внутренней визуальной работы модель чаще ошибалась.

Идея когнитивной сверхчувствительности: «внутреннее зрительное воображение» в латентном пространстве

Ключевая идея статьи — перенести часть рассуждения из текста в пространство представлений, где живут визуальные признаки. Авторы предлагают парадигму Cognitive Supersensing: модель получает дополнительную голову LVIP (Latent Visual Imagery Prediction), которая учится предсказывать латентное визуальное представление правильного ответа. Проще говоря, помимо генерации текста модель параллельно строит внутренний «образ того, к чему она должна прийти», и это становится каркасом для многошагового решения.

Как обучают: сначала хорошие рассуждения, потом привязка к «образу», затем RL

Обучение построено в несколько шагов. Сначала авторы получают цепочки рассуждений от модели-учителя и фильтруют их, чтобы не тащить в обучение галлюцинации и неверные ответы. Затем делают supervised fine-tuning: модель учится и генерировать ответ, и одновременно предсказывать латентный «визуальный образ» правильной опции через LVIP. А на финальном этапе добавляют обучение с подкреплением, где поощряются такие траектории рассуждений, которые согласованы с ответом не только в тексте, но и в латентном визуальном представлении. Это похоже на попытку дисциплинировать модель: «думай так, чтобы твои промежуточные внутренние состояния действительно вели к правильной визуальной цели».

Что получилось на практике

На CogSense-Bench модель CogSense-8B показывает среднюю точность 73.8%. Для сравнения, приведённый в статье GPT-5.2 набирает 40.3%, а многие другие сильные MLLM — в районе 30–37%. Особенно показательно, что LVIP даёт заметный вклад сверх обычного SFT, а добавление RL дальше улучшает результат.

При этом на «общих» бенчмарках вроде ScienceQA, GQA и других изменения в среднем не выглядят как грубое переобучение: модель остаётся сопоставимой с базовым бэкбоном в стандартных задачах, но резко прибавляет там, где нужно именно визуальное рассуждение. Дополнительно авторы проверяют обобщение вне домена на EMMA (картинные вопросы по химии и математике) и тоже видят прирост: например, математика растёт с 26.0 до 34.8.

Почему это важно и куда может вести дальше

Эта работа формулирует то, что многие чувствовали на практике: больше цепочек рассуждений не гарантирует лучшего визуального мышления, потому что текст сам по себе плохо хранит и преобразует пространственные структуры. Cognitive Supersensing предлагает компромисс: язык остаётся для управления и объяснения, а внутренний визуальный «скелет» рассуждения живёт в латентном пространстве, ближе к тому, как работает модель мира в задачах предсказания состояний.

Если направление закрепится, мы можем увидеть MLLM, которые не только отвечают по картинке, но и действительно умеют делать внутреннюю симуляцию — не обязательно рисуя, но удерживая устойчивые визуальные состояния на протяжении многих шагов.