Зрение и видео

Почему даже лучший ИИ часто спотыкается, когда ответ нужно собрать не из одного места, а по кусочкам из таблиц, файлов, документов и видео? Исследователи предложили новую проверку для ИИ-агентов: они дают вопрос и целую рабочую папку с разными данными, а на выходе ждут готовую таблицу с точным ответом. Такой формат ближе к реальной работе, где нужные сведения разбросаны по разным источникам, и сразу видно, умеет ли модель не просто искать по одному файлу, а действительно собирать всё вместе без потерь и путаницы. В этом обзоре разбираем, почему даже сильные модели пока часто ошибаются в таких задачах, как устроена эта проверка и что она показывает о будущем ИИ для работы с данными.

Иногда ИИ-агенту мешает не нехватка возможностей, а их избыток. Исследователи посмотрели, как на практике подключают модели к внешним сервисам и данным, и заметили повторяющиеся удачные схемы, а также частые ошибки. Главное наблюдение простое: когда в поле зрения модели сразу слишком много функций, она начинает хуже выбирать нужное и чаще промахивается. Поэтому важно не просто дать ИИ-агенту доступ ко всему, а аккуратно собрать для него понятную и удобную рабочую среду. В обзоре разберём, какие подходы к устройству таких систем действительно работают, какие ошибки повторяются чаще всего и почему лишние инструменты могут вредить сильнее, чем помогать.

Похоже, путь к более общему ИИ лежит не в умении продолжать текст или картинку, а в попытке понять, как устроен сам мир. Авторы предлагают модель, которая учится не отдельным задачам по кускам, а общему представлению о том, что происходит вокруг и как одно состояние мира переходит в другое. Для этого ей показывают и видео, и текстовые описания событий, чтобы она училась связывать увиденное, сказанное и возможные действия. Это важно, потому что такой подход может приблизить ИИ не просто к ответам по шаблону, а к более цельному пониманию происходящего. В этом обзоре разбираем, как устроена такая модель мира, чему именно её учат и почему единое представление о мире может стать важным шагом к более общему ИИ.

Генерация презентаций долго жила в довольно скучном режиме: есть документ, есть набор тезисов, модель превращает всё это в слайды. Полезно, но предсказуемо. Новая работа PresentAgent-2 пытается заметно поднять планку.

За последние годы мультимодальные LLM научились распознавать объекты, но как добавить им визуальное воображение? Разбор концепции Cognitive Supersensing. За последние годы мультимодальные LLM (MLLM) научились распознавать объекты, читать подписи, отвечать на вопросы по изображению и даже неплохо объяснять, что происходит в кадре. Но у них есть…

Генеративные модели научились рисовать впечатляющие ролики, но у такого видео есть слабое место: оно не обязано подчиняться законам физики. Объект может «плыть» в воздухе, частицы — игнорировать гравитацию, а твёрдые тела — проходить друг сквозь друга. Для задач пространственного интеллекта…

Ещё недавно модели научились генерировать видео по тексту с несколькими секундами связного движения. Но стоит попросить такую систему пройти вперёд, оглянуться и вернуться к знакомому объекту — чуда не происходит. Объекты меняются местами, детали «плывут», а причинно‑следственная логика уступает…

Когда мы просим модель рассуждать, она делает это с помощью слов в случае текста или с помощью статичной сцены в случае картинки. Однако окружающий мир не является статичным: объекты могут перемещаться, а правила часто складываются только по их поведению во времени. Авторы предлагают…

Современные визуально-языковые модели видят картинку как массив пикселей. Но чтобы по-настоящему понимать картинку, им нужно работать не с пикселями, а с символами — как с кодом. Это хорошо работает с распознаванием изображений, но плохо — для использования изображения в контексте при работе с…

На волне успеха ИИ в языке, изображениях и видео многие надеялись, что трансформеры помогут и прогнозированию временных рядов. Реальность чаще прозаична: простая линейная регрессия нередко бьет громоздкие модели по среднеквадратичной ошибке. Рассматриваемое исследование аккуратно и строго…

ИИ-агенты обещают помочь нам в реальных приложениях: от настройки браузера до редактирования изображений и работы с медиаплеером. Но чтобы уверенно жать на нужные кнопки и не путать меню, им нужны тысячи качественных демонстраций, снятых прямо в целевых программах. С такими данными беда: готовые…

Короткое 2–10‑минутное видео с пояснениями к статье сегодня стало почти обязательным: его ставят на страницу проекта, показывают на семинарах, пересылают коллегам. Но сделать такое видео — это часы подготовки слайдов, запись голоса и говорящей головы, монтаж и правки. И это совсем не то же…

Мы редко слушаем речь как поток неожиданных звуков. Мозг постоянно строит догадки о следующем слове и проверяет себя по мере поступления звука. Такой режим экономит силы: чем точнее ожидание, тем меньше усилий на распознавание. Есть много данных о предсказаниях в зрении и слухе, но семантика —…

Шутка шутке рознь. Чистый юмор держится на игре слов и безобидных несоответствиях, чёрный — на болезненных темах, культурных намёках и тонких контрастах между картинкой и подписью. В мемах это особенно заметно: изображение говорит одно, текст — другое, а смысл рождается на стыке. До недавнего…

Сегодня многие ИИ-агенты остаются реактивными: видят кадр — действуют, видят следующий — снова действуют, а связной картины мира не формируют. Отсюда проблемы с дальними маршрутами, переиспользованием опыта и гибкостью. В биологии это решено элегантно: мозг хранит ориентиры, маршрутное знание и…

Часто мы думаем о дипфейках как о полностью синтетических роликах. Но в реальной жизни все чаще встречаются такие аккуратные подмены, когда меняют не все видео, а лишь небольшую часть: жесты, лицо, объект на столе или несколько кадров в середине. Такие точечные правки не бросаются в глаза и…

Интерактивные модели мира — это способ учить ИИ «ощущать» мир, а не только описывать его словами. Но до недавнего времени у таких моделей было три больших препятствия: не хватало качественных данных с точной пометкой действий; классические видеодиффузоры считали слишком долго и «забывали» начало…

Если вы когда‑нибудь пытались «примерить» очки или галстук на своё фото с помощью приложения, вы знаете главный подвох: системе нужно руками подсказать область замены — нарисовать маску или рамку. Для сотен типов предметов это неудобно и плохо масштабируется. OmniTry решает эту проблему иначе:…

Роботы всё чаще видят мир камерой и читают наши текстовые инструкции. Но часто это «знание» не превращается в верное действие: модель понимает, что такое «чашка», но не знает, куда её ставить и как обойти соседние предметы. Этот разрыв между зрением и действием называется seeing‑to‑doing gap.…