Новый ИИ определяет по скану мозга, о чём вы думаете

Как работает декодер

«Результаты кажутся очень впечатляющими», — рассказал MIT Technology Review нейробиолог Томми Спраг из Калифорнийского университета в Санта-Барбаре. По его словам, если информацию о мыслях можно будет незаметно извлекать, научная фантастика последних 150 лет однажды может стать реальностью — и это вызывает беспокойство.

Это не первое исследование, в котором изображения восстанавливают по снимкам мозга. Но, по словам Михала Ирани из Института науки Вейцмана, чья команда создала новый инструмент, их метод позволяет точнее передать то, что человек представлял.

Работу недавно представили на двух конференциях. Исследователи обучили модель ИИ на открытом наборе снимков мозга восьми участников: им показывали тысячи изображений. Команда выбрала сканы с более высоким разрешением, чем в прежних исследованиях: они позволяли различать участки мозга размером до одного кубического миллиметра нейронов.

Получившийся «декодер мозга» состоял из двух частей: одна предсказывала структуру изображения, другая — его содержание. Вместе они помогали модели генерации изображений на основе диффузии воссоздать то, что видел человек.

Как расширили набор данных

Для улучшения модели нужны дополнительные данные, но подходящих снимков мозга было мало. Исследователи решили обучить другую модель, работающую в обратном направлении: она предсказывала мозговую активность по изображению, на которое смотрит человек.

Эта модель-кодировщик создавала множество предполагаемых снимков мозга для каждого изображения. Затем декодер использовал синтетический снимок, чтобы восстановить картинку. Исследователи повторяли этот процесс, пока результат всё больше не начинал походить на оригинал. Благодаря этому модель можно было обучать на изображениях, которые участникам не показывали во время сканирования мозга.

Метод работает не всегда. Ирани рассказал журналу, что однажды инструмент восстановил собаку в ванне как козу в ванне.

Потенциальная польза и риски

Технология может помочь людям с параличом, которые не могут общаться обычным способом. Пока для неё нужны высокоточные снимки мозга, сделанные на крупных и дорогих аппаратах фМРТ.

Если применить те же методы к носимому ЭЭГ-устройству, это стало бы «переломным моментом», считает Марчелло Иенка — нейробиолог и философ из Мюнхенского технического университета. Такие устройства можно настроить под мозговую активность конкретного человека, поэтому компания теоретически могла бы извлекать данные без его согласия.

Иенка подчеркнул, что считает исследование добросовестным, но, по его мнению, эту технологию также очевидно можно приспособить для коммерческого использования, проблемного с этической и общественной точки зрения.