ИИ научился «читать мысли» и восстанавливать увиденное по снимкам мозга

На примере результатов работы слева показано изображение, которое видел участник исследования, справа — вариант, восстановленный моделью по снимку мозга.

Ирани надеется, что инструмент поможет не только исследователям, но и людям с синдромом запертого человека — полностью парализованным людям, которые не могут говорить. Нейроэтик и профессор неврологии Университета Британской Колумбии Джуди Иллес, не участвовавшая в работе, высоко оценила исследование и отметила, что применение такого метода для помощи людям с неврологическими заболеваниями особенно интересно.

Другие учёные предупреждают: подобный подход может раскрывать внутренние мысли и мысленные образы, возможно, без согласия человека. Нейробиолог Томми Спраг из Калифорнийского университета в Санта-Барбаре назвал результаты впечатляющими, но добавил, что скрытое извлечение сведений о мыслях человека может превратить в реальность сюжеты научной фантастики последних 150 лет — и это вызывает опасения.

Как восстанавливают увиденное

Нейробиологи уже много лет пытаются воссоздать увиденное человеком и понять, что происходит у него в голове. Ранние попытки давали размытые изображения, которые было трудно истолковать. Со временем результаты улучшились благодаря развитию фМРТ и инструментов анализа снимков.

Ирани и её коллеги начали с открытых данных сканирования мозга. Другие исследователи уже снимали мозговую активность добровольцев, которым показывали сотни изображений, пока те лежали в аппарате фМРТ.

ФМРТ с помощью мощного магнита отслеживает движение насыщенной кислородом крови в мозге. Участки, которые «загораются» на снимках, считают особенно активными в данный момент. Но такой метод не очень точен: в обычном аппарате фМРТ каждый выделенный воксель охватывает примерно три кубических миллиметра ткани и около 16 000 нейронов.

Команда Ирани использовала более новые наборы данных, полученные на аппаратах с высоким разрешением. По её словам, каждый воксель в них охватывал около одного кубического миллиметра нейронной ткани. Эти данные показывали активность мозга добровольцев, когда им демонстрировали разные изображения.

Другие команды тоже пытались создавать изображения по снимкам мозга. Но, по словам Ирани, существующие инструменты пока работают недостаточно хорошо. Например, модель могла распознать, что человек видел банан, и сгенерировать его изображение — но с другой структурой и в другом положении.

Более точная расшифровка

Команда хотела точнее воссоздавать увиденные изображения. Сначала исследователи обучили модель ИИ на уже доступных данных восьми человек. Каждый участник просмотрел около 9 000 изображений, находясь в аппарате фМРТ с высоким разрешением.

У «расшифровщика мозга» две ветви: одна предсказывает структуру изображения — например, расположение цветов, — а другая его содержание, например связку бананов на тарелке. По этим предсказаниям диффузионная модель создаёт более точное изображение. Диффузионные модели известны тем, что генерируют изображения и видео, постепенно очищая шумную картину из пикселей.

Для улучшения моделей требовалось гораздо больше данных, чем было доступно. Чтобы решить эту проблему, Ирани и коллеги обучили ещё одну модель, работающую в обратном направлении: кодировщик, который предсказывает активность мозга по изображению. Затем они использовали кодировщик и расшифровщик вместе, чтобы улучшить оба инструмента.

Процесс устроен так: модели показывают новое изображение, например леопарда. Кодировщик предсказывает, как выглядел бы снимок фМРТ мозга человека, увидевшего эту картинку. Затем расшифровщик восстанавливает изображение по предсказанной активности. Сначала результат может мало напоминать леопарда, говорит Ирани. Но многократное обучение моделей таким способом постепенно заметно повышает точность.

Этот подход позволяет обучать модели на любом количестве изображений, даже если их никогда не показывали людям в аппарате фМРТ. По словам Ирани, около 70% обучающих данных составляют изображения, которые изначально не были связаны со снимками мозга.

Объединив данные нескольких исследований, учёные также смогли найти области мозга, которые, по-видимому, выполняют одинаковые функции у разных людей. Например, одна область реагировала на изображения еды, другая — на спортивные сюжеты. Ирани, специалист по информатике, сейчас работает с нейробиологами, чтобы проверить, помогут ли разработанные инструменты обнаружить новые сведения о мозге.

Получившийся «универсальный кодировщик мозга» можно применять к снимкам нового человека после минимальной калибровки. Другим инструментам обычно нужно около 40 часов данных фМРТ нового участника, прежде чем они смогут предсказывать, что он видит. По словам Ирани, её расшифровщику достаточно одного часа. Результаты представили в прошлом месяце на конференции Cognitive Computational Neuroscience в Нью-Йорке.

Спраг считает, что инструмент может пригодиться нейробиологам: по его словам, никто не может позволить себе 40 часов сканирования нового участника. Один час такой процедуры стоит примерно от 600 до 1 000 долларов. Подобные инструменты могут ускорить исследования.

Возможности и ошибки

Кодировщик и расшифровщик работают не идеально. Ирани показала по видеосвязи Zoom, как инструмент восстановил изображение торта в виде стопки из трёх сэндвичей. На другой картинке собака в ванне превратилась в козу похожего цвета в той же ванне.

При этом по точности метод превосходит ранее описанные инструменты. В сравнительном тесте он показал значительно лучший результат. Ирани пояснила, что «чтение мыслей» — лишь звучное и игривое название того, чем занимается команда.

Теперь Ирани хочет перейти от изображений к видео и аудио. Она стремится научиться восстанавливать то, о чём люди думают или что представляют, а также содержание их снов. Пока этого сделать не удалось, но команда продолжает работать над задачей.

По словам Ирани, такой инструмент может помочь полностью парализованным людям общаться, используя только мозговую активность. Он также может помочь учёным разобраться в давних загадках работы сознания — например, выяснить, как выглядят воспоминания-флешбэки при посттравматическом стрессовом расстройстве.

Развитие таких методов неизбежно вызывает вопросы о приватности мыслей. Что произойдёт, если кто-то сможет восстановить мысленный образ человека и воспроизвести его мысли или то, что он видел?

Десять лет назад Спраг, по его словам, отнёсся бы к такой возможности со смехом. Заставить человека спокойно лежать в сканере и сосредоточиться на вопросе исследования и без того непросто, а сделать это против его воли ещё сложнее. Но Ирани и другие учёные разрабатывают похожие методы для расшифровки мозговой активности по ЭЭГ. Её измеряют с помощью электродов на специальной шапочке или даже в наушниках.

По мере совершенствования моделей анализировать собранные таким способом данные станет проще. Спраг считает, что к этическим вопросам пора относиться серьёзнее. По его мнению, метод Ирани, вероятно, достаточно хорошо предсказывал бы изображения, которые человек представляет, но не видит.

Переход на ЭЭГ стал бы переломным моментом, считает нейробиолог и философ Марчелло Йенка из Мюнхенского технического университета. После настройки устройства под мозг конкретного пользователя компаниям может быть относительно просто извлекать из его мозговой активности дополнительные сведения — возможно, без его согласия. Йенка также допускает, что некоторые суды могут принять восстановленные мысленные образы в качестве доказательств.

Он не сомневается в добрых намерениях исследователей, но считает очевидным, что такую разработку могут приспособить для коммерческого применения, проблемного с этической и общественной точки зрения.

Ирани признаёт, что применение ЭЭГ может привести к злоупотреблениям, но пока не тревожится об этом. По её словам, она старается думать только о хорошем.