Brain2Qwerty v2 переводит сигналы мозга в речь без операции
Исследователи представили Brain2Qwerty v2 — неинвазивный конвейер на основе ИИ, который в реальном времени переводит сигналы мозга в предложения без хирургического импланта. Систему обучили на примерно 22 000 предложений от девяти добровольцев, каждый из которых провёл по 10 часов в МЭГ-сканере, печатая текст. Точность распознавания слов достигла 61% против 8% у других неинвазивных методов, а для лучшего участника — 78%. Вместе с новой версией авторы открыли исходный код обучения Brain2Qwerty v1 и v2, а Basque Center on Cognition, Brain, and Language — набор данных для v1.
Источник: ai.meta.com
В прошлом году авторы представили Brain2Qwerty v1 — исследовательскую систему, которая расшифровывает активность мозга в текст без хирургического вмешательства. Теперь они выпустили Brain2Qwerty v2: сквозной конвейер для декодирования предложений в реальном времени по неинвазивным записям мозга. По точности он приближается к результатам методов, для которых требуется операция.
Чтобы ускорить исследования в нейронауках, команда опубликовала полный код обучения обеих версий Brain2Qwerty. Партнёр проекта, Basque Center on Cognition, Brain, and Language (BCBL), также открыл набор данных для v1.
Исследование может помочь миллионам людей с поражениями мозга, из-за которых они теряют способность общаться. Инвазивные методы — стереотаксическая электроэнцефалография и электрокортикография — уже показывали, что нейропротез, передающий сигналы ИИ-декодеру, способен восстановить коммуникацию. Но такие процедуры сложно масштабировать. Неинвазивный подход Brain2Qwerty должен помочь сократить этот разрыв.
Для обучения Brain2Qwerty v2 использовали примерно 22 000 предложений от девяти добровольцев. Каждый участник провёл по 10 часов в устройстве для магнитоэнцефалографии (МЭГ), печатая текст. Вместо заранее разработанного конвейера для обнаружения отдельных нейронных событий команда применила сквозное глубокое обучение: система декодирует необработанные сигналы мозга напрямую.
Источник: ai.meta.com
Файн-тюнинг больших языковых моделей на нейронных данных позволяет учитывать смысловой контекст. Благодаря этому система связывает зашумлённые записи мозга с последовательным языком. Кроме того, авторы задействовали ИИ-агентов для поиска оптимизаций конвейера декодирования, а итоговые конфигурации обучения инженеры выбирали вручную.
Brain2Qwerty v2 восстанавливает связные предложения из зашумлённых нейронных сигналов. Средняя точность распознавания слов составила 61% — против 8% у других неинвазивных методов. Для лучшего участника показатель достиг 78%: более половины всех предложений система расшифровывала с одной ошибкой в слове или без неё.
Источник: ai.meta.com
Авторы также обнаружили, что точность декодирования растёт логарифмически вместе с объёмом данных. Это указывает на возможность сократить оставшийся разрыв с хирургическими методами за счёт дальнейшего увеличения обучающей выборки.
Работа входит в усилия команды по созданию открытых базовых моделей мозга. В проекте уже участвуют модель Tribev2 для кодирования восприятия, NeuralSet для масштабной обработки данных мозга и NeuralBench для систематической оценки моделей.
Исследование ведётся совместно с научным сообществом. В рамках Digital Brain Project команда недавно создала фонд объёмом $5 миллионов для поддержки открытых наборов данных. Авторы рассчитывают, что открытая работа поможет быстрее выявлять, диагностировать и лечить неврологические заболевания, чем исследования, проводимые изолированно.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram