Brain2Qwerty переводит мозговые сигналы в текст без операции
Источник: ai.meta.com
В прошлом году команда представила Brain2Qwerty v1 — исследование по переводу мозговой активности в текст без хирургического импланта. Теперь появилась версия v2: сквозной конвейер, который расшифровывает предложения в реальном времени по неинвазивным записям мозга и приближается по точности к методам, для которых требуется операция.
Чтобы ускорить исследования в нейронауке, авторы открывают полный код обучения Brain2Qwerty v1 и v2. Партнёр проекта, Basque Center on Cognition, Brain, and Language (BCBL), также публикует набор данных для v1.
Такая технология может помочь миллионам людей с повреждениями мозга, из-за которых они теряют способность общаться. Инвазивные методы — стереотаксическая электроэнцефалография и электрокортикография — уже показывали, что нейропротез, передающий сигналы системе расшифровки на базе ИИ, способен восстановить коммуникацию. Однако масштабировать такие решения сложно. Неинвазивный подход должен помочь сократить этот разрыв.
Источник: ai.meta.com
Brain2Qwerty v2 обучали примерно на 22 000 предложений от девяти добровольцев. Каждый участник проводил по 10 часов в устройстве для магнитоэнцефалографии (МЭГ) и в это время активно набирал текст.
Вместо заранее спроектированных конвейеров для поиска отдельных нейронных событий команда использовала сквозное глубокое обучение. Система расшифровывает данные непосредственно из исходных мозговых сигналов.
Источник: ai.meta.com
Файн-тюнинг больших языковых моделей на нейронных данных позволяет учитывать смысловой контекст. Благодаря этому система связывает зашумлённые записи мозга с последовательным языком.
Для поиска оптимизаций конвейера расшифровки команда привлекла ИИ-агентов. При этом итоговые настройки обучения инженеры выбрали вручную.
Источник: ai.meta.com
Brain2Qwerty v2 восстанавливает связные предложения из зашумлённых нейронных сигналов. Точность распознавания слов составила 61% — против 8% у других неинвазивных методов. Для лучшего участника показатель достиг 78%: более половины всех предложений система расшифровывала с одной ошибкой в слове или без неё.
Авторы также обнаружили, что точность расшифровки растёт логарифмически вместе с объёмом данных. Это указывает на возможность сократить оставшийся разрыв с хирургическими методами за счёт дальнейшего увеличения набора данных.
Работа входит в программу по созданию открытых базовых моделей мозга. В неё уже входят модель Tribev2 для кодирования восприятия, NeuralSet для обработки мозговых данных в больших масштабах и NeuralBench для систематической оценки моделей.
Команда развивает проект вместе с сообществом. В рамках инициативы Digital Brain Project она недавно создала фонд на $5 миллионов для поддержки открытых наборов данных. Авторы рассчитывают, что открытая работа поможет быстрее выявлять, диагностировать и лечить неврологические заболевания, чем исследования, ведущиеся изолированно.
Источник: ai.meta.com
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram