Нейроинтерфейс декодировал речь парализованного пациента на двух языках
Краткое изложение публикации в сообществе «Врачи РФ» от .
Нейроинтерфейс на основе сигналов мозга позволил парализованному после инсульта мужчине общаться на испанском и английском языках. Модель машинного обучения декодировала попытки речи с помощью словаря из 111 испанских и 70 английских слов и языковой модели, которая отбирала грамматически допустимые фразы. В тесте пациент прочитал с экрана 56 двуязычных фраз; система правильно распознала 73,3 процента фраз на испанском и 77,8 процента на английском.
Мужчина также самостоятельно составлял фразы из словаря и отвечал исследователям на обоих языках. Ученые обнаружили, что одни и те же нейроны речевых моторных центров активировались при попытках говорить на испанском и английском. После применения трансферного обучения декодер, обученный на одном языке, предсказывал фразы на другом; этот подход может ускорить обучение двуязычных декодеров для схожих языков.
Главное
- Словарь нейроинтерфейса включал 111 испанских и 70 английских слов.
- В тесте система правильно распознала 73,3 процента испанских и 77,8 процента английских фраз.
- Пациент самостоятельно составлял фразы и общался с исследователями на обоих языках.
- Одни и те же нейроны речевых моторных центров активировались при попытках говорить на двух языках.
- Трансферное обучение позволило декодеру, обученному на одном языке, предсказывать фразы на другом.
Что говорят врачи
Отдельный участник обращает внимание, что сложность расшифровки воображаемой речи может зависеть от особенностей языка. По его мнению, интерфейсу приходится интерпретировать предполагаемые движения речевого аппарата, а различия между некоторыми звуками и словами могут быть малозаметными. Он сопоставляет языки с разной артикуляционной выраженностью и отмечает особую трудность тоновых языков, где изменение высоты или характера звучания слога способно менять его значение.
Обобщение обсуждения публикации в сообществе «Врачи РФ» (1 комментарий). Без цитат и имён участников. Само обсуждение доступно врачам после входа.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация