Brain2Char переводит активность мозга при речи в письменный текст
Краткое изложение публикации в сообществе «Врачи РФ» от .
Алгоритм Brain2Char преобразует сигналы мозга, зарегистрированные во время речевого производства, в письменный текст. Систему разработала группа под руководством Эдварда Ченга; препринт описания алгоритма опубликован на arXiv. Для обработки электрокортикографических данных использовали две двунаправленные рекуррентные нейросети с долгой краткосрочной памятью (LSTM), а речевой сигнал переводили в текст с помощью DeepSpeech.
Для обучения собрали данные четырех пациентов с вживленными электрокортикографами; записи трех пациентов использовали для тренировки алгоритма. При чтении предложений Word Error Rate у трех участников составила 10,6, 8,5 и 7 процентов соответственно, в зависимости от величины словаря. При беззвучной речи двух пациентов показатель составил 40 и 67 процентов.
Главное
- Brain2Char преобразует активность мозга во время речевого производства в письменный текст.
- Данные для работы получили от четырех пациентов с вживленными электрокортикографами.
- Алгоритм обучали на записях трех пациентов, читавших предложения.
- При беззвучной речи Word Error Rate у двух пациентов составила 40 и 67 процентов.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация