Нейросеть декодирует речь по сигналам коры головного мозга
Краткое изложение публикации в сообществе «Врачи РФ» от .
Исследователи Нью-Йоркского университета разработали нейросеть, которая преобразует записи активности коры головного мозга в реконструированную речь. Модель обучали на электрокортикографических (ЭКоГ) сигналах и временных свертках трех типов: причинных, антипричинных и непричинных. Такой подход помог реконструировать речь с учетом моторных и сенсорных сигналов. Результаты опубликованы в Proceedings of the National Academy of Sciences в 2023 году.
Прототип речевого протеза также способен воспроизводить голос пациента по небольшому числу образцов аудио- или видеозаписей, в том числе с YouTube и Zoom. Разработку проверили в недельном эксперименте с пятью пациентами с рефрактерной эпилепсией и нарушениями развития речи. В левое полушарие каждого пациента имплантировали сетку из 64 стандартных субдуральных электродов и дополнительно разместили 64 электрода меньшего размера для повышения пространственного разрешения.
Главное
- Нейросеть Нью-Йоркского университета реконструирует речь по электрокортикографическим записям активности коры головного мозга.
- Модель может воспроизводить голос пациента по небольшому числу образцов аудио- или видеозаписей.
- Прототип проверили в недельном эксперименте с пятью пациентами с рефрактерной эпилепсией и нарушениями развития речи.
- В левое полушарие пациентов имплантировали по 64 стандартных субдуральных электрода и дополнительно по 64 электрода меньшего размера.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация