ИИ-перевод жестового языка: модели Sign2GPT и SignLLM
Краткое изложение авторской публикации врача в сообществе «Врачи РФ» от .
Автор материала описывает две ИИ-модели для автоматического перевода между жестовыми и звучащими языками. Sign2GPT, разработанная учёными Университета Суррея, преобразует видеозаписи жестовой речи в текст; SignLLM, созданная исследователями нескольких американских университетов, генерирует видео с аватаром, который передаёт текст на жестовом языке. В демонстрации SignLLM аватары воспроизводят сообщения на 8 жестовых языках.
По данным, приведённым автором со ссылкой на ООН, жестовыми языками постоянно пользуются более 70 миллионов слабослышащих, а описано свыше 300 таких языков. Автор отмечает, что распознавание жестов осложняют трёхмерность движений и зависимость смысла от их последовательности и темпа. Обе команды планируют объединить функции моделей и добавить распознавание и синтез голоса; автор считает такое развитие достижимым в недалёком будущем.
Главное
- Sign2GPT, разработанная учёными Университета Суррея, переводит видеозаписи жестового языка в текст.
- SignLLM создаёт видео с аватаром, который передаёт текст на жестовом языке.
- Аватары SignLLM воспроизводят сообщения на 8 жестовых языках.
- По данным ООН, жестовыми языками постоянно пользуются более 70 миллионов слабослышащих.
- Описано более 300 жестовых языков.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация