Понимание языка искусственным интеллектом: что показывают тесты Винограда
Краткое изложение авторской публикации врача в сообществе «Врачи РФ» от .
Автор материала объясняет, почему высокие результаты языковых моделей в тестах не доказывают, что искусственный интеллект понимает человеческий язык. В соревновании 2016 года программа правильно ответила на 58% вопросов по схемам Винограда; в исследовании OpenAI 2020 года GPT-3 дала почти 90% правильных ответов. Модель SuperGLU показала 97% точных ответов на исходных схемах Винограда.
WinoGrande — расширенный набор из 44 тысяч предложений — оказался сложнее для компьютеров: позднее языковые модели отвечали правильно примерно в 90% случаев, а люди — около 94%. Автор отмечает, что статистические подсказки в заданиях могут помогать моделям выбирать ответы без понимания их смысла. По мнению автора, для понимания языка необходимо также знание мира: базовые представления о пространстве, времени и материальных объектах, которых не обеспечивает одно лишь обучение на текстах.
Главное
- В соревновании 2016 года программа правильно ответила на 58% вопросов по схемам Винограда.
- В исследовании OpenAI 2020 года GPT-3 дала почти 90% правильных ответов на вопросы по схемам Винограда.
- WinoGrande включает 44 тысячи предложений и создавался как улучшенная версия схем Винограда.
- Языковые модели решали WinoGrande примерно с точностью 90%, а люди — около 94%.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация