ChatGPT на экзаменах USMLE: результаты тестирования для медицинской лицензии в США
Краткое изложение публикации в сообществе «Врачи РФ» от .
ChatGPT протестировали на экзаменах USMLE, которые используют для оценки знаний студентов-медиков и врачей-стажёров в США. По трём этапам нейросеть набрала от 52,4% до 75,0%; проходной балл для каждого этапа составляет примерно 60%. Согласованность ответов ChatGPT достигла 94,6%, а 88,9% ответов позволили получить неочевидный и клинически значимый вывод.
По результатам USMLE ChatGPT превзошёл PubMedGPT — модель, обученную исключительно на биомедицинской литературе: она набрала 50,8%.
Главное
- ChatGPT набрал от 52,4% до 75,0% по результатам трёх экзаменов USMLE.
- Проходной балл для каждого этапа USMLE составляет примерно 60%.
- Согласованность ответов ChatGPT составила 94,6%.
- Для 88,9% ответов ChatGPT удалось сформулировать неочевидный и клинически значимый вывод.
- PubMedGPT набрал 50,8% по результатам USMLE.
Что говорят врачи
Участники расходятся в оценке того, что доказывает успешная сдача экзаменов нейросетью. Часть коллег считает, что тестовый формат проверяет работу с заданной информацией, но не подтверждает способность самостоятельно рассуждать и действовать в клинической практике. Другие возражают, что экзаменационные задачи могут быть сложными, объединять знания из разных областей и развивать клиническую логику. В ответ подчёркивается важность обучения у постели больного и практических навыков; сторонники задач отмечают, что теория и практика дополняют друг друга и что сначала нужно научиться обосновывать решения.
Обобщение обсуждения публикации в сообществе «Врачи РФ» (11 комментариев). Без цитат и имён участников. Само обсуждение доступно врачам после входа.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация