GPT-4 на экзаменах для врачей: сравнение с результатами специалистов
Краткое изложение авторской публикации врача в сообществе «Врачи РФ» от .
Автор разбирает эксперимент, в котором GPT-3,5 и GPT-4 сравнили с результатами 849 практикующих врачей, сдававших в Израиле экзамены по пяти специальностям. По описанию автора, GPT-4 показал средний балл выше официального проходного уровня 65% по четырём из пяти дисциплин: его результат был выше, чем у большинства психиатров, ниже среднего в педиатрии и гинекологии и примерно соответствовал среднему по остальным направлениям. GPT-3,5 не достиг проходного уровня ни по одной дисциплине и уступил большинству врачей во всех направлениях.
Автор отмечает ограничения сравнения: вопросы для ИИ перевели с иврита на английский, а задания с изображениями исключили, поскольку модели не могли их интерпретировать. Поэтому участники отвечали не на полностью одинаковые вопросы. Автор трактует результаты как сравнение возможностей моделей после предварительного обучения, а не как свидетельство скорой замены врачей искусственным интеллектом.
Главное
- В эксперименте участвовали 849 практикующих врачей, сдававших экзамены в Израиле.
- Сравнение охватывало внутреннюю медицину, общую хирургию, педиатрию, психиатрию, акушерство и гинекологию.
- GPT-4 набрал средний балл выше официального проходного уровня 65% по четырём из пяти дисциплин.
- GPT-3,5 не сдал экзамен ни по одной дисциплине и уступил большинству врачей.
- Вопросы перевели с иврита на английский, а задания с изображениями исключили.
Что говорят врачи
Часть участников скептически относится к тому, что результаты экзаменов сами по себе показывают способность ИИ рассуждать. Они описывают такие системы как опирающиеся на накопленные сведения, но не обязательно умеющие критически сопоставлять их. Также звучит мнение, что квалификационные тесты для психиатров могут проверять главным образом запоминание фактов, а не умение анализировать. Таким образом, обсуждение касается и возможностей ИИ, и того, какие навыки оценивают экзамены.
Обобщение обсуждения публикации в сообществе «Врачи РФ» (5 комментариев). Без цитат и имён участников. Само обсуждение доступно врачам после входа.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация