GPT-4 ответил на 81% вопросов теста по радиологии
Краткое изложение публикации в сообществе «Врачи РФ» от .
В исследовании GPT-4 правильно ответил на 81% из 150 вопросов, подготовленных по стилю, содержанию и сложности экзаменов Канадского Королевского колледжа и Американского совета по радиологии. В тесте не было изображений; задания проверяли запоминание, понимание, применение и анализ. Результат GPT-4 превысил показатель GPT-3.5, который дал 69% правильных ответов. GPT-4 лучше справился с вопросами высокого уровня мышления, но не улучшил результат на заданиях низкого уровня: 80% против 84% у GPT-3.5. При этом GPT-4 ошибся в 12 вопросах, на которые GPT-3.5 ответил верно. В обоих исследованиях ChatGPT уверенно формулировал ответы, в том числе неправильные; исследователи считают, что это ограничивает надёжность чат-бота для медицинского образования.
Главное
- GPT-4 правильно ответил на 121 из 150 вопросов по радиологии.
- GPT-3.5 дал 104 правильных ответа из 150, или 69%.
- Тестовые вопросы не включали изображения.
- GPT-4 ошибся в 12 вопросах, на которые GPT-3.5 ответил правильно.
- Обе версии ChatGPT уверенно отвечали и в случаях, когда давали неверный ответ.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация