Персональные рекомендации ИИ по долголетию: точность моделей ниже ожидаемой
Краткое изложение публикации в сообществе «Врачи РФ» от .
Исследователи из Германии, Канады и США проверили, насколько семь больших языковых моделей подходят для персональных рекомендаций по долголетию и профилактике возрастных заболеваний. Для тестирования подготовили 25 виртуальных профилей и смоделировали 1 000 клинических сценариев по биомаркерным данным; анализ охватил 56 тысяч ответов. В большинстве случаев ответы были безопасны, но по точности, полноте и практической пользе модели не достигли ожидаемого уровня.
Лучший результат показала GPT-4o: среднее соответствие медицинским критериям составляло около 90%; у Llama 3.2 3B и Llama3 Med42 8B оно не превышало 60%. Более 95% ответов всех систем не содержали потенциально вредных рекомендаций. Retrieval-Augmented Generation улучшила ответы некоммерческих моделей, но ухудшила результаты коммерческих. Авторы заключили, что персональные рекомендации по долголетию пока требуют участия врача; открытую платформу BioChatter предложили для тестирования и калибровки медицинских ИИ-систем.
Главное
- В исследовании создали 25 виртуальных профилей, смоделировали 1 000 клинических сценариев и проанализировали 56 тысяч ответов.
- GPT-4o показала около 90% соответствия медицинским критериям, а у Llama 3.2 3B и Llama3 Med42 8B показатель не превышал 60%.
- Более 95% ответов протестированных систем не содержали потенциально вредных рекомендаций.
- Retrieval-Augmented Generation улучшила ответы некоммерческих моделей и снизила качество ответов коммерческих.
- Авторы считают, что персональные рекомендации по долголетию пока нельзя выдавать без участия врачей.
Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только для медицинских специалистов с высшим медицинским образованием.
Войти Регистрация