Нейросети-проверяющие расходятся в оценке клинических решений ИИ в 62–74% случаев

Исследователи из Университета Ёнсе (Южная Корея) проверили, насколько согласованно нейросети оценивают клинические решения других моделей ИИ. На материале 1000 реальных обезличенных случаев госпитализации одни модели ставили диагноз и обосновывали его, а три другие нейросети независимо оценивали, подтверждают ли медицинские данные этот вывод. В зависимости от проверяемой модели проверяющие ИИ не пришли к общему мнению в 62–74% случаев. Дополнительно врачи оценили 50 случаев: ни одна из нейросетей-проверяющих не совпадала с мнением врача стабильно чаще остальных. Таким образом, выбрать одну модель в качестве основной для контроля ответов других ИИ нельзя.