Pediatras del Cohen Children´s Medical Center, en Nueva York,han detectado notables deficiencias en las habilidades de diagnóstico de ChatGPT, al menos, en casos pediátricos. El estudio, publicado en ´JAMA Pediatrics´, evaluó las capacidades de diagnóstico de ChatGPT utilizando 100 estudios de casos pediátricos aleatorios. Los resultados arrojaron que la precisión diagnóstica de dicho chatbot era baja, además de detectarse una serie significativa de errores en el resultado obtenido.

"El diagnóstico pediátrico es particularmente desafiante", según los investigadores, ya que, además, de considerar los síntomas, la edad también juega un papel crucial en el diagnóstico preciso. De ahí sugieren que ChatGPT tuvo dificultades para reconocer estas relaciones críticas, lo que generó una alta tasa de error.

Los autores del estudio utilizaron un enfoque único al consultar al chatbot de modelo de lenguaje grande (LLM), para todos los casos . Primero pegaron el texto del estudio de caso y después continuaron con el mensaje "Enumere un diagnóstico diferencial y un diagnóstico final". El equipo de investigación descubrió que ChatGPT produjo puntuaciones correctas sólo 17 veces; de ellas, 11 estaban clínicamente relacionadas con el diagnóstico correcto pero, incluso así, estaban equivocadas.

Sin utilidad como herramienta de diagnóstico

Los investigadores concluyeron que ChatGPT aún no está listo para usarse como herramienta de diagnóstico independiente.

No obstante, lanzaron propuestas para mejorar el rendimiento del chatbot, como una capacitación más selectiva utilizando literatura médica precisa y confiable, y acceso en tiempo real a datos médicos. Además, sugirieron que los profesionales sanitarios deberían desempeñar un papel más activo en la generación de conjuntos de datos para modelos de IA a fin de prepararlos mejor para las funciones médicas.

En conclusión, de acuerdo con el estudio, si bien los modelos de IA como ChatGPT actualmente carecen de la precisión necesaria para un diagnóstico pediátrico confiable, tienen un potencial considerable para otras aplicaciones dentro del sector de la salud. Con una formación más selectiva y una mayor participación de los médicos, estos modelos aún pueden resultar herramientas útiles en el ámbito de la medicina.