AI no pasa el examen de calificación de radiología

La inteligencia artificial (IA) actualmente no puede aprobar uno de los exámenes de calificación de radiología, lo que sugiere que esta tecnología prometedora aún no está lista para reemplazar a los médicos, encuentra un estudio en la edición de Navidad de El BMJ.

La IA se utiliza cada vez más para algunas tareas que realizan los médicos, como interpretar radiografías (rayos X y escaneos) para ayudar a diagnosticar una variedad de afecciones.

Pero, ¿puede AI aprobar el examen Fellowship of the Royal College of Radiologists (FRCR), que deben realizar los aprendices del Reino Unido para calificar como consultores de radiología? Para averiguarlo, los investigadores compararon el rendimiento de una herramienta de IA disponible en el mercado con 26 radiólogos (en su mayoría de entre 31 y 40 años; 62 % mujeres), todos los cuales habían aprobado el examen FRCR el año anterior.

Desarrollaron 10 exámenes de informes rápidos «simulados», basados ​​en uno de los tres módulos que componen el examen de calificación FRCR que está diseñado para evaluar la velocidad y la precisión de los candidatos.

Cada examen simulado constaba de 30 radiografías con el mismo o mayor nivel de dificultad y amplitud de conocimientos esperados para el examen FRCR real. Para aprobar, los candidatos debían interpretar correctamente al menos 27 (90 %) de las 30 imágenes en 35 minutos.

El candidato de IA había sido capacitado para evaluar radiografías de tórax y huesos (musculoesqueléticos) para varias afecciones, incluidas fracturas, articulaciones hinchadas y dislocadas y pulmones colapsados.

Se hicieron concesiones para imágenes relacionadas con partes del cuerpo en las que el candidato de IA no había sido entrenado, que se consideraron «no interpretables».

Cuando se excluyeron del análisis las imágenes no interpretables, el candidato de IA logró una precisión general promedio del 79,5 % y aprobó dos de 10 exámenes simulados de FRCR, mientras que el radiólogo promedio logró una precisión promedio del 84,8 % y aprobó cuatro de 10 exámenes simulados.

La sensibilidad (capacidad de identificar correctamente a los pacientes con una afección) para el candidato de IA fue del 83,6 % y la especificidad (capacidad de identificar correctamente a los pacientes sin una afección) fue del 75,2 %, en comparación con el 84,1 % y el 87,3 % de todos los radiólogos.

En 148 de 300 radiografías que fueron interpretadas correctamente por más del 90 % de los radiólogos, el candidato de IA fue correcto en 134 (91 %) e incorrecto en las 14 restantes (9 %).

En 20 de 300 radiografías que más de la mitad de los radiólogos interpretaron incorrectamente, el candidato de IA fue incorrecto en 10 (50%) y correcto en los 10 restantes.

Curiosamente, los radiólogos sobreestimaron levemente el desempeño probable del candidato de IA, asumiendo que se desempeñaría casi tan bien como ellos mismos en promedio y los superaría en al menos tres de los 10 exámenes simulados.

Sin embargo, este no fue el caso. Los investigadores dicen: «En esta ocasión, el candidato a inteligencia artificial no pudo aprobar ninguno de los 10 exámenes simulados cuando se lo calificó con criterios igualmente estrictos a los de sus contrapartes humanas, pero podría aprobar dos de los exámenes simulados si el RCR para excluir imágenes en las que no se había entrenado».

Estos son hallazgos observacionales y los investigadores reconocen que evaluaron solo una herramienta de IA y utilizaron exámenes simulados que no fueron cronometrados ni supervisados, por lo que es posible que los radiólogos no sintieran tanta presión para hacer lo mejor que pudieran en un examen real.

Sin embargo, este estudio es una de las comparaciones cruzadas más completas entre los radiólogos y la inteligencia artificial, y proporciona una amplia gama de puntajes y resultados para el análisis.

Se recomienda encarecidamente una mayor capacitación y revisión, agregan, particularmente para los casos que la inteligencia artificial considera «no interpretables», como las radiografías abdominales y las del esqueleto axial.

La IA puede facilitar los flujos de trabajo, pero la participación humana sigue siendo crucial, argumentan los investigadores en un editorial vinculado.

Reconocen que el uso de la inteligencia artificial «tiene un potencial sin explotar para facilitar aún más la eficiencia y la precisión diagnóstica para satisfacer una variedad de demandas de atención médica», pero dicen que hacerlo de manera adecuada «implica educar mejor a los médicos y al público sobre las limitaciones de la inteligencia artificial y hacerlas más transparentes». «

La investigación en este tema es emocionante, agregan, y este estudio destaca que un aspecto fundamental de la práctica de la radiología, aprobar el examen FRCR necesario para obtener la licencia para practicar, aún se beneficia del toque humano.