Los investigadores determinan que las herramientas basadas en IA aún no han alcanzado el potencial de diagnóstico completo en COVID-19

Publicado por la revista Radiología: Inteligencia Artificialun estudio observacional prospectivo en 12 sistemas hospitalarios de la Facultad de Medicina de la Universidad de Minnesota evaluó el rendimiento en tiempo real de un modelo de inteligencia artificial (IA) interpretable para detectar COVID-19 a partir de radiografías de tórax.

Los participantes con COVID-19 tuvieron una puntuación de diagnóstico de COVID-19 significativamente más alta que los participantes que no tenían COVID-19. Sin embargo, los investigadores encontraron que el rendimiento del modelo en tiempo real no cambió durante las 19 semanas de implementación. La sensibilidad del modelo fue significativamente mayor en los hombres, mientras que la especificidad del modelo fue significativamente mayor en las mujeres. La sensibilidad fue significativamente mayor para los participantes asiáticos y negros que para los participantes blancos. El sistema de diagnóstico de IA de COVID-19 tuvo una precisión significativamente peor que las predicciones realizadas por los radiólogos.

«Este estudio, que representa la primera investigación en vivo de un modelo de diagnóstico de IA COVID-19, destaca los beneficios potenciales pero también las limitaciones de la IA», dijo Christopher Tignanelli, MD, MS, FACS, FAMIA, profesor asociado de cirugía en el Facultad de Medicina de la Universidad de Minnesota y cirujano general en M Health Fairview. «Si bien son prometedoras, las herramientas basadas en IA aún no han alcanzado el potencial de diagnóstico completo».

Los hallazgos de la investigación fueron informados por un algoritmo de IA desarrollado por Ju Sun, profesor asistente en la Facultad de Ciencias e Ingeniería de la U de M, y su equipo en colaboración con M Health Fairview y Epic.

• Los modelos de diagnóstico de COVID-19 funcionan bien para los participantes con efectos graves de COVID-19; sin embargo, no logran diferenciar a los participantes con efectos leves de COVID-19.
• Muchos de los modelos de IA de pandemia temprana que se publicaron presumían de métricas de rendimiento demasiado optimistas utilizando conjuntos de datos disponibles públicamente.
• La precisión diagnóstica del modelo de IA fue inferior a las predicciones hechas por radiólogos certificados por la junta.

«Observamos el mismo rendimiento demasiado optimista en este estudio cuando validamos contra dos conjuntos de datos disponibles públicamente; sin embargo, como mostramos en nuestro manuscrito, esto no se traduce en el mundo real», dijo el Dr. Tignanelli. «Es imperativo avanzar que tanto los investigadores como las revistas desarrollen estándares que requieran una validación prospectiva externa o en tiempo real para los manuscritos de IA revisados ​​por pares».

Los investigadores esperan desarrollar un modelo de IA de diagnóstico más simple mediante la integración de datos de más de 40 sitios de EE. UU. y Europa y modelos multimodales que aprovechan datos estructurados y notas clínicas junto con imágenes.