Los investigadores estudian cómo desbloquear modelos de predicción de riesgos clínicos para que puedan aplicarse a múltiples entornos clínicos

Los modelos predictivos modernos requieren grandes cantidades de datos para el entrenamiento y la evaluación, cuya ausencia puede dar lugar a modelos específicos para determinados lugares, sus poblaciones y las prácticas clínicas allí. Actualmente, las mejores prácticas para los modelos de predicción de riesgos clínicos carecen de un nivel de «generalización» que podría aumentar enormemente su utilidad para otros entornos clínicos en otros lugares.

Un equipo de investigadores de NYU Tandon dirigido por Rumi Chunara, profesor de informática e ingeniería afiliado a la Escuela de Salud Pública Global de NYU, investigó si los modelos de predicción de mortalidad varían significativamente cuando se aplican a hospitales o geografías diferentes de aquellas en las que se desarrollan. . También consultaron los datos para determinar las características específicas de los conjuntos de datos, que involucran el análisis de registros de salud electrónicos de 179 hospitales en los EE. UU. con 70,126 hospitalizaciones entre 2014 y 2015, que podrían explicar las variaciones en el desempeño clínico basadas en factores como la raza.

En un nuevo artículo en PLOS Salud Digital, los investigadores, incluido Harvineet Singh, Ph.D. estudiante del NYU Center for Data Science y Vishwali Mhasawade, Ph.D. El candidato, ambos bajo la dirección de Chunara, descubrió que los modelos de predicción del riesgo de mortalidad que incluían variables clínicas (vitales, laboratorios y cirugía) desarrollados en un hospital o región geográfica mostraban una falta de generalización a diferentes hospitales o regiones. Sobre la base de un análisis de descubrimiento causal, postularon que esta falta de generalización se debe a los cambios en el conjunto de datos en las variables clínicas y de raza entre hospitales o regiones. En definitiva, la variable raza está íntimamente ligada a las variables clínicas.

«A partir de esta investigación, queda claro que los modelos de datos, en términos de factores como la predicción del riesgo de mortalidad a nivel de hospital a hospital y de grupo de hospitales regionales, no son inmediatamente generalizables, y eso tiene implicaciones para los hospitales que no pueden generar estos modelos por sí mismos. «, dijo Chunara.

Los hallazgos también demuestran evidencia de que los modelos predictivos pueden exhibir disparidades en el desempeño entre grupos raciales, incluso cuando se desempeñan bien en términos de métricas promedio de toda la población.

«Si bien está bien documentado que los factores clínicos y los resultados pueden variar significativamente según la raza, es fundamental que entendamos por qué existen esas diferencias y, por lo tanto, el examen de los datos y los modelos debe realizarse en un contexto más amplio junto con diversas influencias, geográficas y socioeconómicas. a la clínica», dijo.

Específicamente, el estudio sugiere que más allá de las métricas de equidad algorítmica, se necesita una comprensión de los procesos de generación de datos para subgrupos para identificar y mitigar las fuentes de variación, y para decidir si usar un modelo de predicción de riesgos en nuevos entornos.