El aprendizaje por refuerzo, un enfoque de inteligencia artificial, tiene el potencial de guiar a los médicos en el diseño de estrategias de tratamiento secuencial para obtener mejores resultados para los pacientes, pero requiere mejoras significativas antes de que pueda aplicarse en entornos clínicos, según un nuevo estudio realizado por investigadores de Weill Cornell Medicine e investigadores de la Universidad Rockefeller.
El aprendizaje por refuerzo (RL) es una clase de algoritmos de aprendizaje automático capaces de tomar una serie de decisiones a lo largo del tiempo. Responsable de los avances recientes en IA, incluido el rendimiento sobrehumano en ajedrez y Go, RL puede utilizar las condiciones cambiantes de los pacientes, los resultados de las pruebas y las respuestas a tratamientos anteriores para sugerir el siguiente mejor paso en la atención personalizada del paciente. Este enfoque es particularmente prometedor para la toma de decisiones para el manejo de enfermedades crónicas o psiquiátricas.
La investigación, publicada en el Actas de la Conferencia sobre sistemas de procesamiento de información neuronal (NeurIPS) y presentado el 13 de diciembre, presenta «Episodios de atención» (EpiCare), el primer punto de referencia de RL para atención médica.
«Los puntos de referencia han impulsado mejoras en las aplicaciones de aprendizaje automático, incluida la visión por computadora, el procesamiento del lenguaje natural, el reconocimiento de voz y los vehículos autónomos. Esperamos que ahora impulsen el progreso de la vida real en la atención médica», afirmó el Dr. Logan Grosenick, profesor asistente de neurociencia en psiquiatría. quien dirigió la investigación.
Los agentes de RL refinan sus acciones en función de la retroalimentación que reciben y aprenden gradualmente una política que mejora su toma de decisiones. «Sin embargo, nuestros hallazgos muestran que, si bien los métodos actuales son prometedores, necesitan muchísimos datos», añade el Dr. Grosenick.
Los investigadores primero probaron el rendimiento de cinco modelos RL en línea de última generación en EpiCare. Los cinco superaron una línea de base de atención estándar, pero sólo después de entrenar en miles o decenas de miles de episodios de tratamiento simulados realistas. En el mundo real, los métodos de RL nunca se entrenarían directamente en los pacientes, por lo que los investigadores evaluaron a continuación cinco métodos comunes de «evaluación fuera de políticas» (OPE): enfoques populares que apuntan a utilizar datos históricos (como los de ensayos clínicos) para eludir la necesidad de recopilación de datos en línea. Utilizando EpiCare, descubrieron que los métodos OPE de última generación no funcionaban sistemáticamente con precisión en los datos de atención médica.
«Nuestros hallazgos indican que no se puede confiar en que los métodos OPE actuales de última generación predigan con precisión el rendimiento del aprendizaje por refuerzo en escenarios longitudinales de atención médica», dijo el primer autor, el Dr. Mason Hargrave, investigador de la Universidad Rockefeller. Dado que los métodos OPE se han debatido cada vez más para aplicaciones de atención médica, este hallazgo resalta la necesidad de desarrollar herramientas de evaluación comparativa más precisas, como EpiCare, para auditar los enfoques de RL existentes y proporcionar métricas para medir las mejoras.
«Esperamos que este trabajo facilite una evaluación más confiable del aprendizaje por refuerzo en entornos de atención médica y ayude a acelerar el desarrollo de mejores algoritmos de RL y protocolos de capacitación apropiados para aplicaciones médicas», dijo el Dr. Grosenick.
Adaptación de redes neuronales convolucionales para interpretar datos gráficos
En una segunda publicación de NeurIPS presentada el mismo día, el Dr. Grosenick compartió su investigación sobre la adaptación de redes neuronales convolucionales (CNN), que se utilizan ampliamente para procesar imágenes, para trabajar con datos estructurados en gráficos más generales, como el cerebro, los genes o las proteínas. redes. El amplio éxito de las CNN para tareas de reconocimiento de imágenes a principios de la década de 2010 sentó las bases para el «aprendizaje profundo» con las CNN y la era moderna de las aplicaciones de IA impulsadas por redes neuronales. Las CNN se utilizan en muchas aplicaciones, incluido el reconocimiento facial, los vehículos autónomos y el análisis de imágenes médicas.
«A menudo estamos interesados en analizar datos de neuroimagen que se parecen más a gráficos, con vértices y bordes, que a imágenes. Pero nos dimos cuenta de que no había nada disponible que fuera realmente equivalente a las CNN y las CNN profundas para datos estructurados en gráficos». dijo el Dr. Grosenick.
Las redes cerebrales generalmente se representan como gráficos donde las regiones del cerebro (representadas como vértices) propagan información a otras regiones del cerebro (vértices) a lo largo de «bordes» que conectan y representan la fuerza entre ellas. Esto también se aplica a las redes de genes y proteínas, a los datos de comportamiento humano y animal y a la geometría de compuestos químicos como las drogas. Al analizar dichos gráficos directamente, podemos modelar con mayor precisión las dependencias y patrones entre conexiones locales y más distantes.
Isaac Osafo Nkansah, un investigador asociado que estaba en el laboratorio de Grosenick en el momento del estudio y primer autor del artículo, ayudó a desarrollar el marco de redes convolucionales de gráficos cuantificados (QuantNets) que generaliza las CNN en gráficos. «Ahora lo estamos usando para modelar datos de EEG (actividad eléctrica cerebral) en pacientes. Podemos tener una red de 256 sensores sobre el cuero cabelludo tomando lecturas de la actividad neuronal; eso es un gráfico», dijo el Dr. Grosenick. «Estamos tomando esos gráficos grandes y reduciéndolos a componentes más interpretables para comprender mejor cómo cambia la conectividad cerebral dinámica a medida que los pacientes reciben tratamiento para la depresión o el trastorno obsesivo-compulsivo».
Los investigadores prevén una amplia aplicabilidad para QuantNets. Por ejemplo, también están buscando modelar datos de pose estructurados en gráficos para rastrear el comportamiento en modelos de ratón y en expresiones faciales humanas extraídas mediante visión por computadora.
«Si bien todavía estamos navegando por la seguridad y la complejidad de aplicar métodos de IA de vanguardia a la atención al paciente, cada paso adelante, ya sea un nuevo marco de evaluación comparativa o un modelo más preciso, nos acerca cada vez más a estrategias de tratamiento personalizadas que han el potencial de mejorar profundamente los resultados de salud de los pacientes», concluyó el Dr. Grosenick.
