Los investigadores describen cómo los chatbots de IA podrían aprobarse como dispositivos médicos

Las herramientas de chat generativo basadas en LLM, como ChatGPT o MedPaLM de Google, tienen un gran potencial médico, pero existen riesgos inherentes asociados con su uso no regulado en el cuidado de la salud. un nuevo Medicina natural El artículo del Prof. Stephen Gilbert y sus colegas aborda uno de los problemas internacionales más apremiantes de nuestro tiempo: cómo regular los modelos de lenguaje extenso (LLM) en general y específicamente en la salud.

«Los modelos de lenguaje grande son modelos de lenguaje de redes neuronales con notables habilidades de conversación. Generan respuestas similares a las humanas y participan en conversaciones interactivas. Sin embargo, a menudo generan declaraciones muy convincentes que son comprobablemente incorrectas o brindan respuestas inapropiadas», dijo el profesor Stephen Gilbert, Profesor de Ciencias de la Reglamentación de Dispositivos Médicos en el Centro Else Kröner Fresenius de Salud Digital de la TU Dresden.

«Hoy en día no hay forma de estar seguro sobre la calidad, el nivel de evidencia o la consistencia de la información clínica o la evidencia de respaldo para cualquier respuesta. Estos chatbots son herramientas inseguras cuando se trata de asesoramiento médico y es necesario desarrollar nuevos marcos que garanticen que el paciente seguridad.»

Desafíos en la aprobación regulatoria de grandes modelos lingüísticos

La mayoría de las personas investigan sus síntomas en línea antes de buscar consejo médico. Los motores de búsqueda juegan un papel en el proceso de toma de decisiones. La próxima integración de LLM-chatbots en los motores de búsqueda puede aumentar la confianza de los usuarios en las respuestas proporcionadas por un chatbot que imita una conversación. Se ha demostrado que los LLM pueden proporcionar información profundamente peligrosa cuando se les solicitan preguntas médicas. El enfoque subyacente de LLM no tiene un modelo de «verdad básica» médica, lo cual es peligroso.

Los LLM con interfaz de chat ya han brindado respuestas médicas dañinas y ya se han utilizado de manera poco ética en «experimentos» en pacientes sin consentimiento. Casi todos los casos de uso de LLM médicos requieren control regulatorio en la UE y los EE. UU. En los EE. UU., la falta de explicabilidad los descalifica como «no dispositivos». Los LLM con explicabilidad, bajo sesgo, previsibilidad, corrección y resultados verificables no existen actualmente y no están exentos de los enfoques de gobernanza actuales (o futuros).

En este artículo, los autores describen los escenarios limitados en los que los LLM podrían encontrar aplicación bajo los marcos actuales, describen cómo los desarrolladores pueden buscar crear herramientas basadas en LLM que podrían aprobarse como dispositivos médicos, y exploran el desarrollo de nuevos marcos que preservan la atención del paciente. seguridad.

«Los chatbots LLM actuales no cumplen con los principios clave para la IA en el cuidado de la salud, como el control de sesgos, la explicabilidad, los sistemas de supervisión, validación y transparencia. Para ganarse su lugar en el arsenal médico, los chatbots deben diseñarse para una mayor precisión, con seguridad y clínica eficacia demostrada y aprobada por los reguladores», concluye el Prof. Gilbert.