No confíe en los chatbots de IA para obtener información precisa y segura sobre medicamentos, advierte un estudio

Los pacientes no deberían confiar en motores de búsqueda y chatbots basados ​​en inteligencia artificial para obtener siempre información precisa y segura sobre los medicamentos, concluyen investigadores en la revista. Calidad y seguridad de BMJdespués de encontrar un número considerable de respuestas erróneas o potencialmente dañinas.

Es más, la complejidad de las respuestas proporcionadas podría dificultar que los pacientes las comprendan completamente sin una educación de nivel universitario, añaden los investigadores.

En febrero de 2023, los motores de búsqueda experimentaron un cambio significativo gracias a la introducción de chatbots impulsados ​​por inteligencia artificial, que ofrecen la promesa de resultados de búsqueda mejorados, respuestas completas y un nuevo tipo de experiencia interactiva, explican los investigadores.

Si bien estos chatbots pueden entrenarse con amplios conjuntos de datos de todo Internet, lo que les permite conversar sobre cualquier tema, incluidas consultas relacionadas con la atención médica, también son capaces de generar desinformación y contenido sin sentido o dañino, añaden.

Estudios anteriores que analizan las implicaciones de estos chatbots se han centrado principalmente en la perspectiva de los profesionales de la salud más que en la de los pacientes. Para abordar esto, los investigadores exploraron la legibilidad, integridad y precisión de las respuestas del chatbot a consultas sobre los 50 medicamentos recetados con mayor frecuencia en los EE. UU. en 2020, utilizando Bing copilot, un motor de búsqueda con funciones de chatbot impulsadas por IA.

Para simular que los pacientes consultaban chatbots en busca de información sobre medicamentos, los investigadores revisaron bases de datos de investigación y consultaron con un farmacéutico clínico y médicos con experiencia en farmacología para identificar las preguntas sobre medicamentos que los pacientes hacen con más frecuencia a sus profesionales de la salud.

Al chatbot se le hicieron 10 preguntas para cada uno de los 50 medicamentos, generando 500 respuestas en total. Las preguntas cubrieron para qué se usaba el medicamento, cómo funcionaba, instrucciones de uso, efectos secundarios comunes y contraindicaciones.

La legibilidad de las respuestas proporcionadas por el chatbot se evaluó calculando la puntuación de facilidad de lectura de Flesch, que estima el nivel educativo necesario para comprender un texto en particular.

El texto con una puntuación entre 0 y 30 se considera muy difícil de leer y requiere educación de nivel universitario. En el otro extremo de la escala, una puntuación de 91 a 100 significa que el texto es muy fácil de leer y apropiado para niños de 11 años.

Para evaluar la integridad y precisión de las respuestas del chatbot, las respuestas se compararon con la información sobre medicamentos proporcionada por un sitio web de información sobre medicamentos actualizado y revisado por pares tanto para profesionales de la salud como para pacientes (drogas.com)

Siete expertos en seguridad de medicamentos evaluaron el consenso científico actual y la probabilidad y el alcance del posible daño si el paciente seguía las recomendaciones del chatbot, utilizando un subconjunto de 20 respuestas del chatbot que mostraban baja precisión o integridad, o un riesgo potencial para la seguridad del paciente.

Se utilizaron las escalas de daños de la Agencia para la Investigación y la Calidad de la Atención Médica (AHRQ) para calificar los eventos de seguridad del paciente y los expertos estimaron la probabilidad de posibles daños de acuerdo con un marco validado.

El puntaje promedio general de facilidad de lectura de Flesch fue de poco más de 37, lo que indica que se requeriría del lector una educación de nivel universitario. Incluso la mayor legibilidad de las respuestas del chatbot aún requería un nivel educativo de escuela secundaria (secundaria).

En general, el promedio más alto de integridad de las respuestas del chatbot fue del 100%, con un promedio del 77%. Cinco de las 10 preguntas fueron respondidas con la mayor completitud, mientras que la pregunta 3 (¿Qué debo tener en cuenta al tomar el medicamento?) fue respondida con el promedio más bajo de completitud, solo el 23%.

Las declaraciones del chatbot no coincidieron con los datos de referencia en 126 de 484 (26%) respuestas y fueron totalmente inconsistentes en 16 de 484 (poco más del 3%).

La evaluación del subconjunto de 20 respuestas reveló que solo el 54% se calificó como alineada con el consenso científico. Y el 39% contradecía el consenso científico, mientras que para el 6% restante no existía un consenso científico establecido.

El posible daño resultante de que un paciente siga los consejos del chatbot se calificó como muy probable en el 3% y moderadamente probable en el 29% de estas respuestas. Y un tercio (34%) fue considerado improbable o nada probable que resultara perjudicial, si se seguía.

Pero independientemente de la probabilidad de un posible daño, se consideró que el 42% de estas respuestas de chatbot condujeron a un daño moderado o leve, y el 22% a la muerte o un daño grave. Se consideró que alrededor de un tercio (36%) no provocaban ningún daño.

Los investigadores reconocen que su estudio no se basó en experiencias reales de pacientes y que las indicaciones en diferentes idiomas o de diferentes países pueden afectar la calidad de las respuestas del chatbot.

«En este estudio transversal, observamos que los motores de búsqueda con un chatbot impulsado por IA produjeron respuestas generales completas y precisas a las preguntas de los pacientes», escriben.

«Sin embargo, las respuestas del chatbot eran en gran medida difíciles de leer y las respuestas carecían repetidamente de información o mostraban inexactitudes, lo que posiblemente amenazaba la seguridad del paciente y de los medicamentos», añaden.

Sugieren que un gran inconveniente fue la incapacidad del chatbot para comprender la intención subyacente de la pregunta de un paciente.

«A pesar de su potencial, sigue siendo crucial que los pacientes consulten a sus profesionales de la salud, ya que es posible que los chatbots no siempre generen información libre de errores. Se recomienda precaución al recomendar motores de búsqueda impulsados ​​por IA hasta que estén disponibles motores de citas con tasas de precisión más altas». concluyen.