La nueva herramienta puede ayudar a los cirujanos a buscar vídeos rápidamente y crear comentarios interactivos

Los cirujanos ahora pueden crear videos educativos más interactivos para los alumnos utilizando un sistema basado en la web que utiliza algoritmos de IA de segmentación de imágenes para descomponer los elementos del video y generar preguntas visuales y comentarios. El sistema, denominado Surgment, fue presentado en la Conferencia CHI 2024 sobre factores humanos en sistemas informáticos en Honolulu, Hawai’i.

Un artículo que describe la investigación es publicado sobre el arXiv servidor de preimpresión.

Los vídeos son un componente clave en la educación quirúrgica, pero la mayoría de los vídeos utilizados en la formación se consumen de forma pasiva. Los alumnos simplemente ven videos de procedimientos quirúrgicos con poca oportunidad de participar o interactuar con el contenido.

«Surgment aprovecha las últimas técnicas en inteligencia artificial para agregar otra herramienta al arsenal educativo de los cirujanos, brindando a los alumnos oportunidades más interesantes para aprender antes de ingresar al quirófano», dijo Xu Wang, profesor asistente de ciencias informáticas e ingeniería en la Universidad de Michigan y coautor correspondiente del estudio.

Antes de desarrollar Surgment, el equipo de investigación entrevistó y observó a cuatro asistentes quirúrgicos durante un total de ocho horas para comprender cómo utilizan preguntas basadas en imágenes mientras entrenan a los alumnos e identificar los desafíos que enfrentan.

Descubrieron que los cirujanos crean preguntas basadas en imágenes de cirugías grabadas que tienen como objetivo la identificación de la anatomía, la toma de decisiones procesales y las habilidades de manejo de instrumentos. Las limitaciones de tiempo fueron un desafío común, ya que extraer imágenes educativas requiere una revisión meticulosa del video para identificar el mejor fotograma basándose en señales visuales.

«La capacitación basada en video en educación quirúrgica puede proporcionar retroalimentación eficiente y efectiva a los alumnos. Sin embargo, la implementación de dichos sistemas enfrenta desafíos como el procesamiento de video, el almacenamiento y el tiempo para la navegación por video. En este estudio, nuestro sistema recientemente desarrollado permite a los cirujanos expertos crear preguntas visuales. y retroalimentación dentro de los videos de cirugía para mejorar el aprendizaje de los estudiantes y la evaluación de habilidades», afirmó Vitaliy Popov, profesor asistente de aprendizaje de ciencias de la salud en la Facultad de Medicina de la UM.

Todos los participantes estuvieron de acuerdo en que las preguntas del cuestionario en vídeo con retroalimentación inmediata podrían preparar mejor a los alumnos para el quirófano.

Teniendo en cuenta la entrevista inicial y el estudio observacional, los investigadores, dirigidos por Jingying Wang, estudiante de doctorado en ciencias de la computación e ingeniería, desarrollaron Surgment con herramientas para seleccionar rápidamente cuadros de video de acuerdo con los requisitos deseados y crear preguntas visuales con retroalimentación integrada.

Una herramienta de búsqueda por máscara permite la selección de cuadros de video al dividir los componentes del video en polígonos editables, lo que permite a los usuarios identificar cuadros de interés y ajustar la posición, el tamaño y la forma de los elementos dentro de la escena. Por ejemplo, el usuario puede ajustar el polígono de «grasa» para indicar que quiere fotogramas con «menos grasa ocluida en la vesícula biliar» y la herramienta de búsqueda buscará imágenes que cumplan con estas especificaciones.

Una vez recuperada, una herramienta de creación de cuestionarios permite a los cirujanos crear preguntas interactivas centradas en el procedimiento operativo, la anatomía o el manejo de herramientas quirúrgicas mediante opciones múltiples, extraer un componente o dibujar indicaciones de ruta mientras ofrece retroalimentación visual.

Surgment funciona con un proceso basado en aprendizaje de pocas tomas (un tipo de modelo de aprendizaje automático que aprende a generalizar a partir de un pequeño conjunto de datos) que combina dos modelos conocidos como SAM y SegGPT. Los investigadores combinaron los dos modelos porque descubrieron que ayudaba a compensar los errores que cada uno cometería por sí solo.

El oleoducto logró una precisión del 92 % cuando se probó en dos conjuntos de datos quirúrgicos públicos, superando los principales modelos de regresión. UNet y UNet++ que obtuvieron 73% y 76% de precisión respectivamente.

La herramienta de búsqueda por máscara recuperó imágenes que cumplieron con los requisitos del usuario con una precisión del 88%, superando con creces la precisión del 31,1% de la única otra herramienta que ofrece esta capacidad.

El equipo de investigación realizó un estudio de evaluación con 11 cirujanos. Todos determinaron que la herramienta tenía un alto valor educativo y la mayoría informó que ahorraba tiempo, ya que la búsqueda directa eliminaba la necesidad de mirar vídeos.

«Todos los participantes elogiaron la capacidad de Surgment para ofrecer fácilmente información visual sobre las anatomías», dijo Jingying Wang.

Un participante del estudio dijo: «La retroalimentación visual proporciona repeticiones adicionales para reconocer estructuras anatómicas. Existe un diagrama de libro de texto sobre cómo se supone que debe ser la anatomía, pero en cada ser humano se ve ligeramente diferente».

«Es gratificante ver que los cirujanos pueden crear preguntas que creen que tienen un alto valor educativo con Surgment. Muchos cirujanos dijeron que las preguntas que crearon se parecían a las que habían formulado o a las que les habían formulado durante una operación», afirmó Xu Wang.

Al analizar los próximos pasos para mejorar Surgment, algunos cirujanos notaron que la herramienta tiene una curva de aprendizaje para su uso y que una segmentación más detallada de las imágenes sería útil para ofrecer comentarios altamente específicos. También enfatizaron que Surgment puede mejorar las habilidades que se pueden aprender antes de ingresar al quirófano, pero la percepción 3D y la toma de decisiones deben aprenderse en persona.

«Este trabajo demuestra el poder de las herramientas de inteligencia artificial para mejorar los recursos educativos tanto en medicina como en otros ámbitos», afirmó Xu Wang.