Detección de contenido escrito por máquina en artículos científicos

El reciente aumento de popularidad de herramientas de inteligencia artificial como ChatGPT está obligando a la comunidad científica a considerar su lugar en la literatura científica. Revistas de prestigio como Ciencia y Naturaleza Han intentado restringir o prohibir el uso de IA en las presentaciones, pero les resulta difícil aplicarlas debido a lo difícil que se está volviendo detectar el lenguaje generado por máquinas.

Debido a que la IA es cada vez más avanzada en la imitación del lenguaje humano, los investigadores de la Universidad de Chicago estaban interesados ​​en saber con qué frecuencia los autores utilizan la IA y qué tan bien puede producir artículos científicos convincentes. En un estudio publicado en el Revista de Oncología Clínica Informática Clínica del CáncerEl sábado 1 de junio, el Dr. Frederick Howard y sus colegas evaluaron textos de más de 15 000 resúmenes de la reunión anual de la Sociedad Estadounidense de Oncología Clínica (ASCO) de 2021 a 2023 utilizando varios detectores de contenido de IA comerciales.

Descubrieron que había aproximadamente el doble de resúmenes caracterizados por contener contenido de IA en 2023 en comparación con 2021 y 2022, lo que indica una señal clara de que los investigadores están utilizando herramientas de IA en la escritura científica. Curiosamente, los detectores de contenido fueron mucho mejores a la hora de distinguir el texto generado por versiones anteriores de chatbots de IA del texto escrito por humanos, pero fueron menos precisos a la hora de identificar texto de los modelos de IA más nuevos y precisos o de mezclas de texto escrito por humanos y generado por IA. .

Dado que el uso de la IA en la redacción científica probablemente aumentará con el desarrollo de modelos de lenguaje de IA más efectivos en los próximos años, Howard y sus colegas advierten que es importante que se establezcan salvaguardas para garantizar que en el trabajo científico solo se incluya información objetivamente precisa, dado que la propensión de los modelos de IA a escribir declaraciones plausibles pero incorrectas. También concluyeron que, aunque los detectores de contenido de IA nunca alcanzarán una precisión perfecta, podrían usarse como una herramienta de detección para indicar que el contenido presentado requiere un escrutinio adicional por parte de los revisores, pero no deben usarse como el único medio para evaluar el contenido de IA en escritos científicos. .