ChatGPT: un estudio muestra que la IA puede producir artículos académicos lo suficientemente buenos para revistas, al igual que algunos lo prohíben

Algunas de las editoriales de revistas académicas más grandes del mundo han prohibido o reprimido sus autores de usar el chatbot avanzado, ChatGPT. Debido a que el bot usa información de Internet para producir respuestas fáciles de leer a las preguntas, a los editores les preocupa que el trabajo inexacto o plagiado pueda ingresar a las páginas de la literatura académica.

Varios investigadores ya han incluido al chatbot como coautor de estudios académicos, y algunos editores se han movido para prohibir esta práctica. Pero el editor en jefe de Cienciauna de las principales revistas científicas del mundo, ha ido un paso más allá y ha prohibido el uso de texto del programa en los artículos enviados.

No sorprende que el uso de tales chatbots sea de interés para los editores académicos. Nuestro reciente estudio, publicado en Cartas de investigación financiera, mostró que ChatGPT podría usarse para escribir un artículo de finanzas que sería aceptado para una revista académica. Aunque el bot se desempeñó mejor en algunas áreas que en otras, agregar nuestra propia experiencia ayudó a superar las limitaciones del programa a los ojos de los revisores de revistas.

Sin embargo, argumentamos que los editores y los investigadores no deberían ver necesariamente a ChatGPT como una amenaza, sino como una ayuda potencialmente importante para la investigación: un asistente electrónico de bajo costo o incluso gratuito.

Nuestro pensamiento fue: si es fácil obtener buenos resultados de ChatGPT simplemente usándolo, tal vez haya algo más que podamos hacer para convertir estos buenos resultados en excelentes.

Primero le pedimos a ChatGPT que generara las cuatro partes estándar de un estudio de investigación: idea de investigación, revisión de literatura (una evaluación de investigaciones académicas previas sobre el mismo tema), conjunto de datos y sugerencias para pruebas y exámenes. Especificamos solo el tema general y que el resultado debería poder publicarse en «una buena revista financiera».

Esta fue la primera versión de cómo elegimos usar ChatGPT. Para la versión dos, pegamos en la ventana de ChatGPT poco menos de 200 resúmenes (resúmenes) de estudios de investigación relevantes y existentes.

Luego le pedimos al programa que los tuviera en cuenta al crear las cuatro etapas de investigación. Finalmente, para la versión tres, agregamos «experiencia en el dominio»: aportes de investigadores académicos. Leímos las respuestas producidas por el programa de computadora e hicimos sugerencias para mejorar. Al hacerlo, integramos nuestra experiencia con la de ChatGPT.

Luego solicitamos un panel de 32 revisores, cada uno de los cuales revisaría una versión de cómo se puede usar ChatGPT para generar un estudio académico. Se pidió a los revisores que calificaran si el resultado era lo suficientemente completo, correcto y si su contribución era lo suficientemente novedosa como para que se publicara en una «buena» revista académica de finanzas.

La gran lección para llevar a casa fue que todos estos estudios fueron generalmente considerados aceptables por los revisores expertos. Esto es bastante sorprendente: se consideró que un chatbot era capaz de generar ideas de investigación académica de calidad. esto plantea preguntas fundamentales en torno al significado de la creatividad y la propiedad de las ideas creativas, preguntas para las que nadie todavía tiene respuestas sólidas.

Fortalezas y debilidades

Los resultados también destacan algunas fortalezas y debilidades potenciales de ChatGPT. Encontramos que diferentes secciones de investigación fueron calificadas de manera diferente. La idea de investigación y el conjunto de datos tendieron a recibir una calificación alta. Hubo una calificación más baja, pero aún aceptable, para las revisiones de la literatura y las sugerencias de prueba.

Nuestra sospecha aquí es que ChatGPT es particularmente fuerte tomando un conjunto de textos externos y conectándolos (la esencia de una idea de investigación), o tomando secciones fácilmente identificables de un documento y ajustándolas (un ejemplo es el resumen de datos, un elemento fácilmente identificable). «trozo de texto» en la mayoría de los estudios de investigación).

Una debilidad relativa de la plataforma se hizo evidente cuando la tarea era más compleja, cuando hay demasiadas etapas en el proceso conceptual. Las revisiones y pruebas de literatura tienden a caer en esta categoría. ChatGPT solía ser bueno en algunos de estos pasos, pero no en todos. Esto parece haber sido recogido por los revisores.

Sin embargo, pudimos superar estas limitaciones en nuestra versión más avanzada (versión tres), en la que trabajamos con ChatGPT para obtener resultados aceptables. Todas las secciones del estudio de investigación avanzada recibieron una calificación alta por parte de los revisores, lo que sugiere que el papel de los investigadores académicos aún no está muerto.

Implicaciones éticas

ChatGPT es una herramienta. En nuestro estudio, demostramos que, con cierto cuidado, se puede utilizar para generar un estudio de investigación financiera aceptable. Incluso sin cuidado, genera un trabajo plausible.

Esto tiene algunas implicaciones éticas claras. La integridad de la investigación ya está un problema apremiante en la academia y sitios web como RetracciónVer transmitir un flujo constante de estudios de investigación falsos, plagiados y simplemente erróneos. ¿Podría ChatGPT empeorar aún más este problema?

Podría, es la respuesta corta. Pero no se puede volver a meter al genio en la botella. La tecnología también solo mejorará (y rápidamente). Cómo exactamente podemos reconocer y controlar el papel de ChatGPT en la investigación es una pregunta más importante para otro día. Pero nuestros hallazgos también son útiles en este sentido: al descubrir que la versión de estudio de ChatGPT con la experiencia del investigador es superior, mostramos que el aporte de los investigadores humanos sigue siendo vital en una investigación aceptable.

Por ahora, creemos que los investigadores deberían ver a ChatGPT como una ayuda, no como una amenaza. En particular, puede ser una ayuda para grupos de investigadores que tienden a carecer de los recursos financieros para la asistencia de investigación (humana) tradicional: investigadores de economías emergentes, estudiantes graduados e investigadores de carrera temprana. Es posible que ChatGPT (y programas similares) puedan ayudar a democratizar el proceso de investigación.

Pero los investigadores deben ser conscientes de la prohibición de su uso en la preparación de artículos de revistas. Está claro que hay puntos de vista drásticamente diferentes de esta tecnología, por lo que deberá usarse con cuidado.

Este artículo se vuelve a publicar de La conversación bajo una licencia Creative Commons. Leer el artículo original.