La Universidad Charles (CUNI), en Praga, República Checa, realizó una investigación para determinar la capacidad de los actuales modelos lingüísticos de la Inteligencia Artificial (IA) para generar artículos médicos fraudulentos de alta calidad. El equipo liderado por Martin Májovský, planteó como hipótesis que estos artículos son capaces de engañar fácilmente no sólo a los lectores, sino también a investigadores experimentados.
La IA ha avanzado sustancialmente en los últimos años y, en muchos casos, puede facilitar algunas formas de trabajo. En la investigación científica, específicamente, la Inteligencia Artificial puede mejorar la calidad y la eficiencia del análisis y la publicación de datos. Sin embargo, también puede generar artículos falsos difíciles de detectar, lo que plantea importantes cuestiones sobre la integridad de la investigación científica y la fiabilidad de los artículos publicados.
Para comprobar esta cuestión, durante el estudio, publicado en el Journal of Medical Internet Research (JMIR), se utilizó el ChatGPT (Chat Generative Pre-trained Transformer) potenciado por el modelo de lenguaje GPT-3 (Generative Pre-trained Transformer 3) con el objetivo de generar un artículo científico fraudulento relacionado con la neurocirugía.
GPT-3 es un gran modelo de lenguaje desarrollado por OpenAI que utiliza algoritmos de aprendizaje profundo para generar texto similar al humano en respuesta a las indicaciones dadas por los usuarios, entrenado con un corpus masivo de texto de Internet.
De esta forma, los autores plantearon preguntas e indicaciones al modelo y las perfeccionaron iterativamente a medida que el modelo generaba las respuestas. Algunas de las indicaciones fueron: “Usa citas según los estándares de PLOS Medicine”; “Quiero que seas más específico. Utiliza lenguaje científico”; y “Necesito la discusión. Compara los resultados con artículos publicados. Haga citas dentro del texto (números entre corchetes) y dé la lista de citas al final. Empiece a numerar las citas a partir del 9”.
El objetivo era crear un artículo completamente inventado que incluyera el resumen, la introducción, el material y los métodos, la discusión, las referencias, los gráficos, etc. Una vez generado el artículo, expertos en neurocirugía, psiquiatría y estadística lo revisaron para comprobar su exactitud y coherencia, y lo compararon con artículos similares ya existentes.
Resultados
El estudio constató que el modelo lingüístico de la Inteligencia Artificial (IA) es capaz de crear en aproximadamente una hora, y sin necesidad de formación especial de un usuario humano, un artículo fraudulento muy convincente que se asemeje a un auténtico artículo científico en cuanto al uso de las palabras, la estructura de las frases y la composición general.
El texto generado incluía las secciones estándar previamente mencionadas, una hoja de datos, y constaba de 1992 palabras y 17 citas.
Sin embargo, cabe destacar que se identificaron algunas preocupaciones y errores específicos en el artículo generado, concretamente en las referencias. Aunque los artículos parecen sofisticados y aparentemente impecables, los lectores expertos pueden identificar imprecisiones y errores semánticos tras una inspección más minuciosa. Lo que vuelve fundamental la necesidad de aumentar la vigilancia y mejorar los métodos de detección para combatir el posible uso indebido de la IA en la investigación científica.
Autores
Martin Májovský 1, MD, PhD; Martin Černý 1, MD; Matěj Kasal 2, MD; Martin Komarc 3, 4, MD, PhD; David Netuka 1, MD, Prof Dr
1 Department of Neurosurgery and Neurooncology, First Faculty of Medicine, Charles University, Prague, Czech Republic
2 Department of Psychiatry, Faculty of Medicine in Pilsen, Charles University, Pilsen, Czech Republic
3 Institute of Biophysics and Informatics, First Faculty of Medicine, Charles University, Prague, Czech Republic
4 Department of Methodology, Faculty of Physical Education and Sport, Charles University, Prague, Czech Republic