Herrramientas innovadoras

¡Detengan la propagación de la mala ciencia!

La conciencia de cuándo no se puede confiar en un artículo suele ser demasiado baja, pero adoptar algunas soluciones tecnológicas fáciles de usar puede ayudar a investigadores, editores y jurados.

Autor/a: Guillaume Cabanac

Fuente: Nature 2024 Aug;632(8027):977-979 Chain retraction: how to stop bad science propagating through the literature

Las retractaciones de artículos han ido creciendo de forma constante durante las últimas  décadas, alcanzando una cifra récord de casi 14.000 el año pasado, en comparación con menos de 1.000 por año antes de 2009.

Retirar artículos de investigación defectuosos es parte de un proceso científico saludable. No todas las retractaciones se deben a una mala conducta; también pueden ocurrir cuando se cometen errores, como cuando un grupo de investigación se da cuenta de que no puede reproducir sus resultados.

Pero, independientemente de la cantidad de resultados erróneos que se hayan incluido en un artículo publicado, es importante que no se propaguen en la literatura científica. Nadie quiere basar su razonamiento en premisas falsas. De la misma manera que muchas personas no aceptarían un tratamiento médico respaldado por ensayos clínicos dudosos, la comunidad científica no quiere que los investigadores, el público y, cada vez más, la inteligencia artificial (IA) se basen en datos erróneos o en conclusiones extraídas de artículos erróneos.

Un aspecto que a menudo se pasa por alto es lo que sucede con los artículos que citan investigaciones revocadas. Por ejemplo, en junio, un artículo de Nature sobre células madre fue retirado en medio de preocupaciones sobre la fiabilidad de los datos mostrados, 22 años después de su publicación, tras haber acumulado casi 5.000 citas. Por supuesto, un artículo incluye referencias por diversas razones, como proporcionar contexto, presentar trabajos relacionados o explicar el protocolo del experimento.

Una retractación no significa que todos los artículos que citaron el artículo retractado ahora también sean poco fiables, pero algunos podrían serlo. Como mínimo, los investigadores deberían estar al tanto de cualquier retractación entre los estudios que han citado. Esto les permitiría evaluar los posibles efectos negativos en su propio trabajo y mencionar las advertencias pertinentes claramente si continúan citando el artículo retractado en el futuro. Pero, hasta donde yo sé, no existe un proceso sistemático para que los editores alerten a los académicos que citan cuando se retracta un artículo. Debería haberlo.

Más allá de las retractaciones, lo que se necesita es un mecanismo a gran escala para impedir que los errores se propaguen en la literatura científica. Las herramientas existen, pero ahora es necesario cambiar las prácticas.

Sacudiendo el statu quo

Las publicaciones y las citas son moneda corriente importante en el ámbito académico. Sin embargo, puede resultar difícil de distinguir los artículos o las citas dudosas de las auténticas. Esto, combinado con el hecho de que la revisión editorial, por pares y los procesos de publicación dependen en gran medida de la confianza, ha dado lugar a muchas distorsiones.

Las métricas de desempeño de un investigador (incluido el número de artículos publicados, las citas obtenidas y los informes de revisión por pares presentados) pueden servir para construir una reputación y visibilidad, lo que lleva a recibir invitaciones para hablar en conferencias, revisar manuscritos, ser editor invitado de números especiales y unirse a consejos editoriales. Esto puede dar más peso a las solicitudes de empleo o ascenso, ser clave para atraer financiación y generar más citas, todo lo cual puede construir una carrera de alto perfil. Las instituciones generalmente parecen felices de albergar a científicos que publican mucho, son muy citados y atraen financiación.

Han surgido empresas inescrupulosas conocidas como fábricas de papel que se aprovechan de este sistema. Producen manuscritos basados en datos inventados, manipulados o plagiados, venden esos manuscritos falsos junto con las autorías y las citas, y diseñan el proceso de revisión por pares.

Pero los editores respetables también son cómplices cuando publican artículos de investigadores de alto perfil (incluidos algunos que podrían haber ganado visibilidad rápidamente mediante prácticas dudosas o deshonestas) y utilizan regularmente a esas personas como revisores y editores. La industria editorial se beneficia de grandes volúmenes de artículos, incluidos aquellos que no son científicamente sólidos.

Herramientas para el cambio

Los investigadores, editores, instituciones y financiadores deben actuar para defender la integridad del registro científico.

Los científicos que descubren un artículo sospechoso o problemático pueden denunciarlo por la vía convencional, poniéndose en contacto con el equipo editorial de la revista en la que apareció. Pero puede resultar difícil averiguar cómo plantear sus inquietudes y con quién. Además, este proceso no suele ser anónimo y, dependiendo de la dinámica de poder en juego, algunos investigadores pueden no estar dispuestos o no poder participar en estas conversaciones.

Y las revistas son notoriamente lentas. El proceso requiere que el personal de la revista medie en una conversación entre todas las partes, una discusión en la que los autores del artículo criticado suelen ser reacios a participar y que a veces implica datos adicionales y revisores posteriores a la publicación. La mayoría de las investigaciones pueden tardar meses o años antes de que se hagan públicos los resultados.

Existen otras vías para cuestionar un estudio después de su publicación, como comentar en la plataforma PubPeer, donde se publican cada vez más artículos. Hasta el 20 de agosto, 191.463 artículos habían recibido comentarios, casi todos ellos críticos. Pero los editores no suelen controlarlos y los autores de un artículo criticado no están obligados a responder. Es habitual que los comentarios posteriores a la publicación, incluidos los de investigadores eminentes en el campo, planteen cuestiones potencialmente importantes que no son reconocidos por los autores ni por la revista que los publica.

En febrero de 2021, lancé Problematic Paper Screener (PPS). Este software originalmente marcaba texto generado aleatoriamente en artículos publicados. Ahora rastrea una variedad de problemas para alertar a la comunidad científica sobre posibles errores.

He ideado una herramienta para que el PPS rastree la literatura en busca de "frases torcidas" sin sentido que proliferan en la literatura científica. Cada frase torcida debe ser primero detectada por un lector humano, y luego añadida como una "huella digital" a la herramienta que examina regularmente la literatura utilizando los 130 millones de documentos científicos indexados por la plataforma de datos Dimensions. Hasta ahora, se han recopilado 5.800 huellas digitales. Los humanos participan en un tercer paso para comprobar si hay falsos positivos.

Y cada vez me preocupa más la cantidad de artículos que citan estudios retractados, incluso después de su retractación.

Para facilitar las comprobaciones y la limpieza continua de la literatura, he diseñado otras dos herramientas para el PPS. Una es el Detector de Anulados, que lleva un registro de los artículos que han sido retractados, retirados o eliminados (estas son las distintas etiquetas que utilizan los editores para señalar que un estudio ya no es válido). El detector recopila datos de los editores individuales, la base de datos Crossref (que incluye la base de datos RetractionWatch) y la base de datos biomédica PubMed para realizar un seguimiento del panorama global de retractaciones, retiros y eliminaciones. Unos 62.000 de estos artículos "anulados" han sido citados más de 836.000 veces en total.

El otro es el Feet of Clay Detector, que sirve para detectar rápidamente aquellos artículos que citan artículos anulados en sus listas de referencias. He añadido comentarios en línea de PubPeer a más de 1.700 artículos de este tipo para incitar a los lectores a evaluar la fiabilidad de las referencias.

Prevenir y curar

Hay pasos sencillos, que utilizan herramientas ampliamente disponibles, que podrían reforzar significativamente la confiabilidad de la literatura científica.

Los autores deben verificar si hay críticas o retractaciones posteriores a la publicación cuando utilizan un estudio, y ciertamente antes de incluir una referencia en un borrador del manuscrito.

Hay dos extensiones de PubPeer que resultan fundamentales. Un complemento marca automáticamente cualquier artículo que haya recibido comentarios en PubPeer, que pueden incluir correcciones y retractaciones, cuando los lectores navegan por los sitios web de las revistas. El otro funciona en el gestor de referencias Zotero para identificar los mismos artículos en la biblioteca digital de un usuario. Para las copias locales de los archivos PDF descargados, la industria editorial utiliza Crossmark: los lectores pueden hacer clic en el botón Crossmark para comprobar el estado del artículo en la página de inicio del sitio web de la editorial.

Existen herramientas para comprobar las listas de referencias, como RetractoBot, que alerta a los investigadores cuando se retractan los artículos que han citado. Y el Feet of Clay Detector se puede utilizar, de forma gratuita, para comprobar si la lista de referencias de un artículo publicado tiene alguna señal de alerta. Puede realizar comprobaciones utilizando solo el título de un artículo o las carteras completas de editoriales, lo que facilita que los investigadores individuales y las revistas comprueben la literatura que les interesa.

La ciencia también se beneficiaría de un escrutinio más activo después de la publicación por parte de un mayor número de lectores que comunicaran sus inquietudes en PubPeer y a las editoriales. Por el contrario, los autores de un artículo criticado deberían entablar conversaciones de buena fe con sus colegas y/o la revista pertinente, y trabajar para lograr una rápida resolución.

Los lectores, especialmente los revisores, deben estar atentos a las señales de alerta, como las frases distorsionadas y la posible generación automática de textos mediante herramientas de inteligencia artificial (incluido ChatGPT). Las frases sospechosas que parecen generadas por una máquina se pueden comprobar utilizando herramientas como el detector de frases distorsionadas de PPS.

Las revistas también deberían comunicarse con los investigadores que revisaron un artículo que luego fue retractado por razones técnicas, para su propia información y, si el problema técnico está dentro de su área de especialización, para instarlos a ser más cautelosos en el futuro.

Los editores están en la mejor posición para generar cambios impactantes en sus prácticas y procesos. Deberían pasar rutinariamente los manuscritos enviados por herramientas que comprueben si hay plagio, imágenes manipuladas, frases alteradas, referencias retractadas o cuestionables, referencias inexistentes generadas erróneamente por herramientas de IA y plantaciones de citas (grandes porciones de referencias que benefician a ciertas personas).

Estos controles y contrapesos se están integrando en el Centro de Integridad STM que actualmente está desarrollando STM, la asociación para la industria editorial académica que presta servicios a la editorial de editoriales suscritas. El software tiene como objetivo detectar envíos duplicados entre editoriales y señalar a los editores cualquier señal sospechosa, como frases alteradas, comentarios en PubPeer o referencias retractadas

Además de las medidas preventivas, los editores deberían acelerar y aumentar sus esfuerzos correctivos en materia de investigaciones, correcciones y retractaciones. Deberían asumir una firme responsabilidad por los artículos que han publicado y realizar controles periódicos para que las retractaciones en sus carteras no pasen desapercibidas.

Para ayudar a herramientas independientes como Feet of Clay Detector a recopilar datos sobre el estado actual de los artículos en sus revistas, todos los editores deberían publicar los metadatos de referencia de todo su catálogo.

También deben identificar de forma “inequívoca” los artículos retractados, como se establece en las directrices del Comité de Ética de Publicaciones. La mayoría de los editores editan el archivo PDF del artículo para incluir un banner con marca de agua que dice "Retractado". Pero cualquier copia descargada antes de que se produjera la retractación no incluirá esta advertencia crucial.

Las "expresiones de preocupación" de los editores deberían ser más generalizadas. Esas notas sirven para alertar a los lectores de que se ha puesto en duda la fiabilidad de las conclusiones de un artículo.

Y cuando se retracta un estudio, debería desencadenarse una reacción en cascada y, en algunos casos, una "retractación en cascada". Esto significaría que todos los artículos que citan ese estudio deberían reevaluarse y, si sus conclusiones dependían de resultados ahora retractados, deberían corregirse o retractarse según corresponda.

En general, para facilitar todos estos pasos, los editores deben actualizar sus prácticas y atribuir más recursos a los equipos de integridad editorial y de investigación.

Hacer responsables a todas las partes

Por último, otro aspecto que podría frenar la propagación de errores en la literatura es la rendición de cuentas. En la actualidad, no corregir o retractarse de artículos erróneos tiene pocas consecuencias y hay pocas recompensas por señalarlos, una tarea que requiere mucho tiempo. Las universidades y los financiadores deben dar prioridad a la ciencia buena y sólida por encima de métricas indirectas como el número de publicaciones y los factores de impacto de las revistas en las que aparecen. Las contribuciones a la corrección del historial científico deberían verse de forma más positiva, tal vez en términos de servicio comunitario.

A medida que los editores se retractan de cada vez más artículos, les insto a que transfieran a organizaciones benéficas los gastos de procesamiento de los artículos que recibieron al publicarlos. Por ejemplo, IOP Publishing, propiedad del Instituto de Física de Londres, fue una de las primeras editoriales en retractarse de artículos basándose en frases forzadas. Dona los ingresos de sus artículos retractados a Research4Life, una organización que proporciona a instituciones de países de ingresos bajos y medios acceso en línea a la literatura académica.

Un esfuerzo preventivo y curativo combinado de todos los involucrados es clave para mantener la confiabilidad de la literatura científica, una tarea crucial para la ciencia y para la confianza pública.