by Daniel Mediavilla
Tomar vitamina E para reducir el riesgo de dolencias del corazón o ingerir una aspirina al día para controlar la presión sanguínea son dos consejos que se han podido escuchar en consultas médicas. Ambas recomendaciones estaban sustentadas por estudios científicos que aparecieron en revistas científicas de prestigio y que eran considerados de referencia por muchos investigadores. Sin embargo, estudios posteriores más amplios mostraron que estos tratamientos no eran efectivos. La medicina moderna apoyada en la ciencia ha demostrado su capacidad para curar enfermedades frente a las que las medicinas tradicionales, algunas milenarias, se habían mostrado impotentes. Pero también ha tenido que reconocer las limitaciones que muestran todos los frutos del intelecto humano cuando se les pone a prueba frente a la realidad y no se les protege con el velo de la magia.
En un artículo reciente, el investigador de la Facultad de Medicina de la Universidad de Standford John Ioannidis calculaba que “la prevalencia de las falacias sin rebatir pueden representar hasta un 95% (si no más) de los hallazgos significativos en algunas áreas de la investigación en psicología”. Ioannidis creció en Atenas y mantiene un discurso digno de los filósofos griegos de la Antigüedad. “La ciencia trata de acercarse a la verdad lo más posible y no de obtener resultados espectaculares pero erróneos”, afirma en su artículo en el que pide que se dé a la búsqueda de la verdad la máxima prioridad.
Un estudio afirma que hasta el 90% de los estudios que sirven como orientación para diagnosticar enfermos son defectuosos
Su trabajo es un aldabonazo más en la conciencia de los científicos desde que en 2005 publicó un estudio en el afirmaba que hasta el 90% de los estudios utilizados por los médicos para orientar sus diagnósticos eran defectuosos. Desde entonces, una mayoría de los científicos, en lugar de mostrarse ofendidos por las advertencias de Ioannidis, han acogido con interés sus trabajos y lo han convertido en uno de los investigadores más citados de su área.
En ese trabajo explica que, debido a la propia forma de plantear los estudios y diseñarlos, con muestras demasiado pequeñas para probar la efectividad de un tratamiento y una gran cantidad de sesgos agudizados por factores como las posibilidades de obtener financiación o ser publicados en revistas de mayor prestigio, la ciencia está abandonando la búsqueda de la verdad por la producción de resultados espectaculares, financiables, publicables, pero muy poco útiles.
Uno de los aspectos que muestran las costuras de buena parte de la investigación biomédica es la baja tasa de resultados obtenidos en un laboratorio que se pueden repetir en otro independiente, algo fundamental para comprobar si una afirmación es cierta. Como se recuerda en el MIT Technology Review, el año pasado la empresa biotecnológica Amgen explicó en la revista Nature cómo sus investigadores habían sido incapaces de reproducir 47 de 53 resultados muy prometedores para el tratamiento de enfermedades de la sangre y del cáncer, y un año antes, la farmacéutica Bayer publicaba en ese mismo medio que no había podido replicar dos terceras partes de una serie de estudios que identificaban dianas para tratamientos.
«Es una parte fundamental de la ciencia, ser consciente de las limitaciones, reconocer los errores y corregirlos»
Antoni Andreu, Subdirector general de Evaluación y Fomento de la Investigación del Instituto de Salud Carlos III
“Este problema viene porque muchas veces se realizan investigaciones muy individualizadas y para ver un efecto concreto”, explica Ferrán Torres, director de la Plataforma de Bioestadística y Gestión de Datos del IDIBAPS-Hospital Clinic. “Esta investigación diseñada con un objetivo tan particular no se va a poder replicar”, añade. Torres enfatiza que no se trata de una cuestión de fraude científico sino de realizar estudios que puedan cumplir objetivos concretos para satisfacer a la industria farmacéutica, donde está el dinero, y a la evaluación pública y la publicación de artículos científicos, que es donde se encuentra la carrera y el prestigio de un investigador. “Todo el mundo debe ser consciente de ello para poder mejorarlo”, señala.
La presión para obtener resultados novedosos y espectaculares que luego puedan recibir financiación ha llevado también a que pierda interés algo tan poco llamativo, pero tan necesario, como intentar repetir los resultados de otros equipos. En su artículo, Ioannidis asegura que la gran mayoría de los supuestos descubrimientos de la ciencia en psicología no han sido replicados y que, en el mejor de los casos, son los propios científicos que obtuvieron el resultado los que publican una confirmación.
La presión dificulta la revisión de artículos
Antoni Andreu, subdirector general de Evaluación y Fomento de la Investigación del Instituto de Salud Carlos III, el principal organismo que gestiona la investigación biomédica en España, cree que el problema de la replicación de los estudios “es antiguo”, pero “se ha visto hiperdimensionado porque la capacidad de publicar se ha multiplicado”. Andreu considera que “la revisión por pares (el sistema de análisis por otros expertos que determina qué artículos se publican o se financian y cuáles no) es razonablemente buena, pero hay que ser conscientes de que existe un margen de error”. En este sentido, explica que para mejorar estas revisiones serían necesarios muchos recursos. Hasta ahora, los investigadores que llevan a cabo esa tarea lo hacen normalmente de forma altruista y el incremento de las publicaciones y de la presión por publicar está limitando el tiempo que se puede dedicar a ese trabajo.
El autor advierte de que si no se toman las medidas adecuadas la ciencia no se corregirá a sí misma y puede retroceder.
Pese a que tanto Torres como Andreu creen que hay una cantidad importante de estudios que no se pueden replicar, ambos reconocen que no existen estadísticas sobre cuál es la dimensión exacta del problema para poder empezar a corregirlo. Para combatir esta debilidad de la ciencia, Ioannidis recomienda en su artículo mejorar la valoración de los trabajos de replicación en las revistas científicas y separar el trabajo de exploración del de confirmación de los resultados. En este sentido, Andreu cree que hay que mejorar la capacidad para evaluar el impacto de los estudios publicados gracias a la financiación pública y recuerda que el nuevo Plan Nacional de I+D+i incluirá por primera vez una mención a las evaluaciones a posteriori de los estudios. Además, el Horizonte 2020, el programa de la UE para fomentar la investigación y la innovación en Europa, ha colocado la evaluación del impacto de la ciencia solo por detrás de la excelencia dentro de sus prioridades, algo que no sorprende después de saber que la mitad de los estudios de salud pagados por la UE no publica sus resultados. El problema es que, como reconocen los gestores de la investigación biomédica, este tipo de trabajos de control a posteriori, que aún ni se consideran, requieren una gran cantidad de recursos justo ahora cuando más escasos son.
En su artículo, Ioannidis advierte de que, pese a lo que muchos creen, si no se toman las medidas adecuadas, la ciencia no se corregirá a sí misma y puede retroceder. El profesor de Standford compara lo sucedido cuando se quemó la biblioteca de Alejandría con la pérdida de credibilidad y de documentación fiable provocada por la ingente producción de investigación a la que no se somete a las mínimas pruebas de calidad. Andreu es más optimista y opina que la detección de los errores como los que publica el investigador griego deben ser un acicate. “Es una parte fundamental de la ciencia, ser consciente de las limitaciones, reconocer los errores y corregirlos. Es importante equivocarse”, concluye.
REFERENCIA
'Why Science Is Not Necessarily Self-Correcting' DOI: 10.1177/1745691612464056
http://www.readability.com/articles/aklaff4u