Recuperando Evidencia Clínica: Comparando PubMed y Google Scholar

La búsqueda de Información biomédica mediante dos grandes motores de búsqueda

Autor/a: Salimah Z Shariff; Shayna AD Bejaimal; Jessica M Sontrop; Arthur V Iansavichus; R Brian Haynes; Matthew A Weir; Amit X Garg

Fuente: J Med Internet Res 2013;15(8):e164

Introducción

Con la magnitud de la información biomédica disponible, los médicos necesariamente realizan sus búsquedas en bases de datos bibliográficas y se enfrentan a retos cuando pretenden encontrar la información que necesitan.
Les falta el tiempo para desarrollar estrategias de búsqueda eficientes y muchas veces el resultado las mismas arrojan un gran número de artículos no relevantes. Además, muchos recursos bibliográficos requieren suscripciones pagas, lo que limita aún más el acceso a la mejor evidencia disponible.

Dos recursos en la Web, de libre acceso en todo el mundo, son PubMed y Google Scholar. Mientras que PubMed sigue siendo el recurso más utilizado para buscar literatura médica, más recientemente, Google Scholar ha ganado popularidad como un recurso en línea de búsqueda bibliográfica alternativa.

Los autores han comparado las funciones de búsqueda disponibles en Google Scholar y PubMed observando que PubMed indexa artículos de revistas, y Google Scholar además indexa tesis, libros, resúmenes y opiniones de una variedad de disciplinas y fuentes como editoriales académicas, sociedades profesionales, universidades, y otros sitios web.

Google Scholar pretende ordenar los resultados por relevancia utilizando un algoritmo propietario que pesa la información del texto completo de cada artículo, el autor y la información de la revista, y el número de veces que el artículo ha sido citado en otra literatura académica.

Por otro lado, sólo una fracción de los 23 millones de registros en PubMed están disponibles como publicaciones de texto completo gratis a través de PubMed Central o revistas especializadas. Por el contrario, debido a sus capacidades de búsqueda ampliadas, Google Scholar puede proporcionar un mayor acceso a las publicaciones de texto completo gratuitos.

Hasta la fecha de realización del presente artículo realizado por investigadores canadienses, la utilidad de Google Scholar en comparación con PubMed para la recuperación de la literatura primaria pertinente para responder a preguntas clínicas no ha sido suficientemente probada.

En este estudio se compara la capacidad de PubMed y Google Scholar para recuperar la literatura relevante para la nefrología, referente a la terapéutica en patología renal.

La literatura sobre Nefrología se dispersa a través de más de 400 revistas multidisciplinares y es difícil para los especialistas rastrearlas, por lo que esta disciplina ofrece un modelo ideal para este tipo de evaluación.

En la siguiente tabla se enuncian características de PubMed y Google Scholar. (Ver tabla)

Métodos: Preguntas clínicas y artículos de interés

Los autores reclutaron 100 preguntas clínicas a partir de los objetivos planteados en 100 revisiones sistemáticas referidas al tratamiento de patologías renales, publicadas entre 2001 y 2009.

Se buscaron revisiones del servicio Evidence Updates durante noviembre del 2009, y la búsqueda arrojó 207 revisiones sistemáticas. Este servicio identifica revisiones sistemáticas y meta-análisis que cumplan estrictos criterios metodológicos y tienen un alto potencial de relevancia clínica.

Dos nefrólogos validaron el listado generado previamente. Las discrepancias se resolvieron mediante discusión y análisis posterior. Del total de revisiones, 100 cumplieron los criterios de inclusión.

Los autores han transformado los objetivos de cada revisión en una pregunta clínica. Por ejemplo, el objetivo de una revisión fue "Evaluar la eficacia de la solución salina en comparación con bicarbonato de sodio para la prevención de la nefropatía inducida por contraste". Han transformado este objetivo en una pregunta clínica: "¿Qué tan efectiva es de solución salina en comparación con bicarbonato sódico para la prevención de la nefropatía inducida por contraste?

Recolección y análisis de datos

Se encuestó a una muestra aleatoria de nefrólogos que ejercen su profesión en Canadá con una tasa de respuesta del 75 %.

Los autores preguntaron sobre las prácticas en la búsqueda de información. Además se proveyó a cada nefrólogo con una pregunta clínica en forma aleatoria. El foco de la misma era la terapéutica en nefrología. Cada pregunta se generó como resultado del análisis de las revisiones sistémicas. La encuesta fue diseñada y administrada por el método de diseño a medida Dillman.

En forma aleatoria se seleccionaron los nefrólogos y las preguntas clínicas que fueron distribuidas al azar. Si un nefrólogo había decidido no responder a la encuesta y realizar la búsqueda, la misma pregunta era designada a otro nefrólogo.

Para comparar el rendimiento de PubMed y Google Scholar para su uso por los profesionales, los autores auditaron las estrategias utilizadas para las diferentes búsquedas. Se vió que en ocasiones los médicos ingresaron términos mal escritos para la búsqueda o utilizaron acrónimos o término poco convencionales.

Para solucionar esto, la sintaxis de la búsqueda se modificó ligeramente con reglas preestablecidas. Esto se hizo por duplicado y las diferencias entre observadores se resolvieron por consenso. Todas las búsquedas se realizaron entre mayo y julio de 2010.

Para cada resultado de la búsqueda, se calculó el número total de registros recuperados, el número de artículos relevantes recuperados, y la posición de los registros relevantes en los resultados de búsqueda.

Para cada artículo relevante, se han seguido todos los enlaces de acceso al texto completo y se ha documentado si la versión de texto completo se podía recuperar de forma gratuita. Los autores no utilizaron ningún acceso al artículo completo mediante el pago.

Dos evaluadores, estudiantes de posgrado, expertos en búsqueda realizaron en forma independiente diez búsquedas en PubMed y Google Scholar y lograron un porcentaje de concordancia del 99%.

Análisis estadístico

Los resultados del estudio indican que el 80 % de los nefrólogos no revisaron más allá de 40 resultados de la búsqueda, que es el equivalente a dos páginas de búsqueda por defecto en PubMed. Por lo tanto, para el análisis primario se evaluaron los primeros 40 registros recuperados en cada búsqueda.

Sólo se tuvieron en cuenta para el análisis lis artículos con acceso full al texto libre.

Resultados

Los nefrólogos participantes tenían una edad promedio de 48 años de edad y habían ejercido su especialidad durante un promedio de 15 años.

Todos los encuestados habían usado un recurso en línea como evidencia para el tratamiento de sus pacientes durante el año previo al estudio.

Aproximadamente el 90 % utilizaron  para tratar de satisfacer su necesidad de información a PubMed, mientras que el 40 % utilizó Google Scholar. El 32 % indicó que el utilizó ambos recursos bibliográficos.

Las búsquedas proporcionadas por los nefrólogos contenían un promedio de tres términos por concepto, por ejemplo, “infarto de miocardio”. El 48% de los nefrólogos utilizaron como parte de la estrategia de búsqueda a los operadores booleanos AND, OR y NOT.

Siete por ciento de las búsquedas incluían funciones avanzadas, tales como límites de búsqueda, filtros de búsqueda, y truncamiento (inclusión de múltiples terminaciones de una palabra al escribir un asterisco "*" en PubMed, por ejemplo, nephr*) .

No se observaron diferencias sustanciales en las búsquedas proporcionados por nefrólogos mayores frente a los jóvenes, hombres vs. mujeres, o por aquellos que practican su profesión en un ambiente académico vs. ambientes exclusivamente asistenciales.

Cobertura y contenido de los resultados de las búsquedas.

PubMed y Google Scholar contenían una proporción similar en relación a los artículos analizados previamente. Google Scholar contenía un 5% adicional de artículos no incluidos en PubMed y por otra parte, PubMed contenía un 2 % adicional de artículos no incluidos en Google Scholar.

Análisis primario

Google Scholar recuperó el doble de artículos relevantes comparándolo con los primeros 40 resultados de PubMed.

La precisión fue similar en ambos buscadores, aunque Google Scholar demostró una mayor recuperación de resultados.

Análisis secundario

Google Scholar recuperar tres veces más artículos relevantes con acceso a texto completo gratuito en comparación con PubMed.

Al examinar todos los registros (no sólo los primeros 40 registros), PubMed y Google Scholar recuperar un número similar de artículos relevantes, aunque Google Scholar siguió proporcionando un mayor acceso de texto completo libre de las publicaciones.

En general, las búsquedas en Google Scholar recuperan más registros de búsqueda en comparación con PubMed (mediana: 1000 vs 148 registros, respectivamente). Esto resultó en una menor precisión de la búsqueda en Google Scholar cuando se consideraron todos los artículos recuperados.

Discusión

Los profesionales de la salud, confían cada vez más en las bases de datos bibliográficas en línea desde el rol asistencial.

Se comparó la capacidad de PubMed y Google Scholar para recuperar la literatura relevante sobre nefrología dentro de los primeros 40 registros.

Se encontró que Google Scholar ha recuperado el doble de artículos relevantes en comparación con PubMed y tres veces más artículos con acceso al texto completo en forma gratuita.

Estos resultados no pueden atribuirse a las diferencias en la cobertura de contenidos, un 78 % de los artículos evaluados previamente, estaban disponibles en las bases de datos. En cambio, la mejora del rendimiento de Google Académico puede ser consecuencia de su forma de resultados de clasificación basado en la relevancia.

Sin embargo, cuando se consideran todos los resultados de la búsqueda (no sólo los primeros 40 registros), la precisión de los resultados favoreció a PubMed.

A diferencia de Google Scholar, PubMed ofrece contenido indexado que es relevante para los médicos, incluyendo el vocabulario clínico controlado MeSH [ Medical Subjet Headings], los límites de búsqueda (como la limitación de artículos por edad o tipo de estudio), y el acceso a una disciplina específica y métodos filtros de búsqueda.

Estas funciones avanzadas tienen el potencial de reducir el número de artículos no relevantes que se recuperan. Sin embargo, sólo el 7 % de los encuestados utilizó estas funciones en sus búsquedas.

Mientras que 77 % de los nefrólogos informó el uso previo de los límites de búsqueda, sólo el 37 % utiliza vocabularios controlados, y sólo el 20 % utilizó filtros y otras funciones avanzadas.

El mayor número de resultados mediante la búsqueda con Google Scholar se debe a que el mismo busca tanto literatura publicada como no publicada, a diferencia con PubMed que busca en la base de referencias bibliográficas Medline, que pertenecen a trabajos publicados.

Google Scholar proporciona significativamente mayor cantidad de artículos de acceso a texto completo en forma gratuita. Esto último no es un tema menor dentro de la comunidad médica de los países en desarrollo, incluso en los países desarrollados, teniendo en cuenta que algunas bases de datos académicas y revistas han aumentado sus cuotas de suscripción en un 400 % recientemente.

En estudios preliminares en otras áreas específicas, Google Scholar proporciona una mejor amplitud de resultados pero peor rendimiento (precisión) en comparación con PubMed.

Resultados similares fueron observados en el presente estudio cuando se consideran todos los registros recuperados y no sólo los primeros 40.

Para asegurarse de que todos los artículos de la revisión fueron relevantes para la pregunta clínica, se seleccionaron revisiones sistemáticas que especificaban un solo objetivo. Por último, para maximizar la validez externa, se utilizó una encuesta para obtener búsquedas generadas en torno a la práctica de los nefrólogos.

Limitaciones

El presente estudio tiene algunas limitaciones. No se observaron directamente a los nefrólogos mientras buscaban.

Pudiendo haber una discrepancia entre los términos de utilizados en la estrategia de búsqueda con los utilizados para responder la encuesta.

Por razones de viabilidad, el estudio se centró en la terapéutica en nefrología.

Este estudio pone a prueba las búsquedas proporcionadas por los médicos, que son búsquedas factibles de realizar, sin embargo, en la práctica, alcanzar resultados satisfactorios en una búsqueda puede llevar al profesional modificar la estrategia de la misma.

Aunque Google Scholar recupera el doble de artículos relevantes que PubMed (en las primeras 40 citas), el 80 % de los artículos seleccionados previamente no fueron recuperados por cualquiera de las fuentes.

Conclusiones

En conclusión, para las búsquedas rápidas, Google Scholar devuelve el doble de artículos relevantes que PubMed y proporciona un mayor acceso a los textos completos gratuitos.

Comentarios

Si bien para los autores, los resultados de la investigación, luego del análisis de los datos y de las limitaciones, aseguran que Google Scholar sería mejor herramienta para la búsqueda bibliográfica, considero que PubMed sigue siendo el motor de búsqueda que más resultados ofrece en relación a la necesidad de información planteada por el profesional. Todo depende de cuánto conozcamos la herramienta y manejemos las estrategias de búsqueda, tales como la utilización de Filtros, términos MeSH y funcionalidades de búsqueda avanzada.

Con el tiempo seguramente Google realizará cambios y brindará mayores estrategias para mejorar la calidad de los resultados, mientras tanto, PubMed parece seguir siendo la mejor opción si buscamos calidad en la información.

♦ Resúmen: Dr. Daniel Luna . Jefe del Dpto de Informática Hospital Italiano de Buenos Aires