Introducción

Los datos sobre la calidad de los resultados recolectados para propósitos administrativos y la revisión interna por pares han ganado una importancia creciente desde la perspectiva de la acreditación y de las agencias gubernamentales, sistemas hospitalarios y pagadores, como mediciones de la calidad de la atención brindada. En contraste, los datos recolectados específicamente sobre la atención clínica se asocian con costos considerables y, aunque menos fácilmente disponibles, son considerados frecuentemente superiores para la investigación de los resultados en los pacientes [1-5]. Este estudio analiza la concordancia entre las fuentes de los datos sobre calidad de los resultados, para cuatro complicaciones postoperatorias comunes.

En valor nominal, eventos clínicos tales como insuficiencia respiratoria postoperatoria, sepsis, hemorragia y trombosis venosa profunda (TVP), son complicaciones inequívocas posteriores a la cirugía. Consecuentemente, se podría esperar que su prevalencia fuera similar entre las fuentes de datos. Sin embargo, la certeza de los datos (o codificación) administrativos hospitalarios, ha sido repetidamente cuestionada en relación con la confiabilidad de los diagnósticos, su adecuación para el ajuste del riesgo y habilidad para cuantificar los resultados en los pacientes [1,4,6-8].

Una investigación sobre tasas de mortalidad ajustadas por riesgo en el bypass coronario, determinadas separadamente, de variables clínicas y de datos administrativos, reportó discrepancias considerables en las tasas de mortalidad [4]. Un comentario editorial acompañante, sugirió que la investigación sirvió como una “llamada para despertar” porque esos datos son usados cada vez más para clasificar a los hospitales según su desempeño [9]. Similarmente, otros autores han reportado resultados inconsistentes, en términos de habilidad predictiva, de las bases de datos administrativas versus clínicas [1]. Los factores que conducen a la variación observada pueden resultar de los sistemas de atención, certeza de los datos, fallas en la documentación, definiciones variables y simple variación al azar [2].

A nivel local, la institución en donde se desempeñan los autores, encontró inconsistencias en la calidad de los eventos entre las fuentes administrativas y clínicas de los datos. Eso generó preocupación en el contexto del reporte público de la calidad de los resultados y uso de los datos para las iniciativas de mejora de la calidad. El presente estudio tuvo como objetivo primario determinar la extensión y los determinantes de las inconsistencias en los datos clínicos y administrativos recolectados. El segundo objetivo fue determinar si inconsistencias similares estuvieron presentes, entre 2 registros clínicos recolectando información sobre los mismos eventos postoperatorios.

Métodos

Población de pacientes y fuentes de datos
La población consistió en pacientes que fueron sometidos a procedimientos quirúrgicos en la Cleveland Clinic desde enero de 2009 a mayo de 2010. Se usaron 3 fuentes de datos: una fuente de datos administrativos, la Agency for Healthcare Research and Quality (AHRQ); una fuente de registro nacional de datos clínicos, el National Surgical Quality Improvement Program (NSQIP) y un registro clínico institucional recolectado prospectivamente, el Cardiovascular Information Registry (CVIR).

Agency for Healthcare Research and Quality
Los Patient Safety Indicators (PSI) fueron desarrollados originalmente en 2003, para identificar las complicaciones potenciales y los eventos adversos de seguridad, en los pacientes hospitalizados. Los algoritmos PSI son mantenidos y actualizados por la AHRQ y están disponibles para el público como un módulo de software. Cada PSI deriva de los códigos de diagnóstico y procedimiento del ICD-9-CM tomados de los datos de facturación y se calculan usando un algoritmo estandarizado. Los PSI son ajustados por variables tales como demografía, otros diagnósticos, comorbilidades y fuentes de admisión. La versión 4.2 de PSI fue utilizada para este análisis [10].

National Surgical Quality Improvement Program
El NSQIP fue iniciado por el Department of Veterans Affairs (VA) y posteriormente expandido para incluir a los hospitales del sector privado, para brindar datos sobre el manejo de la mejora en la calidad quirúrgica, mediante la reducción de la morbilidad y mortalidad a 30 días. El registro utilizado en este estudio es administrado por el American College of Surgeons (ACS NSQIP). Los datos clínicos y demográficos de los pacientes, factores de riesgo y resultados a 30 días, son recolectados por personal entrenado en registros, utilizando una plantilla estandarizada y suministrados al repositorio nacional para el análisis y reporte [11,12].

Cardiovascular Information Registry
El CVIR en la Cleveland Clinic, es una base de datos comenzada por cardiólogos y cirujanos cardiovasculares en 1972 y que contiene información sobre 200.000 pacientes. Un equipo de enfermería y asistentes de investigación, conducido por un médico, recolecta prospectivamente datos clínicos, de laboratorio y de manejo para ese registro, extrayendo más de 400  variables de los registros clínicos de pacientes de cirugía cardíaca y torácica, para conformar el núcleo de los datos para el reporte de resultados, calidad del manejo e investigación. Ese equipo realiza el seguimiento de 15.000 a 20.000 pacientes pos año. Los datos registrados son supervisados por médicos oficiales de calidad a tiempo completo y un educador de enfermería. Aunque el CVIR recolecta datos similares a los recolectados por la Society of Thoracic Surgery National Database, la definición de los datos entre ambas bases de datos es variable.

Mediciones de calidad
Las morbilidades postoperatorias seleccionadas, comparadas a través de los 3 conjuntos de datos, para este estudio fueron: hemorragia postoperatoria o hematoma, insuficiencia respiratoria postoperatoria, TVP postoperatoria y sepsis postoperatoria.

Hemorragia postoperatoria
La hemorragia postoperatoria (o hematoma) fue definida por la AHRQ, con un código de diagnóstico de hemorragia postoperatoria o hematoma o un código de procedimiento reflejante de la necesidad de control de la hemorragia o drenaje del hematoma. El NSQIP define la hemorragia postoperatoria como el sangrado que requiere > 4 unidades de glóbulos rojos dentro de las primeras 72 horas. El CVIR define la hemorragia postoperatoria como el sangrado que requiere el retorno a la sala de operaciones.

Insuficiencia respiratoria postoperatoria
La insuficiencia respiratoria postoperatoria es definida por la AHRQ como la falla respiratoria aguda o apoyo con ventilador, más allá de las 96 horas postoperatorias, o reintubación 1 o más días después de un procedimiento electivo de cirugía mayor. El NSQIP y el CVIR definen a la insuficiencia respiratoria aguda como una intubación o apoyo con ventilador no planificados > 48 horas después de la cirugía.

Trombosis venosa profunda postoperatoria
Esta medición de la AHRQ busca identificar el tromboembolismo venoso (TEV) adquirido en el hospital, incluyendo la TVP o el embolismo pulmonar, con amplios códigos diagnósticos. Interesantemente, el TEV puede ocurrir pre o postoperatoriamente para ser incluido en la medición. En el NSQIP la TVP es denominada como TVP que requiere terapia. En el CVIR, la TVP requiere un estudio vascular para el diagnóstico y no incluye a la trombosis superficial

Sepsis postoperatoria
La AHRQ limita la evaluación de la sepsis postoperatoria a los pacientes que han tenido cirugía electiva, con un mínimo de 4 días de estadía hospitalaria, diagnosticados con septicemia adquirida en el hospital. El NSQIP define a la sepsis postoperatoria, utilizando varios umbrales fisiológicos y de laboratorio y la presencia de un cultivo en sangre positivo. El CVIR también define a la sepsis como una respuesta sistémica a la infección, utilizando varios umbrales fisiológicos y de laboratorio.

Métodos analíticos
Las 3 fuentes de datos fueron confrontadas en una manera de comparación por pares, para cada una de las 4 mediciones de calidad, codificadas como variables binarias si/no. Las tasas de concordancia y discordancia fueron resumidas en tablas de contingencia. El coeficiente Kappa de Cohen fue calculado para cada tabla de contingencia, como una medición del acuerdo entre las fuentes de datos. Dicho coeficiente es una medición del acuerdo entre pares binarios de datos. Habitualmente oscila entre 0 y 1, indicando el valor más alto  un mejor acuerdo. El análisis estadístico fue realizado usando el programa SAS 9.1 (SAS Institute) y el R.2.12.2 [13].

Resultados

Comparación entre el registro administrativo (AHRQ) y el registro nacional clínico (NSQIP)
Hubo 4.583 pacientes comunes en ambos registros

• Hemorragia postoperatoria
Cuando se comparó la frecuencia global de la hemorragia postoperatoria, la AHRQ identificó 42 casos y el NSQIP 39 casos; no obstante, hubo una mínima superposición en la identificación de este evento entre las 2 bases de datos. La AHRQ identificó solamente 36 casos no identificados en el NSQIP y el NSQIP identificó únicamente 33 casos no identificados en la AHRQ. Sólo 6 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,14 (concordancia pobre)

• Insuficiencia respiratoria postoperatoria
La AHRQ identificó 102 casos totales y 40 casos únicos de insuficiencia respiratoria postoperatoria. El NSQIP identificó 227 casos totales y 215 casos únicos. Sólo 62 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,30 (concordancia moderada).
 
• TVP postoperatoria
La AHRQ identificó 135 casos totales y 64 casos únicos de TVP. El NSQIP identificó 98 casos totales y 27 casos únicos. Sólo 71 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,60 (concordancia moderadamente buena).
 
• Sepsis postoperatoria
La AHRQ identificó 31 casos totales y 25 casos únicos casos de sepsis postoperatoria. El NSQIP identificó 128 casos totales y 122 casos únicos. Sólo 6 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,07 (concordancia extremadamente pobre).

Comparación entre el registro administrativo (AHRQ) y el registro clínico institucional (CVIR)
Hubo 7.897 pacientes comunes a ambos registros.
 
• Hemorragia postoperatoria
La AHRQ identificó 23 casos totales y 10 casos únicos de hemorragia postoperatoria. El CVIR identificó 277 casos totales y 264 casos únicos. Sólo 13 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,08 (concordancia extremadamente pobre).

• Insuficiencia respiratoria postoperatoria
La AHRQ identificó 13 casos totales y 7 casos únicos de insuficiencia respiratoria postoperatoria. El CVIR identificó 436 casos totales y 430 casos únicos. Sólo 6 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,02 (concordancia extremadamente baja).

• TVP postoperatoria
La AHRQ identificó 310 casos totales y 133 casos únicos de TVP postoperatoria. El CVIR identificó 315 casos totales y 138 casos únicos. Sólo 177 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,55 (concordancia moderadamente buena).

• Sepsis postoperatoria
La AHRQ identificó 97 casos totales y 84 casos únicos de sepsis postoperatoria. El CVIR identificó 56 casos totales y 43 casos únicos.  Sólo 13 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,16 (concordancia pobre).

Comparación entre el registro clínico nacional (NSQIP) y el registro clínico institucional (CVIR)
Hubo 886 pacientes comunes en los registros del NSQIP y del CVIR para la comparación de la calidad de las mediciones.

• Hemorragia postoperatoria
EL NSQIP identificó 17 casos totales y 8 casos únicos de hemorragia postoperatoria. El CVIR identificó 46 casos totales y 37 casos únicos. Sólo 9 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,27 (concordancia moderada).

• Insuficiencia respiratoria postoperatoria
El NSQ IP identificó 121 casos totales y 79 casos únicos de insuficiencia respiratoria postoperatoria. El CVIR identificó 62 casos totales y 20 casos únicos. Sólo 42 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,40 (concordancia moderadamente buena).

• TVP postoperatoria
El NSQIP identificó 26 casos totales y 6 casos únicos de TVP. El CVIR identificó 49 casos totales y 29 casos únicos. Sólo 20 casos fueron identificados en ambos registros, resultando en un coeficiente Kappa de 0,51 (concordancia moderadamente buena).

• Sepsis postoperatoria
El NSQIP identificó 22 casos totales y 21 casos únicos de sepsis postoperatoria. EL CVIR identificó 8 casos totales y 7 casos únicos. Sólo 1 caso fue identificado en ambos registros, resultando en un coeficiente Kappa de 0,51 (concordancia moderadamente buena).

Discusión

Este estudio muestra una considerable falta de concordancia entre las fuentes de datos administrativos y clínicos y entre 2 fuentes separadas de datos clínicos, sobre la calidad de las mediciones de los mismos eventos clínicos. La concordancia entre los datos administrativos de la AHRQ y los datos del registro clínico NSQIP, osciló entre muy pobre (7% para la sepsis y 14% para la hemorragia), a aceptable para la insuficiencia respiratoria postoperatoria (30%) y moderadamente buena para la TVP (60% de concordancia).

Las comparaciones entre la AHRQ y el CVIR fueron ligeramente más débiles. Sorprendentemente, las comparaciones entre los 2 registros clínicos, no fueron mejores que las comparaciones entre datos administrativos y clínicos. La comparación entre los registros clínicos fue levemente mejor que la comparación con los datos administrativos, para la hemorragia y la insuficiencia respiratoria, fue igual para la TVP y fue la comparación más débil para la sepsis.

Esos hallazgos llevaron a los autores a explorar los principales contribuyentes para las discrepancias. El contribuyente más obvio es la diferencia en la definición en las 3 fuentes de datos. Las definiciones de sangrado postoperatorio y TVP son diferentes en las 3 fuentes, a un nivel clínicamente relevante. Datos como los presentados en este trabajo, refuerzan la necesidad de un consenso nacional sobre definiciones, tal como las actuales iniciativas de armonización llevadas a cabo por el National Quality Forum. Esto es particularmente importante ante la presión en aumento para usar algunas de esas fuentes para el reporte público y rendición de cuentas en la atención de la salud.

Los otros contribuyentes principales para las discrepancias demostradas, son la secuencia completa de documentación sobre resultados, codificación o extracción de datos, manejo de los datos y presentación de los mismos. Se ha desarrollado toda una industria alrededor de esas áreas, con reglas y regulaciones tales como qué documentos cuentan, como deben codificarse los eventos y cómo se incluyen muchos códigos en los algoritmos de decisiones. Esa complejidad en aumento, con intentos bien intencionados de estandarizar cómo son recolectados y manejados los datos, ha permanecido fragmentada en cada grupo de interés y contribuye a las preocupantes diferencias demostradas en este artículo

Otros estudios han hallado discrepancias similares. Por ejemplo, discrepancias de la misma magnitud como la encontrada en este estudio, fueron mostradas por Cima y col. [14], en una publicación reciente comparando los resultados de la AHRQ-PSI con el NSQIP. Hallaron que menos de un tercio de eventos registrados en el NSQIP, fue identificado en el conjunto de datos de la AHRQ, con una concordancia muy similar para la TVP, el sangrado y la sepsis, como se demostró en el presente estudio [14]. En el trabajo de Cima se asumió que el NSQIP es el gold standard, pero el presente estudio demostró que hay diferentes estándares de registros clínicos, basados primariamente en definiciones distintas, como lo indicó la diferencia en los resultados entre el NSQIP y el CVIR en esta investigación.

La asunción de que los datos de los registros administrativos y clínicos son directamente comparables, ha sido desafiada por múltiples autores. En el escenario aislado del by pass de la arteria coronaria con injerto (BACI), Shahian y col. [4], compararon el volumen quirúrgico y los resultados, con los datos clínicos y administrativos recolectados. Hallaron un 27% de disparidad en el volumen quirúrgico y reportaron diferencias en la mortalidad entre los datos administrativos y clínicos.

Esos autores atribuyeron sus hallazgos a un número de factores como error en la clasificación, diferencias en los algoritmos para identificar el BACI y métodos estadísticos diferentes. En una comparación de los datos de un estudio prospectivo y el conjunto mínimo de datos básicos de egreso hospitalario, Ribera y col. [15], concluyeron que dicho conjunto no podía ser usado para predecir con certeza la mortalidad intrahospitalaria del BACI.

En una comparación de la mortalidad intrahospitalaria entre bases de datos clínicas y administrativas en el estado de Nueva York, Hannan y col. [16] demostraron que la base de datos clínicos fue mejor, para predecir la mortalidad, que los datos recolectados administrativamente; sin embargo, esa conclusión fue atribuida a 3 factores de riesgo recolectados clínicamente: fracción de eyección, presencia de enfermedad en la rama izquierda principal y si el paciente había sido sometido a reoperación.

Ugolini y Nobilio [17] compararon los datos administrativos y el puntaje de riesgo clínico EuroSCORE, para predecir la mortalidad intrahospitalaria después del BACI. Se reportó una mejora considerable en el desempeño predictivo de los datos administrativos, cuando las variables que reflejaban la complejidad del caso, suplementaron a los datos administrativos [17].

Los intentos actuales para mejorar la certeza de los datos administrativos, incluyen el uso de los indicadores presentes en el momento de la admisión, para evitar los problemas asociados con la mala clasificación [5]. Interesantemente, Aylin y col. [18], reportaron una discriminación similar entre los datos recolectados administrativamente y las bases de datos clínicos, en la habilidad para predecir el riesgo de mortalidad intrahospitalaria, entre los grupos de pacientes quirúrgicos. Otros autores han reportado resultados comparables de mortalidad con el uso de datos administrativos y clínicos [19].

Las implicaciones clínicas de este estudio, se relacionan con cómo son utilizados los datos para conducir iniciativas progresistas que resulten en una mejor atención. Aunque este estudio identifica definiciones, documentación y defectos en el manejo de los datos, en relación con cuánta calidad tienen los datos recolectados y usados, también enfatiza la importancia de entender las capacidades y/o limitaciones de las fuentes individuales de datos. Los prestadores de primera línea asumen que las mejoras en sus actividades están siendo exactamente evaluadas y que los datos que apoyan el desempeño mejorado de los proyectos son usados apropiadamente.

Los médicos necesitan estar activamente involucrados en el entendimiento y el uso de datos de calidad, porque ellos comprenden la atención clínica y conducen a mejorarla, basados en datos clínicos convincentes. Los médicos respetados son importantes campeones de la calidad y seguridad de los programas en los hospitales y deben ser socios de los administradores de salud  y de los equipos de calidad que conducen el cambio.

Como expertos satisfechos por las demandas de mayor calidad, ese equipo necesita traer un entendimiento de la documentación mejorada, flujo y codificación de los datos, definición en interpretación de los mismos y lógica para que los programas lleven a una mejora en la atención clínica. El foco se está moviendo del simple reporte público de datos al uso de ellos para mejorar el desempeño. El liderazgo del médico es esencial para tratar la valiosa proposición que enfrentamos, para abordar la calidad y el costo de la atención médica.

En el contexto del reporte público de la calidad de los resultados, debe responderse a la pregunta de si los datos usados son el reflejo de la atención. Además, dado que el reembolso está atado a esos resultados, debe responderse a la pregunta de si los datos son defectuosos. Nadie cuestiona que debe existir el reporte público y el reembolso atado a los resultados pero, como se demuestra en este estudio y en otros ejemplos citados anteriormente, los médicos – como profesionales – están teniendo dificultad en definir cuáles son los datos correctos.

Reconociendo que la profesión médica tiene múltiples fuentes de datos, se debería enfocar los esfuerzos para brindar claridad sobre que significan los datos, tanto en términos de cómo son usados para evaluar el desempeño y cómo el público es informado sobre los resultados para sus afecciones. Transparencia en la palabra adecuada, pero la mezcla de datos conflictivos hace difícil para el consumidor, entender el desempeño de la profesión médica. La estandarización de las definiciones, documentación, manejo de los datos y presentación de los mismos son pasos vitales para esa transición.

Conclusiones

Los autores de este trabajo tuvieron un problema con la considerable falta de concordancia entre los registros administrativos y clínicos, que reportaban mediciones de calidad sobre los mismos eventos clínicos. Los hallazgos en este estudio, no deben socavar la importancia de la recolección de datos sobre resultados, sino que – por el contrario – deben destacar la necesidad de hacerlo mejor, particularmente cuando esos datos son usados para reportes públicos e iniciativas para mejoras de los procesos. Eso es particularmente importante en circunstancias cuando más de una fuente de datos se usa para métricas de calidad y para monitorear el éxito de intervenciones de calidad.

La presión en aumento sobre las organizaciones de atención de la salud, para hacer a los proveedores responsables por la calidad de la atención brindada, está llevando a la necesidad de mejores datos. Existe una tensión en curso entre el uso de datos que están fácilmente y “libremente” disponibles y la sobrecarga añadida de registrar los datos, que requiere recursos y costos adicionales.

Ambas fuentes son necesarias y tienen propósitos diferentes. Hay oportunidad para refinar adicionalmente las definiciones administrativas de medición de la calidad, fuentes y uso. Los registros clínicos llevan a la mejora de la calidad y las definiciones estandarizadas y el desplazamiento hacia la captura de más datos electrónicos con los registros médicos electrónicos, pueden sumar a las fuentes de datos confiables para el reporte. Más importante, se verán ganancias en la atención del paciente, mediante el examen de los procesos y el entendimiento de los factores relacionados con las inconsistencias en los datos. La precisión y consistencia de los datos permitirán un adecuado enfoque sobre áreas de oportunidad, para mejorar el valor y los resultados en los pacientes.

♦ Comentario y resumen objetivo: Dr. Rodolfo D. Altrudi

Bibliografía
1. Best W.R., Khuri S.F., Phelan M., et al:  Identifying patient preoperative risk factors and postoperative adverse events in administrative databases: results from the Department of Veterans Affairs National Surgical Quality Improvement Program.   J Am Coll Surg 194. 257-266.2002; 
2. Gross P.A., Braun B.I., Kritchevsky S.B., Simmons B.P.:  Comparison of clinical indicators for performance measurement of health care quality: a cautionary note.   Clin Perform Qual Health Care 8. 202-211.2000; 
3. Hannan E.L., Racz M.J., Jollis J.G., Peterson E.D.:  Using Medicare claims data to assess provider quality for CABG surgery: does it work well enough?.   Health Serv Res 31. 659-678.1997; 
4. Shahian D.M., Silverstein T., Lovett A.F., et al:  Comparison of clinical and administrative data sources for hospital coronary artery bypass graft surgery report cards.   Circulation 115. 1518-1527.2007; 
5. Glance L.G., Osler T.M., Mukamel D.B., Dick A.W.:  Impact of the present-on-admission indicator on hospital quality measurement: experience with the Agency for Healthcare Research and Quality (AHRQ) Inpatient Quality Indicators.   Med Care 46. 112-119.2008; 
6. Herbert M.A., Prince S.L., Williams J.L., et al:  Are unaudited records from an outcomes registry database accurate?.  Ann Thorac Surg 77. 1960-1964.2004;discussion 1964–1965 
7. Lawthers A.G., McCarthy E.P., Davis R.B., et al:  Identification of in-hospital complications from claims data.  Is it valid? Med Care 38. 785-795.2000; 
8. Jollis J.G., Ancukiewicz M., DeLong E.R., et al:  Discordance of databases designed for claims payment versus clinical information systems.  Implications for outcomes researchAnn Intern Med 119. 844-850.1993; 
9. Ryan T.J.:  To understand cardiac surgical report cards: look both ways.  Circulation 115. 1508-1510.2007; 
10. Quality AfHRa:  Accessed August 31, 2011 http://www.qualityindicators.ahrq.gov/Modules/psi_overview.aspx
11. Khuri S.F., Henderson W.G., Daley J., et al:  Successful implementation of the Department of Veterans Affairs' National Surgical Quality Improvement Program in the private sector: the Patient Safety in Surgery study.   Ann Surg 248. 329-336.2008; 
12. ACS NSQIP: Accessed August 31, 2011 http://www.acsnsqip.org/
13. Team D.C.:  R: A language and environment for statistical computing.  R Foundation for Statistical Computing, Vienna, Austria ISBN 3-900051-07-0 http://www.R-project.org/
14. Cima R.R., Lackore K.A., Nehring S.A., et al:  How best to measure surgical quality?.   comparison of the Agency for Healthcare Research and Quality Patient Safety Indicators (AHRQ-PSI) and the American College of Surgeons National Surgical Quality Improvement Program (ACS-NSQIP) postoperative adverse events at a single institution Surgery 150. 943-949.2011; 
15. Ribera A., Marsal J.R., Ferreira-Gonzalez I., et al:  Predicting in-hospital mortality with coronary bypass surgery using hospital discharge data: comparison with a prospective observational study.  Rev Esp Cardiol 61. 843-852.2008; 
16. Hannan E.L., Kilburn , Jr , JrH., Lindsey M.L., Lewis R.:  Clinical versus administrative data bases for CABG surgery.  Does it matter? Med Care 30. 892-907.1992; 
17. Ugolini C., Nobilio L.:  Risk adjustment for coronary artery bypass graft surgery: an administrative approach versus EuroSCORE.   Int J Qual Health Care 16. 157-164.2004; 
18. Aylin P., Bottle A., Majeed A.:  Use of administrative data or clinical databases as predictors of risk of death in hospital: comparison of models.   BMJ 334. 1044.2007;  
19. Hall B.L., Hirbe M., Waterman B., et al:  Comparison of mortality risk adjustment using a clinical data algorithm (American College of Surgeons National Surgical Quality Improvement Program) and an administrative data algorithm (Solucient) at the case level within a single institution.  J Am Coll Surg 205. 767-777.2007