En este artículo se resume la metodología para la lectura crítica de artículos sobre intervenciones terapéuticas y revisiones sistemáticas (RS). Como complemento a estos apuntes teóricos, en la revista del Comité de Trabajo de Pediatría Basada en la Evidencia (https://evidenciasenpediatria.es/) se pueden encontrar numerosos ejemplos prácticos. Para sistematizar la lectura crítica según las recomendaciones del Evidence Based Medicine Working Group, en su versión adaptada por el grupo CASPe, se seguirán 3 pasos: analizar la validez, la importancia y la aplicabilidad de los resultados1.

El ensayo clínico (EC) aleatorizado es el patrón oro para estudiar la eficacia y seguridad de intervenciones terapéuticas. Se trata de un estudio experimental prospectivo en el cual el investigador provoca y controla las variables y los pacientes son asignados aleatoriamente a las distintas intervenciones que se comparan. Existen diversos tipos de EC (tabla 1), que se desarrollan en 7 pasos clave (fig. 1). El análisis crítico requiere responder a una serie de preguntas2–7:

• A.

  Analizar la validez

  • a)

    Criterios principales: si el estudio no los cumple, probablemente no valga la pena continuar leyendo.

Figura 1.

Fundamentos y metodología del ensayo clínico. Siete pasos a seguir.

(0.07MB).

* ¿Se orienta el EC sobre una pregunta claramente definida?

El EC debe estar encaminado a responder a una única pregunta. Debe definirse claramente en términos de población de estudio, intervención realizada y resultados considerados. La variable principal de valoración debe ser única y clínicamente relevante.

* ¿Se ha realizado de forma aleatoria la asignación de los tratamientos a los pacientes?

La aleatorización se define como el procedimiento sistemático y reproducible por el que los sujetos participantes son distribuidos al azar en los distintos grupos de tratamiento. Tiende a asegurar que se produce una distribución equilibrada de todas las variables, tanto conocidas como desconocidas, entre los grupos (de forma directamente proporcional al tamaño muestral).

* ¿Se han tenido en cuenta adecuadamente todos los pacientes incluidos en el EC y se los ha considerado a la conclusión del mismo?, ¿se ha realizado seguimiento completo?

Habrá que evaluar si las pérdidas son cualitativa o cuantitativamente importantes como para invalidar los resultados. Las pérdidas prealeatorización condicionan fundamentalmente la capacidad de generalización de los resultados (se considera que si incluye 80-90% de los sujetos elegibles es representativo de la población). Las pérdidas postaleatorización podrían alterar la certeza de los resultados (si las retiradas o abandonos suponen más del 20%). Es relevante evaluar si hay diferencias en el número de pérdidas entre los grupos.

* ¿Se han analizado los pacientes en los grupos a los que fueron asignados aleatoriamente, según análisis por intención de tratar?

Incluye a todos los sujetos aleatorizados a los grupos de tratamiento, independientemente de que hayan recibido o no alguna dosis del tratamiento asignado o se haya producido algún error en la administración. En este caso el análisis es por intención de tratar, en contraposición con el análisis por protocolo (según el tratamiento administrado).

• b)

  Criterios secundarios: permiten 3 tipos de respuesta (sí, no, no se puede saber). Ayudan a detectar riesgo de sesgos, pero es posible que no invaliden los resultados por completo.

* ¿Se ha mantenido un diseño ciego respecto al tratamiento aplicado, en cuanto a los pacientes, los clínicos y el personal del estudio?

El enmascaramiento (carácter ciego) implica una serie de precauciones cuyo objetivo es que el paciente, el equipo investigador o ambos desconozcan la asignación de los tratamientos. Se pretende evitar los sesgos de valoración por parte de todos los implicados, pero principalmente en el paciente (efecto placebo, efecto nocebo, sesgo de retirada) y el investigador (sesgo de evaluación, sesgo de retirada).

* ¿Eran similares los grupos al inicio del EC?

Si existen diferencias basales en determinadas características de los grupos comparados, puede comprometerse la validez del estudio. Esta pregunta se suele responder analizando la habitual tabla inicial en la que se detallan las características de los grupos de intervención y de control.

* ¿Se han tratado a los grupos de la misma forma, aparte de la intervención experimental?

Valorar si se han realizado intervenciones distintas del tratamiento en estudio (cointervenciones) de forma distinta a los grupos de tratamiento y si esto puede influir en los resultados.

• B.

  Analizar la importancia de los resultados

* ¿Cuál ha sido la magnitud del efecto de tratamiento?

La fuerza de la asociación es la principal medida que indica la validez de una evidencia: puede medirse mediante el riesgo relativo (RR), que se utiliza principalmente en el EC y en el estudio de cohortes, o la odds ratio (OR), que se utiliza principalmente en el estudio de casos y controles y en el metanálisis (MA). El RR es el cociente entre el riesgo de sufrir un determinado evento en el grupo expuesto a un determinado tratamiento y el riesgo de sufrirlo en el grupo control. Si el RR es 1 indica que no existe asociación, >1 indica asociación positiva y <1 indica asociación negativa. Las estimaciones puntuales son poco informativas y deben ir siempre acompañadas de su intervalo de confianza (IC).

La reducción relativa del riesgo (RRR) es la diferencia entre el porcentaje de eventos en el grupo control y el porcentaje de eventos en el grupo experimental, dividido por el porcentaje de eventos en el grupo control. Esta medida tiene una limitación: no es capaz de diferenciar entre los grandes efectos absolutos de un tratamiento y los efectos más pequeños. Para solventar este problema se dispone de la reducción absoluta del riesgo, que es la diferencia entre el porcentaje de eventos en el grupo control y el porcentaje de eventos en el grupo experimental, y que tiene la ventaja de tener en cuenta la susceptibilidad basal de los pacientes.

Una vez que el clínico está convencido de la validez y de la fortaleza de la asociación, necesita convertir estos datos en alguna medida de impacto claro en la práctica clínica. La más útil es el número necesario de pacientes a tratar (NNT), que se obtiene como el inverso de la reducción absoluta del riesgo. El NNT mide el «esfuerzo» terapéutico que debe realizarse para prevenir un suceso indeseable adicional. Pero ¿es grande o pequeño? La respuesta no está relacionada con la significación estadística, sino con el significado clínico (depende de la importancia del evento a evitar, pero también del precio, la facilidad de cumplimiento y la inocuidad del tratamiento). El IC del NNT será fundamental para comprender la precisión de los resultados y su impacto. En la tabla 2 se pone un ejemplo hipotético respecto al cálculo de las medidas del efecto de una intervención terapéutica.

* ¿Con qué precisión se ha estimado el efecto del tratamiento?

El IC informa del margen de valores entre los cuales es probable que esté el verdadero valor de la población real a partir de los resultados obtenidos del estudio. Es, por tanto, una medida de la precisión (o de la incertidumbre) de los hallazgos. El IC da información cuantitativa (frente al valor de la p, que solo informa de la probabilidad de que las diferencias encontradas se deban al azar –significación estadística–, independientemente de su magnitud).

• C.

  Analizar la aplicabilidad de los hallazgos del EC a la práctica clínica

* ¿Son aplicables los resultados a nuestros pacientes?

No se trata simplemente de determinar si las características de los sujetos del EC y nuestro paciente son diferentes, sino de si estas diferencias pueden hacer sospechar que se obtendrán resultados distintos en ambos. Algunos aspectos a tener en cuenta son: biológicos (ej. ¿existen diferencias fisiopatológicas en la enfermedad que puedan conducir a una respuesta diferente al tratamiento?, ¿existen diferencias en características del paciente que puedan modificar la respuesta al tratamiento?), sociales y económicos (ej. ¿existen diferencias potenciales en la adhesión a la intervención por parte del paciente o el sistema sanitario que puedan disminuir la respuesta al tratamiento?) y epidemiológicos (ej. ¿el paciente tiene otros problemas de salud concomitantes que puedan alterar significativamente los riesgos y beneficios del tratamiento?).

* ¿Cuál sería el beneficio potencial de la aplicación de la intervención en este paciente?

Para que decidamos aplicar una determinada intervención es importante analizar el beneficio potencial que recibirá el paciente. Por ejemplo, deberemos ser cuidadosos cuando los estudios utilizan una variable intermedia para evaluar el efecto de la intervención en vez de un evento clínico de mayor relevancia directa para el paciente (descenso del colesterol frente a disminución de eventos isquémicos, por ejemplo).

* ¿Se han considerado todos los posibles resultados clínicamente importantes?

Es necesario analizar todos los efectos de relevancia clínica que puede producir el tratamiento, como efectos adversos, impacto sobre la calidad de vida, etc.

* ¿Compensan los beneficios del tratamiento los costes y riesgos del mismo?

Cuando se trata de una intervención sanitaria sencilla, sin riesgos y que es muy eficaz en la reducción de la mortalidad o la prevención de una enfermedad grave, la decisión es fácil. En otras ocasiones, se requiere una discusión detallada de todos los aspectos relacionados con la intervención, su cumplimiento, sus potenciales efectos beneficiosos y perjudiciales, costes, facilidad de aplicación, grado de cumplimiento y accesibilidad.

* ¿La intervención y sus consecuencias satisfacen los valores y preferencias de los pacientes?

Tendremos que exponer al paciente nuestras conclusiones sobre los resultados potenciales de aplicar la intervención en su caso. Para la decisión definitiva, es necesario contar con su opinión y promover decisiones responsables sobre su salud desde una posición de respeto y empatía.

Las RS y los MA, como métodos de síntesis de información cualitativa y cuantitativa respectivamente, son considerados unas de las mejores fuentes de evidencia científica, aunque, como cualquier investigación retrospectiva, tienen limitaciones, principalmente por la calidad de la información disponible y su reproducibilidad. Para el análisis de este tipo de publicaciones seguiremos pasos similares a los de los EC, evaluando validez, importancia y aplicabilidad8,9.

• A.

  Analizar la validez

  • a)

    Criterios principales:

* ¿Se hizo la revisión sobre un tema claramente definido?

Se debe definir con claridad una pregunta clínica concreta e importante en términos de la relación entre condición de interés (enfermedad de estudio), población, exposición (a un tratamiento, prueba diagnóstica, potencial efecto adverso, etc.) y uno o más resultados de interés.

* ¿Buscaron los autores de forma exhaustiva el tipo de artículos adecuados?

Los criterios utilizados para la identificación y selección de los artículos candidatos a ser incluidos deben estar definidos explícitamente y ser apropiados a la pregunta planteada. El mejor tipo de estudio será el que se dirige a la pregunta objeto de la revisión y tiene un diseño apropiado para responderla. Los criterios de validez para su selección deben basarse en los criterios habituales de validez (específicos para los distintos tipos de artículo de investigación).

Además del tipo de diseño, debe valorarse el tipo de sujetos, el ámbito de las intervenciones evaluadas y las de comparación, los grupos control y los resultados clínicos que interesa estudiar, de forma que se incluyan estudios relativamente homogéneos en cuanto al problema de salud y al abordaje metodológico que realizan del mismo. Aunque se evalúe el mismo problema clínico, diferencias en los elementos esenciales de un estudio (pacientes, intervenciones y resultados) pueden conducir a conclusiones diferentes.

• b)

  Criterios secundarios:

* ¿Estaban incluidos los estudios importantes y relevantes?

La validez de una RS depende de que se hayan evaluado todas las pruebas científicas disponibles y que no hayan quedado excluidos estudios relevantes. Una búsqueda global y no sesgada es una de las diferencias clave entre una RS y una revisión narrativa. La recuperación de artículos de las bases de datos bibliográficas electrónicas puede variar mucho en función de la estrategia de búsqueda utilizada, por lo que se debe especificar cómo se ha diseñado la búsqueda y los criterios de selección de artículos, así como las bases de datos consultadas. Los autores deben haber hecho además un seguimiento de las referencias de los estudios identificados y, si fuera preciso, contactar con expertos para identificar también estudios no publicados. De este modo se disminuye el riesgo de sesgos de publicación (probabilidad más elevada de ser publicados los estudios con resultados positivos) y, por tanto, de sobrestimar la eficacia. Lo ideal es que la selección de artículos se ilustre de forma gráfica mediante un diagrama de flujo. En la figura 2 se expone la propuesta de 2009 de la declaración PRISMA10, empleada habitualmente en las RS publicadas hasta el momento. Recientemente la propuesta ha sido actualizada a una versión con información más detallada11.

Figura 2.

Diagrama de flujo de la información de las diferentes fases de una revisión sistemática.

(0.1MB).

* ¿Se ha hecho lo suficiente para valorar la calidad de los estudios incluidos?

La revisión de expertos no garantiza la validez de la investigación publicada. Las diferencias metodológicas de los estudios pueden explicar importantes diferencias entre los resultados (los estudios menos rigurosos tienen tendencia a sobrestimar la efectividad de las intervenciones terapéuticas). Los criterios para evaluar la validez deben ser explícitos. Esta evaluación, que estará sujeta a variabilidad (tanto a errores aleatorios como sistemáticos), debe haber sido realizada de forma independiente por más de un observador y haber sido ponderado su grado de concordancia en cuanto a qué estudios incluir y qué datos extraer de ellos. Una herramienta útil para evaluar RS de artículos sobre intervenciones sanitarias es A Measurement Tool to Assess Systematic Reviews 2 –AMSTAR 2–12.

* Si los resultados de los diferentes estudios han sido mezclados para obtener un resultado «combinado», ¿era razonable hacer eso?

Para poder obtener una estimación global del efecto de interés a partir de diversos estudios, debe poderse asumir que las diferencias entre ellos son debidas exclusivamente al azar, es decir, que los resultados de los diferentes estudios son homogéneos.

La mayor parte de las revisiones documentan diferencias importantes de los pacientes, las exposiciones, los parámetros de resultados y los métodos de investigación de un estudio a otro. Debemos valorar que se ha estudiado esta heterogeneidad. La forma más usada es el gráfico en embudo o funnel plot. Entre los métodos estadísticos disponibles para el estudio de heterogeneidad están la Q de Cochran, en la que la heterogeneidad será significativa cuando p<0,05, y la I2, con la que se establecerá heterogeneidad baja, moderada o alta según los valores límites de 25, 50 y 75%, respectivamente. Si se detecta una heterogeneidad significativa entre los estudios primarios habrá varias posibilidades: 1) no combinarlos y limitarse a una síntesis cualitativa de los resultados; 2) hacer un análisis estratificado según la variable que cause la heterogeneidad, siempre que sea posible identificarla, y 3) recurrir a una metarregresión, opción más compleja.

• B.

  Analizar la importancia de los resultados

* ¿Cuál es el resultado global de la revisión? ¿Han sido interpretados con sentido común?

El objetivo es proporcionar una estimación global del efecto de una intervención basada en un promedio ponderado de los resultados de todos los estudios de calidad disponibles. Generalmente, los resultados de cada estudio se ponderan por el inverso de su varianza, de forma que se concede un mayor peso a los estudios de mayor tamaño, que proporcionan estimaciones más precisas. A veces, la ponderación también tiene en cuenta la calidad metodológica de los estudios. Los resultados suelen expresarse como una medida relativa (OR, RR o RRR). Aparte de sintetizar los datos numéricos, la información relevante relativa a los estudios primarios incluidos debe estar correctamente tabulada (criterios de inclusión, tamaños de muestra, características de los pacientes, características fundamentales de los estudios, resultados principales y secundarios). Actualmente, los resultados de los MA tienden a presentarse de manera estandarizada en un diagrama denominado forest plot (fig. 3).

Figura 3.

Ejemplo de forest plot de un metanálisis, extraído con permiso de los autores (Comité/Grupo de Pediatría Basada en la Evidencia de la AEP y AEPap. COVID-19 en Pediatría: valoración crítica de la evidencia. 2.ª ed. Actualización 28 de febrero de 2022). Estructurado en 5 columnas:

1. Estudios primarios: (autor y año) con los grupos o subgrupos de pacientes incluidos en el metanálisis.

2. Resultados de cada estudio: grupo de intervención y grupo control.

3. Estimación del peso de cada estudio, en proporción.

4. Estimación del efecto con sus intervalos de confianza.

5. Representación propia del forest plot: el resultado de cada estudio es una línea horizontal cuya anchura representa el IC 95%/precisión; la línea vertical «de efecto nulo»: OR=1 o una diferencia de medias=0 (si el estudio lo cruza significa que no existen diferencias significativas entre los tratamientos o que el tamaño de la muestra es insuficiente para detectar dichas diferencias); el diamante: la suma de los resultados de todos los EC, con un nuevo IC mucho más estrecho o preciso.

(0.2MB).

* ¿Cuán precisos son los resultados?

La magnitud del resultado observado en un estudio no es más que una estimación puntual de la verdadera magnitud del efecto o asociación de interés. Si se hubiera estudiado una muestra diferente de sujetos (o de estudios, en el caso de la RS y/o el MA), podría haberse obtenido un resultado distinto, aunque es de esperar que no demasiado diferente. Es importante determinar la precisión con que se ha realizado la estimación mediante el IC. El IC del 95% es aquel entre cuyos límites se tiene el 95% de confianza de que se encuentre la verdadera magnitud del efecto. Si dentro de este intervalo está incluido el valor nulo (valor 0 en caso de medida del efecto de una diferencia y valor 1 en caso de medidas relativas basadas en cocientes como RR o OR), se concluirá que el resultado no es estadísticamente significativo.

• C.

  Analizar la aplicabilidad a la práctica clínica de las publicaciones sobre RS y/o MA

* ¿Se pueden aplicar los resultados en tu medio?

Se debe evaluar la validez externa de los estudios compilados en la revisión. ¿Están descritas las características de los pacientes incluidos en los estudios primarios?, ¿son parecidos a los nuestros? Pueden existir dudas sobre la aplicabilidad por características concretas de nuestros pacientes (edad, gravedad de la enfermedad, comorbilidades, etc.) que devienen en el problema del análisis de subgrupo; en cualquier caso, están disponibles guías detalladas para decidir si son creíbles los análisis de subgrupo.

* ¿Se han considerado todos los resultados importantes para tomar la decisión?

Aunque es conveniente buscar RS focalizadas en una pregunta clínica (variable principal), porque es más probable que ofrezca resultados válidos, esto no significa que no requiera la consideración de otros parámetros de interés (variables secundarias).

* ¿Se han considerado todos los posibles resultados clínicamente importantes?

No es necesario evaluar sólo la respuesta adecuada, sino todas las otras posibles respuestas o efectos de relevancia clínica que puede producir el tratamiento, como su impacto sobre la calidad de vida de los sujetos.

* ¿Los beneficios merecen la pena frente a los perjuicios y costes?

La decisión clínica final debe suponer que los beneficios superen los posibles riesgos y costes, considerando siempre las características individuales y las preferencias de cada paciente concreto.

En definitiva, los EC y las RS pueden aportar la mayor calidad de evidencia para la toma de decisiones clínicas en nuestro día a día. Sin embargo, no todos los estudios publicados aportan información fiable y relevante para responder a nuestras preguntas clínicas. Por ello, es fundamental analizar siempre la validez, la importancia y la aplicabilidad de los resultados antes de poner en práctica con nuestros pacientes las conclusiones de cualquier estudio.

No existe conflicto de intereses.