El metanálisis es la combinación estadística de los resultados de múltiples estudios que abordan una pregunta de investigación similar. Una parte importante de este método implica calcular el tamaño del efecto en todos los estudios, lo que implica extraer tamaños del efecto y medidas de varianza de varios estudios. Los metanálisis son fundamentales para respaldar las propuestas de subvenciones para investigación, dar forma a las pautas de tratamiento e influir en las políticas de salud. También son fundamentales para resumir la investigación existente para guiar estudios futuros, consolidando así su papel como metodología fundamental en la metaciencia . Los metanálisis son a menudo, pero no siempre, componentes importantes de un procedimiento de revisión sistemática . Por ejemplo, se puede realizar un metanálisis de varios ensayos clínicos de un tratamiento médico, en un esfuerzo por obtener una mejor comprensión de qué tan bien funciona el tratamiento.
El término "metaanálisis" fue acuñado en 1976 por el estadístico Gene Glass , [1] [2] quien afirmó que "el metaanálisis se refiere al análisis de análisis" . [3] El trabajo de Glass tenía como objetivo describir medidas agregadas de relaciones y efectos. [4] Si bien a Glass se le atribuye la autoría del primer metanálisis moderno, un artículo publicado en 1904 por el estadístico Karl Pearson en el British Medical Journal [5] recopiló datos de varios estudios sobre la inoculación de tifoidea y se considera la primera vez que se realiza un metanálisis. Se utilizó un enfoque analítico para agregar los resultados de múltiples estudios clínicos. [6] [7] Se pueden encontrar muchos otros ejemplos de metanálisis tempranos, incluidas las pruebas de aptitud ocupacional, [8] [9] y la agricultura. [10]
El primer metanálisis modelo fue publicado en 1978 sobre la eficacia de los resultados de la psicoterapia por Mary Lee Smith y Gene Glass . [2] [11] Después de la publicación de su artículo hubo rechazo sobre la utilidad y validez del metanálisis como herramienta para la síntesis de evidencia. El primer ejemplo de esto fue el de Han Eysenck , quien en un artículo de 1978 en respuesta al trabajo realizado por Mary Lee Smith y Gene Glass calificó el metanálisis como un "ejercicio de megatontería". [12] [13] Más tarde, Eysenck se referiría al metanálisis como "alquimia estadística" [14] A pesar de estas críticas, el uso del metanálisis solo ha crecido desde su introducción moderna. En 1991 se habían publicado 334 metanálisis; [13] este número aumentó a 9.135 en 2014. [1] [15]
El campo del metanálisis se expandió enormemente desde la década de 1970 y abarca múltiples disciplinas, incluidas la psicología, la medicina y la ecología. [1] Además, la creación más reciente de comunidades de síntesis de evidencia ha aumentado la polinización cruzada de ideas, métodos y la creación de herramientas de software en todas las disciplinas. [16] [17] [18]
Un metanálisis suele ir precedido de una revisión sistemática, ya que esto permite la identificación y evaluación crítica de toda la evidencia relevante (limitando así el riesgo de sesgo en las estimaciones resumidas). Los pasos generales son entonces los siguientes: [19]
El Manual Cochrane proporciona orientación formal para la realización y el informe de metanálisis.
Para conocer las pautas de presentación de informes, consulte la declaración Elementos de informes preferidos para revisiones sistemáticas y metaanálisis (PRISMA). [20]
Uno de los pasos más importantes de un metanálisis es la recopilación de datos. Para una búsqueda eficiente en la base de datos, es necesario identificar las palabras clave adecuadas y los límites de búsqueda. [21] El uso de operadores booleanos y límites de búsqueda puede ayudar en la búsqueda de literatura. [22] [23] Hay varias bases de datos disponibles (por ejemplo, PubMed, Embase, PsychInfo), sin embargo, corresponde al investigador elegir las fuentes más apropiadas para su área de investigación. [24] De hecho, muchos científicos utilizan términos de búsqueda duplicados dentro de dos o más bases de datos para cubrir múltiples fuentes. También se pueden buscar estudios elegibles en las listas de referencias de estudios elegibles (es decir, bola de nieve). La búsqueda inicial puede arrojar un gran volumen de estudios. Muy a menudo, el resumen o el título del manuscrito revelan que el estudio no es elegible para su inclusión, según los criterios preespecificados. Estos estudios pueden descartarse. Sin embargo, si parece que el estudio puede ser elegible (o incluso si hay alguna duda), se puede conservar el documento completo para una inspección más detallada. También se pueden buscar artículos relevantes en las listas de referencias de artículos elegibles. Estos resultados de búsqueda deben detallarse en un diagrama de flujo de PRIMSA [25] que detalla el flujo de información a través de todas las etapas de la revisión. Por lo tanto, es importante tener en cuenta cuántos estudios se obtuvieron después de utilizar los términos de búsqueda especificados y cuántos de estos estudios se descartaron y por qué motivo. [24] Los términos de búsqueda y la estrategia deben ser lo suficientemente específicos como para que el lector pueda reproducir la búsqueda. También se debe proporcionar el rango de fechas de los estudios, junto con la fecha (o el período de fechas) en que se realizó la búsqueda. [26]
Un formulario de recopilación de datos proporciona un medio estandarizado para recopilar datos de estudios elegibles. Para un metanálisis de datos correlacionales, la información sobre el tamaño del efecto generalmente se recopila como el estadístico r de Pearson . Las correlaciones parciales a menudo se informan en las investigaciones; sin embargo, estas pueden inflar las relaciones en comparación con las correlaciones de orden cero. [27] Además, las variables parciales probablemente variarán de un estudio a otro. Como consecuencia, muchos metanálisis excluyen las correlaciones parciales de su análisis. [24] Como último recurso, se pueden utilizar digitalizadores de gráficos para extraer puntos de datos de los diagramas de dispersión (si están disponibles) para el cálculo de la r de Pearson . [28] [29] También se deben recopilar datos que informen sobre características importantes del estudio que pueden moderar los efectos, como la edad media de los participantes. [30] También se puede incluir una medida de la calidad del estudio en estos formularios para evaluar la calidad de la evidencia de cada estudio. [31] Hay más de 80 herramientas disponibles para evaluar la calidad y el riesgo de sesgo en estudios observacionales que reflejan la diversidad de enfoques de investigación entre campos. [31] [32] [33] Estas herramientas generalmente incluyen una evaluación de cómo se midieron las variables dependientes, una selección adecuada de los participantes y un control adecuado de los factores de confusión. Otras medidas de calidad que pueden ser más relevantes para los estudios correlacionales incluyen el tamaño de la muestra, las propiedades psicométricas y la presentación de informes sobre los métodos. [24]
Una consideración final es si se deben incluir estudios de la literatura gris, que se define como investigaciones que no han sido publicadas formalmente. [34] Este tipo de literatura incluye resúmenes de conferencias, [35] disertaciones, [36] y preimpresiones. [37] Si bien la inclusión de literatura gris reduce el riesgo de sesgo de publicación, la calidad metodológica del trabajo es a menudo (pero no siempre) inferior a la del trabajo publicado formalmente. [38] [39] Los informes de las actas de congresos, que son la fuente más común de literatura gris, [40] están mal informados [41] y los datos de las publicaciones posteriores suelen ser inconsistentes, observándose diferencias en casi el 20 % de los estudios publicados. . [42]
En general, se pueden distinguir dos tipos de evidencia al realizar un metanálisis: datos de participantes individuales (IPD) y datos agregados (AD). Los datos agregados pueden ser directos o indirectos.
La DA está más comúnmente disponible (por ejemplo, en la literatura) y normalmente representa estimaciones resumidas como odds ratios o riesgos relativos. Esto se puede sintetizar directamente a través de estudios conceptualmente similares utilizando varios enfoques (ver más abajo). Por otro lado, los datos agregados indirectos miden el efecto de dos tratamientos, cada uno de los cuales se comparó con un grupo de control similar en un metanálisis. Por ejemplo, si el tratamiento A y el tratamiento B se compararon directamente con el placebo en metanálisis separados, podemos usar estos dos resultados combinados para obtener una estimación de los efectos de A versus B en una comparación indirecta como efecto A versus placebo menos efecto B. frente a placebo.
La evidencia de IPD representa datos sin procesar recopilados por los centros de estudio. Esta distinción ha planteado la necesidad de diferentes métodos metanalíticos cuando se desea la síntesis de evidencia y ha llevado al desarrollo de métodos de una y dos etapas. [43] En los métodos de una etapa, los DPI de todos los estudios se modelan simultáneamente teniendo en cuenta la agrupación de participantes dentro de los estudios. Los métodos de dos etapas primero calculan las estadísticas resumidas para la EA de cada estudio y luego calculan las estadísticas generales como un promedio ponderado de las estadísticas del estudio. Al reducir la IPD a AD, también se pueden aplicar métodos de dos etapas cuando la IPD esté disponible; esto los convierte en una opción atractiva a la hora de realizar un metanálisis. Aunque convencionalmente se cree que los métodos de una y dos etapas producen resultados similares, estudios recientes han demostrado que en ocasiones pueden llevar a conclusiones diferentes. [44] [45]
El modelo de efectos fijos proporciona un promedio ponderado de una serie de estimaciones de estudios. La inversa de la varianza de las estimaciones se utiliza comúnmente como ponderación del estudio, de modo que los estudios más grandes tienden a contribuir más que los estudios más pequeños al promedio ponderado. En consecuencia, cuando los estudios dentro de un metanálisis están dominados por un estudio muy grande, los hallazgos de estudios más pequeños prácticamente se ignoran. [46] Lo más importante es que el modelo de efectos fijos supone que todos los estudios incluidos investigan la misma población, utilizan las mismas variables y definiciones de resultados, etc. Esta suposición suele ser poco realista ya que la investigación suele ser propensa a varias fuentes de heterogeneidad . [47]
Un modelo común utilizado para sintetizar investigaciones heterogéneas es el modelo de efectos aleatorios del metanálisis. Este es simplemente el promedio ponderado de los tamaños del efecto de un grupo de estudios. La ponderación que se aplica en este proceso de promedio ponderado con un metanálisis de efectos aleatorios se logra en dos pasos: [48]
Esto significa que cuanto mayor sea esta variabilidad en los tamaños del efecto (también conocida como heterogeneidad ), mayor será la falta de ponderación y esto puede llegar a un punto en el que el resultado del metanálisis de efectos aleatorios se convierta simplemente en el tamaño del efecto promedio no ponderado entre los estudios. En el otro extremo, cuando todos los tamaños del efecto son similares (o la variabilidad no excede el error de muestreo), no se aplica ningún REVC y el metanálisis de efectos aleatorios pasa a ser simplemente un metanálisis de efectos fijos (solo ponderación de varianza inversa).
El alcance de esta reversión depende únicamente de dos factores: [49]
Dado que ninguno de estos factores indica automáticamente un estudio más amplio defectuoso o estudios más pequeños más confiables, la redistribución de ponderaciones bajo este modelo no guardará relación con lo que estos estudios realmente podrían ofrecer. De hecho, se ha demostrado que la redistribución de ponderaciones es simplemente en una dirección, de estudios más grandes a más pequeños a medida que aumenta la heterogeneidad hasta que finalmente todos los estudios tienen la misma ponderación y ya no es posible una mayor redistribución. [49] Otro problema con el modelo de efectos aleatorios es que los intervalos de confianza más utilizados generalmente no mantienen su probabilidad de cobertura por encima del nivel nominal especificado y, por lo tanto, subestiman sustancialmente el error estadístico y potencialmente confían demasiado en sus conclusiones. [50] [51] Se han sugerido varias soluciones [52] [53] pero el debate continúa. [51] [54] Otra preocupación es que el efecto promedio del tratamiento a veces puede ser incluso menos conservador en comparación con el modelo de efectos fijos [55] y, por lo tanto, engañoso en la práctica. Una solución interpretativa que se ha sugerido es crear un intervalo de predicción alrededor de la estimación de efectos aleatorios para representar el rango de posibles efectos en la práctica. [56] Sin embargo, una suposición detrás del cálculo de dicho intervalo de predicción es que los ensayos se consideran entidades más o menos homogéneas y que incluyen poblaciones de pacientes y tratamientos de comparación deben considerarse intercambiables [57] y esto suele ser inalcanzable en la práctica.
Hay muchos métodos utilizados para estimar la varianza entre estudios, siendo el estimador de máxima verosimilitud restringido el menos propenso al sesgo y uno de los más utilizados. [58] Existen varias técnicas iterativas avanzadas para calcular la varianza entre estudios, incluido el método de máxima verosimilitud y el de máxima verosimilitud restringida, y los modelos de efectos aleatorios que utilizan estos métodos se pueden ejecutar con múltiples plataformas de software, incluidas Excel, [59] Stata, [60] SPSS. , [61] y R. [62]
La mayoría de los metanálisis incluyen entre 2 y 4 estudios y dicha muestra suele ser inadecuada para estimar con precisión la heterogeneidad . Por lo tanto, parece que en los metanálisis pequeños se obtiene una estimación incorrecta de la varianza cero entre los estudios, lo que lleva a un supuesto de homogeneidad falso. En general, parece que la heterogeneidad se subestima constantemente en los metanálisis y análisis de sensibilidad en los que se supone que los niveles altos de heterogeneidad podrían ser informativos. [63] Estos modelos de efectos aleatorios y paquetes de software mencionados anteriormente se relacionan con metanálisis de estudios agregados y los investigadores que deseen realizar metanálisis de datos de pacientes individuales (IPD) deben considerar enfoques de modelado de efectos mixtos. [64]
Doi y Barendregt, en colaboración con Khan, Thalib y Williams (de la Universidad de Queensland, la Universidad del Sur de Queensland y la Universidad de Kuwait), han creado una alternativa basada en cuasi verosimilitud de varianza inversa (IVhet) al modelo de efectos aleatorios (RE) para el cual Los detalles están disponibles en línea. [59] Esto se incorporó a MetaXL versión 2.0, [65] un complemento gratuito de Microsoft Excel para metanálisis producido por Epigear International Pty Ltd y disponible el 5 de abril de 2014. Los autores afirman que una clara ventaja de este modelo es que resuelve los dos problemas principales del modelo de efectos aleatorios. La primera ventaja del modelo IVhet es que la cobertura se mantiene en el nivel nominal (generalmente 95%) para el intervalo de confianza, a diferencia del modelo de efectos aleatorios, cuya cobertura disminuye a medida que aumenta la heterogeneidad. [50] [51] La segunda ventaja es que el modelo IVhet mantiene los pesos de varianza inversa de los estudios individuales, a diferencia del modelo RE que otorga más peso a los estudios pequeños (y, por lo tanto, menos a los estudios más grandes) con una heterogeneidad creciente. Cuando la heterogeneidad aumenta, las ponderaciones de los estudios individuales según el modelo RE se vuelven iguales y, por lo tanto, el modelo RE arroja una media aritmética en lugar de un promedio ponderado. Este efecto secundario del modelo RE no ocurre con el modelo IVhet, que por lo tanto difiere de la estimación del modelo RE en dos perspectivas: [59] Las estimaciones agrupadas favorecerán los ensayos más grandes (en lugar de penalizar los ensayos más grandes en el modelo RE) y tienen un intervalo de confianza que se mantiene dentro de la cobertura nominal bajo incertidumbre (heterogeneidad). Doi y Barendregt sugieren que, si bien el modelo RE proporciona un método alternativo para agrupar los datos del estudio, los resultados de su simulación [66] demuestran que el uso de un modelo de probabilidad más específico con supuestos insostenibles, como ocurre con el modelo RE, no necesariamente proporciona mejores resultados. Este último estudio también informa que el modelo IVhet resuelve los problemas relacionados con la subestimación del error estadístico, la mala cobertura del intervalo de confianza y el aumento del MSE observado con el modelo de efectos aleatorios y los autores concluyen que los investigadores deberían abandonar el uso del modelo de efectos aleatorios en adelante. en metanálisis. Si bien sus datos son convincentes, las ramificaciones (en términos de la magnitud de los resultados falsamente positivos dentro de la base de datos Cochrane) son enormes y, por lo tanto, aceptar esta conclusión requiere una cuidadosa confirmación independiente. La disponibilidad de un software gratuito (MetaXL) [65] que ejecuta el modelo IVhet (y todos los demás modelos para comparar) facilita esto a la comunidad investigadora.
Doi y Thalib introdujeron originalmente el modelo de efectos de calidad. [67] Ellos [68] introdujeron un nuevo enfoque para el ajuste de la variabilidad entre estudios incorporando la contribución de la varianza debido a un componente relevante (calidad) además de la contribución de la varianza debido al error aleatorio que se utiliza en cualquier efecto fijo. modelo de metanálisis para generar ponderaciones para cada estudio. La fortaleza del metanálisis de los efectos de la calidad es que permite utilizar la evidencia metodológica disponible sobre los efectos aleatorios subjetivos y, por lo tanto, ayuda a cerrar la brecha dañina que se ha abierto entre la metodología y la estadística en la investigación clínica. Para hacer esto, se calcula una varianza de sesgo sintético basada en información de calidad para ajustar las ponderaciones de la varianza inversa y se introduce la ponderación ajustada por calidad del i- ésimo estudio. [67] Estas ponderaciones ajustadas se utilizan luego en el metanálisis. En otras palabras, si el estudio i es de buena calidad y otros estudios son de mala calidad, una proporción de sus ponderaciones ajustadas por calidad se redistribuye matemáticamente al estudio i , dándole más peso en el tamaño del efecto general. A medida que los estudios se vuelven cada vez más similares en términos de calidad, la redistribución disminuye progresivamente y cesa cuando todos los estudios son de igual calidad (en el caso de igual calidad, el modelo de efectos de calidad pasa por defecto al modelo IVhet; consulte la sección anterior). Una evaluación reciente del modelo de efectos de calidad (con algunas actualizaciones) demuestra que a pesar de la subjetividad de la evaluación de la calidad, el desempeño (MSE y varianza verdadera bajo simulación) es superior al que se puede lograr con el modelo de efectos aleatorios. [69] [70] Por lo tanto, este modelo reemplaza las interpretaciones insostenibles que abundan en la literatura y hay un software disponible para explorar este método más a fondo. [sesenta y cinco]
Los métodos de metanálisis de comparación indirecta (también llamados metanálisis en red, en particular cuando se evalúan múltiples tratamientos simultáneamente) generalmente utilizan dos metodologías principales. En primer lugar, está el método de Bucher [71] , que es una comparación única o repetida de un circuito cerrado de tres tratamientos de modo que uno de ellos es común a los dos estudios y forma el nodo donde comienza y termina el circuito. Por lo tanto, se necesitan múltiples comparaciones de dos por dos (ciclos de 3 tratamientos) para comparar múltiples tratamientos. Esta metodología requiere que en los ensayos con más de dos brazos solo se seleccionen dos brazos, ya que se requieren comparaciones independientes por pares. La metodología alternativa utiliza modelos estadísticos complejos para incluir ensayos de múltiples brazos y comparaciones simultáneamente entre todos los tratamientos competitivos. Estos se han ejecutado utilizando métodos bayesianos, modelos lineales mixtos y enfoques de metarregresión. [ cita necesaria ]
La especificación de un modelo de metanálisis de red bayesiana implica escribir un modelo de gráfico acíclico dirigido (DAG) para el software Monte Carlo (MCMC) de cadena de Markov de uso general, como WinBUGS. [72] Además, se deben especificar distribuciones previas para varios parámetros y los datos deben suministrarse en un formato específico. [72] Juntos, el DAG, los antecedentes y los datos forman un modelo jerárquico bayesiano. Para complicar aún más las cosas, debido a la naturaleza de la estimación MCMC, se deben elegir valores iniciales demasiado dispersos para varias cadenas independientes para que se pueda evaluar la convergencia. [73] Recientemente, se desarrollaron múltiples paquetes de software R para simplificar el ajuste del modelo (por ejemplo, metaBMA [74] y RoBMA [75] ) e incluso se implementaron en software estadístico con interfaz gráfica de usuario ( GUI ): JASP . Aunque la complejidad del enfoque bayesiano limita el uso de esta metodología, artículos tutoriales recientes intentan aumentar la accesibilidad de los métodos. [76] [77] Se ha sugerido una metodología para la automatización de este método [72] pero requiere que los datos de resultados a nivel de brazo estén disponibles, y esto generalmente no está disponible. A veces se hacen grandes afirmaciones sobre la capacidad inherente del marco bayesiano para manejar el metanálisis de redes y su mayor flexibilidad. Sin embargo, esta elección de implementación del marco para la inferencia, bayesiano o frecuentista, puede ser menos importante que otras opciones relacionadas con el modelado de efectos [78] (ver discusión sobre modelos más arriba).
Por otro lado, los métodos multivariados frecuentistas implican aproximaciones y suposiciones que no se establecen explícitamente ni se verifican cuando se aplican los métodos (consulte la discusión sobre los modelos de metanálisis más arriba). Por ejemplo, el paquete mvmeta para Stata permite el metanálisis de redes en un marco frecuentista. [79] Sin embargo, si no hay un comparador común en la red, entonces esto debe manejarse aumentando el conjunto de datos con brazos ficticios con alta varianza, lo cual no es muy objetivo y requiere una decisión sobre qué constituye una varianza suficientemente alta. [72] La otra cuestión es el uso del modelo de efectos aleatorios tanto en este marco frecuentista como en el marco bayesiano. Senn aconseja a los analistas que sean cautelosos a la hora de interpretar el análisis de los "efectos aleatorios", ya que sólo se permite un efecto aleatorio pero se podrían prever muchos. [78] Senn continúa diciendo que es bastante ingenuo, incluso en el caso en el que sólo se comparan dos tratamientos, asumir que el análisis de efectos aleatorios explica toda la incertidumbre sobre la forma en que los efectos pueden variar de un ensayo a otro. Los modelos más nuevos de metanálisis, como los discutidos anteriormente, ciertamente ayudarían a aliviar esta situación y se han implementado en el siguiente marco.
Un enfoque que se ha probado desde finales de la década de 1990 es la implementación del análisis de circuito cerrado de tres tratamientos múltiples. Esto no ha sido popular porque el proceso rápidamente se vuelve abrumador a medida que aumenta la complejidad de la red. Luego se abandonó el desarrollo en esta área en favor de los métodos bayesianos y frecuentistas multivariados que surgieron como alternativas. Muy recientemente, algunos investigadores [59] han desarrollado la automatización del método de circuito cerrado de tres tratamientos para redes complejas como una forma de poner esta metodología a disposición de la comunidad investigadora principal. Esta propuesta restringe cada ensayo a dos intervenciones, pero también introduce una solución para ensayos con múltiples brazos: se puede seleccionar un nodo de control fijo diferente en diferentes ejecuciones. También utiliza métodos sólidos de metanálisis para evitar muchos de los problemas destacados anteriormente. Se requiere más investigación sobre este marco para determinar si es realmente superior a los marcos bayesianos o frecuentistas multivariados. Los investigadores que deseen probar esto tienen acceso a este marco a través de un software gratuito. [sesenta y cinco]
Otra forma de información adicional proviene del entorno previsto. Si se conoce el entorno objetivo para aplicar los resultados del metanálisis, entonces es posible utilizar datos del entorno para adaptar los resultados y producir así un "metanálisis personalizado". [80] [81] Esto se ha utilizado en metanálisis de precisión de las pruebas, donde el conocimiento empírico de la tasa de resultados positivos de las pruebas y la prevalencia se han utilizado para derivar una región en el espacio de la característica operativa del receptor (ROC) conocida como "región aplicable". Luego se seleccionan los estudios para el objetivo en función de la comparación con esta región y se agregan para producir una estimación resumida que se adapta al objetivo.
El metanálisis también se puede aplicar para combinar ENI y EA. Esto es conveniente cuando los investigadores que realizan el análisis tienen sus propios datos sin procesar mientras recopilan datos agregados o resumidos de la literatura. El modelo de integración generalizada (GIM) [82] es una generalización del metanálisis. Permite que el modelo ajustado a los datos de los participantes individuales (IPD) sea diferente de los utilizados para calcular los datos agregados (AD). GIM puede verse como un método de calibración de modelos para integrar información con mayor flexibilidad.
La estimación del metanálisis representa un promedio ponderado entre los estudios y, cuando hay heterogeneidad , esto puede dar lugar a que la estimación resumida no sea representativa de los estudios individuales. La evaluación cualitativa de los estudios primarios utilizando herramientas establecidas puede descubrir sesgos potenciales, [83] [84] pero no cuantifica el efecto agregado de estos sesgos en la estimación resumida. Aunque el resultado del metanálisis podría compararse con un estudio primario prospectivo independiente, dicha validación externa suele ser poco práctica. Esto ha llevado al desarrollo de métodos que explotan una forma de validación cruzada con exclusión de uno , a veces denominada validación cruzada interna-externa (IOCV). [85] Aquí cada uno de los k estudios incluidos se omite a su vez y se compara con la estimación resumida derivada de la agregación de los k-1 estudios restantes. Se ha desarrollado una estadística de validación general , Vn , basada en IOCV, para medir la validez estadística de los resultados del metanálisis. [86] Para la precisión y la predicción de las pruebas, particularmente cuando hay efectos multivariados, también se han propuesto otros enfoques que buscan estimar el error de predicción. [87]
Un metanálisis de varios estudios pequeños no siempre predice los resultados de un solo estudio grande. [88] Algunos han argumentado que una debilidad del método es que las fuentes de sesgo no están controladas por el método: un buen metanálisis no puede corregir el diseño deficiente o el sesgo en los estudios originales. [89] Esto significaría que sólo los estudios metodológicamente sólidos deberían incluirse en un metanálisis, una práctica llamada "síntesis de la mejor evidencia". [89] Otros metaanalistas incluirían estudios más débiles y agregarían una variable predictiva a nivel de estudio que refleje la calidad metodológica de los estudios para examinar el efecto de la calidad del estudio sobre el tamaño del efecto. [90] Sin embargo, otros han argumentado que un mejor enfoque es preservar la información sobre la varianza en la muestra del estudio, arrojando una red lo más amplia posible, y que los criterios de selección metodológicos introducen una subjetividad no deseada, frustrando el propósito del enfoque. [91]
Otro posible obstáculo es la dependencia del conjunto disponible de estudios publicados, lo que puede crear resultados exagerados debido al sesgo de publicación , ya que los estudios que muestran resultados negativos o insignificantes tienen menos probabilidades de ser publicados. [92] Por ejemplo, se sabe que las compañías farmacéuticas ocultan estudios negativos y los investigadores pueden haber pasado por alto estudios no publicados, como estudios de disertación o resúmenes de conferencias que no llegaron a publicarse. Esto no se resuelve fácilmente, ya que no se puede saber cuántos estudios no se han publicado. [93]
Este problema del cajón de archivos (caracterizado por resultados negativos o no significativos guardados en un gabinete), puede resultar en una distribución sesgada de los tamaños del efecto, creando así una grave falacia de tasa base , en la que se sobreestima la importancia de los estudios publicados, como otros estudios no fueron enviados para publicación o fueron rechazados. Esto se debe considerar seriamente al interpretar los resultados de un metanálisis. [93] [94]
La distribución de los tamaños del efecto se puede visualizar con un gráfico de embudo que (en su versión más común) es un diagrama de dispersión del error estándar versus el tamaño del efecto. [95] Hace uso del hecho de que los estudios más pequeños (por lo tanto, errores estándar más grandes) tienen más dispersión de la magnitud del efecto (siendo menos precisos), mientras que los estudios más grandes tienen menos dispersión y forman la punta del embudo. Si muchos estudios negativos no se publicaron, los estudios positivos restantes dan lugar a un gráfico en embudo, en el que la base está sesgada hacia un lado (asimetría del gráfico en embudo). Por el contrario, cuando no hay sesgo de publicación, el efecto de los estudios más pequeños no tiene motivos para estar sesgado hacia un lado y, por lo tanto, se obtiene un gráfico en embudo simétrico. Esto también significa que si no hay sesgo de publicación, no habría relación entre el error estándar y el tamaño del efecto. [96] Una relación negativa o positiva entre el error estándar y el tamaño del efecto implicaría que los estudios más pequeños que encontraron efectos en una sola dirección tenían más probabilidades de ser publicados y/o presentados para su publicación.
Además del gráfico de embudo visual, también se han propuesto métodos estadísticos para detectar sesgos de publicación. [97] Estos son controvertidos porque generalmente tienen bajo poder para detectar sesgos, pero también pueden generar falsos positivos en algunas circunstancias. [98] Por ejemplo, los efectos de los estudios pequeños (estudios más pequeños sesgados), en los que existen diferencias metodológicas entre estudios más pequeños y más grandes, pueden causar una asimetría en los tamaños del efecto que se asemeja al sesgo de publicación. Sin embargo, los efectos de los estudios pequeños pueden ser igualmente problemáticos para la interpretación de los metanálisis, y es imperativo que los autores de los metanálisis investiguen las posibles fuentes de sesgo. [99]
El problema del sesgo de publicación no es trivial, ya que se sugiere que el 25% de los metanálisis en las ciencias psicológicas pueden haber sufrido sesgo de publicación. [100] Sin embargo, el bajo poder de las pruebas existentes y los problemas con la apariencia visual del gráfico en embudo siguen siendo un problema, y las estimaciones del sesgo de publicación pueden seguir siendo inferiores a lo que realmente existe.
La mayoría de los debates sobre el sesgo de publicación se centran en las prácticas de las revistas que favorecen la publicación de hallazgos estadísticamente significativos. Sin embargo, las prácticas de investigación cuestionables, como la reelaboración de modelos estadísticos hasta que se alcance la significancia, también pueden favorecer hallazgos estadísticamente significativos que respalden las hipótesis de los investigadores. [101] [102]
Los estudios a menudo no informan los efectos cuando no alcanzan significación estadística. [103] Por ejemplo, pueden simplemente decir que los grupos no mostraron diferencias estadísticamente significativas, sin reportar ninguna otra información (por ejemplo, una estadística o valor p). [104] La exclusión de estos estudios llevaría a una situación similar al sesgo de publicación, pero su inclusión (asumiendo efectos nulos) también sesgaría el metanálisis.
Otras debilidades son que no se ha determinado si el método estadísticamente más preciso para combinar resultados es el modelo de efectos fijos, IVhet, aleatorio o de efectos de calidad, aunque las críticas contra el modelo de efectos aleatorios están aumentando debido a la percepción de que los nuevos efectos aleatorios ( utilizados en el metanálisis) son dispositivos esencialmente formales para facilitar el suavizado o la reducción, y la predicción puede ser imposible o desacertada. [105] El principal problema con el enfoque de efectos aleatorios es que utiliza el pensamiento estadístico clásico de generar un "estimador de compromiso" que hace que las ponderaciones se acerquen al estimador ponderado naturalmente si la heterogeneidad entre los estudios es grande pero cercana al estimador ponderado por varianza inversa. si la heterogeneidad entre los estudios es pequeña. Sin embargo, lo que se ha ignorado es la distinción entre el modelo que elegimos para analizar un conjunto de datos determinado y el mecanismo por el cual los datos surgieron . [106] Un efecto aleatorio puede estar presente en cualquiera de estos roles, pero los dos roles son bastante distintos. No hay razón para pensar que el modelo de análisis y el mecanismo (modelo) de generación de datos sean similares en su forma, pero muchos subcampos de la estadística han desarrollado el hábito de suponer, para la teoría y las simulaciones, que el mecanismo (modelo) de generación de datos es idéntico al modelo de análisis que elegimos (o nos gustaría que otros eligieran). Como mecanismo hipotético para producir datos, el modelo de efectos aleatorios para el metanálisis es tonto y es más apropiado pensar en este modelo como una descripción superficial y algo que elegimos como herramienta analítica, pero esta elección del metanálisis puede no funciona porque los efectos del estudio son una característica fija del metanálisis respectivo y la distribución de probabilidad es solo una herramienta descriptiva. [106]
La falla más grave en el metanálisis ocurre a menudo cuando la persona o personas que realizan el metanálisis tienen una agenda económica , social o política , como la aprobación o derrota de una legislación . Las personas con este tipo de agendas pueden tener más probabilidades de abusar del metanálisis debido a prejuicios personales . Por ejemplo, es probable que los estudios de los investigadores favorables a la agenda del autor sean seleccionados cuidadosamente, mientras que aquellos que no sean favorables serán ignorados o etiquetados como "no creíbles". Además, los propios autores favorecidos pueden estar sesgados o ser pagados para producir resultados que apoyen sus objetivos políticos, sociales o económicos generales, tales como seleccionar pequeños conjuntos de datos favorables y no incorporar conjuntos de datos más grandes y desfavorables. La influencia de tales sesgos en los resultados de un metanálisis es posible porque la metodología del metanálisis es altamente maleable. [107]
Un estudio de 2011 realizado para revelar posibles conflictos de intereses en estudios de investigación subyacentes utilizados para metanálisis médicos revisó 29 metanálisis y encontró que los conflictos de intereses en los estudios subyacentes a los metanálisis rara vez se revelaban. Los 29 metanálisis incluyeron 11 de revistas de medicina general, 15 de revistas de medicina especializada y tres de la Base de datos Cochrane de revisiones sistemáticas . Los 29 metanálisis revisaron un total de 509 ensayos controlados aleatorios (ECA). De estos, 318 ECA informaron fuentes de financiación, y 219 (69%) recibieron financiación de la industria (es decir, uno o más autores tenían vínculos financieros con la industria farmacéutica). De los 509 ECA, 132 informaron sobre conflictos de intereses de los autores, y 91 estudios (69%) revelaron que uno o más autores tenían vínculos financieros con la industria. Sin embargo, la información rara vez se reflejó en los metanálisis. Sólo dos (7%) informaron fuentes de financiación de ECA y ninguno informó vínculos entre el autor y la industria del ECA. Los autores concluyeron que "sin el reconocimiento de COI debido a la financiación de la industria o los vínculos financieros de los autores con la industria de los ECA incluidos en los metanálisis, la comprensión y la evaluación de los lectores de la evidencia del metanálisis pueden verse comprometidas". [108]
Por ejemplo, en 1998, un juez federal de Estados Unidos determinó que la Agencia de Protección Ambiental de Estados Unidos había abusado del proceso de metanálisis para producir un estudio que afirmaba que el humo de tabaco ambiental (ETS) en el ambiente presenta riesgos de cáncer para los no fumadores con la intención de influir en los responsables de la formulación de políticas. aprobar leyes en lugares de trabajo libres de humo de tabaco. El juez encontró que:
La selección de estudios de la EPA es inquietante. En primer lugar, hay pruebas en el expediente que respaldan la acusación de que la EPA "seleccionó" sus datos. Sin criterios para agrupar los estudios en un metanálisis, el tribunal no puede determinar si la exclusión de estudios que probablemente refuten la hipótesis a priori de la EPA fue una coincidencia o intencional. En segundo lugar, el hecho de que la EPA excluya casi la mitad de los estudios disponibles entra directamente en conflicto con el supuesto propósito de la EPA de analizar los estudios epidemiológicos y entra en conflicto con las Directrices de evaluación de riesgos de la EPA. Consulte Evaluación de riesgos ETS en 4-29 ("Estos datos también deben examinarse con el fin de sopesar toda la evidencia disponible , como lo recomiendan las pautas de evaluación de riesgos carcinógenos de la EPA (US EPA, 1986a) (énfasis agregado)). En tercer lugar, la evaluación selectiva de la EPA El uso de datos entra en conflicto con la Ley de Investigación del Radón, que establece que el programa de la EPA "recopilará datos e información sobre todos los aspectos de la calidad del aire interior" (Ley de Investigación del Radón, artículo 403(a)(1)) (énfasis añadido). [109]
Como resultado del abuso, el tribunal anuló los capítulos 1 a 6 y los apéndices de la publicación "Efectos del tabaquismo pasivo en la salud respiratoria: cáncer de pulmón y otros trastornos" de la EPA. [109]
Es posible que el metanálisis a menudo no sustituya a un estudio primario con la potencia adecuada. [110]
La heterogeneidad de los métodos utilizados puede llevar a conclusiones erróneas. [111] Por ejemplo, las diferencias en las formas de una intervención o las cohortes que se consideran menores o desconocidas para los científicos podrían conducir a resultados sustancialmente diferentes, incluidos resultados que distorsionan los resultados del metanálisis o no se consideran adecuadamente. en sus datos. Por el contrario, los resultados de los metanálisis también pueden hacer que ciertas hipótesis o intervenciones parezcan inviables e impedir futuras investigaciones o aprobaciones, a pesar de ciertas modificaciones (como la administración intermitente, criterios personalizados y medidas combinadas ) que conducen a resultados sustancialmente diferentes, incluso en los casos en que tales Se han identificado y aplicado con éxito en estudios a pequeña escala que se consideraron en el metanálisis. [ cita necesaria ] La estandarización , la reproducción de experimentos , los datos abiertos y los protocolos abiertos a menudo pueden no mitigar tales problemas, por ejemplo, ya que los factores y criterios relevantes podrían desconocerse o no registrarse. [ cita necesaria ]
Existe un debate sobre el equilibrio adecuado entre realizar pruebas con el menor número posible de animales o humanos y la necesidad de obtener resultados sólidos y fiables. Se ha argumentado que la investigación poco fiable es ineficiente y despilfarradora y que los estudios no sólo son un despilfarro cuando se detienen demasiado tarde sino también cuando se detienen demasiado pronto. En ensayos clínicos grandes, a veces se utilizan análisis secuenciales planificados si existe un gasto considerable o un daño potencial asociado con la evaluación de los participantes. [112] En las ciencias conductuales aplicadas , se han propuesto "megaestudios" para investigar la eficacia de muchas intervenciones diferentes diseñadas de manera interdisciplinaria por equipos separados. [113] Uno de esos estudios utilizó una cadena de fitness para reclutar un gran número de participantes. Se ha sugerido que las intervenciones conductuales a menudo son difíciles de comparar [en metanálisis y revisiones], ya que "diferentes científicos prueban diferentes ideas de intervención en diferentes muestras utilizando diferentes resultados en diferentes intervalos de tiempo", lo que provoca una falta de comparabilidad de dichas investigaciones individuales. lo que limita "su potencial para informar las políticas ". [113]
Los metanálisis en educación a menudo no son lo suficientemente restrictivos en cuanto a la calidad metodológica de los estudios que incluyen. Por ejemplo, los estudios que incluyen muestras pequeñas o medidas elaboradas por investigadores dan lugar a estimaciones infladas del tamaño del efecto. [114] Sin embargo, este problema también preocupa al metanálisis de ensayos clínicos. El uso de diferentes herramientas de evaluación de la calidad (QAT) lleva a incluir diferentes estudios y a obtener estimaciones contradictorias de los efectos promedio del tratamiento. [115] [116]
El metanálisis estadístico moderno hace más que simplemente combinar los tamaños del efecto de un conjunto de estudios utilizando un promedio ponderado. Puede probar si los resultados de los estudios muestran más variación que la variación esperada debido al muestreo de diferentes números de participantes en la investigación. Además, las características del estudio, como el instrumento de medición utilizado, la población muestreada o aspectos del diseño de los estudios, se pueden codificar y utilizar para reducir la varianza del estimador (consulte los modelos estadísticos más arriba). Por tanto, algunas debilidades metodológicas de los estudios pueden corregirse estadísticamente. Otros usos de los métodos metanalíticos incluyen el desarrollo y validación de modelos de predicción clínica, donde el metanálisis puede usarse para combinar datos de participantes individuales de diferentes centros de investigación y evaluar la generalización del modelo, [ 117] [118] o incluso agregar modelos de predicción existentes. [119]
El metanálisis estadístico moderno hace más que simplemente combinar los tamaños del efecto de un conjunto de estudios utilizando un promedio ponderado. Puede probar si los resultados de los estudios muestran más variación que la variación esperada debido al muestreo de diferentes números de participantes en la investigación. Además, las características del estudio, como el instrumento de medición utilizado, la población muestreada o aspectos del diseño de los estudios, se pueden codificar y utilizar para reducir la varianza del estimador (consulte los modelos estadísticos más arriba). Por tanto, algunas debilidades metodológicas de los estudios pueden corregirse estadísticamente. Otros usos de los métodos metanalíticos incluyen el desarrollo y validación de modelos de predicción clínica, donde el metanálisis puede usarse para combinar datos de participantes individuales de diferentes centros de investigación y evaluar la generalización del modelo, [ 120] [121] o incluso agregar modelos de predicción existentes. [122]
El metanálisis se puede realizar con diseños de un solo sujeto , así como con diseños de investigación grupal. [123] Esto es importante porque muchas investigaciones se han realizado con diseños de investigación de un solo sujeto . [124] Existe una controversia considerable sobre cuál es la técnica metaanalítica más apropiada para la investigación de un solo tema. [125]
El metanálisis conduce a un cambio de énfasis de estudios únicos a estudios múltiples. Enfatiza la importancia práctica del tamaño del efecto en lugar de la significación estadística de los estudios individuales. Este cambio de pensamiento se ha denominado "pensamiento metaanalítico". Los resultados de un metanálisis a menudo se muestran en un diagrama de bosque .
Los resultados de los estudios se combinan utilizando diferentes enfoques. Un enfoque utilizado con frecuencia en el metanálisis de la investigación sanitaria se denomina " método de la varianza inversa ". El tamaño promedio del efecto en todos los estudios se calcula como una media ponderada , donde las ponderaciones son iguales a la varianza inversa del estimador del efecto de cada estudio. Los estudios más grandes y los estudios con menos variación aleatoria reciben mayor peso que los estudios más pequeños. Otros enfoques comunes incluyen el método de Mantel-Haenszel [126] y el método de Peto . [127]
El mapeo d basado en semillas (anteriormente mapeo diferencial firmado, SDM) es una técnica estadística para metaanalizar estudios sobre diferencias en la actividad o estructura cerebral que utiliza técnicas de neuroimagen como fMRI, VBM o PET.
Se han utilizado diferentes técnicas de alto rendimiento, como los microarrays, para comprender la expresión genética . Los perfiles de expresión de microARN se han utilizado para identificar microARN expresados diferencialmente en condiciones de enfermedad o tipo de tejido o célula particular o para comprobar el efecto de un tratamiento. Se realizó un metanálisis de dichos perfiles de expresión para derivar conclusiones novedosas y validar los hallazgos conocidos. [128]
El metanálisis de estudios de secuenciación del genoma completo proporciona una solución atractiva al problema de recolectar muestras de gran tamaño para descubrir variantes raras asociadas con fenotipos complejos. Se han desarrollado algunos métodos para permitir un metanálisis de asociación de variantes raras funcionalmente informado en cohortes a escala de biobanco utilizando enfoques eficientes para el almacenamiento de estadísticas resumidas. [129]
También se pueden utilizar metanálisis amplios para estimar una red de efectos. Esto permite a los investigadores examinar patrones en un panorama más completo de resultados estimados con mayor precisión y sacar conclusiones que consideren el contexto más amplio (por ejemplo, cómo las relaciones personalidad-inteligencia varían según la familia de rasgos). [130]
Este artículo incorpora texto de Daniel S. Quintana disponible bajo la licencia CC BY 4.0.
{{cite web}}: Falta o está vacío |url=( ayuda )