Si el tamaño del efecto varía, esa variación puede ser descrita y, potencialmente explicada.
La teoría estadística en torno al metanálisis mejoró notablemente gracias al trabajo desempeñado por Nambury S. Raju, Larry V. Hedges, Harris Cooper, Ingram Olkin, John E. Hunter, Jacob Cohen, Thomas C. Chalmers, Robert Rosenthal, y Frank L. Schmidt.
Conceptualmente hablando, se utiliza un enfoque estadístico para combinar los resultados de múltiples estudios.
[2] Algunos han argumentado que una debilidad del método es que los focos de sesgo no están controlados por el método: un buen metanálisis de estudios mal diseñados todavía dará lugar a malas estadísticas.
[4] Otro escollo potencial es la confianza en lo disponible de estudios publicados, lo que puede generar resultados exagerados debido a dicho sesgo, pues los estudios que muestran resultados negativos o insignificantes tienen menos probabilidades de ser publicados.
Para cualquier área de investigación determinado, no se puede saber cuántos estudios han sido ocultados o descartados.
Esto debiera ser considerado en serio al interpretar los resultados de un metanálisis.
El error más grave en el metanálisis (H. Sabhan) ocurre a menudo cuando la(s) persona(s) realizando un metanálisis tiene(n) una agenda económica, social, o política, como la aprobación o la reprobación legislativa.
Para conocer las directrices de informes, consulte los artículos de Reporte Preferidos para Revisiones Sistemáticas y los Metanálisis (Preferred Reporting Items for Systematic Reviews and Meta-Analyses - PRISMA, por sus siglas en inglés).
Aunque se cree que los métodos de una o dos etapas arrojan resultados parecidos, estudios recientes han demostrado que dichos métodos pueden a veces llevar a diferentes conclusiones.
El peso que se aplica en este proceso de ponderación con un metanálisis de efectos aleatorios se realiza en dos pasos:[12] En un caso extremo en el que la varianza específica sea muy grande puede ocurrir que el peso esté muy condicionado por esa varianza, resultando despreciable en términos prácticos los tamaños muestrales de los estudios.
En el extremo opuesto está el caso en que la estimación de la varianza específica proporciona el valor cero.
Los dos principales problemas metodológicos de los metanálisis de ensayos clínicos son: Un metanálisis clínico se basa principalmente en una integración o reciclaje entre la información ya obtenida y poder obtener un análisis mayor.