En las pruebas de significancia de hipótesis nula , el valor p [nota 1] es la probabilidad de obtener resultados de prueba al menos tan extremos como el resultado realmente observado , bajo el supuesto de que la hipótesis nula es correcta. [2] [3] Un valor p muy pequeño significa que un resultado observado tan extremo sería muy poco probable bajo la hipótesis nula. Aunque informar los valores p de las pruebas estadísticas es una práctica común en las publicaciones académicas de muchos campos cuantitativos, la mala interpretación y el mal uso de los valores p están muy extendidos y han sido un tema importante en matemáticas y metaciencia . [4] [5] En 2016, la Asociación Estadounidense de Estadística (ASA) hizo una declaración formal de que " los valores p no miden la probabilidad de que la hipótesis estudiada sea verdadera, o la probabilidad de que los datos se hayan producido solo por casualidad" y que "un valor p , o significancia estadística, no mide el tamaño de un efecto o la importancia de un resultado" o "evidencia con respecto a un modelo o hipótesis". [6] Dicho esto, un grupo de trabajo de 2019 de la ASA emitió una declaración sobre la significación estadística y la replicabilidad, concluyendo que " los valores p y las pruebas de significación, cuando se aplican e interpretan correctamente, aumentan el rigor de las conclusiones extraídas de los datos". [7]
En estadística, toda conjetura relativa a la distribución de probabilidad desconocida de un conjunto de variables aleatorias que representan los datos observados en algún estudio se denomina hipótesis estadística . Si enunciamos una sola hipótesis y el objetivo de la prueba estadística es ver si esta hipótesis es sostenible, pero no investigar otras hipótesis específicas, entonces dicha prueba se denomina prueba de hipótesis nula .
Como nuestra hipótesis estadística, por definición, enunciará alguna propiedad de la distribución, la hipótesis nula es la hipótesis predeterminada bajo la cual esa propiedad no existe. La hipótesis nula es típicamente que algún parámetro (como una correlación o una diferencia entre medias) en las poblaciones de interés es cero. Nuestra hipótesis puede especificar la distribución de probabilidad de con precisión, o puede especificar solamente que pertenece a alguna clase de distribuciones. A menudo, reducimos los datos a una única estadística numérica, por ejemplo, , cuya distribución de probabilidad marginal está estrechamente relacionada con una cuestión principal de interés en el estudio.
El valor p se utiliza en el contexto de la prueba de hipótesis nula para cuantificar la significación estadística de un resultado, siendo el resultado el valor observado de la estadística elegida . [nota 2] Cuanto menor sea el valor p , menor será la probabilidad de obtener ese resultado si la hipótesis nula fuera verdadera. Se dice que un resultado es estadísticamente significativo si nos permite rechazar la hipótesis nula. En igualdad de condiciones, los valores p más pequeños se toman como evidencia más sólida contra la hipótesis nula.
En términos generales, el rechazo de la hipótesis nula implica que hay suficiente evidencia en contra de ella.
Como ejemplo particular, si una hipótesis nula establece que una determinada estadística de resumen sigue la distribución normal estándar , entonces el rechazo de esta hipótesis nula podría significar que (i) la media de no es 0, o (ii) la varianza de no es 1, o (iii) no se distribuye normalmente. Diferentes pruebas de la misma hipótesis nula serían más o menos sensibles a diferentes alternativas. Sin embargo, incluso si logramos rechazar la hipótesis nula para las 3 alternativas, e incluso si sabemos que la distribución es normal y la varianza es 1, la prueba de la hipótesis nula no nos dice qué valores distintos de cero de la media son ahora más plausibles. Cuantas más observaciones independientes de la misma distribución de probabilidad tengamos, más precisa será la prueba y mayor será la precisión con la que podremos determinar el valor medio y demostrar que no es igual a cero; pero esto también aumentará la importancia de evaluar la relevancia científica o del mundo real de esta desviación.
El valor p es la probabilidad, bajo la hipótesis nula, de obtener un estadístico de prueba de valor real al menos tan extremo como el obtenido. Consideremos un estadístico de prueba observado de una distribución desconocida . Entonces, el valor p es la probabilidad previa que sería de observar un valor del estadístico de prueba al menos tan "extremo" como si la hipótesis nula fuera verdadera. Es decir:
El error que un estadístico en ejercicio consideraría más importante evitar (lo cual es un juicio subjetivo) se denomina error de primera clase. La primera exigencia de la teoría matemática es deducir criterios de prueba que aseguren que la probabilidad de cometer un error de primera clase sea igual (o aproximadamente igual, o no exceda) a un número preasignado α, como α = 0,05 o 0,01, etc. Este número se denomina nivel de significación.
— Jerzy Neyman, "El surgimiento de la estadística matemática" [8]
En una prueba de significancia, la hipótesis nula se rechaza si el valor p es menor o igual a un valor umbral predefinido , que se conoce como nivel alfa o nivel de significancia . no se deriva de los datos, sino que lo establece el investigador antes de examinar los datos. se establece comúnmente en 0,05, aunque a veces se utilizan niveles alfa más bajos. El valor 0,05 (equivalente a 1/20 posibilidades) fue propuesto originalmente por R. Fisher en 1925 en su famoso libro titulado " Métodos estadísticos para investigadores ". [9] En 2018, un grupo de estadísticos dirigido por Daniel Benjamin propuso la adopción del valor 0,005 como valor estándar para la significancia estadística en todo el mundo. [10]
Se pueden combinar diferentes valores p basados en conjuntos de datos independientes, por ejemplo utilizando la prueba de probabilidad combinada de Fisher .
El valor p es una función de la estadística de prueba elegida y, por lo tanto, es una variable aleatoria . Si la hipótesis nula fija la distribución de probabilidad de con precisión (por ejemplo, donde es el único parámetro), y si esa distribución es continua, entonces, cuando la hipótesis nula es verdadera, el valor p se distribuye uniformemente entre 0 y 1. Independientemente de la verdad de , el valor p no es fijo; si la misma prueba se repite de forma independiente con datos nuevos, normalmente se obtendrá un valor p diferente en cada iteración.
Por lo general, solo se observa un único valor p relacionado con una hipótesis, por lo que el valor p se interpreta mediante una prueba de significancia y no se realiza ningún esfuerzo para estimar la distribución de la que se extrajo. Cuando se dispone de una colección de valores p (por ejemplo, cuando se considera un grupo de estudios sobre el mismo tema), la distribución de valores p a veces se denomina curva p . [11] Una curva p se puede utilizar para evaluar la confiabilidad de la literatura científica, como por ejemplo detectando sesgo de publicación o p -hacking . [11] [12]
En los problemas de prueba de hipótesis paramétricas, una hipótesis simple o puntual se refiere a una hipótesis en la que se supone que el valor del parámetro es un solo número. Por el contrario, en una hipótesis compuesta , el valor del parámetro está dado por un conjunto de números. Cuando la hipótesis nula es compuesta (o la distribución de la estadística es discreta), entonces, cuando la hipótesis nula es verdadera, la probabilidad de obtener un valor p menor o igual a cualquier número entre 0 y 1 sigue siendo menor o igual a ese número. En otras palabras, sigue siendo el caso de que los valores muy pequeños son relativamente improbables si la hipótesis nula es verdadera, y que se obtiene una prueba de significancia a nivel rechazando la hipótesis nula si el valor p es menor o igual a . [13] [14]
Por ejemplo, al probar la hipótesis nula de que una distribución es normal con una media menor o igual a cero contra la alternativa de que la media es mayor que cero ( , varianza conocida), la hipótesis nula no especifica la distribución de probabilidad exacta del estadístico de prueba apropiado. En este ejemplo, ese sería el estadístico Z perteneciente a la prueba Z de una muestra unilateral . Para cada valor posible de la media teórica, el estadístico de la prueba Z tiene una distribución de probabilidad diferente. En estas circunstancias, el valor p se define tomando el caso de hipótesis nula menos favorable, que normalmente está en el límite entre la hipótesis nula y la alternativa. Esta definición asegura la complementariedad de los valores p y los niveles alfa: significa que solo se rechaza la hipótesis nula si el valor p es menor o igual a , y la prueba de hipótesis tendrá de hecho una tasa de error de tipo 1 máxima de .
El valor p se utiliza ampliamente en las pruebas de hipótesis estadísticas , específicamente en las pruebas de significación de la hipótesis nula. En este método, antes de realizar el estudio, primero se elige un modelo (la hipótesis nula ) y el nivel alfa α (más comúnmente 0,05). Después de analizar los datos, si el valor p es menor que α , se considera que los datos observados son suficientemente inconsistentes con la hipótesis nula para que esta sea rechazada. Sin embargo, eso no prueba que la hipótesis nula sea falsa. El valor p , en sí mismo, no establece probabilidades de hipótesis. Más bien, es una herramienta para decidir si se rechaza o no la hipótesis nula. [15]
Según la ASA , existe un amplio consenso en que los valores p se suelen utilizar y malinterpretar de forma incorrecta. [3] Una práctica que ha sido particularmente criticada es la de aceptar la hipótesis alternativa para cualquier valor p nominalmente inferior a 0,05 sin otra evidencia que la respalde. Aunque los valores p son útiles para evaluar la incompatibilidad de los datos con un modelo estadístico específico, también se deben considerar factores contextuales, como "el diseño de un estudio, la calidad de las mediciones, la evidencia externa del fenómeno en estudio y la validez de los supuestos que sustentan el análisis de los datos". [3] Otra preocupación es que el valor p se suele malinterpretar como la probabilidad de que la hipótesis nula sea verdadera. [3] [16]
Algunos estadísticos han propuesto abandonar los valores p y centrarse más en otras estadísticas inferenciales, [3] como los intervalos de confianza , [17] [18] los cocientes de verosimilitud , [19] [20] o los factores de Bayes , [21] [22] [23] pero existe un acalorado debate sobre la viabilidad de estas alternativas. [24] [25] Otros han sugerido eliminar los umbrales de significación fijos e interpretar los valores p como índices continuos de la fuerza de la evidencia contra la hipótesis nula. [26] [27] Sin embargo, otros sugirieron informar junto con los valores p la probabilidad previa de un efecto real que se requeriría para obtener un riesgo de falso positivo (es decir, la probabilidad de que no haya un efecto real) por debajo de un umbral preestablecido (por ejemplo, 5%). [28]
Dicho esto, en 2019 un grupo de trabajo de la ASA se reunió para considerar el uso de métodos estadísticos en estudios científicos, específicamente pruebas de hipótesis y valores p , y su conexión con la replicabilidad. [7] Afirma que "diferentes medidas de incertidumbre pueden complementarse entre sí; ninguna medida única sirve para todos los propósitos", citando el valor p como una de estas medidas. También enfatizan que los valores p pueden proporcionar información valiosa al considerar el valor específico, así como al compararlo con algún umbral. En general, enfatiza que " los valores p y las pruebas de significación, cuando se aplican e interpretan correctamente, aumentan el rigor de las conclusiones extraídas de los datos".
Por lo general, es una estadística de prueba . Una estadística de prueba es el resultado de una función escalar de todas las observaciones. Esta estadística proporciona un único número, como una estadística t o una estadística F. Como tal, la estadística de prueba sigue una distribución determinada por la función utilizada para definir esa estadística de prueba y la distribución de los datos de observación de entrada.
Para el caso importante en el que se supone que los datos son una muestra aleatoria de una distribución normal, dependiendo de la naturaleza de la estadística de prueba y de las hipótesis de interés sobre su distribución, se han desarrollado diferentes pruebas de hipótesis nulas. Algunas de estas pruebas son la prueba z para hipótesis relacionadas con la media de una distribución normal con varianza conocida, la prueba t basada en la distribución t de Student de una estadística adecuada para hipótesis relacionadas con la media de una distribución normal cuando la varianza es desconocida, la prueba F basada en la distribución F de otra estadística más para hipótesis relacionadas con la varianza. Para datos de otra naturaleza, por ejemplo, datos categóricos (discretos), se pueden construir estadísticas de prueba cuya distribución de hipótesis nula se base en aproximaciones normales a estadísticas apropiadas obtenidas invocando el teorema del límite central para muestras grandes, como en el caso de la prueba de chi-cuadrado de Pearson .
Por lo tanto, el cálculo de un valor p requiere una hipótesis nula, una estadística de prueba (junto con la decisión de si el investigador está realizando una prueba de una cola o de dos colas ) y datos. Aunque calcular la estadística de prueba sobre datos dados puede ser fácil, calcular la distribución de muestreo bajo la hipótesis nula y luego calcular su función de distribución acumulativa (CDF) es a menudo un problema difícil. Hoy, este cálculo se realiza utilizando software estadístico, a menudo a través de métodos numéricos (en lugar de fórmulas exactas), pero, a principios y mediados del siglo XX, esto se hacía en cambio mediante tablas de valores, y uno interpolaba o extrapolaba los valores p a partir de estos valores discretos [ cita requerida ] . En lugar de utilizar una tabla de valores p , Fisher invirtió la CDF, publicando una lista de valores de la estadística de prueba para valores p fijos dados ; esto corresponde al cálculo de la función cuantil (CDF inversa).
Como ejemplo de una prueba estadística, se realiza un experimento para determinar si el lanzamiento de una moneda es justo (igual probabilidad de que caiga cara o cruz) o injustamente sesgado (un resultado es más probable que el otro).
Supongamos que los resultados experimentales muestran que la moneda sale cara 14 veces de un total de 20 lanzamientos. Los datos completos serían una secuencia de veinte veces el símbolo "H" o "T". La estadística en la que uno podría centrarse podría ser el número total de caras. La hipótesis nula es que la moneda es justa y los lanzamientos de moneda son independientes entre sí. Si se considera una prueba de cola derecha, que sería el caso si uno está realmente interesado en la posibilidad de que la moneda esté sesgada a caer cara, entonces el valor p de este resultado es la probabilidad de que una moneda justa caiga cara al menos 14 veces de 20 lanzamientos. Esa probabilidad se puede calcular a partir de coeficientes binomiales como
Esta probabilidad es el valor p , considerando solo los resultados extremos que favorecen a cara. Esto se llama prueba de una cola . Sin embargo, uno podría estar interesado en desviaciones en cualquier dirección, favoreciendo a cara o cruz. El valor p de dos colas , que considera las desviaciones que favorecen a cara o cruz, puede calcularse en su lugar. Como la distribución binomial es simétrica para una moneda justa, el valor p de dos caras es simplemente el doble del valor p de una cara calculado anteriormente : el valor p de dos caras es 0,115.
En el ejemplo anterior:
Pr(n.° de caras ≤ 14 caras) = 1 − Pr(n.° de caras ≥ 14 caras) + Pr(n.° de caras = 14) = 1 − 0,058 + 0,036 = 0,978; sin embargo, la simetría de esta distribución binomial hace que sea innecesario realizar un cálculo para encontrar la menor de las dos probabilidades. En este caso, el valor p calculado supera 0,05, lo que significa que los datos se encuentran dentro del rango de lo que sucedería el 95 % de las veces si la moneda fuera justa. Por lo tanto, la hipótesis nula no se rechaza en el nivel 0,05.
Sin embargo, si se hubiera obtenido una cabeza más, el valor p resultante (de dos colas) habría sido 0,0414 (4,14%), en cuyo caso la hipótesis nula sería rechazada en el nivel 0,05.
La diferencia entre los dos significados de "extremo" aparece cuando consideramos una prueba de hipótesis secuencial, o una detención opcional, para la imparcialidad de la moneda. En general, la detención opcional cambia la forma en que se calcula el valor p. [29] [30] Supongamos que diseñamos el experimento de la siguiente manera:
Este experimento tiene 7 tipos de resultados: 2 caras, 2 cruces, 5 caras 1 cruce, ..., 1 cara 5 cruces. Ahora calculamos el valor p del resultado "3 caras 3 cruces".
Si utilizamos la estadística de prueba , entonces bajo la hipótesis nula es exactamente 1 para el valor p de dos lados , y exactamente 1 para el valor p de cola izquierda de un lado , y lo mismo para el valor p de cola derecha de un lado .
Si consideramos cada resultado que tiene una probabilidad igual o menor que "3 caras 3 cruces" como "al menos tan extremo", entonces el valor p es exactamente
Sin embargo, supongamos que hemos planeado simplemente lanzar la moneda 6 veces sin importar lo que suceda, entonces la segunda definición del valor p significaría que el valor p de "3 caras 3 cruces" es exactamente 1.
Por lo tanto, la definición "al menos tan extrema" del valor p es profundamente contextual y depende de lo que el experimentador planeó hacer incluso en situaciones que no ocurrieron.
Los cálculos del valor p se remontan a la década de 1700, cuando se calcularon para la proporción de sexos humanos al nacer y se usaron para calcular la significación estadística en comparación con la hipótesis nula de igual probabilidad de nacimientos de hombres y mujeres. [31] John Arbuthnot estudió esta cuestión en 1710, [32] [33] [34] [35] y examinó los registros de nacimiento en Londres para cada uno de los 82 años desde 1629 hasta 1710. En cada año, el número de varones nacidos en Londres superó al número de mujeres. Considerando que más nacimientos de hombres o más nacimientos de mujeres son igualmente probables, la probabilidad del resultado observado es 1/2 82 , o aproximadamente 1 en 4.836.000.000.000.000.000.000.000; en términos modernos, el valor p . Esta cifra es insignificante, lo que lleva a Arbuthnot a pensar que no se debió al azar, sino a la providencia divina: "De donde se sigue que es el arte, no el azar, lo que gobierna". En términos modernos, rechazó la hipótesis nula de nacimientos de hombres y mujeres igualmente probables en el nivel de significación p = 1/2 82 . Este y otros trabajos de Arbuthnot se consideran "... el primer uso de pruebas de significación..." [36] el primer ejemplo de razonamiento sobre la significación estadística, [37] y "... quizás el primer informe publicado de una prueba no paramétrica ...", [33] específicamente la prueba de signos ; véanse los detalles en Prueba de signos § Historia .
La misma cuestión fue abordada posteriormente por Pierre-Simon Laplace , quien en su lugar utilizó una prueba paramétrica , modelando el número de nacimientos varones con una distribución binomial : [38]
En la década de 1770, Laplace analizó las estadísticas de casi medio millón de nacimientos, que mostraban un exceso de niños en comparación con las niñas. Concluyó, mediante el cálculo de un valor p , que el exceso era un efecto real, pero inexplicable.
El valor p fue introducido formalmente por primera vez por Karl Pearson , en su prueba de chi-cuadrado de Pearson , [39] utilizando la distribución de chi-cuadrado y anotada como P mayúscula. [39] Los valores p para la distribución de chi-cuadrado (para varios valores de χ 2 y grados de libertad), ahora anotados como P, se calcularon en (Elderton 1902), recopilados en (Pearson 1914, pp. xxxi–xxxiii, 26–28, Tabla XII).
Ronald Fisher formalizó y popularizó el uso del valor p en estadística, [40] [41] y jugó un papel central en su enfoque del tema. [42] En su influyente libro Statistical Methods for Research Workers (1925), Fisher propuso el nivel p = 0,05, o una probabilidad de 1 en 20 de ser excedido por el azar, como límite para la significación estadística , y lo aplicó a una distribución normal (como una prueba de dos colas), produciendo así la regla de dos desviaciones estándar (en una distribución normal) para la significación estadística (ver regla 68–95–99.7 ). [43] [nota 3] [44]
Luego calculó una tabla de valores, similar a Elderton pero, de manera importante, invirtió los roles de χ 2 y p. Es decir, en lugar de calcular p para diferentes valores de χ 2 (y grados de libertad n ), calculó valores de χ 2 que producen valores p específicos , específicamente 0,99, 0,98, 0,95, 0,90, 0,80, 0,70, 0,50, 0,30, 0,20, 0,10, 0,05, 0,02 y 0,01. [45] Eso permitió que los valores calculados de χ 2 se compararan con los puntos de corte y fomentó el uso de valores p (especialmente 0,05, 0,02 y 0,01) como puntos de corte, en lugar de calcular y reportar los valores p en sí. El mismo tipo de tablas se compilaron posteriormente en (Fisher y Yates 1938), lo que consolidó el enfoque. [44]
Como ilustración de la aplicación de los valores p al diseño e interpretación de experimentos, en su siguiente libro The Design of Experiments (1935), Fisher presentó el experimento de la dama probando té , [46] que es el ejemplo arquetípico del valor p .
Para evaluar la afirmación de una señora de que ella ( Muriel Bristol ) podía distinguir por el sabor cómo se prepara el té (primero añadiendo la leche a la taza, luego el té, o primero el té, luego la leche), se le presentaron secuencialmente 8 tazas: 4 preparadas de una manera, 4 preparadas de la otra, y se le pidió que determinara la preparación de cada taza (sabiendo que había 4 de cada una). En ese caso, la hipótesis nula era que no tenía ninguna habilidad especial, la prueba era la prueba exacta de Fisher y el valor p era 1,5 , de modo que Fisher estaba dispuesta a rechazar la hipótesis nula (considerar que era muy poco probable que el resultado se debiera al azar) si todas se clasificaban correctamente. (En el experimento real, Bristol clasificó correctamente las 8 tazas).
Fisher reiteró el umbral p = 0,05 y explicó su fundamento, afirmando: [47]
Es habitual y conveniente que los experimentadores tomen el 5 por ciento como nivel estándar de significación, en el sentido de que están preparados para ignorar todos los resultados que no alcancen este estándar y, por este medio, eliminar de la discusión posterior la mayor parte de las fluctuaciones que causas aleatorias han introducido en sus resultados experimentales.
También aplica este umbral al diseño de experimentos, señalando que si sólo se hubieran presentado 6 tazas (3 de cada una), una clasificación perfecta sólo habría producido un valor p que no habría cumplido con este nivel de significancia. [47] Fisher también subrayó la interpretación de p, como la proporción a largo plazo de valores al menos tan extremos como los datos, asumiendo que la hipótesis nula es verdadera.
En ediciones posteriores, Fisher contrastó explícitamente el uso del valor p para la inferencia estadística en la ciencia con el método de Neyman-Pearson, al que denomina "Procedimientos de aceptación". [48] Fisher enfatiza que, si bien los niveles fijos como el 5%, el 2% y el 1% son convenientes, se puede utilizar el valor p exacto y la solidez de la evidencia puede y será revisada con más experimentación. Por el contrario, los procedimientos de decisión requieren una decisión clara, que da como resultado una acción irreversible, y el procedimiento se basa en los costos de error, que, según sostiene, son inaplicables a la investigación científica.
El valor E puede referirse a dos conceptos, ambos relacionados con el valor p y ambos desempeñan un papel en las pruebas múltiples . En primer lugar, corresponde a una alternativa genérica y más robusta al valor p que puede lidiar con la continuación opcional de los experimentos. En segundo lugar, también se utiliza para abreviar "valor esperado", que es el número esperado de veces que uno espera obtener una estadística de prueba al menos tan extrema como la que se observó realmente si uno asume que la hipótesis nula es verdadera. [49] Este valor esperado es el producto del número de pruebas y el valor p .
El valor q es el análogo del valor p con respecto a la tasa de falsos descubrimientos positivos . [50] Se utiliza en pruebas de hipótesis múltiples para mantener el poder estadístico mientras se minimiza la tasa de falsos positivos . [51]
La probabilidad de dirección ( pd ) es el equivalente numérico bayesiano del valor p . [52] Corresponde a la proporción de la distribución posterior que es del signo de la mediana, variando típicamente entre 50% y 100%, y representando la certeza con la que un efecto es positivo o negativo.
Los valores p de segunda generación amplían el concepto de valores p al no considerar tamaños de efecto extremadamente pequeños y prácticamente irrelevantes como significativos. [53]
El uso de valores p durante casi un siglo [desde 1925] para determinar la significación estadística de los resultados experimentales ha contribuido a una ilusión de certeza y [a] crisis de reproducibilidad en muchos campos científicos . Existe una creciente determinación de reformar el análisis estadístico... Algunos [investigadores] sugieren cambiar los métodos estadísticos, mientras que otros eliminarían un umbral para definir resultados "significativos".
{{cite book}}
: CS1 maint: location missing publisher (link)