Intervalo de confianza de proporción binomial

Intervalo de confianza estadística para recuentos de éxito

En estadística , un intervalo de confianza de proporción binomial es un intervalo de confianza para la probabilidad de éxito calculado a partir del resultado de una serie de experimentos de éxito-fracaso ( ensayos de Bernoulli ). En otras palabras, un intervalo de confianza de proporción binomial es una estimación de intervalo de una probabilidad de éxito cuando solo se conocen el número de experimentos y el número de éxitos . ${\displaystyle \ p\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ n_{\mathsf {s}}\ }$

Existen varias fórmulas para un intervalo de confianza binomial, pero todas ellas se basan en el supuesto de una distribución binomial . En general, una distribución binomial se aplica cuando un experimento se repite un número fijo de veces, cada ensayo del experimento tiene dos resultados posibles (éxito y fracaso), la probabilidad de éxito es la misma para cada ensayo y los ensayos son estadísticamente independientes . Debido a que la distribución binomial es una distribución de probabilidad discreta (es decir, no continua) y difícil de calcular para un gran número de ensayos, se utiliza una variedad de aproximaciones para calcular este intervalo de confianza, todas con sus propias compensaciones en precisión e intensidad computacional.

Un ejemplo sencillo de distribución binomial es el conjunto de distintos resultados posibles y sus probabilidades para la cantidad de caras que se observan cuando se lanza una moneda diez veces. La proporción binomial observada es la fracción de los lanzamientos que resultan caras. Dada esta proporción observada, el intervalo de confianza para la probabilidad real de que la moneda caiga en cara es un rango de proporciones posibles, que pueden o no contener la proporción real. Un intervalo de confianza del 95% para la proporción, por ejemplo, contendrá la proporción real el 95% de las veces que se emplee el procedimiento para construir el intervalo de confianza. ^[1]

Problemas con el uso de una aproximación normal o "intervalo de Wald"

Al trazar el intervalo de aproximación normal en una curva logística arbitraria se revelan problemas de sobreimpulso e intervalos de ancho cero . ^[2]

Una fórmula comúnmente utilizada para un intervalo de confianza binomial se basa en la aproximación de la distribución del error sobre una observación distribuida binomialmente, , con una distribución normal . ^[3] La aproximación normal depende del teorema de De Moivre-Laplace (la versión original, solo binomial , del teorema del límite central ) y se vuelve poco confiable cuando viola las premisas de los teoremas, ya que el tamaño de la muestra se vuelve pequeño o la probabilidad de éxito crece cerca de 0 o 1  . ^[4] ${\displaystyle {\hat {p}}}$

Utilizando la aproximación normal, la probabilidad de éxito se estima mediante ${\displaystyle \ p\ }$

${\displaystyle \ p~~\approx ~~{\hat {p}}\pm {\frac {\;z_{\alpha }\ }{\ {\sqrt {n\;}}\ }}\ {\sqrt {{\hat {p}}\ \left(1-{\hat {p}}\right)\ }}\ ,}$

donde es la proporción de éxitos en un proceso de ensayo de Bernoulli y un estimador para en la distribución de Bernoulli subyacente . La fórmula equivalente en términos de recuentos de observaciones es ${\displaystyle \ {\hat {p}}\equiv {\frac {\!\ n_{\mathsf {s}}\!\ }{n}}\ }$ ${\displaystyle \ p\ }$

${\displaystyle \ p~~\approx ~~{\frac {\!\ n_{\mathsf {s}}\!\ }{n}}\pm {\frac {\;z_{\alpha }\ }{\ {\sqrt {n\;}}\ }}{\sqrt {{\frac {\!\ n_{\mathsf {s}}\!\ }{n}}\ {\frac {\!\ n_{\mathsf {f}}\!\ }{n}}\ }}\ ,}$

donde los datos son los resultados de ensayos que arrojaron resultados exitosos y fallidos. El argumento de la función de distribución es el cuartil de una distribución normal estándar (es decir, la probit ) correspondiente a la tasa de error objetivo. Para un nivel de confianza del 95%, el error es y ${\displaystyle \ n\ }$ ${\displaystyle \ n_{\mathsf {s}}\ }$ ${\displaystyle \ n_{\mathsf {f}}=n-n_{\mathsf {s}}\ }$ ${\displaystyle \ z_{\alpha }\ }$ ${\displaystyle \ 1-{\tfrac {\!\ \alpha \!\ }{2}}\ }$ ${\displaystyle \ \alpha ~.}$ ${\displaystyle \ \alpha =1-0.95=0.05\ ,}$ ${\displaystyle \ 1-{\tfrac {\!\ \alpha \!\ }{2}}=0.975\ }$ ${\displaystyle \ z_{.05}=1.96~.}$

Al utilizar la fórmula de Wald para estimar , o simplemente considerar los posibles resultados de este cálculo, inmediatamente se hacen evidentes dos problemas: ${\displaystyle \ p\ }$

• En primer lugar, al aproximarse a 1 o 0 , el intervalo se estrecha a un ancho cero (lo que implica falsamente certeza). ${\displaystyle \ {\hat {p}}\ }$
• En segundo lugar, para valores de (probabilidad demasiado baja / demasiado cercana a 0 ), los límites del intervalo exceden ( sobrepasan ). ${\displaystyle ~{\hat {p}}~<~{\frac {1}{\ 1+n/z_{\alpha }^{2}\ }}~}$ ${\displaystyle \ [0,\ 1]\ }$

(Otra versión del segundo problema, el del sobreimpulso, surge cuando en cambio cae por debajo del mismo límite superior: probabilidad demasiado alta/demasiado cercana a 1  ). ${\displaystyle \ 1-{\hat {p}}\ }$

Una derivación teórica importante de este intervalo de confianza implica la inversión de una prueba de hipótesis. Según esta formulación, el intervalo de confianza representa aquellos valores del parámetro de población que tendrían valores grandes si se probaran como una proporción de población hipotética . ^{[ aclaración necesaria ]} El conjunto de valores para los que es válida la aproximación normal se puede representar como ${\displaystyle \ p\ }$ ${\displaystyle \ \theta \ ,}$

${\displaystyle \left\{~~\theta \quad {\Bigg |}\quad y_{\alpha /2}~~\leq ~~{\frac {\ {\hat {p}}-\theta \ }{{\sqrt {{\frac {\!\ 1\!\ }{n}}\ {\hat {p}}\ \left(1-{\hat {p}}\right)\ }}\ }}~~\leq ~~z_{\alpha /2}~~\right\}\ ,}$

donde es el cuartil inferior de una distribución normal estándar , vs. que es el cuartil superior . ${\displaystyle \ y_{\alpha /2}\ }$ ${\displaystyle \ {\tfrac {\alpha }{\!\ 2\!\ }}\ }$ ${\displaystyle \ z_{\alpha /2}\ ,}$

Dado que la prueba en el medio de la desigualdad es una prueba de Wald , el intervalo de aproximación normal a veces se denomina intervalo de Wald o método de Wald , en honor a Abraham Wald , pero fue descrito por primera vez por Laplace (1812). ^[5]

Entre corchetes del intervalo de confianza

Extendiendo los conceptos de aproximación normal y de intervalo de Wald-Laplace, Michael Short ha demostrado que las desigualdades en el error de aproximación entre la distribución binomial y la distribución normal se pueden utilizar para delimitar con precisión la estimación del intervalo de confianza alrededor de ^[6]. ${\displaystyle \ p\ :}$

${\displaystyle \ {\frac {\ k+C_{\mathsf {L1}}-z_{\alpha }\ {\widehat {W}}\ }{\ n+z_{\alpha }^{2}\ }}~~\leq ~~p~~\leq ~~{\frac {\ k+C_{\mathsf {U1}}+z_{\alpha }\ {\widehat {W}}\ }{n+z_{\alpha }^{2}}}\ }$

con

${\displaystyle \ {\widehat {W}}\equiv {\sqrt {{\frac {\ n\ k-k^{2}+C_{\mathsf {L2}}n\ -C_{\mathsf {L3}}k+C_{\mathsf {L4}}\ }{n}}~}}\ ,}$

y donde es nuevamente la proporción (desconocida) de éxitos en un proceso de ensayo de Bernoulli (en oposición a que la estima) medida con ensayos que arrojan éxitos, es el cuantil de una distribución normal estándar (es decir, el probit) correspondiente a la tasa de error objetivo y las constantes y son funciones algebraicas simples de ^[6] Para un fijo (y por lo tanto ), las desigualdades anteriores dan intervalos unilaterales o bilaterales fácilmente calculables que enmarcan los límites de confianza binomiales superior e inferior exactos correspondientes a la tasa de error ${\displaystyle \ p\ }$ ${\displaystyle \ {\hat {p}}\equiv {\frac {\ n_{\mathsf {s}}\ }{n}}\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ k\ }$ ${\displaystyle \ z_{\alpha }\ }$ ${\displaystyle \ 1-{\tfrac {\alpha }{2}}\ }$ ${\displaystyle \ \alpha \ ,}$ ${\displaystyle \ C_{\mathsf {L1}},C_{\mathsf {L2}},C_{\mathsf {L3}},C_{\mathsf {L4}},C_{\mathsf {U1}},C_{\mathsf {U2}},C_{\mathsf {U3}}\ }$ ${\displaystyle \ C_{\mathsf {U4}}\ }$ ${\displaystyle \ z_{\alpha }~.}$ ${\displaystyle \ \alpha \ }$ ${\displaystyle \ z_{\alpha }\ }$ ${\displaystyle \ \alpha ~.}$

Error estándar de una estimación de proporción al utilizar datos ponderados

Sea una muestra aleatoria simple donde cada uno es iid de una distribución Bernoulli (p) y el peso es el peso para cada observación, con los pesos (positivos) normalizados para que sumen 1.  La proporción de muestra ponderada es: Dado que cada uno de los es independiente de todos los demás, y cada uno tiene varianza para cada uno, la varianza de muestreo de la proporción es: ^[7] ${\displaystyle \ X_{1},\ \ldots ,\ X_{n}\ }$ ${\displaystyle \ X_{i}\ }$ ${\displaystyle w_{i}}$ ${\displaystyle w_{i}}$ ${\textstyle \ {\hat {p}}=\sum _{i=1}^{n}\ w_{i}\ X_{i}~.}$ ${\displaystyle \ X_{i}\ }$ ${\displaystyle \ \operatorname {var} \{\ X_{i}\ \}\ =\ p\ (1-p)~~}$ ${\displaystyle ~~i\ =\ 1,\ \ldots \ ,n\ ,}$

${\displaystyle \ \operatorname {var} \{\ {\hat {p}}\ \}=\sum _{i=1}^{n}\operatorname {var} \{\ w_{i}\ X_{i}\ \}=p\ (1-p)\ \sum _{i=1}^{n}w_{i}^{2}~.}$

El error estándar de es la raíz cuadrada de esta cantidad. Como no lo sabemos, tenemos que estimarlo. Aunque hay muchos estimadores posibles, uno convencional es utilizar la media de la muestra e introducirla en la fórmula. Esto da: ${\displaystyle \ {\hat {p}}\ }$ ${\displaystyle \ p\ (1-p)\ ,}$ ${\displaystyle \ {\hat {p}}\ ,}$

${\displaystyle \ \operatorname {SE} \{\ {\hat {p}}\ \}\approx {\sqrt {~{\hat {p}}\ (1-{\hat {p}})\ \sum _{i=1}^{n}w_{i}^{2}~~}}\ }$

Para datos que de otro modo no estarían ponderados, los pesos efectivos son uniformes, lo que conduce a las fórmulas familiares, que muestran que el cálculo para datos ponderados es una generalización directa de ellas. ${\textstyle \ w_{i}={\tfrac {\!\ 1\!\ }{n}}\ ,}$ ${\textstyle \ \sum _{i=1}^{n}w_{i}^{2}={\tfrac {\!\ 1\!\ }{n}}~.}$ ${\displaystyle \ \operatorname {SE} \ }$ ${\textstyle {\sqrt {{\tfrac {\!\ 1\!\ }{n}}\ {\hat {p}}\ (1-{\hat {p}})~}}\ ,}$

Intervalo de puntuación de Wilson

Intervalos de puntuación de Wilson graficados en una curva logística, que revelan asimetría y buen desempeño para n pequeños y donde p es igual o cercano a 0 o 1.

El intervalo de puntuación de Wilson fue desarrollado por EB Wilson (1927). ^[8] Es una mejora con respecto al intervalo de aproximación normal en múltiples aspectos: a diferencia del intervalo de aproximación normal simétrico (arriba), el intervalo de puntuación de Wilson es asimétrico y no sufre los problemas de sobreimpulso e intervalos de ancho cero que afectan al intervalo normal. Se puede emplear de forma segura con muestras pequeñas y observaciones sesgadas. ^[3] La probabilidad de cobertura observada es consistentemente más cercana al valor nominal, ^[2] ${\displaystyle \ 1-\alpha ~.}$

Al igual que el intervalo normal, el intervalo se puede calcular directamente a partir de una fórmula.

Wilson comenzó con la aproximación normal al binomio:

${\displaystyle \ z_{\alpha }\approx {\frac {~\left(\ p-{\hat {p}}\ \right)~}{\sigma _{n}}}\ }$

donde es el ancho medio del intervalo normal estándar correspondiente a la confianza deseada La fórmula analítica para una desviación estándar de muestra binomial es Combinando los dos y elevando al cuadrado el radical, se obtiene una ecuación que es cuadrática en ${\displaystyle \ z_{\alpha }\ }$ ${\displaystyle \ 1-\alpha ~.}$ $${\displaystyle \ \sigma _{n}={\sqrt {{\frac {\ p\ \left(1-p\right)\ }{n}}~}}~.}$$ ${\displaystyle \ p\ :}$

${\displaystyle \left(\ p-{\hat {p}}\ \right)^{2}={\frac {\;z_{\alpha }^{2}\ }{n}}\ p\ \left(\ 1-p\ \right)\ \qquad }$o ${\displaystyle \qquad p^{2}-2\ p\ {\hat {p}}+{\hat {p}}^{2}=p\ {\frac {\;z_{\alpha }^{2}\ }{n}}-p^{2}\ {\frac {\;z_{\alpha }^{2}\ }{n}}~.}$

Transformando la relación en una ecuación cuadrática de forma estándar para tratar y como valores conocidos de la muestra (ver sección anterior), y usando el valor de que corresponde a la confianza deseada para la estimación de se obtiene lo siguiente: donde todos los valores entre paréntesis son cantidades conocidas. La solución para estima los límites superior e inferior del intervalo de confianza para Por lo tanto, la probabilidad de éxito se estima mediante y con la confianza entre paréntesis en el intervalo. ${\displaystyle \ p\ ,}$ ${\displaystyle \ {\hat {p}}\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ z_{\alpha }\ }$ ${\displaystyle \ 1-\alpha \ }$ ${\displaystyle \ p\ }$ $${\displaystyle \left(\ 1+{\frac {\;z_{\alpha }^{2}\ }{n}}\ \right)\ p^{2}-\left(\ 2\ {\hat {p}}+{\frac {\;z_{\alpha }^{2}\ }{n}}\ \right)\ p+{\biggl (}\ {\hat {p}}^{2}\ {\biggr )}=0~,}$$ ${\displaystyle \ p\ }$ ${\displaystyle \ p~.}$ ${\displaystyle \ p\ }$ ${\displaystyle \ {\hat {p}}\ }$ ${\displaystyle \ 1-\alpha \ }$

${\displaystyle p\quad {\underset {\approx }{\in }}_{\alpha }\quad {\bigl (}\ w^{-},\ w^{+}\ {\bigr )}~~=~~{\frac {1}{~1+z_{\alpha }^{2}\ /n~}}{\Bigg (}\ {\hat {p}}+{\frac {\;z_{\alpha }^{2}\ }{2\ n}}~~\pm ~~{\frac {\!\ z_{\alpha }\!\ }{\!\ 2\ n\!\ }}\ {\sqrt {\ 4\ n\ {\hat {p}}\ (1-{\hat {p}})+\ z_{\alpha }^{2}~}}~{\Biggr )}\ }$

¿Dónde está la abreviatura de? ${\displaystyle \ {\underset {\approx }{\in }}_{\alpha }\ }$

${\displaystyle \ \operatorname {\mathbb {P} } {\Bigr \{}~~p\in \left(\ w^{-},\ w^{+}\ \right)~~{\Bigl \}}=1-\alpha ~.}$

Una expresión equivalente que utiliza los recuentos de observaciones es ${\displaystyle \ n_{\mathsf {s}}\ }$ ${\displaystyle \ n_{\mathsf {f}}\ }$

${\displaystyle p\quad {\underset {\approx }{\in }}_{\alpha }\quad {\frac {\ n_{\mathsf {s}}+{\tfrac {\!\ 1\!\ }{2}}\ z_{\alpha }^{2}\ }{n+z_{\alpha }^{2}}}~\pm ~{\frac {z_{\alpha }}{\ n+z_{\alpha }^{2}\ }}{\sqrt {{\frac {\ n_{\mathsf {s}}\ n_{\mathsf {f}}\ }{n}}+{\frac {\;z_{\alpha }^{2}\ }{4}}~}}\ ,}$

con los recuentos anteriores: el recuento de "éxitos" observados, el recuento de "fracasos" observados, y su suma es el número total de observaciones ${\displaystyle n_{\mathsf {s}}\equiv }$ ${\displaystyle \ n_{\mathsf {f}}\equiv }$ ${\displaystyle \ n=n_{\mathsf {s}}+n_{\mathsf {f}}~.}$

En pruebas prácticas de los resultados de la fórmula, los usuarios encuentran que este intervalo tiene buenas propiedades incluso para un pequeño número de ensayos y/o los extremos de la estimación de probabilidad, ^{[2] [3] [9]} ${\displaystyle \ {\hat {p}}\equiv {\frac {\!\ n_{\mathsf {s}}\ }{n}}~.}$

Intuitivamente, el valor central de este intervalo es el promedio ponderado de y con un peso mayor a medida que aumenta el tamaño de la muestra. Formalmente, el valor central corresponde a utilizar un pseudoconteo del número de desviaciones estándar del intervalo de confianza: agregue este número tanto al recuento de éxitos como al de fracasos para obtener la estimación de la razón. Para las dos desviaciones estándar comunes en cada intervalo de dirección (aproximadamente una cobertura del 95%, que en sí misma es aproximadamente 1,96 desviaciones estándar), esto produce la estimación que se conoce como la "regla del más cuatro". ${\displaystyle \ {\hat {p}}\ }$ ${\displaystyle \ {\tfrac {\!\ 1\!\ }{2}}\ ,}$ ${\displaystyle \ {\hat {p}}\ }$ ${\displaystyle \ {\tfrac {\!\ 1\!\ }{2}}z_{\alpha }^{2}\ ,}$ ${\displaystyle \ {\frac {\ n_{\mathsf {s}}+2\ }{n+4}}\ ,}$

Aunque la ecuación cuadrática se puede resolver explícitamente, en la mayoría de los casos las ecuaciones de Wilson también se pueden resolver numéricamente utilizando la iteración de punto fijo.

${\displaystyle p_{\!\ k+1}={\hat {p}}\pm z_{\alpha }\ {\sqrt {{\tfrac {\!\ 1\!\ }{n}}\ p_{k}\ \left(\ 1-p_{k}\ \right)~}}}$

con ${\displaystyle \ p_{0}={\hat {p}}~.}$

El intervalo de Wilson también se puede derivar de la prueba z de muestra única o de la prueba de chi-cuadrado de Pearson con dos categorías. El intervalo resultante,

${\displaystyle \left\{~~\theta \quad {\Bigg |}\quad \ y_{\alpha }~~\leq ~~{\frac {\ {\hat {p}}-\theta \ }{\ {\sqrt {{\tfrac {\!\ 1\!\ }{n}}\ \theta \ \left(1-\theta \right)~}}\ }}~~\leq ~~z_{\alpha }~~\right\}\ ,}$

(con el cuartil inferior ) se puede resolver para producir el intervalo de puntuación de Wilson. La prueba en el medio de la desigualdad es una prueba de puntuación . ${\displaystyle \ y_{\alpha }\ }$ ${\displaystyle \ \alpha \ }$ ${\displaystyle \ \theta \ }$

El principio de igualdad de intervalos

Función de densidad de probabilidad ( PDF ) para el intervalo de puntuación de Wilson, más las PDF en los límites del intervalo. Las áreas de cola son iguales.

Dado que el intervalo se deriva resolviendo la aproximación normal a la binomial, el intervalo de puntuación de Wilson tiene la propiedad de garantizar que se obtenga el mismo resultado que la prueba z o la prueba de chi-cuadrado equivalentes . ${\displaystyle ~{\bigl (}\ w^{-}\ ,\ w^{+}\ {\bigr )}~}$

Esta propiedad se puede visualizar trazando la función de densidad de probabilidad para el intervalo de puntuación de Wilson ( ver Wallis). ^{[9] (pp 297-313)} Después de eso, también se traza una función de densidad de probabilidad normal a lo largo de cada límite. Las áreas de cola de las distribuciones de Wilson y normal resultantes representan la probabilidad de un resultado significativo, en esa dirección, deben ser iguales.

El intervalo de puntuación de Wilson corregido por continuidad y el intervalo de Clopper-Pearson también cumplen con esta propiedad. La importancia práctica es que estos intervalos pueden emplearse como pruebas de significación , con resultados idénticos a la prueba original, y se pueden derivar nuevas pruebas por geometría. ^[9]

Intervalo de puntuación de Wilson con corrección de continuidad

El intervalo de Wilson se puede modificar empleando una corrección de continuidad , con el fin de alinear la probabilidad de cobertura mínima , en lugar de la probabilidad de cobertura promedio, con el valor nominal. ${\displaystyle \ 1-\alpha ~.}$

Así como el intervalo de Wilson refleja la prueba de chi-cuadrado de Pearson , el intervalo de Wilson con corrección de continuidad refleja la prueba de chi-cuadrado de Yates equivalente .

Las siguientes fórmulas para los límites inferior y superior del intervalo de puntuación de Wilson con corrección de continuidad se derivan de Newcombe: ^[2] ${\displaystyle \ \left(w_{\mathsf {cc}}^{-},w_{\mathsf {cc}}^{+}\right)\ }$

$${\displaystyle {\begin{aligned}w_{\mathsf {cc}}^{-}&=\max \left\{~~0\ ,~~{\frac {\ 2\ n\ {\hat {p}}+z_{\alpha }^{2}-\left[\ z_{\alpha }\ {\sqrt {z_{\alpha }^{2}-{\frac {\ 1\ }{n}}+4\ n\ {\hat {p}}\ \left(1-{\hat {p}}\right)+\left(4\ {\hat {p}}-2\right)~}}\ +\ 1\ \right]\ }{\ 2\left(n+z_{\alpha }^{2}\right)~~}}\right\}\ ,\\w_{\mathsf {cc}}^{+}&=\min \left\{~~1\ ,~~{\frac {\ 2\ n\ {\hat {p}}+z_{\alpha }^{2}+\left[\ z_{\alpha }\ {\sqrt {z_{\alpha }^{2}-{\frac {\ 1\ }{n}}+4\ n\ {\hat {p}}\ \left(1-{\hat {p}}\right)-\left(4\ {\hat {p}}-2\right)~}}\ +\ 1\ \right]\ }{\ 2\left(n+z_{\alpha }^{2}\right)~~}}\right\},\end{aligned}}}$$

para y ${\displaystyle \ {\hat {p}}\neq 0\ }$ ${\displaystyle \ {\hat {p}}\neq 1~.}$

Si entonces debe establecerse en su lugar si entonces debe establecerse en su lugar ${\displaystyle \ {\hat {p}}=0\ ,}$ ${\displaystyle \ w_{\mathsf {cc}}^{-}\ }$ ${\displaystyle \ 0\ ;}$ ${\displaystyle \ {\hat {p}}=1\ ,}$ ${\displaystyle \ w_{\mathsf {cc}}^{+}\ }$ ${\displaystyle \ 1~.}$

Wallis (2021) ^[9] identifica un método más simple para calcular intervalos de Wilson corregidos por continuidad que emplea una función especial basada en la fórmula de límite inferior de Wilson: En la notación de Wallis, para el límite inferior, sea

${\displaystyle ~{\mathsf {Wilson_{lower}}}\left(\ {\hat {p}},\ n,\ {\tfrac {\!\ \alpha \!\ }{2}}\ \right)\ \equiv \ w^{-}\ =\ {\frac {1}{~1+z_{\alpha }^{2}\ /n~}}{\Bigg (}\ {\hat {p}}+{\frac {\;z_{\alpha }^{2}\ }{\!\ 2\ n\!\ }}~~-~~{\frac {\!\ z_{\alpha }\!\ }{\!\ 2\ n\!\ }}\ {\sqrt {\ 4\ n\ {\hat {p}}\ (1-{\hat {p}})+\ z_{\alpha }^{2}~}}~{\Biggr )}\ ,}$

¿Dónde está el nivel de error tolerable seleccionado para Entonces? ${\displaystyle \ \alpha \ }$ ${\displaystyle \ z_{\alpha }~.}$

${\displaystyle \ w_{\mathsf {cc}}^{-}={\mathsf {Wilson_{lower}}}\left(\ \max \left\{\ {\hat {p}}-{\tfrac {1}{\!\ 2\ n\!\ }},\ 0\ \right\},\ n,\ {\tfrac {\!\ \alpha \!\ }{2}}\ \right)~.}$

Este método tiene la ventaja de ser aún más descomponible.

Intervalo de Jeffreys

El intervalo de Jeffreys tiene una derivación bayesiana, pero buenas propiedades frecuentistas (supera a la mayoría de las construcciones frecuentistas). En particular, tiene propiedades de cobertura similares a las del intervalo de Wilson, pero es uno de los pocos intervalos con la ventaja de ser de colas iguales (por ejemplo, para un intervalo de confianza del 95%, las probabilidades de que el intervalo se encuentre por encima o por debajo del valor verdadero son ambas cercanas al 2,5%). En contraste, el intervalo de Wilson tiene un sesgo sistemático tal que está centrado demasiado cerca de ^[10] ${\displaystyle \ p=0.5~.}$

El intervalo de Jeffreys es el intervalo creíble bayesiano obtenido al utilizar la distribución previa de Jeffreys no informativa para la proporción binomial . La distribución previa de Jeffreys para este problema es una distribución Beta con parámetros a la distribución previa conjugada . Después de observar los éxitos en los ensayos, la distribución posterior para es una distribución Beta con parámetros ${\displaystyle \ p~.}$ ${\displaystyle \ \left({\tfrac {\!\ 1\!\ }{2}},{\tfrac {\!\ 1\!\ }{2}}\right)\ ,}$ ${\displaystyle \ x\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ p\ }$ ${\displaystyle \ \left(x+{\tfrac {\!\ 1\!\ }{2}},n-x+{\tfrac {\!\ 1\!\ }{2}}\right)~.}$

Cuando y el intervalo de Jeffreys se toma como el intervalo de probabilidad posterior de cola igual, es decir, los cuantiles y de una distribución Beta con parámetros ${\displaystyle \ x\neq 0\ }$ ${\displaystyle \ x\neq n\ ,}$ ${\displaystyle \ 100\ \left(1-\alpha \right)\ \mathrm {\%} \ }$ ${\displaystyle \ {\tfrac {\!\ 1\!\ }{2}}\ \alpha \ }$ ${\displaystyle \ 1-{\tfrac {\!\ 1\!\ }{2}}\ \alpha \ }$ ${\displaystyle \ \left(\ x+{\tfrac {\!\ 1\!\ }{2}},\ n-x+{\tfrac {\!\ 1\!\ }{2}}\ \right)~.}$

Para evitar que la probabilidad de cobertura tienda a cero cuando o 1  , cuando el límite superior se calcula como antes pero el límite inferior se establece en 0  , y cuando el límite inferior se calcula como antes pero el límite superior se establece en 1. ^[4  ] ${\displaystyle \ p\to 0\ }$ ${\displaystyle \ x=0\ }$ ${\displaystyle \ x=n\ }$

El intervalo de Jeffreys también puede considerarse como un intervalo frecuentista basado en la inversión del valor p de la prueba G después de aplicar la corrección de Yates para evitar un valor potencialmente infinito para la estadística de prueba.

Intervalo de Clopper-Pearson

El intervalo de Clopper-Pearson es un método temprano y muy común para calcular intervalos de confianza binomiales. ^[11] A menudo se lo denomina método "exacto", ya que alcanza el nivel de cobertura nominal en un sentido exacto, lo que significa que el nivel de cobertura nunca es menor que el nominal ^[2]. ${\displaystyle \ 1-\alpha ~.}$

El intervalo de Clopper-Pearson se puede escribir como

${\displaystyle \ S_{\leq }\cap S_{\geq }\ }$

o equivalentemente,

${\displaystyle \ \left(\inf S_{\geq }\ ,\ \sup S_{\leq }\right)\ }$

con

${\displaystyle S_{\leq }~\equiv ~\left\{~p~~{\Big |}~~\operatorname {\mathbb {P} } \left\{~\operatorname {Bin} \left(n;p\right)\leq x~\right\}>{\tfrac {\!\ \alpha \!\ }{2}}~~\right\}~}$

y

${\displaystyle ~S_{\geq }~\equiv ~\left\{~p~~{\Big |}~~\operatorname {\mathbb {P} } \left\{~\operatorname {Bin} \left(n;p\right)\geq x\right\}>{\tfrac {\!\ \alpha \!\ }{2}}~~\right\}\ ,}$

donde es el número de éxitos observados en la muestra y es una variable aleatoria binomial con ensayos y probabilidad de éxito ${\displaystyle \ 0\leq x\leq n\ }$ ${\displaystyle \ {\mathsf {Bin}}\left(n;p\right)\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ p~.}$

De manera equivalente podemos decir que el intervalo de Clopper-Pearson tiene un nivel de confianza si es el ínfimo de aquellos tales que las siguientes pruebas de hipótesis tienen éxito con significancia ${\textstyle \ \left(\ {\frac {\!\ x\!\ }{n}}-\varepsilon _{1},\ {\frac {\!\ x\!\ }{n}}+\varepsilon _{2}\ \right)\ }$ ${\displaystyle \ 1-\alpha \ }$ ${\displaystyle \ \varepsilon _{i}\ }$ ${\textstyle \ {\frac {\!\ \alpha \!\ }{2}}\ :}$

1. H ₀ : con H _A : ${\displaystyle \ p={\frac {\!\ x\!\ }{n}}-\varepsilon _{1}\ }$ ${\displaystyle \ p>{\frac {\!\ x\!\ }{n}}-\varepsilon _{1}}$
2. H ₀ : con H _A : ${\displaystyle \ p={\frac {\!\ x\!\ }{n}}+\varepsilon _{2}\ }$ ${\displaystyle \ p<{\frac {\!\ x\!\ }{n}}+\varepsilon _{2}~.}$

Debido a una relación entre la distribución binomial y la distribución beta , el intervalo de Clopper-Pearson a veces se presenta en un formato alternativo que utiliza cuantiles de la distribución beta. ^[12]

${\displaystyle \ B\!\left({\tfrac {\!\ \alpha \!\ }{2}}\ ;\ x\ ,\ n-x+1\right)~<~p~<~B\!\left(\ 1-{\tfrac {\!\ \alpha \!\ }{2}}\ ;\ x+1\ ,\ n-x\ \right)\ }$

donde es el número de éxitos, es el número de ensayos y es el p -ésimo cuartil de una distribución beta con parámetros de forma y ${\displaystyle \ x\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ B\!\left(\ p\ ;\ v\ ,\ w\ \right)\ }$ ${\displaystyle \ v\ }$ ${\displaystyle \ w~.}$

Así, donde: ${\displaystyle \ p_{\min }~<~p<~p_{\max }\ ,}$

${\displaystyle {\tfrac {\ \Gamma (n+1)\ }{\ \Gamma \!(x)\ \Gamma \!(n-x+1)\ }}\ \int _{0}^{p_{\min }}\ t^{x-1}\ (1-t)^{n-x}\ \mathrm {d} \!\ t~~=~~{\tfrac {\!\ \alpha \!\ }{2}}\ ,}$

${\displaystyle {\tfrac {\Gamma (n+1)}{\Gamma (x+1)\Gamma (n-x)}}\ \int _{0}^{p_{\max }}\ t^{x}\ (1-t)^{n-x-1}\ \mathrm {d} \!\ t~=~1-{\tfrac {\!\ \alpha \!\ }{2}}~.}$

El intervalo de confianza de la proporción binomial es entonces el siguiente: a partir de la relación entre la función de distribución acumulativa de la distribución binomial y la función beta incompleta regularizada . ${\displaystyle \ \left(\ p_{\min }\ ,\ p_{\max }\right)\ ,}$

Cuando es 0 o hay expresiones de forma cerrada disponibles para los límites del intervalo: cuando el intervalo es ${\displaystyle \ x\ }$ ${\displaystyle \ n\ ,}$ ${\displaystyle \ x=0\ }$

${\textstyle \ \left(0\ ,\ 1-\left(\ {\tfrac {\!\ \alpha \!\ }{2}}\ \right)^{1/n}\right)\ }$

Y cuando es ${\displaystyle \ x=n\ }$

${\textstyle \ \left(\ \left({\tfrac {\!\ \alpha \!\ }{2}}\ \right)^{1/n}\ ,\ 1\ \right)~.}$^[12]

La distribución beta está, a su vez, relacionada con la distribución F , por lo que se puede escribir una tercera formulación del intervalo de Clopper-Pearson utilizando cuantiles F :

${\displaystyle \left(\ 1+{\frac {\ n-x+1\ }{\ x\ F\!\left[\ {\tfrac {\!\ \alpha \!\ }{2}}\ ;\ 2\ x\ ,\ 2\ (\ n-x+1\ )\ \right]\ }}\ \right)^{-1}~~<~~p~~<~~\left(\ 1+{\frac {\ n-x\ }{(x+1)\ \ F\!\left[\ 1-{\tfrac {\!\ \alpha \!\ }{2}}\ ;\ 2\ (x+1)\ ,\ 2\ (n-x\ )\ \right]\ }}\ \right)^{-1}}$

donde es el número de éxitos, es el número de ensayos y es el cuantil de una distribución F con y grados de libertad. ^[13] ${\displaystyle \ x\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ F\!\left(\ c\ ;\ d_{1}\ ,d_{2}\ \right)\ }$ ${\displaystyle \ c\ }$ ${\displaystyle \ d_{1}\ }$ ${\displaystyle \ d_{2}\ }$

El intervalo de Clopper-Pearson es un intervalo "exacto", ya que se basa directamente en la distribución binomial en lugar de cualquier aproximación a la distribución binomial. Este intervalo nunca tiene una cobertura menor que la nominal para cualquier proporción de la población, pero eso significa que generalmente es conservador. Por ejemplo, la tasa de cobertura real de un intervalo de Clopper-Pearson del 95% puede ser muy superior al 95%, dependiendo de y ^[4] Por lo tanto, el intervalo puede ser más amplio de lo que necesita ser para lograr una confianza del 95%, y más amplio que otros intervalos. En contraste, vale la pena señalar que otros intervalos de confianza pueden tener niveles de cobertura que son inferiores al nominal , es decir, el intervalo de aproximación normal (o "estándar"), el intervalo de Wilson, ^[8] el intervalo de Agresti-Coull, ^[13] etc., con una cobertura nominal del 95% puede de hecho cubrir menos del 95%, ^[4] incluso para tamaños de muestra grandes. ^[12] ${\displaystyle \ n\ }$ ${\displaystyle \ p~.}$ ${\displaystyle \ 1-\alpha \ ,}$

La definición del intervalo de Clopper-Pearson también se puede modificar para obtener intervalos de confianza exactos para diferentes distribuciones. Por ejemplo, también se puede aplicar al caso en el que las muestras se extraen sin reemplazo de una población de un tamaño conocido, en lugar de extracciones repetidas de una distribución binomial. En este caso, la distribución subyacente sería la distribución hipergeométrica .

Los límites de intervalo se pueden calcular con las funciones numéricas qbeta ^[14] en R y scipy.stats.beta.ppf ^[15] en Python.

desde  scipy.stats  importar  beta k  =  20 n  =  400 alfa  =  0,05 p_u ,  p_o  =  beta . ppf ([ alfa / 2 ,  1  -  alfa / 2 ],  [ k ,  k  +  1 ],  [ n  -  k  +  1 ,  n  -  k ])

Intervalo de Agresti-Coull

El intervalo de Agresti-Coull es también otro intervalo de confianza binomial aproximado. ^[13]

Dados los éxitos en los ensayos, definir ${\displaystyle \ n_{\mathsf {s}}\ }$ ${\displaystyle \ n\ }$

${\displaystyle \ {\tilde {n}}\equiv n+z_{\alpha }^{2}\ }$

y

${\displaystyle \ {\tilde {p}}={\frac {1}{\!\ {\tilde {n}}\!\ }}\left(\!\ n_{\mathsf {s}}+{\tfrac {\ z_{\alpha }^{2}}{2}}\!\ \right)\ }$

Entonces, un intervalo de confianza para viene dado por ${\displaystyle \ p\ }$

${\displaystyle \ p~~\approx ~~{\tilde {p}}~\pm ~z_{\alpha }\ {\sqrt {{\frac {\!\ {\tilde {p}}\!\ }{\tilde {n}}}\ \left(\!\ 1-{\tilde {p}}\!\ \right)~}}}$

donde es el cuantil de una distribución normal estándar, como antes (por ejemplo, un intervalo de confianza del 95% requiere produciendo ). Según Brown , Cai y DasGupta (2001), ^[4] tomar en lugar de 1,96 produce el intervalo de "suma de 2 éxitos y 2 fracasos" descrito previamente por Agresti y Coull . ^[13] ${\displaystyle \ z_{\alpha }=\operatorname {\Phi ^{-1}} \!\!\left(\ 1-{\tfrac {\!\ \alpha \!\ }{2}}\ \right)\ }$ ${\displaystyle \ \alpha =0.05\ ,}$ ${\displaystyle \ z_{.05}=1.96\ }$ ${\displaystyle \ z=2\ }$

Este intervalo se puede resumir empleando el ajuste del punto central del intervalo de puntuación de Wilson y luego aplicando la aproximación normal a este punto. ^{[3] [4]} ${\displaystyle \ {\tilde {p}}\ ,}$

${\displaystyle \ {\tilde {p}}={\frac {\quad {\hat {p}}+{\frac {\ z_{\alpha }^{2}\!\ }{\ 2\ n\ }}\quad }{\quad 1+{\frac {\ z_{\alpha }^{2}}{n}}\quad }}\ }$

Transformación de arcoseno

La transformación del arcoseno tiene el efecto de extraer los extremos de la distribución. ^[16] Si bien puede estabilizar la varianza (y, por lo tanto, los intervalos de confianza) de los datos de proporción, su uso ha sido criticado en varios contextos. ^[17]

Sea el número de éxitos en los ensayos y sea La varianza de es ${\displaystyle \ X\ }$ ${\displaystyle \ n\ }$ ${\displaystyle \ p={\tfrac {1}{\!\ n\!\ }}\!\ X~.}$ ${\displaystyle \ p\ }$

${\displaystyle \operatorname {var} \{~~p~~\}={\tfrac {1}{\!\ n\!\ }}\ p\ (1-p)~.}$

Utilizando la transformada del arcoseno , la varianza del arcoseno de es ^[18] ${\displaystyle \ {\sqrt {\ p~}}\ }$

${\displaystyle \ \operatorname {var} \left\{~~\arcsin {\sqrt {p~}}~~\right\}~\approx ~{\frac {\ \operatorname {var} \{~~p~~\}\ }{\ 4\ p\ (1-p)\ }}={\frac {\ p\ (1-p)\ }{\ 4\ n\ p\ (1-p)\ }}={\frac {\ 1\ }{\ 4\ n\ }}~.}$

Entonces, el intervalo de confianza en sí tiene la forma

${\displaystyle \ \sin ^{2}\left(\ -\ {\frac {z_{\alpha }}{\ 2\ {\sqrt {n\ }}\ }}+\arcsin {\sqrt {p\ }}~\right)~<~\theta ~<~\sin ^{2}\left(\ +\ {\frac {\ z_{\alpha }\ }{\ 2\ {\sqrt {n\ }}\ }}\ +\arcsin {\sqrt {p\ }}~\right)\ ,}$

donde es el cuantil de una distribución normal estándar. ${\displaystyle \ z_{\alpha }\ }$ ${\displaystyle \ 1\ -\ {\tfrac {\!\ \alpha \!\ }{2}}\ }$

Este método se puede utilizar para estimar la varianza de pero su uso es problemático cuando está cerca de 0 o 1  . ${\displaystyle \ p\ }$ ${\displaystyle \ p\ }$

aatransformar

Sea la proporción de éxitos. ${\displaystyle \ p\ }$ ${\displaystyle \ 0\leq a\leq 2\ ,}$

${\displaystyle \ t_{a}\ =\ \log \left(\ {\frac {\ p^{a}\ }{\ (1-p)^{2-a}\ }}\ \right)\ =\ a\ \log p-(2-a)\ \log(\ 1-p\ )\ }$

Esta familia es una generalización de la transformada logit, que es un caso especial con a = 1 y se puede utilizar para transformar una distribución de datos proporcional en una distribución aproximadamente normal . El parámetro a debe estimarse para el conjunto de datos.

Regla de tres: para cuando no se observan éxitos

La regla de tres se utiliza para proporcionar una forma sencilla de indicar un intervalo de confianza aproximado del 95 % para el caso especial de que no se hayan observado éxitos ( ). ^[19] El intervalo es ${\displaystyle \ p\ ,}$ ${\displaystyle \ {\hat {p}}=0\ }$ ${\displaystyle \ \left(\ 0,\ {\tfrac {\!\ 3\!\ }{n}}\right)~.}$

Por simetría, en el caso de solo éxitos ( ), el intervalo es ${\displaystyle \ {\hat {p}}=1\ }$ ${\displaystyle \ \left(\ 1-{\tfrac {\!\ 3\!\ }{n}},\ 1\ \right)~.}$

Comparación y discusión

Hay varios artículos de investigación que comparan estos y otros intervalos de confianza para la proporción binomial. ^{[3] [2] [20] [21]}

Tanto Ross (2003) ^[22] como Agresti & Coull (1998) ^[13] señalan que los métodos exactos como el intervalo de Clopper-Pearson pueden no funcionar tan bien como algunas aproximaciones. El intervalo de aproximación normal y su presentación en los libros de texto ha sido duramente criticado, y muchos estadísticos abogan por que no se lo utilice. ^[4] Los principales problemas son el sobrepaso (los límites exceden ), los intervalos de ancho cero en o 1 (lo que implica falsamente certeza), ^[2] y la inconsistencia general con las pruebas de significancia. ^[3] ${\displaystyle \ \left[\ 0,\ 1\ \right]\ }$ ${\displaystyle \ {\hat {p}}\ =0\ }$

De las aproximaciones enumeradas anteriormente, los métodos de intervalo de puntuación de Wilson (con o sin corrección de continuidad) han demostrado ser los más precisos y los más robustos, ^{[3] [4] [2]} aunque algunos prefieren el enfoque de Agresti y Coulls para tamaños de muestra más grandes. ^[4] Los métodos de Wilson y Clopper-Pearson obtienen resultados consistentes con las pruebas de significancia de la fuente, ^[9] y esta propiedad es decisiva para muchos investigadores.

Muchos de estos intervalos se pueden calcular en R utilizando paquetes como binom . ^[23]

Véase también

• distribución binomial#Intervalos de confianza
• teoría de la estimación
• pseudoconteo
• Intervalo de confianza no paramétrico basado en CDF#Banda puntual

Referencias

1. Sullivan, Lisa (27 de octubre de 2017). "Intervalos de confianza". sphweb.bumc.bu.edu (notas del curso). Boston, MA: Facultad de Salud Pública de la Universidad de Boston . BS704.
2. Newcombe, RG (1998). "Intervalos de confianza bilaterales para la proporción única: comparación de siete métodos". Estadística en Medicina . 17 (8): 857–872. doi :10.1002/(SICI)1097-0258(19980430)17:8<857::AID-SIM777>3.0.CO;2-E. PMID  9595616.
3. Wallis, Sean A. (2013). "Intervalos de confianza binomiales y pruebas de contingencia: fundamentos matemáticos y evaluación de métodos alternativos" (PDF) . Revista de lingüística cuantitativa . 20 (3): 178–208. doi :10.1080/09296174.2013.799918. S2CID  16741749.
4. Brown, Lawrence D. ; Cai, T. Tony ; DasGupta, Anirban (2001). "Estimación de intervalo para una proporción binomial". Ciencia estadística . 16 (2): 101–133. CiteSeerX 10.1.1.50.3025 . doi :10.1214/ss/1009213286. MR  1861069. Zbl  1059.62533. 
5. Laplace, PS (1812). Théorie analytique des probabilités [ Teoría analítica de la probabilidad ] (en francés). Ve. Mensajero. pag. 283.
6. Short, Michael (8 de noviembre de 2021). "Sobre límites cuantiles y proporcionales binomiales: con aplicaciones en ingeniería e informática". Comunicaciones en estadística: teoría y métodos . 52 (12): 4183–4199. doi : 10.1080/03610926.2021.1986540 . ISSN  0361-0926. S2CID  243974180.
7. "¿Cómo calcular el error estándar de una proporción usando datos ponderados?". stats.stackexchange.com . 159220 / 253.
8. Wilson, EB (1927). "Inferencia probable, ley de sucesión e inferencia estadística". Revista de la Asociación Estadounidense de Estadística . 22 (158): 209–212. doi :10.1080/01621459.1927.10502953. JSTOR  2276774.
9. Wallis, Sean A. (2021). Estadísticas en lingüística de corpus: un nuevo enfoque. Nueva York, NY: Routledge. ISBN 9781138589384.
10. Cai, TT (2005). "Intervalos de confianza unilaterales en distribuciones discretas". Revista de planificación e inferencia estadística . 131 (1): 63–88. doi :10.1016/j.jspi.2004.01.005.
11. Clopper, C.; Pearson, ES (1934). "El uso de límites de confianza o fiduciales ilustrados en el caso del binomio". Biometrika . 26 (4): 404–413. doi :10.1093/biomet/26.4.404.
12. Thulin, Måns (1 de enero de 2014). "El costo de usar intervalos de confianza exactos para una proporción binomial". Revista electrónica de estadística . 8 (1): 817–840. arXiv : 1303.1288 . doi :10.1214/14-EJS909. ISSN  1935-7524. S2CID  88519382.
13. Agresti, Alan ; Coull, Brent A. (1998). "Aproximación es mejor que 'exacta' para la estimación de intervalos de proporciones binomiales". The American Statistician . 52 (2): 119–126. doi :10.2307/2685469. JSTOR  2685469. MR  1628435.
14. "La distribución Beta". stat.ethz.ch (documentación del software). Manual de R. Consultado el 2 de diciembre de 2023 .
15. "scipy.stats.beta". Manual de SciPy. docs.scipy.org (documento de software) (edición 1.11.4) . Consultado el 2 de diciembre de 2023 .
16. Holland, Steven. "Transformaciones de proporciones y porcentajes". strata.uga.edu . Consultado el 8 de septiembre de 2020 .
17. Warton, David I.; Hui, Francis KC (enero de 2011). "El arcoseno es estúpido: el análisis de proporciones en ecología". Ecología . 92 (1): 3–10. Bibcode :2011Ecol...92....3W. doi :10.1890/10-0340.1. hdl : 1885/152287 . ISSN  0012-9658. PMID  21560670.
18. Shao, J. (1998). Estadística matemática . Nueva York, NY: Springer.
19. Simon, Steve (2010). "Intervalo de confianza con cero eventos". Ask Professor Mean. Kansas City, MO: The Children's Mercy Hospital. Archivado desde el original el 15 de octubre de 2011.Temas de estadísticas sobre investigación médica
20. Sauro, J.; Lewis, JR (2005). Calculadora comparativa de intervalos de Wald, Adj-Wald, exactos y de Wilson (PDF) . Human Factors and Ergonomics Society, 49.ª reunión anual (HFES 2005). Orlando, FL. pp. 2100–2104. Archivado desde el original (PDF) el 18 de junio de 2012.
21. Reiczigel, J. (2003). "Intervalos de confianza para el parámetro binomial: algunas nuevas consideraciones" (PDF) . Estadísticas en Medicina . 22 (4): 611–621. doi :10.1002/sim.1320. PMID  12590417. S2CID  7715293.
22. Ross, TD (2003). "Intervalos de confianza precisos para la estimación de la proporción binomial y la tasa de Poisson". Computers in Biology and Medicine . 33 (6): 509–531. doi :10.1016/S0010-4825(03)00019-2. PMID  12878234.
23. Dorai-Raj, Sundar (2 de mayo de 2022). binom: Intervalos de confianza binomiales para varias parametrizaciones (documento de software) . Consultado el 2 de diciembre de 2023 .