Distribución de Bernoulli

Distribución de probabilidad que modela el lanzamiento de una moneda que no necesariamente debe ser justo

En teoría de probabilidad y estadística , la distribución de Bernoulli , llamada así por el matemático suizo Jacob Bernoulli , ^[1] es la distribución de probabilidad discreta de una variable aleatoria que toma el valor 1 con probabilidad y el valor 0 con probabilidad . De manera menos formal, se puede considerar como un modelo para el conjunto de resultados posibles de cualquier experimento individual que haga una pregunta de sí o no . Tales preguntas conducen a resultados que tienen un valor booleano : un solo bit cuyo valor es éxito/ sí / verdadero / uno con probabilidad p y fracaso/no/ falso / cero con probabilidad q . Se puede utilizar para representar un lanzamiento de moneda (posiblemente sesgado) donde 1 y 0 representarían "cara" y "cruz", respectivamente, y p sería la probabilidad de que la moneda caiga en cara (o viceversa, donde 1 representaría cruz y p sería la probabilidad de cruz). En particular, las monedas injustas tendrían ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle p\neq 1/2.}$

La distribución de Bernoulli es un caso especial de la distribución binomial en el que se realiza un único ensayo (por lo que n sería 1 para dicha distribución binomial). También es un caso especial de la distribución de dos puntos , para la que los resultados posibles no necesitan ser 0 y 1. ^[2]

Propiedades

Si es una variable aleatoria con distribución de Bernoulli, entonces: ${\displaystyle X}$

${\displaystyle \Pr(X=1)=p=1-\Pr(X=0)=1-q.}$

La función de masa de probabilidad de esta distribución, sobre posibles resultados k , es ${\displaystyle f}$

${\displaystyle f(k;p)={\begin{cases}p&{\text{if }}k=1,\\q=1-p&{\text{if }}k=0.\end{cases}}}$^[3]

Esto también se puede expresar como

${\displaystyle f(k;p)=p^{k}(1-p)^{1-k}\quad {\text{for }}k\in \{0,1\}}$

o como

${\displaystyle f(k;p)=pk+(1-p)(1-k)\quad {\text{for }}k\in \{0,1\}.}$

La distribución de Bernoulli es un caso especial de la distribución binomial con ^[4] ${\displaystyle n=1.}$

La curtosis tiende al infinito para valores altos y bajos de pero las distribuciones de dos puntos, incluida la distribución de Bernoulli, tienen un exceso de curtosis menor , es decir, −2, que cualquier otra distribución de probabilidad. ${\displaystyle p,}$ ${\displaystyle p=1/2}$

Las distribuciones de Bernoulli forman una familia exponencial . ${\displaystyle 0\leq p\leq 1}$

El estimador de máxima verosimilitud de basado en una muestra aleatoria es la media de la muestra . ${\displaystyle p}$

La función de distribución de masa de probabilidad de un experimento de Bernoulli junto con su función de distribución acumulativa correspondiente.

Significar

El valor esperado de una variable aleatoria de Bernoulli es ${\displaystyle X}$

${\displaystyle \operatorname {E} [X]=p}$

Esto se debe al hecho de que para una variable aleatoria distribuida según Bernoulli con y encontramos ${\displaystyle X}$ ${\displaystyle \Pr(X=1)=p}$ ${\displaystyle \Pr(X=0)=q}$

${\displaystyle \operatorname {E} [X]=\Pr(X=1)\cdot 1+\Pr(X=0)\cdot 0=p\cdot 1+q\cdot 0=p.}$^[3]

Diferencia

La varianza de una distribución de Bernoulli es ${\displaystyle X}$

${\displaystyle \operatorname {Var} [X]=pq=p(1-p)}$

Primero encontramos

${\displaystyle \operatorname {E} [X^{2}]=\Pr(X=1)\cdot 1^{2}+\Pr(X=0)\cdot 0^{2}}$

${\displaystyle =p\cdot 1^{2}+q\cdot 0^{2}=p=\operatorname {E} [X]}$

De esto se desprende

${\displaystyle \operatorname {Var} [X]=\operatorname {E} [X^{2}]-\operatorname {E} [X]^{2}=\operatorname {E} [X]-\operatorname {E} [X]^{2}}$

${\displaystyle =p-p^{2}=p(1-p)=pq}$^[3]

Con este resultado es fácil demostrar que, para cualquier distribución de Bernoulli, su varianza tendrá un valor dentro de . ${\displaystyle [0,1/4]}$

Oblicuidad

La asimetría es . Cuando tomamos la variable aleatoria distribuida Bernoulli estandarizada, encontramos que esta variable aleatoria alcanza con probabilidad y alcanza con probabilidad . Por lo tanto, obtenemos ${\displaystyle {\frac {q-p}{\sqrt {pq}}}={\frac {1-2p}{\sqrt {pq}}}}$ ${\displaystyle {\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}}$ ${\displaystyle {\frac {q}{\sqrt {pq}}}}$ ${\displaystyle p}$ ${\displaystyle -{\frac {p}{\sqrt {pq}}}}$ ${\displaystyle q}$

${\displaystyle {\begin{aligned}\gamma _{1}&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} [X]}{\sqrt {\operatorname {Var} [X]}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q^{2}-p^{2})\\&={\frac {(1-p)^{2}-p^{2}}{\sqrt {pq}}}\\&={\frac {1-2p}{\sqrt {pq}}}={\frac {q-p}{\sqrt {pq}}}.\end{aligned}}}$

Momentos superiores y cumulantes

Los momentos crudos son todos iguales debido al hecho de que y . ${\displaystyle 1^{k}=1}$ ${\displaystyle 0^{k}=0}$

${\displaystyle \operatorname {E} [X^{k}]=\Pr(X=1)\cdot 1^{k}+\Pr(X=0)\cdot 0^{k}=p\cdot 1+q\cdot 0=p=\operatorname {E} [X].}$

El momento central del orden viene dado por ${\displaystyle k}$

${\displaystyle \mu _{k}=(1-p)(-p)^{k}+p(1-p)^{k}.}$

Los primeros seis momentos centrales son

${\displaystyle {\begin{aligned}\mu _{1}&=0,\\\mu _{2}&=p(1-p),\\\mu _{3}&=p(1-p)(1-2p),\\\mu _{4}&=p(1-p)(1-3p(1-p)),\\\mu _{5}&=p(1-p)(1-2p)(1-2p(1-p)),\\\mu _{6}&=p(1-p)(1-5p(1-p)(1-p(1-p))).\end{aligned}}}$

Los momentos centrales superiores se pueden expresar de forma más compacta en términos de y ${\displaystyle \mu _{2}}$ ${\displaystyle \mu _{3}}$

${\displaystyle {\begin{aligned}\mu _{4}&=\mu _{2}(1-3\mu _{2}),\\\mu _{5}&=\mu _{3}(1-2\mu _{2}),\\\mu _{6}&=\mu _{2}(1-5\mu _{2}(1-\mu _{2})).\end{aligned}}}$

Los primeros seis cumulantes son

${\displaystyle {\begin{aligned}\kappa _{1}&=p,\\\kappa _{2}&=\mu _{2},\\\kappa _{3}&=\mu _{3},\\\kappa _{4}&=\mu _{2}(1-6\mu _{2}),\\\kappa _{5}&=\mu _{3}(1-12\mu _{2}),\\\kappa _{6}&=\mu _{2}(1-30\mu _{2}(1-4\mu _{2})).\end{aligned}}}$

Entropía e información de Fisher

Entropía

La entropía es una medida de incertidumbre o aleatoriedad en una distribución de probabilidad. Para una variable aleatoria de Bernoulli con probabilidad de éxito y probabilidad de fracaso , la entropía se define como: ${\displaystyle X}$ ${\displaystyle p}$ ${\displaystyle q=1-p}$ ${\displaystyle H(X)}$

${\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{p}\ln({\frac {1}{P(X)}})=-[P(X=0)\ln P(X=0)+P(X=1)\ln P(X=1)]\\H(X)&=-(q\ln q+p\ln p),\quad q=P(X=0),p=P(X=1)\end{aligned}}}$

La entropía se maximiza cuando , lo que indica el nivel más alto de incertidumbre cuando ambos resultados son igualmente probables. La entropía es cero cuando o , donde un resultado es seguro. ${\displaystyle p=0.5}$ ${\displaystyle p=0}$ ${\displaystyle p=1}$

Información de Fisher

La información de Fisher mide la cantidad de información que una variable aleatoria observable contiene sobre un parámetro desconocido del que depende la probabilidad de que ocurra. Para la distribución de Bernoulli, la información de Fisher con respecto al parámetro viene dada por: ${\displaystyle X}$ ${\displaystyle p}$ ${\displaystyle X}$ ${\displaystyle p}$

${\displaystyle {\begin{aligned}I(p)={\frac {1}{pq}}\end{aligned}}}$

Prueba:

• La función de verosimilitud para una variable aleatoria de Bernoulli es: ${\displaystyle X}$

${\displaystyle {\begin{aligned}L(p;X)=p^{X}(1-p)^{1-X}\end{aligned}}}$

Esto representa la probabilidad de observar dado el parámetro . ${\displaystyle X}$ ${\displaystyle p}$

• La función de log-verosimilitud es:

${\displaystyle {\begin{aligned}\ln L(p;X)=X\ln p+(1-X)\ln(1-p)\end{aligned}}}$

• La función de puntuación (la primera derivada de la verosimilitud logarítmica con respecto a es: ${\displaystyle p}$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial p}}\ln L(p;X)={\frac {X}{p}}-{\frac {1-X}{1-p}}\end{aligned}}}$

• La segunda derivada de la función de log-verosimilitud es:

${\displaystyle {\begin{aligned}{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)=-{\frac {X}{p^{2}}}-{\frac {1-X}{(1-p)^{2}}}\end{aligned}}}$

• La información de Fisher se calcula como el valor esperado negativo de la segunda derivada de la verosimilitud logarítmica:

${\displaystyle {\begin{aligned}I(p)=-E\left[{\frac {\partial ^{2}}{\partial p^{2}}}\ln L(p;X)\right]=-\left(-{\frac {p}{p^{2}}}-{\frac {1-p}{(1-p)^{2}}}\right)={\frac {1}{p(1-p)}}={\frac {1}{pq}}\end{aligned}}}$

Se maximiza cuando , reflejando la máxima incertidumbre y por tanto la máxima información sobre el parámetro . ${\displaystyle p=0.5}$ ${\displaystyle p}$

Distribuciones relacionadas

• Si son variables aleatorias independientes, idénticamente distribuidas ( iid ), todas ellas ensayos de Bernoulli con probabilidad de éxito  p , entonces su suma se distribuye según una distribución binomial con parámetros n y p : ${\displaystyle X_{1},\dots ,X_{n}}$

  ${\displaystyle \sum _{k=1}^{n}X_{k}\sim \operatorname {B} (n,p)}$( distribución binomial ). ^[3]

La distribución de Bernoulli es simplemente , también escrita como ${\displaystyle \operatorname {B} (1,p)}$ ${\textstyle \mathrm {Bernoulli} (p).}$

• La distribución categórica es la generalización de la distribución de Bernoulli para variables con cualquier número constante de valores discretos.
• La distribución Beta es la distribución conjugada anterior de la distribución de Bernoulli. ^[5]
• Los modelos de distribución geométrica representan el número de ensayos de Bernoulli independientes e idénticos necesarios para obtener un éxito.
• Si , entonces tiene una distribución de Rademacher . ${\textstyle Y\sim \mathrm {Bernoulli} \left({\frac {1}{2}}\right)}$ ${\textstyle 2Y-1}$

Véase también

• Proceso de Bernoulli , un proceso aleatorio que consiste en una secuencia de ensayos de Bernoulli independientes
• Muestreo de Bernoulli
• Función de entropía binaria
• Diagrama de decisión binaria

Referencias

1. Uspensky, James Victor (1937). Introducción a la probabilidad matemática . Nueva York: McGraw-Hill. pág. 45. OCLC  996937.
2. Dekking, Frederik; Kraaikamp, ​​Cornelis; Lopuhaä, Hendrik; Meester, Ludolf (9 de octubre de 2010). Una introducción moderna a la probabilidad y la estadística (1 ed.). Springer Londres. págs. 43–48. ISBN 9781849969529.
3. Bertsekas, Dimitri P. (2002). Introducción a la probabilidad . Tsitsiklis, John N. , Τσιτσικλής, Γιάννης Ν. Belmont, Massachusetts: Athena Scientific. ISBN 188652940X.OCLC 51441829  .
4. McCullagh, Peter ; Nelder, John (1989). Modelos lineales generalizados, segunda edición . Boca Raton: Chapman and Hall/CRC. Sección 4.2.2. ISBN 0-412-31760-5.
5. Orloff, Jeremy; Bloom, Jonathan. "Prioridades conjugadas: beta y normal" (PDF) . math.mit.edu . Consultado el 20 de octubre de 2023 .

Lectura adicional

• Johnson, NL; Kotz, S.; Kemp, A. (1993). Distribuciones discretas univariadas (2.ª ed.). Wiley. ISBN 0-471-54897-9.
• Peatman, John G. (1963). Introducción a la estadística aplicada . Nueva York: Harper & Row. pp. 162–171.

Enlaces externos

• "Distribución binomial", Enciclopedia de Matemáticas , EMS Press , 2001 [1994].
• Weisstein, Eric W. "Distribución de Bernoulli". MathWorld .
• Gráfico interactivo: Relaciones de distribución univariadas.