Distribución continua de Bernoulli

Distribución de probabilidad

En teoría de probabilidad , estadística y aprendizaje automático , la distribución continua de Bernoulli ^{[1] [2] [3]} es una familia de distribuciones de probabilidad continuas parametrizadas por un único parámetro de forma , definido en el intervalo unitario , por: ${\displaystyle \lambda \in (0,1)}$ ${\displaystyle x\in [0,1]}$

${\displaystyle p(x|\lambda )\propto \lambda ^{x}(1-\lambda )^{1-x}.}$

La distribución continua de Bernoulli surge en el aprendizaje profundo y la visión por computadora , específicamente en el contexto de los autocodificadores variacionales , ^{[4] [5]} para modelar las intensidades de píxeles de imágenes naturales. Como tal, define una contraparte probabilística adecuada para la pérdida de entropía cruzada binaria comúnmente utilizada , que a menudo se aplica a datos continuos de valores -. ^{[6] [7] [8] [9]} Esta práctica equivale a ignorar la constante de normalización de la distribución continua de Bernoulli, ya que la pérdida de entropía cruzada binaria solo define una verdadera verosimilitud logarítmica para datos discretos de valores -. ${\displaystyle [0,1]}$ ${\displaystyle \{0,1\}}$

La distribución de Bernoulli continua también define una familia exponencial de distribuciones. Escribiendo para el parámetro natural , la densidad puede reescribirse en forma canónica: . ${\displaystyle \eta =\log \left(\lambda /(1-\lambda )\right)}$ ${\displaystyle p(x|\eta )\propto \exp(\eta x)}$

Distribuciones relacionadas

Distribución de Bernoulli

La distribución de Bernoulli continua puede considerarse como una relajación continua de la distribución de Bernoulli , que se define en el conjunto discreto por la función de masa de probabilidad : ${\displaystyle \{0,1\}}$

${\displaystyle p(x)=p^{x}(1-p)^{1-x},}$

donde es un parámetro escalar entre 0 y 1. Aplicando esta misma forma funcional en el intervalo continuo se obtiene la función de densidad de probabilidad de Bernoulli continua , hasta una constante normalizadora. ${\displaystyle p}$ ${\displaystyle [0,1]}$

Distribución beta

La distribución Beta tiene la función de densidad:

${\displaystyle p(x)\propto x^{\alpha -1}(1-x)^{\beta -1},}$

que puede reescribirse como:

${\displaystyle p(x)\propto x_{1}^{\alpha _{1}-1}x_{2}^{\alpha _{2}-1},}$

donde son parámetros escalares positivos, y representa un punto arbitrario dentro del 1- símplex , . Al intercambiar el papel del parámetro y el argumento en esta función de densidad, obtenemos: ${\displaystyle \alpha _{1},\alpha _{2}}$ ${\displaystyle (x_{1},x_{2})}$ ${\displaystyle \Delta ^{1}=\{(x_{1},x_{2}):x_{1}>0,x_{2}>0,x_{1}+x_{2}=1\}}$

${\displaystyle p(x)\propto \alpha _{1}^{x_{1}}\alpha _{2}^{x_{2}}.}$

Esta familia sólo es identificable hasta la restricción lineal , de donde obtenemos: ${\displaystyle \alpha _{1}+\alpha _{2}=1}$

${\displaystyle p(x)\propto \lambda ^{x_{1}}(1-\lambda )^{x_{2}},}$

correspondiente exactamente a la densidad continua de Bernoulli.

Distribución exponencial

Una distribución exponencial restringida al intervalo unitario es equivalente a una distribución de Bernoulli continua con el parámetro ^{[ ¿cuál? ]} apropiado .

Distribución categórica continua

La generalización multivariada del Bernoulli continuo se denomina continua-categórica. ^[10]

Referencias

1. Loaiza-Ganem, G., y Cunningham, JP (2019). El Bernoulli continuo: cómo corregir un error generalizado en los autocodificadores variacionales. En Advances in Neural Information Processing Systems (pp. 13266-13276).
2. Distribuciones de PyTorch. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
3. Probabilidad de Tensorflow. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli Archivado el 25 de noviembre de 2020 en Wayback Machine.
4. Kingma, DP y Welling, M. (2013). Bayes variacional con codificación automática. Preimpresión de arXiv arXiv:1312.6114.
5. Kingma, DP y Welling, M. (abril de 2014). VB de gradiente estocástico y el autocodificador variacional. En la Segunda Conferencia Internacional sobre Representaciones de Aprendizaje, ICLR (Vol. 19).
6. Larsen, ABL, Sønderby, SK, Larochelle, H. y Winther, O. (junio de 2016). Autocodificación más allá de los píxeles mediante una métrica de similitud aprendida. En la conferencia internacional sobre aprendizaje automático (pp. 1558-1566).
7. Jiang, Z., Zheng, Y., Tan, H., Tang, B. y Zhou, H. (agosto de 2017). Incrustación profunda variacional: un enfoque no supervisado y generativo para la agrupación. En Actas de la 26.ª Conferencia conjunta internacional sobre inteligencia artificial (págs. 1965-1972).
8. Tutorial de PyTorch VAE: https://github.com/pytorch/examples/tree/master/vae.
9. Tutorial de Keras VAE: https://blog.keras.io/building-autoencoders-in-keras.html.
10. Gordon-Rodriguez, E., Loaiza-Ganem, G., y Cunningham, JP (2020). La categórica continua: una nueva familia exponencial con valores símplex. En la 36.ª Conferencia Internacional sobre Aprendizaje Automático, ICML 2020. Sociedad Internacional de Aprendizaje Automático (IMLS).