Distribución de probabilidad
En teoría de probabilidad , estadística y aprendizaje automático , la distribución continua de Bernoulli [1] [2] [3] es una familia de distribuciones de probabilidad continuas parametrizadas por un único parámetro de forma , definido en el intervalo unitario , por:
La distribución continua de Bernoulli surge en el aprendizaje profundo y la visión por computadora , específicamente en el contexto de los autocodificadores variacionales , [4] [5] para modelar las intensidades de píxeles de imágenes naturales. Como tal, define una contraparte probabilística adecuada para la pérdida de entropía cruzada binaria comúnmente utilizada , que a menudo se aplica a datos continuos de valores -. [6] [7] [8] [9] Esta práctica equivale a ignorar la constante de normalización de la distribución continua de Bernoulli, ya que la pérdida de entropía cruzada binaria solo define una verdadera verosimilitud logarítmica para datos discretos de valores -.
La distribución de Bernoulli continua también define una familia exponencial de distribuciones. Escribiendo para el parámetro natural , la densidad puede reescribirse en forma canónica: .
Distribuciones relacionadas
Distribución de Bernoulli
La distribución de Bernoulli continua puede considerarse como una relajación continua de la distribución de Bernoulli , que se define en el conjunto discreto por la función de masa de probabilidad :
donde es un parámetro escalar entre 0 y 1. Aplicando esta misma forma funcional en el intervalo continuo se obtiene la función de densidad de probabilidad de Bernoulli continua , hasta una constante normalizadora.
Distribución beta
La distribución Beta tiene la función de densidad:
que puede reescribirse como:
donde son parámetros escalares positivos, y representa un punto arbitrario dentro del 1- símplex , . Al intercambiar el papel del parámetro y el argumento en esta función de densidad, obtenemos:
Esta familia sólo es identificable hasta la restricción lineal , de donde obtenemos:
correspondiente exactamente a la densidad continua de Bernoulli.
Distribución exponencial
Una distribución exponencial restringida al intervalo unitario es equivalente a una distribución de Bernoulli continua con el parámetro [ ¿cuál? ] apropiado .
Distribución categórica continua
La generalización multivariada del Bernoulli continuo se denomina continua-categórica. [10]
Referencias
- ^ Loaiza-Ganem, G., y Cunningham, JP (2019). El Bernoulli continuo: cómo corregir un error generalizado en los autocodificadores variacionales. En Advances in Neural Information Processing Systems (pp. 13266-13276).
- ^ Distribuciones de PyTorch. https://pytorch.org/docs/stable/distributions.html#continuousbernoulli
- ^ Probabilidad de Tensorflow. https://www.tensorflow.org/probability/api_docs/python/tfp/edward2/ContinuousBernoulli Archivado el 25 de noviembre de 2020 en Wayback Machine.
- ^ Kingma, DP y Welling, M. (2013). Bayes variacional con codificación automática. Preimpresión de arXiv arXiv:1312.6114.
- ^ Kingma, DP y Welling, M. (abril de 2014). VB de gradiente estocástico y el autocodificador variacional. En la Segunda Conferencia Internacional sobre Representaciones de Aprendizaje, ICLR (Vol. 19).
- ^ Larsen, ABL, Sønderby, SK, Larochelle, H. y Winther, O. (junio de 2016). Autocodificación más allá de los píxeles mediante una métrica de similitud aprendida. En la conferencia internacional sobre aprendizaje automático (pp. 1558-1566).
- ^ Jiang, Z., Zheng, Y., Tan, H., Tang, B. y Zhou, H. (agosto de 2017). Incrustación profunda variacional: un enfoque no supervisado y generativo para la agrupación. En Actas de la 26.ª Conferencia conjunta internacional sobre inteligencia artificial (págs. 1965-1972).
- ^ Tutorial de PyTorch VAE: https://github.com/pytorch/examples/tree/master/vae.
- ^ Tutorial de Keras VAE: https://blog.keras.io/building-autoencoders-in-keras.html.
- ^ Gordon-Rodriguez, E., Loaiza-Ganem, G., y Cunningham, JP (2020). La categórica continua: una nueva familia exponencial con valores símplex. En la 36.ª Conferencia Internacional sobre Aprendizaje Automático, ICML 2020. Sociedad Internacional de Aprendizaje Automático (IMLS).