Distancia de Hellinger

Métrica utilizada en probabilidad y estadística

En probabilidad y estadística , la distancia de Hellinger (estrechamente relacionada con la distancia de Bhattacharyya , aunque diferente de ella ) se utiliza para cuantificar la similitud entre dos distribuciones de probabilidad . Es un tipo de f -divergencia . La distancia de Hellinger se define en términos de la integral de Hellinger , que fue introducida por Ernst Hellinger en 1909. ^{[1] [2]}

A veces se le llama distancia de Jeffreys. ^{[3] [4]}

Definición

Teoría de la medida

Para definir la distancia de Hellinger en términos de la teoría de la medida , sean y dos medidas de probabilidad en un espacio de medida que son absolutamente continuas con respecto a una medida auxiliar . Tal medida siempre existe, por ejemplo . El cuadrado de la distancia de Hellinger entre y se define como la cantidad ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda =(P+Q)}$ ${\displaystyle P}$ ${\displaystyle Q}$

${\displaystyle H^{2}(P,Q)={\frac {1}{2}}\displaystyle \int _{\mathcal {X}}\left({\sqrt {p(x)}}-{\sqrt {q(x)}}\right)^{2}\lambda (dx).}$

Aquí, y , es decir , y son las derivadas de Radon–Nikodym de P y Q respectivamente con respecto a . Esta definición no depende de , es decir, la distancia de Hellinger entre P y Q no cambia si se reemplaza con una medida de probabilidad diferente con respecto a la cual tanto P como Q sean absolutamente continuas. Para compacidad, la fórmula anterior a menudo se escribe como ${\displaystyle P(dx)=p(x)\lambda (dx)}$ ${\displaystyle Q(dx)=q(x)\lambda (dx)}$ ${\displaystyle p}$ ${\displaystyle q}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$

${\displaystyle H^{2}(P,Q)={\frac {1}{2}}\int _{\mathcal {X}}\left({\sqrt {P(dx)}}-{\sqrt {Q(dx)}}\right)^{2}.}$

Teoría de la probabilidad utilizando la medida de Lebesgue

Para definir la distancia de Hellinger en términos de la teoría de probabilidad elemental, tomamos λ como la medida de Lebesgue , de modo que dP  /  dλ y dQ  /  d λ son simplemente funciones de densidad de probabilidad . Si denotamos las densidades como f y g , respectivamente, la distancia de Hellinger al cuadrado se puede expresar como una integral de cálculo estándar.

${\displaystyle H^{2}(f,g)={\frac {1}{2}}\int \left({\sqrt {f(x)}}-{\sqrt {g(x)}}\right)^{2}\,dx=1-\int {\sqrt {f(x)g(x)}}\,dx,}$

donde la segunda forma se puede obtener expandiendo el cuadrado y utilizando el hecho de que la integral de una densidad de probabilidad sobre su dominio es igual a 1.

La distancia de Hellinger H ( P ,  Q ) satisface la propiedad (derivable de la desigualdad de Cauchy-Schwarz )

${\displaystyle 0\leq H(P,Q)\leq 1.}$

Distribuciones discretas

Para dos distribuciones de probabilidad discretas y , su distancia Hellinger se define como ${\displaystyle P=(p_{1},\ldots ,p_{k})}$ ${\displaystyle Q=(q_{1},\ldots ,q_{k})}$

${\displaystyle H(P,Q)={\frac {1}{\sqrt {2}}}\;{\sqrt {\sum _{i=1}^{k}({\sqrt {p_{i}}}-{\sqrt {q_{i}}})^{2}}},}$

que está directamente relacionada con la norma euclidiana de la diferencia de los vectores raíz cuadrada, es decir

${\displaystyle H(P,Q)={\frac {1}{\sqrt {2}}}\;{\bigl \|}{\sqrt {P}}-{\sqrt {Q}}{\bigr \|}_{2}.}$

Además, ^{[ cita requerida ]} ${\displaystyle 1-H^{2}(P,Q)=\sum _{i=1}^{k}{\sqrt {p_{i}q_{i}}}.}$

Propiedades

La distancia de Hellinger forma una métrica acotada en el espacio de distribuciones de probabilidad sobre un espacio de probabilidad dado .

La distancia máxima 1 se alcanza cuando P asigna probabilidad cero a cada conjunto al que Q asigna una probabilidad positiva, y viceversa.

A veces se omite el factor delante de la integral, en cuyo caso la distancia de Hellinger varía de cero a la raíz cuadrada de dos. ${\displaystyle 1/2}$

La distancia de Hellinger está relacionada con el coeficiente de Bhattacharyya , ya que puede definirse como ${\displaystyle BC(P,Q)}$

${\displaystyle H(P,Q)={\sqrt {1-BC(P,Q)}}.}$

Las distancias de Hellinger se utilizan en la teoría de la estadística secuencial y asintótica . ^{[5] [6]}

La distancia de Hellinger al cuadrado entre dos distribuciones normales es : ${\displaystyle P\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2})}$ ${\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2})}$

${\displaystyle H^{2}(P,Q)=1-{\sqrt {\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}\,e^{-{\frac {1}{4}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}.}$

La distancia al cuadrado de Hellinger entre dos distribuciones normales multivariadas es [ 7 ^] ${\displaystyle P\sim {\mathcal {N}}(\mu _{1},\Sigma _{1})}$ ${\displaystyle Q\sim {\mathcal {N}}(\mu _{2},\Sigma _{2})}$

${\displaystyle H^{2}(P,Q)=1-{\frac {\det(\Sigma _{1})^{1/4}\det(\Sigma _{2})^{1/4}}{\det \left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{1/2}}}\exp \left\{-{\frac {1}{8}}(\mu _{1}-\mu _{2})^{T}\left({\frac {\Sigma _{1}+\Sigma _{2}}{2}}\right)^{-1}(\mu _{1}-\mu _{2})\right\}}$

La distancia al cuadrado de Hellinger entre dos distribuciones exponenciales es : ${\displaystyle P\sim \mathrm {Exp} (\alpha )}$ ${\displaystyle Q\sim \mathrm {Exp} (\beta )}$

${\displaystyle H^{2}(P,Q)=1-{\frac {2{\sqrt {\alpha \beta }}}{\alpha +\beta }}.}$

La distancia Hellinger al cuadrado entre dos distribuciones de Weibull y (donde es un parámetro de forma común y son los parámetros de escala respectivamente): ${\displaystyle P\sim \mathrm {W} (k,\alpha )}$ ${\displaystyle Q\sim \mathrm {W} (k,\beta )}$ ${\displaystyle k}$ ${\displaystyle \alpha \,,\beta }$

${\displaystyle H^{2}(P,Q)=1-{\frac {2(\alpha \beta )^{k/2}}{\alpha ^{k}+\beta ^{k}}}.}$

La distancia al cuadrado de Hellinger entre dos distribuciones de Poisson con parámetros de velocidad y , de modo que y , es: ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle P\sim \mathrm {Poisson} (\alpha )}$ ${\displaystyle Q\sim \mathrm {Poisson} (\beta )}$

${\displaystyle H^{2}(P,Q)=1-e^{-{\frac {1}{2}}({\sqrt {\alpha }}-{\sqrt {\beta }})^{2}}.}$

La distancia Hellinger al cuadrado entre dos distribuciones beta es : ${\displaystyle P\sim {\text{Beta}}(a_{1},b_{1})}$ ${\displaystyle Q\sim {\text{Beta}}(a_{2},b_{2})}$

${\displaystyle H^{2}(P,Q)=1-{\frac {B\left({\frac {a_{1}+a_{2}}{2}},{\frac {b_{1}+b_{2}}{2}}\right)}{\sqrt {B(a_{1},b_{1})B(a_{2},b_{2})}}}}$

¿Dónde está la función beta ? ${\displaystyle B}$

La distancia Hellinger al cuadrado entre dos distribuciones gamma es : ${\displaystyle P\sim {\text{Gamma}}(a_{1},b_{1})}$ ${\displaystyle Q\sim {\text{Gamma}}(a_{2},b_{2})}$

${\displaystyle H^{2}(P,Q)=1-\Gamma \left({\scriptstyle {\frac {a_{1}+a_{2}}{2}}}\right)\left({\frac {b_{1}+b_{2}}{2}}\right)^{-(a_{1}+a_{2})/2}{\sqrt {\frac {b_{1}^{a_{1}}b_{2}^{a_{2}}}{\Gamma (a_{1})\Gamma (a_{2})}}}}$

¿Dónde está la función gamma ? ${\displaystyle \Gamma }$

Conexión con distancia de variación total

La distancia de Hellinger y la distancia de variación total (o distancia estadística) están relacionadas de la siguiente manera: ^[8] ${\displaystyle H(P,Q)}$ ${\displaystyle \delta (P,Q)}$

${\displaystyle H^{2}(P,Q)\leq \delta (P,Q)\leq {\sqrt {2}}H(P,Q)\,.}$

Las constantes en esta desigualdad pueden cambiar dependiendo de la renormalización que elija ( o ). ${\displaystyle 1/2}$ ${\displaystyle 1/{\sqrt {2}}}$

Estas desigualdades se derivan inmediatamente de las desigualdades entre la norma 1 y la norma 2 .

Véase también

• Distancia estadística
• Divergencia de Kullback-Leibler
• Distancia de Bhattacharyya
• Distancia de variación total
• Métrica de información de Fisher

Notas

1. Nikulin, MS (2001) [1994], "Distancia de Hellinger", Enciclopedia de Matemáticas , EMS Press
2. Hellinger, Ernst (1909), "Neue Begründung der Theorie quadratischer Formen von unendlichvielen Veränderlichen", Journal für die reine und angewandte Mathematik (en alemán), 1909 (136): 210–271, doi :10.1515/crll.1909.136.210 , JFM  40.0393.01, S2CID  121150138
3. "Distancia de Jeffreys - Enciclopedia de Matemáticas". encyclopediaofmath.org . Consultado el 24 de mayo de 2022 .
4. Jeffreys, Harold (24 de septiembre de 1946). "Una forma invariante para la probabilidad previa en problemas de estimación". Actas de la Royal Society de Londres. Serie A. Ciencias matemáticas y físicas . 186 (1007): 453–461. Bibcode :1946RSPSA.186..453J. doi : 10.1098/rspa.1946.0056 . ISSN  0080-4630. PMID  20998741. S2CID  19490929.
5. Torgerson, Erik (1991). "Comparación de experimentos estadísticos". Enciclopedia de matemáticas . Vol. 36. Cambridge University Press.
6. Liese, Friedrich; Miescke, Klaus-J. (2008). Teoría de la decisión estadística: estimación, prueba y selección . Springer. ISBN 978-0-387-73193-3.
7. Pardo, L. (2006). Inferencia estadística basada en medidas de divergencia . Nueva York: Chapman and Hall/CRC. p. 51. ISBN. 1-58488-600-5.
8. Harsha, Prahladh (23 de septiembre de 2011). "Apuntes de clase sobre la complejidad de la comunicación" (PDF) .

Referencias

• Yang, Grace Lo ; Le Cam, Lucien M. (2000). Asintótica en estadística: algunos conceptos básicos . Berlín: Springer. ISBN 0-387-95036-2.
• Vaart, AW van der (19 de junio de 2000). Estadística asintótica (Cambridge Series in Statistical and Probabilistic Mathematics) . Cambridge, Reino Unido: Cambridge University Press. ISBN 0-521-78450-6.
• Pollard, David E. (2002). Guía del usuario para medir la probabilidad teórica . Cambridge, Reino Unido: Cambridge University Press. ISBN 0-521-00289-3.