Distancia de Bhattacharyya

Similitud de dos distribuciones de probabilidad

En estadística , la distancia de Bhattacharyya es una cantidad que representa una noción de similitud entre dos distribuciones de probabilidad . ^[1] Está estrechamente relacionada con el coeficiente de Bhattacharyya , que es una medida de la cantidad de superposición entre dos muestras o poblaciones estadísticas .

No es una métrica , a pesar de llamarse "distancia", ya que no obedece a la desigualdad del triángulo .

Historia

Tanto la distancia de Bhattacharyya como el coeficiente de Bhattacharyya deben su nombre a Anil Kumar Bhattacharyya , un estadístico que trabajó en la década de 1930 en el Instituto Indio de Estadística . ^[2] Lo desarrolló a través de una serie de artículos. ^{[3] [4] [5]} Desarrolló el método para medir la distancia entre dos distribuciones no normales y lo ilustró con las poblaciones multinomiales clásicas, ^[3] este trabajo, a pesar de haber sido enviado para su publicación en 1941, apareció casi cinco años después en Sankhya . ^{[3] [2]} En consecuencia, el profesor Bhattacharyya comenzó a trabajar para desarrollar una métrica de distancia para distribuciones de probabilidad que sean absolutamente continuas con respecto a la medida de Lebesgue y publicó su progreso en 1942, en las Actas del Congreso de Ciencias de la India ^[4] y el trabajo final apareció en 1943 en el Boletín de la Sociedad Matemática de Calcuta . ^[5]

Definición

Para distribuciones de probabilidad y en el mismo dominio , la distancia de Bhattacharyya se define como ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle {\mathcal {X}}}$

${\displaystyle D_{B}(P,Q)=-\ln \left(BC(P,Q)\right)}$

dónde

${\displaystyle BC(P,Q)=\sum _{x\in {\mathcal {X}}}{\sqrt {P(x)Q(x)}}}$

es el coeficiente de Bhattacharyya para distribuciones de probabilidad discretas .

Para distribuciones de probabilidad continuas , con y donde y son las funciones de densidad de probabilidad , el coeficiente de Bhattacharyya se define como ${\displaystyle P(dx)=p(x)dx}$ ${\displaystyle Q(dx)=q(x)dx}$ ${\displaystyle p(x)}$ ${\displaystyle q(x)}$

${\displaystyle BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,dx}$.

De manera más general, dadas dos medidas de probabilidad en un espacio medible , sea una medida ( sigma finita ) tal que y son absolutamente continuas con respecto a ie tales que , y para funciones de densidad de probabilidad con respecto a definidas -casi en todas partes. Una medida de este tipo, incluso una medida de probabilidad de este tipo, siempre existe, p. ej . . Luego defina la medida de Bhattacharyya en por ${\displaystyle P,Q}$ ${\displaystyle ({\mathcal {X}},{\mathcal {B}})}$ ${\displaystyle \lambda }$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle \lambda }$ ${\displaystyle P(dx)=p(x)\lambda (dx)}$ ${\displaystyle Q(dx)=q(x)\lambda (dx)}$ ${\displaystyle p,q}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda ={\tfrac {1}{2}}(P+Q)}$ ${\displaystyle ({\mathcal {X}},{\mathcal {B}})}$

${\displaystyle bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {{\frac {P(dx)}{\lambda (dx)}}(x){\frac {Q(dx)}{\lambda (dx)}}(x)}}\lambda (dx).}$

No depende de la medida , ya que si elegimos una medida tal que y otra elección de medida sean absolutamente continuas, es decir y , entonces ${\displaystyle \lambda }$ ${\displaystyle \mu }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda '}$ ${\displaystyle \lambda =l(x)\mu }$ ${\displaystyle \lambda '=l'(x)\mu }$

${\displaystyle P(dx)=p(x)\lambda (dx)=p'(x)\lambda '(dx)=p(x)l(x)\mu (dx)=p'(x)l'(x)\mu (dx)}$,

y lo mismo para . Entonces tenemos ${\displaystyle Q}$

${\displaystyle bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {p(x)q(x)}}\,l(x)\mu (x)={\sqrt {p(x)l(x)q(x)\,l(x)}}\mu (dx)={\sqrt {p'(x)l'(x)q'(x)l'(x)}}\,\mu (dx)={\sqrt {p'(x)q'(x)}}\,\lambda '(dx)}$.

Finalmente definimos el coeficiente de Bhattacharyya

${\displaystyle BC(P,Q)=\int _{\mathcal {X}}bc(dx|P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,\lambda (dx)}$.

Por lo anterior, la cantidad no depende de , y por la desigualdad de Cauchy . Utilizando , y , ${\displaystyle BC(P,Q)}$ ${\displaystyle \lambda }$ ${\displaystyle 0\leq BC(P,Q)\leq 1}$ ${\displaystyle P(dx)=p(x)\lambda (dx)}$ ${\displaystyle Q(dx)=q(x)\lambda (dx)}$ $${\displaystyle BC(P,Q)=\int _{\mathcal {X}}{\sqrt {\frac {p(x)}{q(x)}}}Q(dx)=\int _{\mathcal {X}}{\sqrt {\frac {P(dx)}{Q(dx)}}}Q(dx)=E_{Q}\left[{\sqrt {\frac {P(dx)}{Q(dx)}}}\right]}$$

Caso gaussiano

Sea , , donde es la distribución normal con media y varianza ; entonces ${\displaystyle p\sim {\mathcal {N}}(\mu _{p},\sigma _{p}^{2})}$ ${\displaystyle q\sim {\mathcal {N}}(\mu _{q},\sigma _{q}^{2})}$ ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle D_{B}(p,q)={\frac {1}{4}}{\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{2}+\sigma _{q}^{2}}}+{\frac {1}{2}}\ln \left({\frac {\sigma _{p}^{2}+\sigma _{q}^{2}}{2\sigma _{p}\sigma _{q}}}\right)}$.

Y en general, dadas dos distribuciones normales multivariadas , ${\displaystyle p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\,{\boldsymbol {\Sigma }}_{i})}$

${\displaystyle D_{B}(p_{1},p_{2})={1 \over 8}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{1 \over 2}\ln \,\left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{2}}}}\right)}$,

donde ^[6] Nótese que el primer término es una distancia de Mahalanobis al cuadrado . ${\displaystyle {\boldsymbol {\Sigma }}={{\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2} \over 2}.}$

Propiedades

${\displaystyle 0\leq BC\leq 1}$y . ${\displaystyle 0\leq D_{B}\leq \infty }$

${\displaystyle D_{B}}$no obedece la desigualdad triangular , aunque la distancia de Hellinger sí lo hace. ${\displaystyle {\sqrt {1-BC(p,q)}}}$

Límites del error de Bayes

La distancia de Bhattacharyya se puede utilizar para limitar superior e inferiormente la tasa de error de Bayes :

$${\displaystyle {\frac {1}{2}}-{\frac {1}{2}}{\sqrt {1-4\rho ^{2}}}\leq L^{*}\leq \rho }$$

donde y es la probabilidad posterior. ^[7] ${\displaystyle \rho =\mathbb {E} {\sqrt {\eta (X)(1-\eta (X))}}}$ ${\displaystyle \eta (X)=\mathbb {P} (Y=1|X)}$

Aplicaciones

El coeficiente de Bhattacharyya cuantifica la “cercanía” de dos muestras estadísticas aleatorias.

Dadas dos secuencias de distribuciones , agrúpelas en grupos y deje que la frecuencia de las muestras de en el grupo sea , y de manera similar para , entonces el coeficiente de Bhattacharyya de la muestra es ${\displaystyle P,Q}$ ${\displaystyle n}$ ${\displaystyle P}$ ${\displaystyle i}$ ${\displaystyle p_{i}}$ ${\displaystyle q_{i}}$

${\displaystyle BC(\mathbf {p} ,\mathbf {q} )=\sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}},}$

que es un estimador de . La calidad de la estimación depende de la elección de los grupos; muy pocos grupos sobrestimarían , mientras que demasiados lo subestimarían. ${\displaystyle BC(P,Q)}$ ${\displaystyle BC(P,Q)}$

Una tarea común en la clasificación es estimar la separabilidad de las clases. Hasta un factor multiplicativo, la distancia de Mahalanobis al cuadrado es un caso especial de la distancia de Bhattacharyya cuando las dos clases se distribuyen normalmente con las mismas varianzas. Cuando dos clases tienen medias similares pero varianzas significativamente diferentes, la distancia de Mahalanobis sería cercana a cero, mientras que la distancia de Bhattacharyya no lo sería.

El coeficiente de Bhattacharyya se utiliza en la construcción de códigos polares . ^[8]

La distancia de Bhattacharyya se utiliza en la extracción y selección de características, ^[9] procesamiento de imágenes, ^[10] reconocimiento de hablantes , ^[11] agrupamiento de teléfonos, ^[12] y en genética. ^[13]

Véase también

• Ángulo de Bhattacharyya
• Divergencia de Kullback-Leibler
• Distancia de Hellinger
• Distancia de Mahalanobis
• Chernoff atado
• Entropía de Rényi
• F-divergencia
• Fidelidad de los estados cuánticos

Referencias

1. Dodge, Yadolah (2003). Diccionario Oxford de términos estadísticos. Oxford University Press. ISBN 978-0-19-920613-1.
2. Sen, Pranab Kumar (1996). "Anil Kumar Bhattacharyya (1915-1996): Un recuerdo reverente". Boletín de la Asociación Estadística de Calcuta . 46 (3–4): 151–158. doi :10.1177/0008068319960301. S2CID  164326977.
3. Bhattacharyya, A. (1946). "Sobre una medida de divergencia entre dos poblaciones multinomiales". Sankhyā . 7 (4): 401–406. JSTOR  25047882.
4. Bhattacharyya, A (1942). "Sobre discriminación y divergencia". Actas del Congreso Científico Indio . Sociedad Asiática de Bengala.
5. Bhattacharyya, A. (marzo de 1943). "Sobre una medida de divergencia entre dos poblaciones estadísticas definidas por sus distribuciones de probabilidad". Boletín de la Sociedad Matemática de Calcuta . 35 : 99–109. MR  0010358.
6. Kashyap, Ravi (2019). "El matrimonio perfecto y mucho más: combinación de reducción de dimensión, medidas de distancia y covarianza". Physica A: Mecánica estadística y sus aplicaciones . 536 : 120938. arXiv : 1603.09060 . doi :10.1016/j.physa.2019.04.174.
7. Devroye, L., Gyorfi, L. y Lugosi, G. Una teoría probabilística del reconocimiento de patrones. Discrete Appl Math 73, 192–194 (1997).
8. Arıkan, Erdal (julio de 2009). "Polarización de canales: un método para construir códigos que logren capacidad para canales sin memoria con entrada binaria simétrica". IEEE Transactions on Information Theory . 55 (7): 3051–3073. arXiv : 0807.3917 . doi :10.1109/TIT.2009.2021379. S2CID  889822.
9. Euisun Choi, Chulhee Lee, "Extracción de características basada en la distancia Bhattacharyya", Reconocimiento de patrones , Volumen 36, Número 8, agosto de 2003, páginas 1703-1709
10. François Goudail, Philippe Réfrégier, Guillaume Delyon, "La distancia de Bhattacharyya como parámetro de contraste para el procesamiento estadístico de imágenes ópticas ruidosas", JOSA A , vol. 21, número 7, págs. 1231-1240 (2004)
11. Chang Huai You, "Un núcleo SVM con GMM-Supervector basado en la distancia Bhattacharyya para el reconocimiento de hablantes", Signal Processing Letters , IEEE, vol. 16, n.º 1, págs. 49-52
12. Mak, B., "Agrupamiento de teléfonos utilizando la distancia Bhattacharyya", Spoken Language , 1996. ICSLP 96. Actas, Cuarta Conferencia Internacional sobre, vol. 4, págs. 2005-2008 vol. 4, 3-6 de octubre de 1996
13. Chattopadhyay, Aparna; Chattopadhyay, Asis Kumar; B-Rao, Chandrika (1 de junio de 2004). "La medida de distancia de Bhattacharyya como precursora de las medidas de distancia genética". Journal of Biosciences . 29 (2): 135–138. doi :10.1007/BF02703410. ISSN  0973-7138.

Enlaces externos

• "Distancia de Bhattacharyya", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Intuición estadística de la distancia de Bhattacharyya
• Algunas de las propiedades de Bhattacharyya Distancia
• Nielsen, F.; Boltz, S. (2010). "Los centroides de Burbea–Rao y Bhattacharyya". IEEE Transactions on Information Theory. 57 (8): 5455–5466. ^[1]
• Kailath, T. (1967). "Las medidas de divergencia y distancia de Bhattacharyya en la selección de señales". IEEE Transactions on Communication Technology. 15 (1): 52–60. ^[2]
• Djouadi, A.; Snorrason, O.; Garber, F. (1990). "La calidad de las estimaciones de la muestra de entrenamiento del coeficiente de Bhattacharyya". IEEE Transactions on Pattern Analysis and Machine Intelligence. 12 (1): 92–97. ^[3]

1. Nielsen, Frank; Boltz, Sylvain (2011). "Los centroides de Burbea-Rao y Bhattacharyya". IEEE Transactions on Information Theory . 57 (8): 5455–5466. arXiv : 1004.5049 . doi :10.1109/TIT.2011.2159046. ISSN  0018-9448. S2CID  14238708.
2. Kailath, T. (1967). "Las medidas de divergencia y distancia de Bhattacharyya en la selección de señales". IEEE Transactions on Communications . 15 (1): 52–60. doi :10.1109/TCOM.1967.1089532. ISSN  0096-2244.
3. Djouadi, A.; Snorrason, O.; Garber, FD (1990). "La calidad de las estimaciones de la muestra de entrenamiento del coeficiente de Bhattacharyya". IEEE Transactions on Pattern Analysis and Machine Intelligence . 12 (1): 92–97. doi :10.1109/34.41388.