distancia de bhattacharyya

Similitud de dos distribuciones de probabilidad.

En estadística , la distancia de Bhattacharyya es una cantidad que representa una noción de similitud entre dos distribuciones de probabilidad . ^[1] Está estrechamente relacionado con el coeficiente de Bhattacharyya , que es una medida de la cantidad de superposición entre dos muestras o poblaciones estadísticas .

No es una métrica , a pesar de denominarse "distancia", ya que no obedece a la desigualdad del triángulo .

Historia

Tanto la distancia de Bhattacharyya como el coeficiente de Bhattacharyya llevan el nombre de Anil Kumar Bhattacharyya , un estadístico que trabajó en la década de 1930 en el Instituto de Estadística de la India . ^[2] Ha desarrollado esto a través de una serie de artículos. ^{[3] [4] [5]} Desarrolló el método para medir la distancia entre dos distribuciones no normales y lo ilustró con las poblaciones multinomiales clásicas, ^[3] este trabajo a pesar de ser presentado para publicación en 1941, apareció casi cinco años después. en Sankhya . ^{[3] [2]} En consecuencia, el profesor Bhattacharyya comenzó a trabajar en el desarrollo de una métrica de distancia para distribuciones de probabilidad que sean absolutamente continuas con respecto a la medida de Lebesgue y publicó su progreso en 1942, en las Actas del Congreso de Ciencias de la India ^[4] y en el informe final. El trabajo apareció en 1943 en el Boletín de la Sociedad Matemática de Calcuta . ^[5]

Definición

Para distribuciones de probabilidad y en el mismo dominio , la distancia de Bhattacharyya se define como ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle {\mathcal {X}}}$

${\displaystyle D_{B}(P,Q)=-\ln \left(BC(P,Q)\right)}$

dónde

${\displaystyle BC(P,Q)=\sum _{x\in {\mathcal {X}}}{\sqrt {P(x)Q(x)}}}$

es el coeficiente de Bhattacharyya para distribuciones de probabilidad discretas .

Para distribuciones de probabilidad continuas , con y donde y son las funciones de densidad de probabilidad , el coeficiente de Bhattacharyya se define como ${\displaystyle P(dx)=p(x)dx}$ ${\displaystyle Q(dx)=q(x)dx}$ ${\displaystyle p(x)}$ ${\displaystyle q(x)}$

${\displaystyle BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,dx}$.

De manera más general, dadas dos medidas de probabilidad en un espacio medible , sean una medida ( sigma finita ) tal que y sean absolutamente continuas con respecto a, es decir, tal que , y para funciones de densidad de probabilidad con respecto a definidas , en casi todas partes. Una medida así, incluso una medida de probabilidad, siempre existe, p . Luego defina la medida de Bhattacharyya por ${\displaystyle P,Q}$ ${\displaystyle ({\mathcal {X}},{\mathcal {B}})}$ ${\displaystyle \lambda }$ ${\displaystyle P}$ ${\displaystyle Q}$ ${\displaystyle \lambda }$ ${\displaystyle P(dx)=p(x)\lambda (dx)}$ ${\displaystyle Q(dx)=q(x)\lambda (dx)}$ ${\displaystyle p,q}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda ={\tfrac {1}{2}}(P+Q)}$ ${\displaystyle ({\mathcal {X}},{\mathcal {B}})}$

${\displaystyle bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {{\frac {P(dx)}{\lambda (dx)}}(x){\frac {Q(dx)}{\lambda (dx)}}(x)}}\lambda (dx).}$

No depende de la medida , porque si elegimos una medida tal que y otra elección de medida son absolutamente continuas, es decir , y , entonces ${\displaystyle \lambda }$ ${\displaystyle \mu }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda '}$ ${\displaystyle \lambda =l(x)\mu }$ ${\displaystyle \lambda '=l'(x)\mu }$

${\displaystyle P(dx)=p(x)\lambda (dx)=p'(x)\lambda '(dx)=p(x)l(x)\mu (dx)=p'(x)l'(x)\mu (dx)}$,

y de manera similar para . entonces tenemos ${\displaystyle Q}$

${\displaystyle bc(dx|P,Q)={\sqrt {p(x)q(x)}}\,\lambda (dx)={\sqrt {p(x)q(x)}}\,l(x)\mu (x)={\sqrt {p(x)l(x)q(x)\,l(x)}}\mu (dx)={\sqrt {p'(x)l'(x)q'(x)l'(x)}}\,\mu (dx)={\sqrt {p'(x)q'(x)}}\,\lambda '(dx)}$.

Finalmente definimos el coeficiente de Bhattacharyya.

${\displaystyle BC(P,Q)=\int _{\mathcal {X}}bc(dx|P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)q(x)}}\,\lambda (dx)}$.

Por lo anterior, la cantidad no depende de , y por la desigualdad de Cauchy . En particular, si es absolutamente continuo con el derivado del radón Nikodym , entonces ${\displaystyle BC(P,Q)}$ ${\displaystyle \lambda }$ ${\displaystyle 0\leq BC(P,Q)\leq 1}$ ${\displaystyle P(dx)=p(x)Q(dx)}$ ${\displaystyle Q}$ ${\displaystyle p(x)={\frac {P(dx)}{Q(dx)}}(x)}$

$${\displaystyle BC(P,Q)=\int _{\mathcal {X}}{\sqrt {p(x)}}Q(dx)=\int _{\mathcal {X}}{\sqrt {\frac {P(dx)}{Q(dx)}}}Q(dx)=E_{Q}\left[{\sqrt {\frac {P(dx)}{Q(dx)}}}\right]}$$

caso gaussiano

Sea , , donde está la distribución normal con media y varianza ; entonces ${\displaystyle p\sim {\mathcal {N}}(\mu _{p},\sigma _{p}^{2})}$ ${\displaystyle q\sim {\mathcal {N}}(\mu _{q},\sigma _{q}^{2})}$ ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle D_{B}(p,q)={\frac {1}{4}}{\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{2}+\sigma _{q}^{2}}}+{\frac {1}{2}}\ln \left({\frac {\sigma _{p}^{2}+\sigma _{q}^{2}}{2\sigma _{p}\sigma _{q}}}\right)}$.

Y en general, dadas dos distribuciones normales multivariadas , ${\displaystyle p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\,{\boldsymbol {\Sigma }}_{i})}$

${\displaystyle D_{B}(p_{1},p_{2})={1 \over 8}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{1 \over 2}\ln \,\left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{2}}}}\right)}$,

donde ^[6] Tenga en cuenta que el primer término es una distancia de Mahalanobis al cuadrado . ${\displaystyle {\boldsymbol {\Sigma }}={{\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2} \over 2}.}$

Propiedades

${\displaystyle 0\leq BC\leq 1}$y . ${\displaystyle 0\leq D_{B}\leq \infty }$

${\displaystyle D_{B}}$no obedece a la desigualdad del triángulo , aunque sí la distancia de Hellinger . ${\displaystyle {\sqrt {1-BC(p,q)}}}$

Límites del error de Bayes

La distancia de Bhattacharyya se puede utilizar para limitar superior e inferior la tasa de error de Bayes :

$${\displaystyle {\frac {1}{2}}-{\frac {1}{2}}{\sqrt {1-4\rho ^{2}}}\leq L^{*}\leq \rho }$$

donde y es la probabilidad posterior. ^[7] ${\displaystyle \rho =\mathbb {E} {\sqrt {\eta (X)(1-\eta (X))}}}$ ${\displaystyle \eta (X)=\mathbb {P} (Y=1|X)}$

Aplicaciones

El coeficiente Bhattacharyya cuantifica la "cercanía" de dos muestras estadísticas aleatorias.

Dadas dos secuencias de distribuciones , agruparlas en cubos y dejar que la frecuencia de las muestras del cubo sea , y de manera similar para , entonces el coeficiente de Bhattacharyya de la muestra es ${\displaystyle P,Q}$ ${\displaystyle n}$ ${\displaystyle P}$ ${\displaystyle i}$ ${\displaystyle p_{i}}$ ${\displaystyle q_{i}}$

${\displaystyle BC(\mathbf {p} ,\mathbf {q} )=\sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}},}$

que es un estimador de . La calidad de la estimación depende de la elección de los cubos; muy pocos cubos sobreestimarían , mientras que demasiados subestimarían. ${\displaystyle BC(P,Q)}$ ${\displaystyle BC(P,Q)}$

Una tarea común en la clasificación es estimar la separabilidad de las clases. Hasta un factor multiplicativo, la distancia de Mahalanobis al cuadrado es un caso especial de la distancia de Bhattacharyya cuando las dos clases se distribuyen normalmente con las mismas varianzas. Cuando dos clases tienen medias similares pero varianzas significativamente diferentes, la distancia de Mahalanobis sería cercana a cero, mientras que la distancia de Bhattacharyya no lo sería.

El coeficiente Bhattacharyya se utiliza en la construcción de códigos polares . ^[8]

La distancia de Bhattacharyya se utiliza en la extracción y selección de características, ^[9] procesamiento de imágenes, ^[10] reconocimiento de hablantes , ^[11] agrupación de teléfonos, ^[12] y en genética. ^[13]

Ver también

• ángulo de bhattacharyya
• Divergencia Kullback-Leibler
• distancia Hellinger
• Distancia de Mahalanobis
• Chernoff obligado
• Entropía de Rényi
• F-divergencia
• Fidelidad de los estados cuánticos.

Referencias

1. Esquivar, Yadolah (2003). El Diccionario Oxford de términos estadísticos. Prensa de la Universidad de Oxford. ISBN 978-0-19-920613-1.
2. Sen, Pranab Kumar (1996). "Anil Kumar Bhattacharyya (1915-1996): un recuerdo reverente". Boletín de la Asociación de Estadística de Calcuta . 46 (3–4): 151–158. doi :10.1177/0008068319960301. S2CID  164326977.
3. Bhattacharyya, A. (1946). "Sobre una medida de divergencia entre dos poblaciones multinomiales". Sankhya . 7 (4): 401–406. JSTOR  25047882.
4. Bhattacharyya, A (1942). "Sobre la discriminación y la divergencia". Actas del Congreso de Ciencias de la India . Sociedad Asiática de Bengala.
5. Bhattacharyya, A. (marzo de 1943). "Sobre una medida de divergencia entre dos poblaciones estadísticas definidas por sus distribuciones de probabilidad". Boletín de la Sociedad Matemática de Calcuta . 35 : 99-109. SEÑOR  0010358.
6. Kashyap, Ravi (2019). "El matrimonio perfecto y mucho más: combinando reducción de dimensiones, medidas de distancia y covarianza". Physica A: Mecánica Estadística y sus Aplicaciones . 536 : 120938. arXiv : 1603.09060 . doi :10.1016/j.physa.2019.04.174.
7. Devroye, L., Gyorfi, L. y Lugosi, G. Una teoría probabilística del reconocimiento de patrones. Matemáticas aplicadas discretas 73, 192–194 (1997).
8. Arıkan, Erdal (julio de 2009). "Polarización de canales: un método para construir códigos de logro de capacidad para canales sin memoria de entrada binaria simétricos". Transacciones IEEE sobre teoría de la información . 55 (7): 3051–3073. arXiv : 0807.3917 . doi :10.1109/TIT.2009.2021379. S2CID  889822.
9. Euisun Choi, Chulhee Lee, "Extracción de características basada en la distancia de Bhattacharyya", Reconocimiento de patrones , volumen 36, número 8, agosto de 2003, páginas 1703-1709
10. François Goudail, Philippe Réfrégier, Guillaume Delyon, "La distancia de Bhattacharyya como parámetro de contraste para el procesamiento estadístico de imágenes ópticas ruidosas", JOSA A , vol. 21, número 7, págs. 1231-1240 (2004)
11. Chang Huai You, "Un kernel SVM con supervector GMM basado en la distancia Bhattacharyya para el reconocimiento de hablantes", Cartas de procesamiento de señales , IEEE, Vol 16, Is 1, págs. 49-52
12. Mak, B., "Agrupación de teléfonos utilizando la distancia Bhattacharyya", Lenguaje hablado , 1996. ICSLP 96. Actas., Cuarta Conferencia Internacional sobre, Vol 4, págs. 2005-2008 vol.4, 3-6 de octubre de 1996
13. Chattopadhyay, Aparna; Chattopadhyay, Asis Kumar; B-Rao, Chandrika (1 de junio de 2004). "La medida de distancia de Bhattacharyya como precursora de las medidas de distancia genética". Revista de Biociencias . 29 (2): 135-138. doi :10.1007/BF02703410. ISSN  0973-7138.

enlaces externos

• "Distancia Bhattacharyya", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Intuición estadística de la distancia de Bhattacharyya
• Algunas de las propiedades de Bhattacharyya Distancia
• Nielsen, F.; Boltz, S. (2010). "Los centroides de Burbea-Rao y Bhattacharyya". Transacciones IEEE sobre teoría de la información. 57 (8): 5455–5466. ^[1]
• Kailath, T. (1967). "Las medidas de distancia de divergencia y Bhattacharyya en la selección de señales". Transacciones IEEE sobre tecnología de la comunicación. 15 (1): 52–60. ^[2]
• Djouadi, A.; Snorrason, O.; Garber, F. (1990). "La calidad de las estimaciones de la muestra de formación del coeficiente de Bhattacharyya". Transacciones IEEE sobre análisis de patrones e inteligencia artificial. 12 (1): 92–97. ^[3]

1. Nielsen, Frank; Boltz, Sylvain (2011). "Los centroides Burbea-Rao y Bhattacharyya". Transacciones IEEE sobre teoría de la información . 57 (8): 5455–5466. arXiv : 1004.5049 . doi :10.1109/TIT.2011.2159046. ISSN  0018-9448. S2CID  14238708.
2. Kailath, T. (1967). "Las medidas de distancia de divergencia y Bhattacharyya en la selección de señales". Transacciones IEEE sobre Comunicaciones . 15 (1): 52–60. doi :10.1109/TCOM.1967.1089532. ISSN  0096-2244.
3. Djouadi, A.; Snorrason, O.; Garber, FD (1990). "La calidad de las estimaciones de la muestra de entrenamiento del coeficiente de Bhattacharyya". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 12 (1): 92–97. doi : 10.1109/34.41388.