Divergencia (estadísticas)

Función que mide la disimilitud entre dos distribuciones de probabilidad.

En geometría de la información , una divergencia es una especie de distancia estadística : una función binaria que establece la separación de una distribución de probabilidad a otra en una variedad estadística .

La divergencia más simple es la distancia euclidiana al cuadrado (SED), y las divergencias pueden verse como generalizaciones de la SED. La otra divergencia más importante es la entropía relativa (también llamada divergencia Kullback-Leibler ), que es fundamental para la teoría de la información . Existen muchas otras divergencias y clases de divergencias específicas, en particular f -divergencias y divergencias de Bregman (ver § Ejemplos).

Definición

Dada una variedad diferenciable ^[a] de dimensión , una divergencia en es una función que satisface: ^{[1] [2]} ${\displaystyle M}$ ${\displaystyle n}$ ${\displaystyle M}$ ${\displaystyle C^{2}}$ ${\displaystyle D:M\times M\to [0,\infty )}$

1. ${\displaystyle D(p,q)\geq 0}$para todos (no negatividad), ${\displaystyle p,q\in M}$
2. ${\displaystyle D(p,q)=0}$si y sólo si (positividad), ${\displaystyle p=q}$
3. En cada punto , hay una forma cuadrática definida positiva para desplazamientos infinitesimales desde . ${\displaystyle p\in M}$ ${\displaystyle D(p,p+dp)}$ ${\displaystyle dp}$ ${\displaystyle p}$

En aplicaciones a la estadística, la variedad suele ser el espacio de parámetros de una familia paramétrica de distribuciones de probabilidad . ${\displaystyle M}$

La condición 3 significa que define un producto interno en el espacio tangente para cada . Dado que está activado , esto define una métrica de Riemann . ${\displaystyle D}$ ${\displaystyle T_{p}M}$ ${\displaystyle p\in M}$ ${\displaystyle D}$ ${\displaystyle C^{2}}$ ${\displaystyle M}$ ${\displaystyle g}$ ${\displaystyle M}$

Localmente en , podemos construir un gráfico de coordenadas local con coordenadas , entonces la divergencia es ${\displaystyle p\in M}$ ${\displaystyle x}$

$${\displaystyle D(x(p),x(p)+dx)=\textstyle {\frac {1}{2}}dx^{T}g_{p}(x)dx+O(|dx|^{3})}$$

${\displaystyle g_{p}(x)}$ ${\displaystyle n\times n}$ ${\displaystyle p}$ ${\displaystyle x}$

El análisis dimensional de la condición 3 muestra que la divergencia tiene la dimensión de la distancia al cuadrado. ^[3]

La divergencia dual se define como ${\displaystyle D^{*}}$

${\displaystyle D^{*}(p,q)=D(q,p).}$

Cuando queremos contrastar , nos referimos a divergencia primaria . ${\displaystyle D}$ ${\displaystyle D^{*}}$ ${\displaystyle D}$

Dada cualquier divergencia , su versión simetrizada se obtiene promediando con su divergencia dual: ^[3] ${\displaystyle D}$

${\displaystyle D_{S}(p,q)=\textstyle {\frac {1}{2}}{\big (}D(p,q)+D(q,p){\big )}.}$

Diferencia con otros conceptos similares.

Unlike metrics, divergences are not required to be symmetric, and the asymmetry is important in applications.^[3] Accordingly, one often refers asymmetrically to the divergence "of q from p" or "from p to q", rather than "between p and q". Secondly, divergences generalize squared distance, not linear distance, and thus do not satisfy the triangle inequality, but some divergences (such as the Bregman divergence) do satisfy generalizations of the Pythagorean theorem.

In general statistics and probability, "divergence" generally refers to any kind of function ${\displaystyle D(p,q)}$, where ${\displaystyle p,q}$ are probability distributions or other objects under consideration, such that conditions 1, 2 are satisfied. Condition 3 is required for "divergence" as used in information geometry.

As an example, the total variation distance, a commonly used statistical divergence, does not satisfy condition 3.

Notation

Notation for divergences varies significantly between fields, though there are some conventions.

Divergences are generally notated with an uppercase 'D', as in ${\displaystyle D(x,y)}$, to distinguish them from metric distances, which are notated with a lowercase 'd'. When multiple divergences are in use, they are commonly distinguished with subscripts, as in ${\displaystyle D_{\text{KL}}}$ for Kullback–Leibler divergence (KL divergence).

Often a different separator between parameters is used, particularly to emphasize the asymmetry. In information theory, a double bar is commonly used: ${\displaystyle D(p\parallel q)}$; this is similar to, but distinct from, the notation for conditional probability, ${\displaystyle P(A|B)}$, and emphasizes interpreting the divergence as a relative measurement, as in relative entropy; this notation is common for the KL divergence. A colon may be used instead,^[b] as ${\displaystyle D(p:q)}$; this emphasizes the relative information supporting the two distributions.

The notation for parameters varies as well. Uppercase ${\displaystyle P,Q}$ interprets the parameters as probability distributions, while lowercase ${\displaystyle p,q}$ or ${\displaystyle x,y}$ interprets them geometrically as points in a space, and ${\displaystyle \mu _{1},\mu _{2}}$ or ${\displaystyle m_{1},m_{2}}$ interprets them as measures.

Geometrical properties

Se pueden derivar muchas propiedades de las divergencias si restringimos S a una variedad estadística, lo que significa que se puede parametrizar con un sistema de coordenadas de dimensión finita θ , de modo que para una distribución p ∈ S podemos escribir p = p ( θ ) .

Para un par de puntos p , q ∈ S con coordenadas θ _p y θ _q , denotamos las derivadas parciales de D ( p , q ) como

${\displaystyle {\begin{aligned}D((\partial _{i})_{p},q)\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}D(p,q),\\D((\partial _{i}\partial _{j})_{p},(\partial _{k})_{q})\ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\partial }{\partial \theta _{p}^{i}}}{\tfrac {\partial }{\partial \theta _{p}^{j}}}{\tfrac {\partial }{\partial \theta _{q}^{k}}}D(p,q),\ \ \mathrm {etc.} \end{aligned}}}$

Ahora restringimos estas funciones a una diagonal p = q y denotamos ^[4]

${\displaystyle {\begin{aligned}D[\partial _{i},\cdot ]\ &:\ p\mapsto D((\partial _{i})_{p},p),\\D[\partial _{i},\partial _{j}]\ &:\ p\mapsto D((\partial _{i})_{p},(\partial _{j})_{p}),\ \ \mathrm {etc.} \end{aligned}}}$

Por definición, la función D ( p , q ) se minimiza en p = q , y por lo tanto

${\displaystyle {\begin{aligned}&D[\partial _{i},\cdot ]=D[\cdot ,\partial _{i}]=0,\\&D[\partial _{i}\partial _{j},\cdot ]=D[\cdot ,\partial _{i}\partial _{j}]=-D[\partial _{i},\partial _{j}]\ \equiv \ g_{ij}^{(D)},\end{aligned}}}$

donde la matriz g ^{( D )} es semidefinida positiva y define una métrica de Riemann única en la variedad S.

La divergencia D (·, ·) también define una conexión afín única sin torsión ∇ ^{( D )} con coeficientes

${\displaystyle \Gamma _{ij,k}^{(D)}=-D[\partial _{i}\partial _{j},\partial _{k}],}$

y el dual a esta conexión ∇* es generado por la divergencia dual D *.

Así, una divergencia D (·, ·) genera en una variedad estadística una estructura dualista única ( g ^{( D )} , ∇ ^{( D )} , ∇ ^{( D *)} ). Lo contrario también es cierto: cada estructura dualista libre de torsión en una variedad estadística se induce a partir de alguna función de divergencia definida globalmente (que, sin embargo, no tiene por qué ser única). ^[5]

Por ejemplo, cuando D es una f-divergencia ^[6] para alguna función ƒ(·), entonces genera la métrica g ^{( D _f )} = c·g y la conexión ∇ ^{( D _f )} = ∇ ^{( α )} , donde g es la métrica de información canónica de Fisher , ∇ ^{( α )} es la conexión α, c = ƒ′′(1) y α = 3 + 2ƒ′′′(1)/ƒ′′(1) .

Ejemplos

Las dos divergencias más importantes son la entropía relativa ( divergencia Kullback-Leibler , divergencia KL), que es fundamental para la teoría de la información y la estadística, y la distancia euclidiana al cuadrado (SED). Minimizar estas dos divergencias es la forma principal en que se resuelven los problemas lineales inversos , mediante el principio de máxima entropía y mínimos cuadrados , especialmente en la regresión logística y la regresión lineal . ^[7]

Las dos clases más importantes de divergencias son las f -divergencias y las divergencias de Bregman ; sin embargo, en la literatura también se encuentran otros tipos de funciones de divergencia. La única divergencia de probabilidades sobre un alfabeto finito que es a la vez una f -divergencia y una divergencia de Bregman es la divergencia de Kullback-Leibler. ^[8] La divergencia euclidiana al cuadrado es una divergencia de Bregman (correspondiente a la función ) pero no una f -divergencia. ${\displaystyle x^{2}}$

f-divergencias

Dada una función convexa tal que , la f -divergencia generada por se define como ${\displaystyle f:[0,+\infty )\to (-\infty ,+\infty ]}$ ${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t),f(1)=0}$ ${\displaystyle f}$

${\displaystyle D_{f}(p,q)=\int p(x)f{\bigg (}{\frac {q(x)}{p(x)}}{\bigg )}dx}$.

Divergencias de Bregman

Las divergencias de Bregman corresponden a funciones convexas en conjuntos convexos. Dada una función F estrictamente convexa y continuamente diferenciable en un conjunto convexo , conocido como generador de Bregman , la divergencia de Bregman mide la convexidad de: el error de la aproximación lineal de F a partir de q como una aproximación del valor en p :

${\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .}$

La divergencia dual a una divergencia de Bregman es la divergencia generada por el conjugado convexo F ^* del generador de Bregman de la divergencia original. Por ejemplo, para la distancia euclidiana al cuadrado, el generador es , mientras que para la entropía relativa el generador es la entropía negativa . ${\displaystyle x^{2}}$ ${\displaystyle x\log x}$

Historia

El uso del término "divergencia" (tanto a qué funciones se refiere como cómo se denominan las distintas distancias estadísticas) ha variado significativamente a lo largo del tiempo, pero c. 2000 se había decidido sobre el uso actual dentro de la geometría de la información, especialmente en el libro de texto Amari y Nagaoka (2000). ^[1]

El término "divergencia" para una distancia estadística se utilizó informalmente en varios contextos desde c. 1910 a c. 1940. Su uso formal data al menos de Bhattacharyya (1943), titulado "Sobre una medida de divergencia entre dos poblaciones estadísticas definidas por sus distribuciones de probabilidad", que definió la distancia de Bhattacharyya , y Bhattacharyya (1946), titulado "Sobre una medida de Divergencia entre dos poblaciones multinomiales", que definió el ángulo de Bhattacharyya . El término se popularizó por su uso para la divergencia Kullback-Leibler en Kullback & Leibler (1951) y su uso en el libro de texto Kullback (1959). El término "divergencia" fue utilizado generalmente por Ali y Silvey (1966) para distancias estadísticas. En Adhikari y Joshi (1956) y Kullback (1959, págs. 6-7, §1.3 Divergencia) se dan numerosas referencias a usos anteriores de distancias estadísticas .

Kullback y Leibler (1951) en realidad utilizaron "divergencia" para referirse a la divergencia simetrizada (esta función ya había sido definida y utilizada por Harold Jeffreys en 1948 ^[9] ), refiriéndose a la función asimétrica como "la información media para la discriminación... .por observación", ^[10] mientras que Kullback (1959) se refirió a la función asimétrica como "divergencia dirigida". ^[11] Ali y Silvey (1966) se refirieron en general a dicha función como un "coeficiente de divergencia" y demostraron que muchas funciones existentes podían expresarse como f -divergencias, refiriéndose a la función de Jeffreys como "medida de divergencia de Jeffreys". (hoy "divergencia de Jeffreys"), y la función asimétrica de Kullback-Leibler (en cada dirección) como "medidas de información discriminatoria de Kullback y Leibler" (hoy "divergencia Kullback-Leibler"). ^[12]

Inicialmente se hizo referencia a la definición de divergencia en geometría de la información (el tema de este artículo) mediante términos alternativos, incluidos "cuasi-distancia" Amari (1982, p. 369) y "función de contraste" Eguchi (1985), aunque "divergencia" fue utilizado en Amari (1985) para la α -divergencia, y se ha convertido en estándar para la clase general. ^{[1] [2]}

El término "divergencia" contrasta con distancia (métrica), ya que la divergencia simetrizada no satisface la desigualdad del triángulo. ^[13] Por ejemplo, el término "distancia de Bregman" todavía se encuentra, pero ahora se prefiere "divergencia de Bregman".

Notacionalmente, Kullback y Leibler (1951) denotaron su función asimétrica como , mientras que Ali y Silvey (1966) denotan sus funciones con una 'd' minúscula como . ${\displaystyle I(1:2)}$ ${\displaystyle d\left(P_{1},P_{2}\right)}$

Ver también

• Distancia estadística

Notas

1. En todo momento, solo requerimos la clase de diferenciabilidad C ² (continua con primera y segunda derivadas continuas), ya que solo se requieren segundas derivadas. En la práctica, las variedades y divergencias estadísticas de uso común son infinitamente diferenciables ("suaves").
2. Se utilizan dos puntos en Kullback & Leibler (1951, p. 80), donde la divergencia KL entre medida y se escribe como . ${\displaystyle \mu _{1}}$ ${\displaystyle \mu _{2}}$ ${\displaystyle I(1:2)}$

Referencias

1. Amari & Nagaoka 2000, capítulo 3.2.
2. Amari 2016, pag. 10, Definición 1.1.
3. Amari 2016, pag. 10.
4. Eguchi (1992)
5. Matumoto (1993)
6. Nielsen, F.; Nock, R. (2013). "Sobre el Chi cuadrado y distancias Chi de orden superior para aproximar divergencias f". Cartas de procesamiento de señales IEEE . 21 : 10-13. arXiv : 1309.3029 . doi :10.1109/LSP.2013.2288355. S2CID  4152365.
7. Csiszar 1991.
8. Jiao, Jiantao; Corteda, Thomas; No, Alberto; Venkat, Kartik; Weissman, Tsachy (diciembre de 2014). "Medidas de información: el curioso caso del alfabeto binario". Transacciones IEEE sobre teoría de la información . 60 (12): 7616–7626. arXiv : 1404.6810 . doi :10.1109/TIT.2014.2360184. ISSN  0018-9448. S2CID  13108908.
9. Jeffreys 1948, pag. 158.
10. Kullback y Leibler 1951, pág. 80.
11. Kullback 1959, pag. 7.
12. Ali y Silvey 1966, pág. 139.
13. Kullback 1959, pag. 6.

Bibliografía

• Adhikari, BP; Joshi, DD (1956). "Distancia, discriminación y currículum exhaustivo". Pub. Inst. Estadística. Univ. París . 5 : 57–74.
• Amari, Shun-Ichi (1982). "Geometría diferencial de familias exponenciales curvas: curvaturas y pérdida de información". Los anales de la estadística . 10 (2): 357–385. doi : 10.1214/aos/1176345779 . ISSN  0090-5364. JSTOR  2240672.
• Amari, Shun-Ichi (1985). Métodos Geométricos Diferenciales en Estadística . Apuntes de conferencias sobre estadística. vol. 28. Springer-Verlag.
• Amari, Shun-ichi ; Nagaoka, Hiroshi (2000). Métodos de geometría de la información . Prensa de la Universidad de Oxford. ISBN 0-8218-0531-2.
• Amari, Shun-ichi (2016). Geometría de la información y sus aplicaciones . Ciencias Matemáticas Aplicadas. vol. 194. Springer Japón. págs. XIII, 374. doi :10.1007/978-4-431-55978-8. ISBN 978-4-431-55977-1.
• Bhattacharyya, A. (1946). "Sobre una medida de divergencia entre dos poblaciones multinomiales". Sankhyā: Revista india de estadística (1933-1960) . 7 (4): 401–406. ISSN  0036-4452. JSTOR  25047882.
• Bhattacharyya, A. (1943). "Sobre una medida de divergencia entre dos poblaciones estadísticas definidas por sus distribuciones de probabilidad". Toro. Matemáticas de Calcuta. Soc . 35 : 99-109.
• Csiszar, Imre (1 de diciembre de 1991). "¿Por qué mínimos cuadrados y máxima entropía? Un enfoque axiomático de la inferencia para problemas lineales inversos". Los anales de la estadística . 19 (4). doi : 10.1214/aos/1176348385 .
• Eguchi, sintoísmo (1985). "Un enfoque geométrico diferencial de la inferencia estadística sobre la base de funcionales de contraste". Revista de Matemáticas de Hiroshima . 15 (2): 341–391. doi : 10.32917/hmj/1206130775 .
• Eguchi, sintoísmo (1992). "Geometría de mínimo contraste". Revista de Matemáticas de Hiroshima . 22 (3): 631–647. doi : 10.32917/hmj/1206128508 .
• Ali, SM; Silvey, SD (1966). "Una clase general de coeficientes de divergencia de una distribución respecto de otra". Revista de la Real Sociedad de Estadística. Serie B (Metodológica) . 28 (1): 131-142. doi :10.1111/j.2517-6161.1966.tb00626.x. ISSN  0035-9246. JSTOR  2984279.
• Jeffreys, Harold (1948). Teoría de la probabilidad (Segunda ed.). Prensa de la Universidad de Oxford.
• Kullback, S .; Leibler, RA (1951). "Sobre la información y la suficiencia". Anales de estadística matemática . 22 (1): 79–86. doi : 10.1214/aoms/1177729694 . JSTOR  2236703. SEÑOR  0039968.
• Kullback, S. (1959), Teoría de la información y estadística , John Wiley & Sons. Republicado por Dover Publications en 1968; reimpreso en 1978: ISBN 0-8446-5625-9 
• Matumoto, Takao (1993). "Cualquier variedad estadística tiene una función de contraste: en las funciones C³, el mínimo se toma en la diagonal de la variedad de producto". Revista de Matemáticas de Hiroshima . 23 (2): 327–332. doi : 10.32917/hmj/1206128255 .