Divergencia de Bregman

Una medida de diferencia entre dos puntos.

En matemáticas , específicamente en estadística y geometría de la información , una divergencia de Bregman o distancia de Bregman es una medida de diferencia entre dos puntos, definida en términos de una función estrictamente convexa ; Forman una clase importante de divergencias . Cuando los puntos se interpretan como distribuciones de probabilidad (en particular, como valores del parámetro de un modelo paramétrico o como un conjunto de datos de valores observados), la distancia resultante es una distancia estadística . La divergencia de Bregman más básica es la distancia euclidiana al cuadrado .

Las divergencias de Bregman son similares a las métricas , pero no satisfacen ni la desigualdad del triángulo (nunca) ni la simetría (en general). Sin embargo, satisfacen una generalización del teorema de Pitágoras y, en geometría de la información, la variedad estadística correspondiente se interpreta como una variedad (dual) plana . Esto permite generalizar muchas técnicas de la teoría de la optimización a divergencias de Bregman, geométricamente como generalizaciones de mínimos cuadrados .

Las divergencias de Bregman llevan el nombre del matemático ruso Lev M. Bregman , quien introdujo el concepto en 1967.

Definición

Sea una función estrictamente convexa, continuamente diferenciable, definida en un conjunto convexo . ${\displaystyle F:\Omega \to \mathbb {R} }$ ${\displaystyle \Omega }$

La distancia de Bregman asociada con F para puntos es la diferencia entre el valor de F en el punto p y el valor de la expansión de Taylor de primer orden de F alrededor del punto q evaluado en el punto p : ${\displaystyle p,q\in \Omega }$

${\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .}$

Propiedades

• No negatividad : para todos , . Esto es una consecuencia de la convexidad de . ${\displaystyle D_{F}(p,q)\geq 0}$ ${\displaystyle p}$ ${\displaystyle q}$ ${\displaystyle F}$
• Positividad : Cuando es estrictamente convexa, si y así . ${\displaystyle F}$ ${\displaystyle D_{F}(p,q)=0}$ ${\displaystyle p=q}$
• Unicidad hasta diferencia afín : iff es una función afín. ${\displaystyle D_{F}=D_{G}}$ ${\displaystyle F-G}$
• Convexidad : es convexa en su primer argumento, pero no necesariamente en el segundo argumento. Si F es estrictamente convexo, entonces es estrictamente convexo en su primer argumento. ${\displaystyle D_{F}(p,q)}$ ${\displaystyle D_{F}(p,q)}$
  • Por ejemplo, tome f(x) = |x|, suavice en 0, luego tome , luego . ${\displaystyle y=1,x_{1}=0.1,x_{2}=-0.9,x_{3}=0.9x_{1}+0.1x_{2}}$ ${\displaystyle D_{f}(y,x_{3})\approx 1>0.9D_{f}(y,x_{1})+0.1D_{f}(y,x_{2})\approx 0.2}$
• Linealidad : si pensamos en la distancia de Bregman como un operador de la función F , entonces es lineal con respecto a coeficientes no negativos. En otras palabras, para estrictamente convexo y diferenciable, y , ${\displaystyle F_{1},F_{2}}$ ${\displaystyle \lambda \geq 0}$

${\displaystyle D_{F_{1}+\lambda F_{2}}(p,q)=D_{F_{1}}(p,q)+\lambda D_{F_{2}}(p,q)}$

• Dualidad : si F es estrictamente convexa, entonces la función F tiene un conjugado convexo que también es estrictamente convexo y continuamente diferenciable en algún conjunto convexo . La distancia de Bregman definida con respecto a es dual a as ${\displaystyle F^{*}}$ ${\displaystyle \Omega ^{*}}$ ${\displaystyle F^{*}}$ ${\displaystyle D_{F}(p,q)}$

${\displaystyle D_{F^{*}}(p^{*},q^{*})=D_{F}(q,p)}$

Aquí, y están los puntos duales correspondientes a p y q. ${\displaystyle p^{*}=\nabla F(p)}$ ${\displaystyle q^{*}=\nabla F(q)}$

Además, usando las mismas notaciones:

${\displaystyle D_{F}(p,q)=F(p)+F^{*}(q^{*})-\langle p,q^{*}\rangle }$

• Media como minimizador : un resultado clave sobre las divergencias de Bregman es que, dado un vector aleatorio, el vector medio minimiza la divergencia de Bregman esperada del vector aleatorio. Este resultado generaliza el resultado del libro de texto de que la media de un conjunto minimiza el error cuadrático total de los elementos del conjunto. Este resultado fue demostrado para el caso de vectores por (Banerjee et al. 2005) y extendido al caso de funciones/distribuciones por (Frigyik et al. 2008). Este resultado es importante porque justifica aún más el uso de una media como representativa de un conjunto aleatorio, particularmente en la estimación bayesiana.
• Las bolas de Bregman están acotadas y compactas si X está cerrado : defina la bola de Bregman centrada en x con radio r por . Cuando es de dimensión finita, si está en el interior relativo de , o si está localmente cerrado en (es decir, existe una bola cerrada centrada en , tal que está cerrada), entonces está acotado para todos . Si es cerrado, entonces es compacto para todos . ${\displaystyle B_{f}(x,r):=\left\{y\in X:D_{f}(y,x)\leq r\right\}}$ ${\displaystyle X\subset \mathbb {R} ^{n}}$ ${\displaystyle \forall x\in X}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle B(x,r)}$ ${\displaystyle x}$ ${\displaystyle B(x,r)\cap X}$ ${\displaystyle B_{f}(x,r)}$ ${\displaystyle r}$ ${\displaystyle X}$ ${\displaystyle B_{f}(x,r)}$ ${\displaystyle r}$
• Ley de los cosenos : ^[1]

Para cualquier ${\displaystyle p,q,z}$

${\displaystyle D_{F}(p,q)=D_{F}(p,z)+D_{F}(z,q)-(p-z)^{T}(\nabla F(q)-\nabla F(z))}$

• Ley del paralelogramo : para cualquier , ${\displaystyle \theta ,\theta _{1},\theta _{2}}$

${\displaystyle B_{F}\left(\theta _{1}:\theta \right)+B_{F}\left(\theta _{2}:\theta \right)=B_{F}\left(\theta _{1}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+B_{F}\left(\theta _{2}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+2B_{F}\left({\frac {\theta _{1}+\theta _{2}}{2}}:\theta \right)}$

Teorema de Pitágoras generalizado para la divergencia de Bregman. ^[2]

• Proyección de Bregman : Para cualquiera , defina la "proyección de Bregman" de sobre : ${\displaystyle W\subset \Omega }$ ${\displaystyle q}$ ${\displaystyle W}$

${\displaystyle P_{W}(q)={\text{argmin}}_{\omega \in W}D_{F}(\omega ,q)}$. Entonces

• • si es convexa, entonces la proyección es única si existe; ${\displaystyle W}$
  • si no está vacío, es cerrado, convexo y de dimensión finita, entonces la proyección existe y es única. ^{[ cita necesaria ]} ${\displaystyle W}$ ${\displaystyle \Omega \subset \mathbb {R} ^{n}}$
• Teorema de Pitágoras generalizado : ^[1]

Para cualquier , ${\displaystyle v\in \Omega ,a\in W}$

${\displaystyle D_{F}(a,v)\geq D_{F}(a,P_{W}(v))+D_{F}(P_{W}(v),v).}$

Esta es una igualdad si está en el interior relativo de . ${\displaystyle P_{W}(v)}$ ${\displaystyle W}$

En particular, esto siempre sucede cuando es un conjunto afín. ${\displaystyle W}$

• Falta de desigualdad triangular: dado que la divergencia de Bregman es esencialmente una generalización de la distancia euclidiana al cuadrado, no existe desigualdad triangular. De hecho, lo cual puede ser positivo o negativo. ${\displaystyle D_{F}(z,x)-D_{F}(z,y)-D_{F}(y,x)=\langle \nabla f(y)-\nabla f(x),z-y\rangle }$

Pruebas

• No negatividad y positividad: utilice la desigualdad de Jensen .
• Unicidad hasta diferencia afín: arreglar algunos , luego para cualquier otro , tenemos por definición . ${\displaystyle x\in \Omega }$ ${\displaystyle y\in \Omega }$ ${\displaystyle F(y)-G(y)=F(x)-G(x)+\langle \nabla F(x)-\nabla G(x),y-x\rangle }$
• Convexidad en el primer argumento: por definición, y use la convexidad de F. Lo mismo para la convexidad estricta.
• Linealidad en F, ley de los cosenos, ley del paralelogramo: por definición.
• Dualidad: Ver figura 1 de. ^[3]
• Las bolas de Bregman están acotadas y compactas si X está cerrado:

Arreglar . Realice una transformación afín para que . ${\displaystyle x\in X}$ ${\displaystyle f}$ ${\displaystyle \nabla f(x)=0}$

Toma algunos , tales que . Luego considere la derivada "radial-direccional" de en la esfera euclidiana . ${\displaystyle \epsilon >0}$ ${\displaystyle \partial B(x,\epsilon )\subset X}$ ${\displaystyle f}$ ${\displaystyle \partial B(x,\epsilon )}$

${\displaystyle \langle \nabla f(y),(y-x)\rangle }$para todos . ${\displaystyle y\in \partial B(x,\epsilon )}$

Como es compacto, alcanza un valor mínimo en algunos . ${\displaystyle \partial B(x,\epsilon )\subset \mathbb {R} ^{n}}$ ${\displaystyle \delta }$ ${\displaystyle y_{0}\in \partial B(x,\epsilon )}$

Dado que es estrictamente convexo, . Entonces . ${\displaystyle f}$ ${\displaystyle \delta >0}$ ${\displaystyle B_{f}(x,r)\subset B(x,r/\delta )\cap X}$

Como está en , es continua en , por lo tanto está cerrado si es. ${\displaystyle D_{f}(y,x)}$ ${\displaystyle C^{1}}$ ${\displaystyle y}$ ${\displaystyle D_{f}}$ ${\displaystyle y}$ ${\displaystyle B_{f}(x,r)}$ ${\displaystyle X}$

• La proyección está bien definida cuando es cerrada y convexa. ${\displaystyle P_{W}}$ ${\displaystyle W}$

Arreglar . Toma un poco y luego déjalo . Luego dibuja la bola de Bregman . Es cerrado y acotado, por tanto compacto. Dado que es continuo y estrictamente convexo y está limitado por debajo por , logra un mínimo único en él. ${\displaystyle v\in X}$ ${\displaystyle w\in W}$ ${\displaystyle r:=D_{f}(w,v)}$ ${\displaystyle B_{f}(v,r)\cap W}$ ${\displaystyle D_{f}(\cdot ,v)}$ ${\displaystyle 0}$

• Desigualdad pitagórica.

Por la ley del coseno, , que debe ser , ya que minimiza en , y es convexo. ${\displaystyle D_{f}(w,v)-D_{f}(w,P_{W}(v))-D_{f}(P_{W}(v),v)=\langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle }$ ${\displaystyle \geq 0}$ ${\displaystyle P_{W}(v)}$ ${\displaystyle D_{f}(\cdot ,v)}$ ${\displaystyle W}$ ${\displaystyle W}$

• Igualdad pitagórica cuando está en el interior relativo de . ${\displaystyle P_{W}(v)}$ ${\displaystyle X}$

Si , entonces como está en el interior relativo, podemos movernos en la dirección opuesta a , para disminuir su contradicción. ${\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle >0}$ ${\displaystyle w}$ ${\displaystyle P_{W}(v)}$ ${\displaystyle w}$ ${\displaystyle D_{f}(y,v)}$

De este modo . ${\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle =0}$

Teoremas de clasificación

• Las únicas divergencias simétricas de Bregman son las distancias euclidianas generalizadas al cuadrado ( distancia de Mahalanobis ), es decir, para algún definido positivo . ^[4] ${\displaystyle X\subset \mathbb {R} ^{n}}$ ${\displaystyle D_{f}(y,x)=(y-x)^{T}A(y-x)}$ ${\displaystyle A}$

Prueba

Divergencia de Bregman interpretada como áreas.

Para cualquiera , defina para . Dejar . ${\displaystyle x\neq y\in X}$ ${\displaystyle r=\|y-x\|,v=(y-x)/r,g(t)=f(x+tv)}$ ${\displaystyle t\in [0,r]}$ ${\displaystyle z(t)=x+tv}$

Entonces for , y puesto que es continuo, también for . ${\displaystyle g'(t)=\langle \nabla f(z(t)),v\rangle }$ ${\displaystyle t\in (0,r)}$ ${\displaystyle \nabla f}$ ${\displaystyle t=0,r}$

Luego, en el diagrama, vemos que para todos debemos tener un on lineal . ${\displaystyle D_{f}(x;z(t))=D_{f}(z(t);x)}$ ${\displaystyle t\in [0,r]}$ ${\displaystyle g'(t)}$ ${\displaystyle t\in [0,r]}$

Así encontramos que varía linealmente a lo largo de cualquier dirección. Según el siguiente lema, es cuadrático. Como también es estrictamente convexo, tiene la forma , donde . ${\displaystyle \nabla f}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f(x)+x^{T}Ax+B^{T}x+C}$ ${\displaystyle A\succ 0}$

Lema : Si es un subconjunto abierto de , tiene derivada continua y dado cualquier segmento de recta , la función es lineal en , entonces es una función cuadrática. ${\displaystyle S}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle f:S\to \mathbb {R} }$ ${\displaystyle [x,x+v]\subset S}$ ${\displaystyle h(t):=\langle \nabla f(x+tv),v\rangle }$ ${\displaystyle t}$ ${\displaystyle f}$

Idea de prueba: para cualquier función cuadrática , todavía tenemos tal derivada-linealidad, por lo que restaremos algunas funciones cuadráticas y demostraremos que se vuelve cero. ${\displaystyle q:S\to \mathbb {R} }$ ${\displaystyle f-q}$ ${\displaystyle f}$

La idea de prueba se puede ilustrar completamente para el caso de , por lo que la demostramos en este caso. ${\displaystyle S=\mathbb {R} ^{2}}$

Por la linealidad derivada, es una función cuadrática en cualquier segmento de línea en . Restamos cuatro funciones cuadráticas, de modo que se vuelven idénticamente cero en el eje x, el eje y y la recta. ${\displaystyle f}$ ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle g:=f-q_{0}-q_{1}-q_{2}-q_{3}}$ ${\displaystyle \{x=y\}}$

Vamos , por bien elegidos . Ahora use para eliminar el término lineal y use respectivamente para eliminar los términos cuadráticos a lo largo de las tres líneas. ${\displaystyle q_{0}(x,y)=f(0,0)+\nabla f(0,0)\cdot (x,y),q_{1}(x,y)=A_{1}x^{2},q_{2}(x,y)=A_{2}y^{2},q_{3}(x,y)=A_{3}xy}$ ${\displaystyle A_{1},A_{2},A_{3}}$ ${\displaystyle q_{0}}$ ${\displaystyle q_{1},q_{2},q_{3}}$

${\displaystyle \forall (x,y)\in \mathbb {R} ^{2}}$no en el origen, existe una línea que cruza el eje x, el eje y y la línea en tres puntos diferentes. Dado que es cuadrático en , y es cero en tres puntos diferentes, es idénticamente cero en , por lo tanto . Por tanto es cuadrático. ${\displaystyle l}$ ${\displaystyle (x,y)}$ ${\displaystyle \{x=y\}}$ ${\displaystyle g}$ ${\displaystyle l}$ ${\displaystyle g}$ ${\displaystyle l}$ ${\displaystyle g(x,y)=0}$ ${\displaystyle f=q_{0}+q_{1}+q_{2}+q_{3}}$

Las dos caracterizaciones siguientes son para divergencias en , el conjunto de todas las medidas de probabilidad en , con . ${\displaystyle \Gamma _{n}}$ ${\displaystyle \{1,2,...,n\}}$ ${\displaystyle n\geq 2}$

Defina una divergencia en como cualquier función de tipo , tal que para todos , entonces: ${\displaystyle \Gamma _{n}}$ ${\displaystyle D:\Gamma _{n}\times \Gamma _{n}\to [0,\infty ]}$ ${\displaystyle D(x,x)=0}$ ${\displaystyle x\in \Gamma _{n}}$

• La única divergencia que es tanto una divergencia de Bregman como una divergencia f es la divergencia Kullback-Leibler . ^[5] ${\displaystyle \Gamma _{n}}$
• Si , entonces cualquier divergencia de Bregman que satisfaga la desigualdad en el procesamiento de datos debe ser la divergencia de Kullback-Leibler. (De hecho, un supuesto más débil de "suficiencia" es suficiente.) Existen contraejemplos cuando . ^[5] ${\displaystyle n\geq 3}$ ${\displaystyle \Gamma _{n}}$ ${\displaystyle n=2}$

Dada una divergencia de Bregman , su "opuesto", definido por , generalmente no es una divergencia de Bregman. Por ejemplo, la divergencia Kullback-Leiber es a la vez una divergencia de Bregman y una divergencia f. Su inversa también es una divergencia f, pero según la caracterización anterior, la divergencia KL inversa no puede ser una divergencia de Bregman. ${\displaystyle D_{F}}$ ${\displaystyle D_{F}^{*}(v,w)=D_{F}(w,v)}$

Ejemplos

• La distancia de Mahalanobis al cuadrado se genera mediante la forma cuadrática convexa . ${\displaystyle D_{F}(x,y)={\tfrac {1}{2}}(x-y)^{T}Q(x-y)}$ ${\displaystyle F(x)={\tfrac {1}{2}}x^{T}Qx}$
• El ejemplo canónico de distancia de Bregman es la distancia euclidiana al cuadrado . Resulta como el caso especial de lo anterior, cuando es la identidad, es decir, para . Como se señaló, las diferencias afines, es decir, los órdenes inferiores agregados en , son irrelevantes para . ${\displaystyle D_{F}(x,y)=\|x-y\|^{2}}$ ${\displaystyle Q}$ ${\displaystyle F(x)=\|x\|^{2}}$ ${\displaystyle F}$ ${\displaystyle D_{F}}$
• La divergencia generalizada de Kullback-Leibler

${\displaystyle D_{F}(p,q)=\sum _{i}p(i)\log {\frac {p(i)}{q(i)}}-\sum p(i)+\sum q(i)}$

es generado por la función de entropía negativa

${\displaystyle F(p)=\sum _{i}p(i)\log p(i)}$

Cuando se restringe al simplex , los dos últimos términos se cancelan, dando la divergencia habitual de Kullback-Leibler para las distribuciones.

• La distancia Itakura-Saito ,

${\displaystyle D_{F}(p,q)=\sum _{i}\left({\frac {p(i)}{q(i)}}-\log {\frac {p(i)}{q(i)}}-1\right)}$

es generado por la función convexa

${\displaystyle F(p)=-\sum _{i}\log p(i)}$

Generalizando la dualidad proyectiva

Una herramienta clave en geometría computacional es la idea de dualidad proyectiva , que asigna puntos a hiperplanos y viceversa, preservando al mismo tiempo la incidencia y las relaciones arriba-abajo. Existen numerosas formas analíticas del dual proyectivo: una forma común asigna el punto al hiperplano . Este mapeo se puede interpretar (identificando el hiperplano con su normal) como el mapeo conjugado convexo que lleva el punto p a su punto dual , donde F define el paraboloide d -dimensional . ${\displaystyle p=(p_{1},\ldots p_{d})}$ ${\displaystyle x_{d+1}=\sum _{1}^{d}2p_{i}x_{i}}$ ${\displaystyle p^{*}=\nabla F(p)}$ ${\displaystyle x_{d+1}=\sum x_{i}^{2}}$

Si ahora reemplazamos el paraboloide por una función convexa arbitraria, obtenemos un mapeo dual diferente que conserva la incidencia y las propiedades arriba-abajo del dual proyectivo estándar. Esto implica que los conceptos duales naturales en geometría computacional como los diagramas de Voronoi y las triangulaciones de Delaunay conservan su significado en espacios de distancia definidos por una divergencia arbitraria de Bregman. Así, los algoritmos de la geometría "normal" se extienden directamente a estos espacios (Boissonnat, Nielsen y Nock, 2010)

Generalización de las divergencias de Bregman.

Las divergencias de Bregman pueden interpretarse como casos límite de divergencias sesgadas de Jensen (véase Nielsen y Boltz, 2011). Las divergencias de Jensen se pueden generalizar utilizando la convexidad comparativa, y los casos límite de estas generalizaciones sesgadas de las divergencias de Jensen producen una divergencia de Bregman generalizada (ver Nielsen y Nock, 2017). La divergencia de cuerdas de Bregman ^[6] se obtiene tomando una cuerda en lugar de una recta tangente.

Divergencia de Bregman en otros objetos.

Las divergencias de Bregman también se pueden definir entre matrices, entre funciones y entre medidas (distribuciones). Las divergencias de Bregman entre matrices incluyen la pérdida de Stein y la entropía de von Neumann . Las divergencias de Bregman entre funciones incluyen error cuadrático total, entropía relativa y sesgo al cuadrado; véanse las referencias de Frigyik et al. a continuación para definiciones y propiedades. De manera similar, las divergencias de Bregman también se han definido sobre conjuntos, a través de una función de conjunto submodular que se conoce como el análogo discreto de una función convexa . Las divergencias submodulares de Bregman incluyen una serie de medidas de distancia discretas, como la distancia de Hamming , la precisión y la recuperación , la información mutua y algunas otras medidas de distancia basadas en conjuntos (consulte Iyer & Bilmes, 2012 para obtener más detalles y propiedades del Bregman submodular).

Para obtener una lista de divergencias de Bregman matriciales comunes, consulte la Tabla 15.1 en ^[7]

Aplicaciones

En el aprendizaje automático, las divergencias de Bregman se utilizan para calcular la pérdida logística bitemperada, y funcionan mejor que la función softmax con conjuntos de datos ruidosos. ^[8]

La divergencia de Bregman se utiliza en la formulación del descenso de espejos , que incluye algoritmos de optimización utilizados en el aprendizaje automático, como el descenso de gradiente y el algoritmo de cobertura .

Referencias

1. "Aprender con las divergencias de Bregman" (PDF) . utexas.edu . Consultado el 19 de agosto de 2023 .
2. Adamčík, Martín (2014). "La geometría de la información de las divergencias de Bregman y algunas aplicaciones en el razonamiento de múltiples expertos". Entropía . 16 (12): 6338–6381. Código Bib : 2014Entrp..16.6338A. doi : 10.3390/e16126338 .
3. Nielsen, Frank (28 de octubre de 2021). "Aproximaciones rápidas de la divergencia de Jeffreys entre mezclas gaussianas univariadas mediante conversiones de mezclas a distribuciones polinómicas exponenciales". Entropía . 23 (11): 1417. arXiv : 2107.05901 . Código Bib : 2021Entrp..23.1417N. doi : 10.3390/e23111417 . ISSN  1099-4300. PMC 8619509 . PMID  34828115. 
4. Nielsen, Frank; Boissonnat, Jean-Daniel ; Nock, Richard (septiembre de 2010). "Diagramas de Bregman Voronoi: propiedades, algoritmos y aplicaciones". Geometría discreta y computacional . 44 (2): 281–307. arXiv : 0709.2196 . doi :10.1007/s00454-010-9256-1. ISSN  0179-5376. S2CID  1327029.
5. Jiao, Jiantao; Corteda, Thomas; No, Alberto; Venkat, Kartik; Weissman, Tsachy (diciembre de 2014). "Medidas de información: el curioso caso del alfabeto binario". Transacciones IEEE sobre teoría de la información . 60 (12): 7616–7626. arXiv : 1404.6810 . doi :10.1109/TIT.2014.2360184. ISSN  0018-9448. S2CID  13108908.
6. Nielsen, Frank; Nock, Richard (2019). "La divergencia de acordes de Bregman". Ciencia Geométrica de la Información . Apuntes de conferencias sobre informática. vol. 11712, págs. 299–308. arXiv : 1810.09113 . doi :10.1007/978-3-030-26980-7_31. ISBN 978-3-030-26979-1. S2CID  53046425.
7. "Geometría de información matricial", R. Nock, B. Magdalou, E. Briys y F. Nielsen, pdf, de este libro
8. Ehsan Amid, Manfred K. Warmuth, Rohan Anil, Tomer Koren (2019). "Pérdida logística robusta de doble temperamento basada en divergencias de Bregman". Jornada sobre Sistemas de Procesamiento de Información Neural. págs. 14987-14996. pdf

• Banerjee, Arindam; Merugu, Srujana; Dhillon, Inderjit S.; Ghosh, Joydeep (2005). "Agrupación con divergencias de Bregman". Revista de investigación sobre aprendizaje automático . 6 : 1705-1749.
• Bregman, LM (1967). "El método de relajación para encontrar los puntos comunes de conjuntos convexos y su aplicación a la solución de problemas en programación convexa". Matemática Computacional y Física Matemática de la URSS . 7 (3): 200–217. doi :10.1016/0041-5553(67)90040-7.
• Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008). "Divergencias funcionales de Bregman y estimación bayesiana de distribuciones" (PDF) . Transacciones IEEE sobre teoría de la información . 54 (11): 5130–5139. arXiv : cs/0611123 . doi :10.1109/TIT.2008.929943. S2CID  1254. Archivado desde el original (PDF) el 12 de agosto de 2010.
• Iyer, Rishabh; Bilmes, Jeff (2012). "Divergencias Submodular-Bregman y divergencias Lovász-Bregman con Aplicaciones". Jornada sobre Sistemas de Procesamiento de Información Neural .
• Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008). Introducción a los derivados funcionales (PDF) . Informe técnico UWEE 2008-0001. Universidad de Washington, Departamento de Ingeniería Eléctrica. Archivado desde el original (PDF) el 17 de febrero de 2017 . Consultado el 20 de marzo de 2014 .
• Harremoës, Peter (2017). "Divergencia y suficiencia para la optimización convexa". Entropía . 19 (5): 206. arXiv : 1701.01010 . Código Bib : 2017Entrp..19..206H. doi : 10.3390/e19050206 .
• Nielsen, Frank; Nock, Richard (2009). "Los diagramas duales de Voronoi con respecto a las divergencias representacionales de Bregman" (PDF) . Proc. VI Simposio Internacional sobre Diagramas de Voronoi . IEEE. doi :10.1109/ISVD.2009.15.
• Nielsen, Frank; Nock, Richard (2007). "Sobre los centroides de divergencias de Bregman simetrizadas". arXiv : 0711.3242 [cs.CG].
• Nielsen, Frank; Boissonnat, Jean-Daniel; Nock, Richard (2007). "Sobre la visualización de diagramas de Bregman Voronoi". Proc. 23º Simposio ACM sobre Geometría Computacional (pista de vídeo) . doi :10.1145/1247069.1247089.^{[ enlace muerto permanente ]}
• Boissonnat, Jean-Daniel ; Nielsen, Frank; Nock, Richard (2010). "Diagramas de Bregman Voronoi". Geometría discreta y computacional . 44 (2): 281–307. arXiv : 0709.2196 . doi :10.1007/s00454-010-9256-1. S2CID  1327029.
• Nielsen, Frank; Nock, Richard (2006). "Sobre la aproximación de las bolas de Bregman envolventes más pequeñas". Proc. 22º Simposio ACM sobre Geometría Computacional . págs. 485–486. doi :10.1145/1137856.1137931.
• Nielsen, Frank; Boltz, Sylvain (2011). "Los centroides de Burbea-Rao y Bhattacharyya". Transacciones IEEE sobre teoría de la información . 57 (8): 5455–5466. arXiv : 1004.5049 . doi :10.1109/TIT.2011.2159046. S2CID  14238708.
• Nielsen, Frank; Nock, Richard (2017). "Generalización de divergencias sesgadas de Jensen y divergencias de Bregman con convexidad comparativa". Cartas de procesamiento de señales IEEE . 24 (8): 1123–1127. arXiv : 1702.04877 . Código Bib : 2017ISPL...24.1123N. doi :10.1109/LSP.2017.2712195. S2CID  31899023.