Divergencia de Bregman

Una medida de diferencia entre dos puntos.

En matemáticas , específicamente en estadística y geometría de la información , una divergencia de Bregman o distancia de Bregman es una medida de la diferencia entre dos puntos, definida en términos de una función estrictamente convexa ; forman una clase importante de divergencias . Cuando los puntos se interpretan como distribuciones de probabilidad , en particular como valores del parámetro de un modelo paramétrico o como un conjunto de datos de valores observados, la distancia resultante es una distancia estadística . La divergencia de Bregman más básica es la distancia euclidiana al cuadrado .

Las divergencias de Bregman son similares a las métricas , pero no satisfacen ni la desigualdad triangular (nunca) ni la simetría (en general). Sin embargo, satisfacen una generalización del teorema de Pitágoras , y en geometría de la información la variedad estadística correspondiente se interpreta como una variedad (dualmente) plana . Esto permite que muchas técnicas de la teoría de la optimización se generalicen a las divergencias de Bregman, geométricamente como generalizaciones de mínimos cuadrados .

Las divergencias de Bregman reciben su nombre del matemático ruso Lev M. Bregman , quien introdujo el concepto en 1967.

Definición

Sea una función estrictamente convexa, continuamente diferenciable, definida en un conjunto convexo . ${\displaystyle F\colon \Omega \to \mathbb {R} }$ ${\displaystyle \Omega }$

La distancia de Bregman asociada con F para los puntos es la diferencia entre el valor de F en el punto p y el valor de la expansión de Taylor de primer orden de F alrededor del punto q evaluada en el punto p : ${\displaystyle p,q\in \Omega }$

${\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle \nabla F(q),p-q\rangle .}$

Propiedades

• No negatividad : para todos los , . Esto es una consecuencia de la convexidad de . ${\displaystyle D_{F}(p,q)\geq 0}$ ${\displaystyle p}$ ${\displaystyle q}$ ${\displaystyle F}$
• Positividad : Cuando es estrictamente convexo, si y solo si . ${\displaystyle F}$ ${\displaystyle D_{F}(p,q)=0}$ ${\displaystyle p=q}$
• Unicidad hasta diferencia afín : iff es una función afín. ${\displaystyle D_{F}=D_{G}}$ ${\displaystyle F-G}$
• Convexidad : es convexa en su primer argumento, pero no necesariamente en el segundo. Si F es estrictamente convexa, entonces es estrictamente convexa en su primer argumento. ${\displaystyle D_{F}(p,q)}$ ${\displaystyle D_{F}(p,q)}$
  • Por ejemplo, tome f(x) = |x|, suavícela en 0, luego tome , luego . ${\displaystyle y=1,x_{1}=0.1,x_{2}=-0.9,x_{3}=0.9x_{1}+0.1x_{2}}$ ${\displaystyle D_{f}(y,x_{3})\approx 1>0.9D_{f}(y,x_{1})+0.1D_{f}(y,x_{2})\approx 0.2}$
• Linealidad : Si consideramos la distancia de Bregman como un operador sobre la función F , entonces es lineal con respecto a los coeficientes no negativos. En otras palabras, para estrictamente convexos y diferenciables, y , ${\displaystyle F_{1},F_{2}}$ ${\displaystyle \lambda \geq 0}$

${\displaystyle D_{F_{1}+\lambda F_{2}}(p,q)=D_{F_{1}}(p,q)+\lambda D_{F_{2}}(p,q)}$

• Dualidad : Si F es estrictamente convexa, entonces la función F tiene un conjugado convexo que también es estrictamente convexo y continuamente diferenciable en algún conjunto convexo . La distancia de Bregman definida con respecto a es dual a como ${\displaystyle F^{*}}$ ${\displaystyle \Omega ^{*}}$ ${\displaystyle F^{*}}$ ${\displaystyle D_{F}(p,q)}$

${\displaystyle D_{F^{*}}(p^{*},q^{*})=D_{F}(q,p)}$

Aquí, y son los puntos duales correspondientes a p y q. ${\displaystyle p^{*}=\nabla F(p)}$ ${\displaystyle q^{*}=\nabla F(q)}$

Además, utilizando las mismas notaciones:

${\displaystyle D_{F}(p,q)=F(p)+F^{*}(q^{*})-\langle p,q^{*}\rangle }$

• Forma integral: por la forma de resto integral del Teorema de Taylor, una divergencia de Bregman puede escribirse como la integral del hessiano de $F$ a lo largo del segmento de línea entre los argumentos de la divergencia de Bregman.

• Media como minimizador : Un resultado clave sobre las divergencias de Bregman es que, dado un vector aleatorio, el vector de media minimiza la divergencia de Bregman esperada a partir del vector aleatorio. Este resultado generaliza el resultado del libro de texto de que la media de un conjunto minimiza el error cuadrático total de los elementos del conjunto. Este resultado fue demostrado para el caso del vector por (Banerjee et al. 2005), y extendido al caso de funciones/distribuciones por (Frigyik et al. 2008). Este resultado es importante porque justifica aún más el uso de una media como representante de un conjunto aleatorio, particularmente en la estimación bayesiana.
• Las bolas de Bregman están acotadas y son compactas si X está cerrado : Defina la bola de Bregman centrada en x con radio r por . Cuando es de dimensión finita, , si está en el interior relativo de , o si está localmente cerrada en (es decir, existe una bola cerrada centrada en , tal que está cerrada), entonces es acotada para todo . Si es cerrada, entonces es compacta para todo . ${\displaystyle B_{f}(x,r):=\left\{y\in X:D_{f}(y,x)\leq r\right\}}$ ${\displaystyle X\subset \mathbb {R} ^{n}}$ ${\displaystyle \forall x\in X}$ ${\displaystyle x}$ ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle x}$ ${\displaystyle B(x,r)}$ ${\displaystyle x}$ ${\displaystyle B(x,r)\cap X}$ ${\displaystyle B_{f}(x,r)}$ ${\displaystyle r}$ ${\displaystyle X}$ ${\displaystyle B_{f}(x,r)}$ ${\displaystyle r}$
• Ley de los cosenos : ^[1]

Para cualquier ${\displaystyle p,q,z}$

${\displaystyle D_{F}(p,q)=D_{F}(p,z)+D_{F}(z,q)-(p-z)^{T}(\nabla F(q)-\nabla F(z))}$

• Ley del paralelogramo : para cualquier , ${\displaystyle \theta ,\theta _{1},\theta _{2}}$

${\displaystyle B_{F}\left(\theta _{1}:\theta \right)+B_{F}\left(\theta _{2}:\theta \right)=B_{F}\left(\theta _{1}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+B_{F}\left(\theta _{2}:{\frac {\theta _{1}+\theta _{2}}{2}}\right)+2B_{F}\left({\frac {\theta _{1}+\theta _{2}}{2}}:\theta \right)}$

Teorema de Pitágoras generalizado para la divergencia de Bregman. ^[2]

• Proyección de Bregman : Para cualquier , defina la "proyección de Bregman" de sobre : ${\displaystyle W\subset \Omega }$ ${\displaystyle q}$ ${\displaystyle W}$

${\displaystyle P_{W}(q)={\text{argmin}}_{\omega \in W}D_{F}(\omega ,q)}$. Entonces

• • si es convexo, entonces la proyección es única si existe; ${\displaystyle W}$
  • Si no es vacío, es cerrado y convexo y tiene dimensión finita, entonces la proyección existe y es única. ^[3] ${\displaystyle W}$ ${\displaystyle \Omega \subset \mathbb {R} ^{n}}$
• Teorema de Pitágoras generalizado : ^[1]

Para cualquiera , ${\displaystyle v\in \Omega ,a\in W}$

${\displaystyle D_{F}(a,v)\geq D_{F}(a,P_{W}(v))+D_{F}(P_{W}(v),v).}$

Esta es una igualdad si está en el interior relativo de . ${\displaystyle P_{W}(v)}$ ${\displaystyle W}$

En particular, esto siempre sucede cuando es un conjunto afín. ${\displaystyle W}$

• Ausencia de desigualdad triangular: dado que la divergencia de Bregman es esencialmente una generalización de la distancia euclidiana al cuadrado, no existe desigualdad triangular. De hecho, , que puede ser positiva o negativa. ${\displaystyle D_{F}(z,x)-D_{F}(z,y)-D_{F}(y,x)=\langle \nabla f(y)-\nabla f(x),z-y\rangle }$

Pruebas

• No negatividad y positividad: utilice la desigualdad de Jensen .
• Unicidad hasta diferencia afín: Fijamos algunos , luego para cualquier otro , tenemos por definición . ${\displaystyle x\in \Omega }$ ${\displaystyle y\in \Omega }$ ${\displaystyle F(y)-G(y)=F(x)-G(x)+\langle \nabla F(x)-\nabla G(x),y-x\rangle }$
• Convexidad en el primer argumento: por definición, y utiliza la convexidad de F. Lo mismo para la convexidad estricta.
• Linealidad en F, ley de los cosenos, ley del paralelogramo: por definición.
• Dualidad: Véase la figura 1 de ^{[4] .}
• Las bolas de Bregman están acotadas y son compactas si X está cerrado:

Arreglar . Realizar la transformación afín en , de modo que . ${\displaystyle x\in X}$ ${\displaystyle f}$ ${\displaystyle \nabla f(x)=0}$

Tome algunos , tales que . Luego considere la derivada "direccional radial" de en la esfera euclidiana . ${\displaystyle \epsilon >0}$ ${\displaystyle \partial B(x,\epsilon )\subset X}$ ${\displaystyle f}$ ${\displaystyle \partial B(x,\epsilon )}$

${\displaystyle \langle \nabla f(y),(y-x)\rangle }$Para todos . ${\displaystyle y\in \partial B(x,\epsilon )}$

Como es compacto, alcanza un valor mínimo en algún momento . ${\displaystyle \partial B(x,\epsilon )\subset \mathbb {R} ^{n}}$ ${\displaystyle \delta }$ ${\displaystyle y_{0}\in \partial B(x,\epsilon )}$

Dado que es estrictamente convexo, . Entonces . ${\displaystyle f}$ ${\displaystyle \delta >0}$ ${\displaystyle B_{f}(x,r)\subset B(x,r/\delta )\cap X}$

Como es en , es continua en , por lo tanto es cerrada si es. ${\displaystyle D_{f}(y,x)}$ ${\displaystyle C^{1}}$ ${\displaystyle y}$ ${\displaystyle D_{f}}$ ${\displaystyle y}$ ${\displaystyle B_{f}(x,r)}$ ${\displaystyle X}$

• La proyección está bien definida cuando es cerrada y convexa. ${\displaystyle P_{W}}$ ${\displaystyle W}$

Arreglar . Tomar algunos , luego dejar . Luego dibujar la bola de Bregman . Es cerrada y acotada, por lo tanto compacta. Como es continua y estrictamente convexa en ella, y acotada por debajo por , alcanza un mínimo único en ella. ${\displaystyle v\in X}$ ${\displaystyle w\in W}$ ${\displaystyle r:=D_{f}(w,v)}$ ${\displaystyle B_{f}(v,r)\cap W}$ ${\displaystyle D_{f}(\cdot ,v)}$ ${\displaystyle 0}$

• Desigualdad pitagórica.

Por la ley del coseno, , que debe ser , ya que se minimiza en , y es convexo. ${\displaystyle D_{f}(w,v)-D_{f}(w,P_{W}(v))-D_{f}(P_{W}(v),v)=\langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle }$ ${\displaystyle \geq 0}$ ${\displaystyle P_{W}(v)}$ ${\displaystyle D_{f}(\cdot ,v)}$ ${\displaystyle W}$ ${\displaystyle W}$

• Igualdad pitagórica cuando está en el interior relativo de . ${\displaystyle P_{W}(v)}$ ${\displaystyle X}$

Si , entonces como está en el interior relativo, podemos movernos desde en la dirección opuesta de , para disminuir , contradicción. ${\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle >0}$ ${\displaystyle w}$ ${\displaystyle P_{W}(v)}$ ${\displaystyle w}$ ${\displaystyle D_{f}(y,v)}$

De este modo . ${\displaystyle \langle \nabla _{y}D_{f}(y,v)|_{y=P_{W}(v)},w-P_{W}(v)\rangle =0}$

Teoremas de clasificación

• Las únicas divergencias de Bregman simétricas en son distancias euclidianas generalizadas al cuadrado ( distancia de Mahalanobis ), es decir, para algún valor definido positivo . ^[5] ${\displaystyle X\subset \mathbb {R} ^{n}}$ ${\displaystyle D_{f}(y,x)=(y-x)^{T}A(y-x)}$ ${\displaystyle A}$

Prueba

Divergencia de Bregman interpretada como áreas.

Para cualquier , defina para . Sea . ${\displaystyle x\neq y\in X}$ ${\displaystyle r=\|y-x\|,v=(y-x)/r,g(t)=f(x+tv)}$ ${\displaystyle t\in [0,r]}$ ${\displaystyle z(t)=x+tv}$

Entonces , para , y como es continua, también para . ${\displaystyle g'(t)=\langle \nabla f(z(t)),v\rangle }$ ${\displaystyle t\in (0,r)}$ ${\displaystyle \nabla f}$ ${\displaystyle t=0,r}$

Luego, del diagrama, vemos que para todo , debemos tener lineal en . ${\displaystyle D_{f}(x;z(t))=D_{f}(z(t);x)}$ ${\displaystyle t\in [0,r]}$ ${\displaystyle g'(t)}$ ${\displaystyle t\in [0,r]}$

Así, encontramos que varía linealmente a lo largo de cualquier dirección. Por el siguiente lema, es cuadrático. Como también es estrictamente convexo, tiene la forma , donde . ${\displaystyle \nabla f}$ ${\displaystyle f}$ ${\displaystyle f}$ ${\displaystyle f(x)+x^{T}Ax+B^{T}x+C}$ ${\displaystyle A\succ 0}$

Lema : Si es un subconjunto abierto de , tiene derivada continua y dado cualquier segmento de línea , la función es lineal en , entonces es una función cuadrática. ${\displaystyle S}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle f:S\to \mathbb {R} }$ ${\displaystyle [x,x+v]\subset S}$ ${\displaystyle h(t):=\langle \nabla f(x+tv),v\rangle }$ ${\displaystyle t}$ ${\displaystyle f}$

Idea de prueba: Para cualquier función cuadrática , todavía tenemos dicha linealidad derivada, por lo que restaremos algunas funciones cuadráticas y demostraremos que se convierte en cero. ${\displaystyle q:S\to \mathbb {R} }$ ${\displaystyle f-q}$ ${\displaystyle f}$

La idea de prueba se puede ilustrar completamente para el caso de , por lo que la demostramos en este caso. ${\displaystyle S=\mathbb {R} ^{2}}$

Por la linealidad derivada, es una función cuadrática en cualquier segmento de línea en . Restamos cuatro funciones cuadráticas, de modo que se vuelve idénticamente cero en el eje x, el eje y y la línea. ${\displaystyle f}$ ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle g:=f-q_{0}-q_{1}-q_{2}-q_{3}}$ ${\displaystyle \{x=y\}}$

Sea , para una elección correcta . Ahora use para eliminar el término lineal y use respectivamente para eliminar los términos cuadráticos a lo largo de las tres líneas. ${\displaystyle q_{0}(x,y)=f(0,0)+\nabla f(0,0)\cdot (x,y),q_{1}(x,y)=A_{1}x^{2},q_{2}(x,y)=A_{2}y^{2},q_{3}(x,y)=A_{3}xy}$ ${\displaystyle A_{1},A_{2},A_{3}}$ ${\displaystyle q_{0}}$ ${\displaystyle q_{1},q_{2},q_{3}}$

${\displaystyle \forall (x,y)\in \mathbb {R} ^{2}}$no en el origen, existe una línea que cruza el eje x, el eje y y la línea en tres puntos diferentes. Como es cuadrática en , y es cero en tres puntos diferentes, es idénticamente cero en , por lo tanto . Por lo tanto es cuadrática. ${\displaystyle l}$ ${\displaystyle (x,y)}$ ${\displaystyle \{x=y\}}$ ${\displaystyle g}$ ${\displaystyle l}$ ${\displaystyle g}$ ${\displaystyle l}$ ${\displaystyle g(x,y)=0}$ ${\displaystyle f=q_{0}+q_{1}+q_{2}+q_{3}}$

Las siguientes dos caracterizaciones son para divergencias en , el conjunto de todas las medidas de probabilidad en , con . ${\displaystyle \Gamma _{n}}$ ${\displaystyle \{1,2,...,n\}}$ ${\displaystyle n\geq 2}$

Defina una divergencia en como cualquier función de tipo , tal que para todo , entonces: ${\displaystyle \Gamma _{n}}$ ${\displaystyle D:\Gamma _{n}\times \Gamma _{n}\to [0,\infty ]}$ ${\displaystyle D(x,x)=0}$ ${\displaystyle x\in \Gamma _{n}}$

• La única divergencia en esto es a la vez una divergencia de Bregman y una divergencia f : la divergencia de Kullback-Leibler . ^[6] ${\displaystyle \Gamma _{n}}$
• Si , entonces cualquier divergencia de Bregman en que satisfaga la desigualdad de procesamiento de datos debe ser la divergencia de Kullback-Leibler. (De hecho, una suposición más débil de "suficiencia" es suficiente). Existen contraejemplos cuando . ^[6] ${\displaystyle n\geq 3}$ ${\displaystyle \Gamma _{n}}$ ${\displaystyle n=2}$

Dada una divergencia de Bregman , su "opuesto", definido por , generalmente no es una divergencia de Bregman. Por ejemplo, la divergencia de Kullback-Leiber es tanto una divergencia de Bregman como una divergencia f. Su inversa también es una divergencia f, pero según la caracterización anterior, la divergencia KL inversa no puede ser una divergencia de Bregman. ${\displaystyle D_{F}}$ ${\displaystyle D_{F}^{*}(v,w)=D_{F}(w,v)}$

Ejemplos

• La distancia de Mahalanobis al cuadrado se genera mediante la forma cuadrática convexa . ${\displaystyle D_{F}(x,y)={\tfrac {1}{2}}(x-y)^{T}Q(x-y)}$ ${\displaystyle F(x)={\tfrac {1}{2}}x^{T}Qx}$
• El ejemplo canónico de una distancia de Bregman es la distancia euclidiana al cuadrado . Resulta como el caso especial de lo anterior, cuando es la identidad, es decir, para . Como se señaló, las diferencias afines, es decir, los órdenes inferiores agregados en , son irrelevantes para . ${\displaystyle D_{F}(x,y)=\|x-y\|^{2}}$ ${\displaystyle Q}$ ${\displaystyle F(x)=\|x\|^{2}}$ ${\displaystyle F}$ ${\displaystyle D_{F}}$
• La divergencia generalizada de Kullback-Leibler

${\displaystyle D_{F}(p,q)=\sum _{i}p(i)\log {\frac {p(i)}{q(i)}}-\sum p(i)+\sum q(i)}$

se genera por la función de entropía negativa

${\displaystyle F(p)=\sum _{i}p(i)\log p(i)}$

Cuando se restringe al símplex , los dos últimos términos se cancelan, dando lugar a la divergencia de Kullback-Leibler habitual para distribuciones.

• La distancia Itakura-Saito ,

${\displaystyle D_{F}(p,q)=\sum _{i}\left({\frac {p(i)}{q(i)}}-\log {\frac {p(i)}{q(i)}}-1\right)}$

es generado por la función convexa

${\displaystyle F(p)=-\sum _{i}\log p(i)}$

Generalizando la dualidad proyectiva

Una herramienta clave en la geometría computacional es la idea de dualidad proyectiva , que asigna puntos a hiperplanos y viceversa, al tiempo que preserva la incidencia y las relaciones arriba-abajo. Existen numerosas formas analíticas del dual proyectivo: una forma común asigna el punto al hiperplano . Esta asignación se puede interpretar (identificando el hiperplano con su normal) como la asignación conjugada convexa que lleva el punto p a su punto dual , donde F define el paraboloide de dimensión d . ${\displaystyle p=(p_{1},\ldots p_{d})}$ ${\displaystyle x_{d+1}=\sum _{1}^{d}2p_{i}x_{i}}$ ${\displaystyle p^{*}=\nabla F(p)}$ ${\displaystyle x_{d+1}=\sum x_{i}^{2}}$

Si ahora reemplazamos el paraboloide por una función convexa arbitraria, obtenemos una función dual diferente que conserva las propiedades de incidencia y arriba-abajo del dual proyectivo estándar. Esto implica que los conceptos duales naturales en geometría computacional, como los diagramas de Voronoi y las triangulaciones de Delaunay, conservan su significado en espacios de distancia definidos por una divergencia de Bregman arbitraria. Por lo tanto, los algoritmos de la geometría "normal" se extienden directamente a estos espacios (Boissonnat, Nielsen y Nock, 2010).

Generalización de las divergencias de Bregman

Las divergencias de Bregman pueden interpretarse como casos límite de divergencias de Jensen sesgadas (véase Nielsen y Boltz, 2011). Las divergencias de Jensen pueden generalizarse utilizando la convexidad comparativa, y los casos límite de estas generalizaciones de divergencias de Jensen sesgadas producen divergencias de Bregman generalizadas (véase Nielsen y Nock, 2017). La divergencia de cuerda de Bregman ^[7] se obtiene tomando una cuerda en lugar de una línea tangente.

Divergencia de Bregman en otros objetos

Las divergencias de Bregman también se pueden definir entre matrices, entre funciones y entre medidas (distribuciones). Las divergencias de Bregman entre matrices incluyen la pérdida de Stein y la entropía de von Neumann . Las divergencias de Bregman entre funciones incluyen el error cuadrático total, la entropía relativa y el sesgo cuadrático; consulte las referencias de Frigyik et al. a continuación para obtener definiciones y propiedades. De manera similar, las divergencias de Bregman también se han definido sobre conjuntos, a través de una función de conjunto submodular que se conoce como el análogo discreto de una función convexa . Las divergencias de Bregman submodulares subsumen una serie de medidas de distancia discretas, como la distancia de Hamming , la precisión y la recuperación , la información mutua y algunas otras medidas de distancia basadas en conjuntos (consulte Iyer y Bilmes, 2012 para obtener más detalles y propiedades del Bregman submodular).

Para obtener una lista de divergencias de Bregman de matriz comunes, consulte la Tabla 15.1 en ^{[8] .}

Aplicaciones

En el aprendizaje automático, las divergencias de Bregman se utilizan para calcular la pérdida logística biterminada y tienen un mejor rendimiento que la función softmax con conjuntos de datos ruidosos. ^[9]

La divergencia de Bregman se utiliza en la formulación del descenso de espejo , que incluye algoritmos de optimización utilizados en el aprendizaje automático, como el descenso de gradiente y el algoritmo de cobertura .

Referencias

1. "Aprendizaje con divergencias de Bregman" (PDF) . utexas.edu . Consultado el 19 de agosto de 2023 .
2. Adamčík, Martin (2014). "La geometría de la información de las divergencias de Bregman y algunas aplicaciones en el razonamiento multiexperto". Entropy . 16 (12): 6338–6381. Bibcode :2014Entrp..16.6338A. doi : 10.3390/e16126338 .
3. Dhillon, Inderjit ; Tropp, Joel (2008). "Matrix Nearness Problems with Bregman Divergence" (PDF) . SIAM Journal on Matrix Analysis and Applications . 29 (4). Supongamos que D_\varphi es una divergencia de Bregman, supongamos que {C_k} es una colección finita de conjuntos cerrados y convexos cuya intersección no está vacía. Dada una matriz de entrada Y, nuestro objetivo es producir una matriz \mathbf{X} en la intersección que diverge menos de \textbf{Y}, es decir, resolver \min_{\mathbf{X} } D_\varphi(\mathbf{X};\mathbf{Y}) sujeta a \mathbf{X} \in \big\cap_k C_k. En condiciones suaves, la solución es única y tiene una caracterización variacional análoga a la caracterización de una proyección ortogonal sobre un conjunto convexo" (ver s2.4, página 1125 para más información)
4. Nielsen, Frank (28 de octubre de 2021). "Aproximaciones rápidas de la divergencia de Jeffreys entre mezclas gaussianas univariadas mediante conversiones de mezclas a distribuciones polinomiales exponenciales". Entropía . 23 (11): 1417. arXiv : 2107.05901 . Bibcode :2021Entrp..23.1417N. doi : 10.3390/e23111417 . ISSN  1099-4300. PMC 8619509 . PMID  34828115. 
5. Nielsen, Frank; Boissonnat, Jean-Daniel ; Nock, Richard (septiembre de 2010). "Diagramas de Bregman Voronoi: propiedades, algoritmos y aplicaciones". Geometría discreta y computacional . 44 (2): 281–307. arXiv : 0709.2196 . doi :10.1007/s00454-010-9256-1. ISSN  0179-5376. S2CID  1327029.
6. Jiao, Jiantao; Courtade, Thomas; No, Albert; Venkat, Kartik; Weissman, Tsachy (diciembre de 2014). "Medidas de información: el curioso caso del alfabeto binario". IEEE Transactions on Information Theory . 60 (12): 7616–7626. arXiv : 1404.6810 . doi :10.1109/TIT.2014.2360184. ISSN  0018-9448. S2CID  13108908.
7. Nielsen, Frank; Nock, Richard (2019). "La divergencia de las cuerdas de Bregman". Ciencia geométrica de la información . Apuntes de clase en informática. Vol. 11712. págs. 299–308. arXiv : 1810.09113 . doi :10.1007/978-3-030-26980-7_31. ISBN 978-3-030-26979-1.S2CID53046425  .​
8. "Geometría de la información matricial", R. Nock, B. Magdalou, E. Briys y F. Nielsen, pdf, de este libro
9. Ehsan Amid, Manfred K. Warmuth, Rohan Anil, Tomer Koren (2019). "Pérdida logística robusta bitemperada basada en divergencias de Bregman". Conferencia sobre sistemas de procesamiento de información neuronal. pp. 14987-14996. pdf

• Banerjee, Arindam; Merugu, Srujana; Dhillon, Inderjit S.; Ghosh, Joydeep (2005). "Agrupamiento con divergencias de Bregman". Revista de investigación en aprendizaje automático . 6 : 1705–1749.
• Bregman, LM (1967). "El método de relajación para hallar los puntos comunes de conjuntos convexos y su aplicación a la solución de problemas de programación convexa". Matemáticas computacionales y física matemática de la URSS . 7 (3): 200–217. doi :10.1016/0041-5553(67)90040-7.
• Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008). "Divergencias funcionales de Bregman y estimación bayesiana de distribuciones" (PDF) . IEEE Transactions on Information Theory . 54 (11): 5130–5139. arXiv : cs/0611123 . doi :10.1109/TIT.2008.929943. S2CID  1254. Archivado desde el original (PDF) el 12 de agosto de 2010.
• Iyer, Rishabh; Bilmes, Jeff (2012). "Divergencias submodulares de Bregman y divergencias de Lovász-Bregman con aplicaciones". Conferencia sobre sistemas de procesamiento de información neuronal .
• Frigyik, Bela A.; Srivastava, Santosh; Gupta, Maya R. (2008). Introducción a las derivadas funcionales (PDF) . Informe técnico UWEE 2008-0001. Universidad de Washington, Departamento de Ingeniería Eléctrica. Archivado desde el original (PDF) el 17 de febrero de 2017. Consultado el 20 de marzo de 2014 .
• Harremoës, Peter (2017). "Divergencia y suficiencia para optimización convexa". Entropy . 19 (5): 206. arXiv : 1701.01010 . Bibcode :2017Entrp..19..206H. doi : 10.3390/e19050206 .
• Nielsen, Frank; Nock, Richard (2009). "Los diagramas duales de Voronoi con respecto a las divergencias representacionales de Bregman" (PDF) . Actas del 6º Simposio Internacional sobre Diagramas de Voronoi . IEEE. doi :10.1109/ISVD.2009.15.
• Nielsen, Frank; Nock, Richard (2007). "Sobre los centroides de las divergencias de Bregman simetrizadas". arXiv : 0711.3242 [cs.CG].
• Nielsen, Frank; Boissonnat, Jean-Daniel; Nock, Richard (2007). "Visualización de diagramas de Bregman Voronoi" (PDF) . Actas del 23.° Simposio ACM sobre geometría computacional (pista de video) . doi :10.1145/1247069.1247089.
• Boissonnat, Jean-Daniel ; Nielsen, Frank; Nock, Richard (2010). "Diagramas de Bregman Voronoi". Geometría discreta y computacional . 44 (2): 281–307. arXiv : 0709.2196 . doi :10.1007/s00454-010-9256-1. S2CID  1327029.
• Nielsen, Frank; Nock, Richard (2006). "Sobre la aproximación de las esferas de Bregman más pequeñas". Proc. 22.º Simposio ACM sobre geometría computacional . págs. 485–486. doi :10.1145/1137856.1137931.
• Nielsen, Frank; Boltz, Sylvain (2011). "Los centroides de Burbea-Rao y Bhattacharyya". IEEE Transactions on Information Theory . 57 (8): 5455–5466. arXiv : 1004.5049 . doi :10.1109/TIT.2011.2159046. S2CID  14238708.
• Nielsen, Frank; Nock, Richard (2017). "Generalización de divergencias de Jensen torcidas y divergencias de Bregman con convexidad comparativa". IEEE Signal Processing Letters . 24 (8): 1123–1127. arXiv : 1702.04877 . Bibcode :2017ISPL...24.1123N. doi :10.1109/LSP.2017.2712195. S2CID  31899023.