Desigualdad de suma logarítmica

La desigualdad de suma logarítmica se utiliza para demostrar teoremas en la teoría de la información .

Declaración

Sean y números no negativos. Denotemos la suma de todos los s por y la suma de todos los s por . La desigualdad de suma logarítmica establece que ${\displaystyle a_{1},\ldots ,a_{n}}$ ${\displaystyle b_{1},\ldots ,b_{n}}$ ${\displaystyle a_{i}}$ ${\displaystyle a}$ ${\displaystyle b_{i}}$ ${\displaystyle b}$

${\displaystyle \sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}\geq a\log {\frac {a}{b}},}$

con igualdad si y sólo si son iguales para todos , es decir para todos . ^[1] ${\displaystyle {\frac {a_{i}}{b_{i}}}}$ ${\displaystyle i}$ ${\displaystyle a_{i}=cb_{i}}$ ${\displaystyle i}$

(Tome como si y si . Estos son los valores límite obtenidos cuando el número relevante tiende a .) ^[1] ${\displaystyle a_{i}\log {\frac {a_{i}}{b_{i}}}}$ ${\displaystyle 0}$ ${\displaystyle a_{i}=0}$ ${\displaystyle \infty }$ ${\displaystyle a_{i}>0,b_{i}=0}$ ${\displaystyle 0}$

Prueba

Tenga en cuenta que después de la configuración tenemos ${\displaystyle f(x)=x\log x}$

${\displaystyle {\begin{aligned}\sum _{i=1}^{n}a_{i}\log {\frac {a_{i}}{b_{i}}}&{}=\sum _{i=1}^{n}b_{i}f\left({\frac {a_{i}}{b_{i}}}\right)=b\sum _{i=1}^{n}{\frac {b_{i}}{b}}f\left({\frac {a_{i}}{b_{i}}}\right)\\&{}\geq bf\left(\sum _{i=1}^{n}{\frac {b_{i}}{b}}{\frac {a_{i}}{b_{i}}}\right)=bf\left({\frac {1}{b}}\sum _{i=1}^{n}a_{i}\right)=bf\left({\frac {a}{b}}\right)\\&{}=a\log {\frac {a}{b}},\end{aligned}}}$

donde la desigualdad se deduce de la desigualdad de Jensen ya que , , y es convexa. ^[1] ${\displaystyle {\frac {b_{i}}{b}}\geq 0}$ ${\displaystyle \sum _{i=1}^{n}{\frac {b_{i}}{b}}=1}$ ${\displaystyle f}$

Generalizaciones

La desigualdad sigue siendo válida siempre que y . ^{[ cita requerida ]} La prueba anterior es válida para cualquier función que sea convexa, como todas las funciones continuas no decrecientes. En Csiszár, 2004 se ofrecen generalizaciones para funciones no decrecientes distintas del logaritmo. ${\displaystyle n=\infty }$ ${\displaystyle a<\infty }$ ${\displaystyle b<\infty }$ ${\displaystyle g}$ ${\displaystyle f(x)=xg(x)}$

Otra generalización se debe a Dannan, Neff y Thiel, quienes demostraron que si y son números reales positivos con y , y , entonces . ^[2] ${\displaystyle a_{1},a_{2}\cdots a_{n}}$ ${\displaystyle b_{1},b_{2}\cdots b_{n}}$ ${\displaystyle a_{1}+a_{2}\cdots +a_{n}=a}$ ${\displaystyle b_{1}+b_{2}\cdots +b_{n}=b}$ ${\displaystyle k\geq 0}$ ${\displaystyle \sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}+k\right)\geq a\log \left({\frac {a}{b}}+k\right)}$

Aplicaciones

La desigualdad de la suma logarítmica se puede utilizar para demostrar desigualdades en la teoría de la información. La desigualdad de Gibbs establece que la divergencia de Kullback-Leibler no es negativa y es igual a cero precisamente si sus argumentos son iguales. ^[3] Una prueba utiliza la desigualdad de la suma logarítmica.

La desigualdad también puede demostrar la convexidad de la divergencia de Kullback-Leibler. ^[4]

Notas

1. Cover y Thomas (1991), pág. 29.
2. FM Dannan, P. Neff, C. Thiel (2016). "Sobre la suma de logaritmos al cuadrado: desigualdad y desigualdades relacionadas" (PDF) . Journal of Mathematical Inequalities . 10 (1): 1–17. doi :10.7153/jmi-10-01. S2CID  23953925 . Consultado el 12 de enero de 2023 .{{cite journal}}: CS1 maint: multiple names: authors list (link)
3. MacKay (2003), pág. 34.
4. Cover y Thomas (1991), pág. 30.

Referencias

• Portada, Thomas M.; Thomas, Joy A. (1991). Elementos de la teoría de la información . Hoboken, Nueva Jersey: Wiley. ISBN 978-0-471-24195-9.
• Csiszár, I. ; Shields, P. (2004). "Teoría de la información y estadística: un tutorial" (PDF) . Fundamentos y tendencias en la teoría de la información y las comunicaciones . 1 (4): 417–528. doi :10.1561/0100000004 . Consultado el 14 de junio de 2009 .
• TS Han, K. Kobayashi, Matemáticas de la información y codificación. American Mathematical Society, 2001. ISBN 0-8218-0534-7 . 
• Materiales del curso de teoría de la información, Universidad Estatal de Utah [1]. Recuperado el 14 de junio de 2009.
• MacKay, David JC (2003). Teoría de la información, inferencia y algoritmos de aprendizaje. Cambridge University Press. ISBN 0-521-64298-1.