Desigualdad en el procesamiento de datos

Concepto en el procesamiento de la información

La desigualdad de procesamiento de datos es un concepto de la teoría de la información que establece que el contenido de información de una señal no se puede aumentar mediante una operación física local. Esto se puede expresar de forma concisa como "el posprocesamiento no puede aumentar la información". ^[1]

Declaración

Supongamos que tres variables aleatorias forman la cadena de Markov , lo que implica que la distribución condicional de depende únicamente de y es condicionalmente independiente de . En concreto, tenemos una cadena de Markov de este tipo si la función de masa de probabilidad conjunta se puede escribir como ${\displaystyle X\rightarrow Y\rightarrow Z}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)}$

En este contexto, ningún procesamiento de , determinista o aleatorio, puede aumentar la información que contiene sobre . Utilizando la información mutua , esto se puede escribir como : ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle I(X;Y)\geqslant I(X;Z),}$

con la igualdad si y sólo si . Es decir, y contienen la misma información sobre , y también forman una cadena de Markov. ^[2] ${\displaystyle I(X;Y)=I(X;Z)}$ ${\displaystyle I(X;Y\mid Z)=0}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle X\rightarrow Z\rightarrow Y}$

Prueba

Se puede aplicar la regla de la cadena para la información mutua para obtener dos descomposiciones diferentes de : ${\displaystyle I(X;Y,Z)}$

${\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}$

Por la relación , sabemos que y son condicionalmente independientes, dado , lo que significa la información mutua condicional , . La desigualdad de procesamiento de datos se deduce entonces de la no negatividad de . ${\displaystyle X\rightarrow Y\rightarrow Z}$ ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle I(X;Z\mid Y)=0}$ ${\displaystyle I(X;Y\mid Z)\geq 0}$

Véase también

• Basura que entra, basura que sale

Referencias

1. Beaudry, Normand (2012), "Una prueba intuitiva de la desigualdad de procesamiento de datos", Quantum Information & Computation , 12 (5–6): 432–441, arXiv : 1107.0740 , Bibcode :2011arXiv1107.0740B, doi :10.26421/QIC12.5-6-4, S2CID  9531510
2. Portada; Thomas (2012). Elementos de la teoría de la información . John Wiley & Sons.

Enlaces externos

• http://www.scholarpedia.org/article/Mutual_information