Desigualdad en el procesamiento de datos

La desigualdad en el procesamiento de datos es un concepto teórico de la información que establece que el contenido de información de una señal no se puede aumentar mediante una operación física local. Esto se puede expresar de manera concisa como "el posprocesamiento no puede aumentar la información". ^[1]

Declaración

Sean tres variables aleatorias las que forman la cadena de Markov , lo que implica que la distribución condicional de depende sólo de y es condicionalmente independiente de . Específicamente, tenemos tal cadena de Markov si la función de masa de probabilidad conjunta se puede escribir como ${\displaystyle X\rightarrow Y\rightarrow Z}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle p(x,y,z)=p(x)p(y|x)p(z|y)=p(y)p(x|y)p(z|y)}$

En este escenario, ningún procesamiento de , determinista o aleatorio, puede aumentar la información que contiene sobre . Usando la información mutua , esto se puede escribir como: ${\displaystyle Y}$ ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle I(X;Y)\geqslant I(X;Z),}$

con la igualdad si y sólo si . Es decir, contiene la misma información sobre y también forma una cadena de Markov. ^[2] ${\displaystyle I(X;Y)=I(X;Z)}$ ${\displaystyle I(X;Y\mid Z)=0}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle X\rightarrow Z\rightarrow Y}$

Prueba

Se puede aplicar la regla de la cadena de información mutua para obtener dos descomposiciones diferentes de : ${\displaystyle I(X;Y,Z)}$

${\displaystyle I(X;Z)+I(X;Y\mid Z)=I(X;Y,Z)=I(X;Y)+I(X;Z\mid Y)}$

Por la relación , sabemos que y son condicionalmente independientes, dada , lo que significa la información mutua condicional , . La desigualdad en el procesamiento de datos se deriva entonces de la no negatividad de . ${\displaystyle X\rightarrow Y\rightarrow Z}$ ${\displaystyle X}$ ${\displaystyle Z}$ ${\displaystyle Y}$ ${\displaystyle I(X;Z\mid Y)=0}$ ${\displaystyle I(X;Y\mid Z)\geq 0}$

Ver también

• Basura dentro basura fuera

Referencias

1. Beaudry, Normand (2012), "Una prueba intuitiva de la desigualdad en el procesamiento de datos", Computación e información cuántica , 12 (5–6): 432–441, arXiv : 1107.0740 , Bibcode :2011arXiv1107.0740B, doi :10.26421/QIC12 .5-6-4, S2CID  9531510
2. Portada; Tomás (2012). Elementos de la teoría de la información . John Wiley e hijos.

enlaces externos

• http://www.scholarpedia.org/article/Mutual_information