Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.Supóngase quees una variable aleatoria sobre un espacio de probabilidadsea un evento.toma valores sobre un conjunto finito1 ≤ i ≤ m }, se define de manera natural la entropía condicional de{\displaystyle H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)}De la misma manera sies otra variable aleatoria que toma valoresse define la entropía condicional{\displaystyle H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})}Puede interpretarse la anterior magnitud como la incertidumbre dedado un valor particular de, promediado por todos los valores posibles de