Fuente de información (matemáticas)

En matemáticas , una fuente de información es una secuencia de variables aleatorias que abarcan un alfabeto finito Γ y que tienen una distribución estacionaria .

La incertidumbre , o tasa de entropía , de una fuente de información se define como

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})}$

dónde

${\displaystyle X_{0},X_{1},\dots ,X_{n}}$

es la secuencia de variables aleatorias que definen la fuente de información, y

${\displaystyle H(X_{n}|X_{0},X_{1},\dots ,X_{n-1})}$

es la entropía de información condicional de la secuencia de variables aleatorias. De manera equivalente, se tiene

${\displaystyle H\{\mathbf {X} \}=\lim _{n\to \infty }{\frac {H(X_{0},X_{1},\dots ,X_{n-1},X_{n})}{n+1}}.}$

Véase también

• Fuente de información de Markov
• Propiedad de equipartición asintótica

Referencias

• Robert B. Ash, Teoría de la información , (1965) Dover Publications. ISBN  0-486-66521-6