Tasa de entropía

Densidad temporal de la información media en un proceso estocástico

En la teoría matemática de la probabilidad , la tasa de entropía o tasa de información fuente es una función que asigna una entropía a un proceso estocástico .

Para un proceso fuertemente estacionario , la entropía condicional para la última variable aleatoria eventualmente tiende hacia este valor de tasa.

Definición

Un proceso con un índice contable da lugar a la secuencia de sus entropías conjuntas . Si existe el límite, la tasa de entropía se define como ${\displaystyle X}$ ${\displaystyle H_{n}(X_{1},X_{2},\dots X_{n})}$

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}$

Nótese que dada cualquier secuencia con y dejando , al telescopar se tiene . La tasa de entropía calcula entonces la media de los primeros cambios de entropía, con yendo al infinito . El comportamiento de las entropías conjuntas de un índice al siguiente también está explícitamente sujeto en algunas caracterizaciones de la entropía . ${\displaystyle (a_{n})_{n}}$ ${\displaystyle a_{0}=0}$ ${\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}$ ${\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}}$ ${\displaystyle n}$ ${\displaystyle n}$

Discusión

Si bien puede entenderse como una secuencia de variables aleatorias, la tasa de entropía representa el cambio de entropía promedio por cada variable aleatoria, en el largo plazo. ${\displaystyle X}$ ${\displaystyle H(X)}$

Puede considerarse como una propiedad general de las fuentes estocásticas: este es el tema de la propiedad de equipartición asintótica .

Para procesos fuertemente estacionarios

Un proceso estocástico también da lugar a una secuencia de entropías condicionales, que comprende cada vez más variables aleatorias. Para procesos estocásticos fuertemente estacionarios, la tasa de entropía es igual al límite de esa secuencia.

${\displaystyle H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

La cantidad dada por el límite de la derecha también se denota , lo que está motivado en la medida en que aquí se trata nuevamente de una tasa asociada al proceso, en el sentido antes mencionado. ${\displaystyle H'(X)}$

Para cadenas de Markov

Dado que un proceso estocástico definido por una cadena de Markov irreducible , aperiódica y recurrente positiva tiene una distribución estacionaria , la tasa de entropía es independiente de la distribución inicial.

Por ejemplo, considere una cadena de Markov definida en un número contable de estados. Dada su matriz de transición estocástica derecha y una entropía ${\displaystyle P_{ij}}$

${\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}$

Asociado a cada estado, se encuentra

${\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i},}$

donde es la distribución asintótica de la cadena. ${\displaystyle \mu _{i}}$

En particular, se deduce que la tasa de entropía de un proceso estocástico iid es la misma que la entropía de cualquier miembro individual del proceso.

Para modelos ocultos de Markov

La tasa de entropía de los modelos ocultos de Markov (HMM) no tiene una solución cerrada conocida. Sin embargo, tiene límites superiores e inferiores conocidos. Sea estacionaria la cadena de Markov subyacente y sean los estados observables, entonces tenemos y en el límite de , ambos lados convergen al medio. ^[1] ${\displaystyle X_{1:\infty }}$ ${\displaystyle Y_{1:\infty }}$ $${\displaystyle H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})}$$ ${\displaystyle n\to \infty }$

Aplicaciones

La tasa de entropía se puede utilizar para estimar la complejidad de los procesos estocásticos. Se utiliza en diversas aplicaciones que van desde la caracterización de la complejidad de los lenguajes y la separación ciega de fuentes hasta la optimización de cuantificadores y algoritmos de compresión de datos. Por ejemplo, se puede utilizar un criterio de tasa de entropía máxima para la selección de características en el aprendizaje automático . ^[2]

Véase también

• Fuente de información (matemáticas)
• Fuente de información de Markov
• Propiedad de equipartición asintótica
• Paseo aleatorio de entropía máxima : elegido para maximizar la tasa de entropía

Referencias

1. Portada, Thomas M.; Thomas, Joy A. (2006). "4.5. Funciones de las cadenas de Markov". Elementos de la teoría de la información (2.ª ed.). Hoboken, NJ: Wiley-Interscience. ISBN 978-0-471-24195-9.
2. Einicke, GA (2018). "Selección de características según la tasa de entropía máxima para clasificar los cambios en la dinámica de la rodilla y el tobillo durante la carrera". Revista IEEE de informática biomédica y de salud . 28 (4): 1097–1103. doi :10.1109/JBHI.2017.2711487. hdl : 10810/68978 . PMID  29969403. S2CID  49555941.

• Cover, T. y Thomas, J. (1991) Elementos de la teoría de la información, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]