Tasa de entropía

Densidad temporal de la información promedio en un proceso estocástico.

En la teoría matemática de la probabilidad , la tasa de entropía o tasa de información fuente es una función que asigna una entropía a un proceso estocástico .

Para un proceso fuertemente estacionario , la entropía condicional de la última variable aleatoria eventualmente tiende hacia este valor de tasa.

Definición

Un proceso con un índice contable da lugar a la secuencia de sus entropías conjuntas . Si el límite existe, la tasa de entropía se define como ${\displaystyle X}$ ${\displaystyle H_{n}(X_{1},X_{2},\dots X_{n})}$

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}.}$

Tenga en cuenta que dada cualquier secuencia con y dejando , al telescopar uno tiene . La tasa de entropía calcula así la media de los primeros cambios de entropía, llegando al infinito . El comportamiento de las entropías conjuntas de un índice al siguiente también está explícitamente sujeto en algunas caracterizaciones de la entropía . ${\displaystyle (a_{n})_{n}}$ ${\displaystyle a_{0}=0}$ ${\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}$ ${\displaystyle a_{n}={\textstyle \sum _{k=1}^{n}}\Delta a_{k}}$ ${\displaystyle n}$ ${\displaystyle n}$

Discusión

Si bien puede entenderse como una secuencia de variables aleatorias, la tasa de entropía representa el cambio de entropía promedio por una variable aleatoria, a largo plazo. ${\displaystyle X}$ ${\displaystyle H(X)}$

Puede considerarse como una propiedad general de las fuentes estocásticas; este es el tema de la propiedad de equipartición asintótica .

Para procesos fuertemente estacionarios

Un proceso estocástico también da lugar a una secuencia de entropías condicionales, que comprende cada vez más variables aleatorias. Para procesos estocásticos fuertemente estacionarios, la tasa de entropía es igual al límite de esa secuencia

${\displaystyle H(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

También se indica la cantidad dada por el límite de la derecha , lo cual está motivado en la medida en que aquí se trata nuevamente de una tasa asociada al proceso, en el sentido anterior. ${\displaystyle H'(X)}$

Para cadenas de Markov

Dado que un proceso estocástico definido por una cadena de Markov que es irreducible , aperiódico y recurrente positivo tiene una distribución estacionaria , la tasa de entropía es independiente de la distribución inicial.

Por ejemplo, considere una cadena de Markov definida en un número contable de estados. Dada su matriz de transición estocástica derecha y una entropía ${\displaystyle P_{ij}}$

${\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}$

asociado a cada estado, se encuentra

${\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i},}$

donde está la distribución asintótica de la cadena. ${\displaystyle \mu _{i}}$

En particular, se deduce que la tasa de entropía de un proceso estocástico iid es la misma que la entropía de cualquier miembro individual del proceso.

Para modelos de Markov ocultos

La tasa de entropía de los modelos ocultos de Markov (HMM) no tiene una solución de forma cerrada conocida. Sin embargo, ha conocido límites superiores e inferiores. Sea estacionaria la cadena de Markov subyacente y sean los estados observables, entonces tenemos ${\displaystyle X_{1:\infty }}$ ${\displaystyle Y_{1:\infty }}$

$${\displaystyle H(Y_{n}|X_{1},Y_{1:n-1})\leq H(Y)\leq H(Y_{n}|Y_{1:n-1})}$$

^[1] ${\displaystyle n\to \infty }$

Aplicaciones

La tasa de entropía se puede utilizar para estimar la complejidad de los procesos estocásticos. Se utiliza en diversas aplicaciones que van desde la caracterización de la complejidad de los lenguajes, la separación ciega de fuentes hasta la optimización de cuantificadores y algoritmos de compresión de datos. Por ejemplo, se puede utilizar un criterio de tasa de entropía máxima para la selección de funciones en el aprendizaje automático . ^[2]

Ver también

• Fuente de información (matemáticas)
• fuente de información de markov
• Propiedad de equipartición asintótica
• Paseo aleatorio de entropía máxima : elegido para maximizar la tasa de entropía

Referencias

1. Portada, Thomas M.; Thomas, alegría A. (2006). "4.5. Funciones de las cadenas de Markov". Elementos de la teoría de la información (2ª ed.). Hoboken, Nueva Jersey: Wiley-Interscience. ISBN 978-0-471-24195-9.
2. Einicke, GA (2018). "Selección de funciones de tasa de entropía máxima para clasificar los cambios en la dinámica de la rodilla y el tobillo durante la carrera". Revista IEEE de Informática Biomédica y de Salud . 28 (4): 1097–1103. doi :10.1109/JBHI.2017.2711487. PMID  29969403. S2CID  49555941.

• Portada, T. y Thomas, J. (1991) Elementos de la teoría de la información, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]