En la teoría matemática de la probabilidad , la tasa de entropía o tasa de información fuente es una función que asigna una entropía a un proceso estocástico .
Para un proceso fuertemente estacionario , la entropía condicional de la última variable aleatoria eventualmente tiende hacia este valor de tasa.
Un proceso con un índice contable da lugar a la secuencia de sus entropías conjuntas . Si el límite existe, la tasa de entropía se define como
Tenga en cuenta que dada cualquier secuencia con y dejando , al telescopar uno tiene . La tasa de entropía calcula así la media de los primeros cambios de entropía, llegando al infinito . El comportamiento de las entropías conjuntas de un índice al siguiente también está explícitamente sujeto en algunas caracterizaciones de la entropía .
Si bien puede entenderse como una secuencia de variables aleatorias, la tasa de entropía representa el cambio de entropía promedio por una variable aleatoria, a largo plazo.
Puede considerarse como una propiedad general de las fuentes estocásticas; este es el tema de la propiedad de equipartición asintótica .
Un proceso estocástico también da lugar a una secuencia de entropías condicionales, que comprende cada vez más variables aleatorias. Para procesos estocásticos fuertemente estacionarios, la tasa de entropía es igual al límite de esa secuencia
También se indica la cantidad dada por el límite de la derecha , lo cual está motivado en la medida en que aquí se trata nuevamente de una tasa asociada al proceso, en el sentido anterior.
Dado que un proceso estocástico definido por una cadena de Markov que es irreducible , aperiódico y recurrente positivo tiene una distribución estacionaria , la tasa de entropía es independiente de la distribución inicial.
Por ejemplo, considere una cadena de Markov definida en un número contable de estados. Dada su matriz de transición estocástica derecha y una entropía
asociado a cada estado, se encuentra
donde está la distribución asintótica de la cadena.
En particular, se deduce que la tasa de entropía de un proceso estocástico iid es la misma que la entropía de cualquier miembro individual del proceso.
La tasa de entropía de los modelos ocultos de Markov (HMM) no tiene una solución de forma cerrada conocida. Sin embargo, ha conocido límites superiores e inferiores. Sea estacionaria la cadena de Markov subyacente y sean los estados observables, entonces tenemos y en el límite de , ambos lados convergen hacia el medio. [1]
La tasa de entropía se puede utilizar para estimar la complejidad de los procesos estocásticos. Se utiliza en diversas aplicaciones que van desde la caracterización de la complejidad de los lenguajes, la separación ciega de fuentes hasta la optimización de cuantificadores y algoritmos de compresión de datos. Por ejemplo, se puede utilizar un criterio de tasa de entropía máxima para la selección de funciones en el aprendizaje automático . [2]