Estimación de entropía

Métodos para estimar la entropía diferencial dadas algunas observaciones

En diversas aplicaciones científicas y de ingeniería, como el análisis de componentes independientes , ^[1] el análisis de imágenes , ^[2] el análisis genético , ^[3] el reconocimiento de voz , ^[4] el aprendizaje de variedades , ^[5] y la estimación de retardo de tiempo ^[6], es útil estimar la entropía diferencial de un sistema o proceso, dadas algunas observaciones.

El enfoque más simple y más común utiliza la estimación basada en histogramas , pero se han desarrollado y utilizado otros enfoques, cada uno con sus propios beneficios y desventajas. ^[7] El factor principal en la elección de un método es a menudo un equilibrio entre el sesgo y la varianza de la estimación, ^[8] aunque la naturaleza de la distribución (sospechosa) de los datos también puede ser un factor, ^[7] así como el tamaño de la muestra y el tamaño del alfabeto de la distribución de probabilidad. ^[9]

Estimador de histograma

El enfoque del histograma utiliza la idea de que la entropía diferencial de una distribución de probabilidad para una variable aleatoria continua , ${\displaystyle f(x)}$ ${\displaystyle x}$

${\displaystyle h(X)=-\int _{\mathbb {X} }f(x)\log f(x)\,dx}$

se puede aproximar aproximando primero con un histograma de las observaciones y luego encontrando la entropía discreta de una cuantificación de ${\displaystyle f(x)}$ ${\displaystyle x}$

${\displaystyle H(X)=-\sum _{i=1}^{n}f(x_{i})\log \left({\frac {f(x_{i})}{w(x_{i})}}\right)}$

con probabilidades de bin dadas por ese histograma. El histograma es en sí mismo una estimación de máxima verosimilitud (ML) de la distribución de frecuencia discretizada ^{[ cita requerida ]} ), donde es el ancho del bin n. Los histogramas pueden calcularse rápidamente y de manera simple, por lo que este enfoque tiene cierto atractivo. Sin embargo, la estimación producida está sesgada y, aunque se pueden realizar correcciones a la estimación, es posible que no siempre sean satisfactorias. ^[10] ${\displaystyle w}$ ${\displaystyle i}$

Un método más adecuado para las funciones de densidad de probabilidad multidimensionales (pdf) es hacer primero una estimación de pdf con algún método y luego, a partir de la estimación de pdf, calcular la entropía. Un método de estimación de pdf útil es, por ejemplo, el modelado de mezcla gaussiana (GMM), donde se utiliza el algoritmo de maximización de expectativas (EM) para encontrar una estimación ML de una suma ponderada de pdf gaussianas que se aproximan a la pdf de los datos.

Estimaciones basadas en espaciamientos de muestra

Si los datos son unidimensionales, podemos imaginarnos tomando todas las observaciones y poniéndolas en orden según su valor. El espaciamiento entre un valor y el siguiente nos da entonces una idea aproximada de (el recíproco de) la densidad de probabilidad en esa región: cuanto más cerca estén los valores, mayor será la densidad de probabilidad. Esta es una estimación muy aproximada con alta varianza , pero se puede mejorar, por ejemplo, pensando en el espacio entre un valor dado y el que está m más allá de él, donde m es un número fijo. ^[7]

La densidad de probabilidad estimada de esta manera se puede utilizar luego para calcular la estimación de la entropía, de manera similar a la dada anteriormente para el histograma, pero con algunos pequeños ajustes.

Una de las principales desventajas de este enfoque es que va más allá de una dimensión: la idea de alinear los puntos de datos en orden se desmorona en más de una dimensión. Sin embargo, utilizando métodos análogos, se han desarrollado algunos estimadores de entropía multidimensionales. ^{[11] [12]}

Estimaciones basadas en vecinos más cercanos

Para cada punto de nuestro conjunto de datos, podemos encontrar la distancia a su vecino más cercano . De hecho, podemos estimar la entropía a partir de la distribución de la distancia al vecino más cercano de nuestros puntos de datos. ^[7] (En una distribución uniforme, estas distancias tienden a ser bastante similares, mientras que en una distribución fuertemente no uniforme pueden variar mucho más).

Estimador bayesiano

Cuando se está en un régimen de submuestreo, tener una distribución a priori puede ayudar a la estimación. Uno de estos estimadores bayesianos se propuso en el contexto de la neurociencia y se lo conoce como estimador NSB ( Nemenman -Shafee- Bialek ). ^{[13] [14]} El estimador NSB utiliza una mezcla de valores a priori de Dirichlet , elegidos de manera que el valor a priori inducido sobre la entropía sea aproximadamente uniforme.

Estimaciones basadas en la entropía esperada

Un nuevo enfoque para el problema de la evaluación de la entropía consiste en comparar la entropía esperada de una muestra de una secuencia aleatoria con la entropía calculada de la muestra. El método proporciona resultados muy precisos, pero está limitado a los cálculos de secuencias aleatorias modeladas como cadenas de Markov de primer orden con pequeños valores de sesgo y correlaciones. Este es el primer método conocido que tiene en cuenta el tamaño de la secuencia de la muestra y su impacto en la precisión del cálculo de la entropía. ^{[15] [16]}

Estimador de redes neuronales profundas

Se puede utilizar una red neuronal profunda (DNN) para estimar la entropía conjunta y se la denomina Estimador de entropía conjunta neuronal (NJEE). ^[17] En la práctica, la DNN se entrena como un clasificador que asigna un vector o matriz de entrada X a una distribución de probabilidad de salida sobre las posibles clases de la variable aleatoria Y, dada la entrada X. Por ejemplo, en una tarea de clasificación de imágenes, la NJEE asigna un vector de valores de píxeles a probabilidades sobre las posibles clases de imágenes. En la práctica, la distribución de probabilidad de Y se obtiene mediante una capa Softmax con un número de nodos igual al tamaño del alfabeto de Y. La NJEE utiliza funciones de activación continuamente diferenciables, de modo que se cumplen las condiciones del teorema de aproximación universal. Se demuestra que este método proporciona un estimador muy consistente y supera a otros métodos en el caso de tamaños de alfabeto grandes. ^{[17] [9]}

Referencias

1. Dinh-Tuan Pham (2004) Algoritmos rápidos para el análisis de componentes independientes basado en información mutua. En Procesamiento de señales . Volumen 52, número 10, 2690–2700, doi :10.1109/TSP.2004.834398
2. Chang, C.-I.; Du, Y.; Wang, J.; Guo, S.-M.; Thouin, PD (2006) Encuesta y análisis comparativo de técnicas de umbralización de entropía y entropía relativa. En Vision, Image and Signal Processing , Volumen 153, Número 6, 837–850, doi :10.1049/ip-vis:20050032
3. Martins, DC et al. (2008) Genes predictivos intrínsecamente multivariados. En Temas seleccionados en procesamiento de señales . Volumen 2, número 3, 424–439, doi :10.1109/JSTSP.2008.923841
4. Gue Jun Jung; Yung-Hwan Oh (2008) Agrupamiento de subvectores basado en la distancia de información para cuantificación de parámetros ASR. En Signal Processing Letters , volumen 15, 209–212, doi :10.1109/LSP.2007.913132
5. Costa, JA; Hero, AO (2004), Gráficos entrópicos geodésicos para estimación de dimensión y entropía en aprendizaje de variedades. En Signal Processing , Volumen 52, Número 8, 2210–2221, doi :10.1109/TSP.2004.831130
6. Benesty, J.; Yiteng Huang; Jingdong Chen (2007) Estimación de retardo temporal mediante entropía mínima. En Signal Processing Letters , volumen 14, número 3, marzo de 2007 157–160 doi :10.1109/LSP.2006.884038
7. J. Beirlant, EJ Dudewicz, L. Gyorfi y EC van der Meulen (1997) Estimación de entropía no paramétrica: una descripción general. En International Journal of Mathematical and Statistical Sciences , volumen 6, págs. 17-39.
8. T. Schürmann, Análisis de sesgo en la estimación de la entropía. En J. Phys. A: Math. Gen , 37 (2004), págs. L295–L301. doi :10.1088/0305-4470/37/27/L02
9. Pinchas A., Ben-Gal I., Painsky A. (2024) (2024). "Un análisis comparativo de estimadores de entropía discretos para problemas con alfabetos grandes" (PDF) . Entropía . 26 (5). Entropía. 2024; 26(5):369. doi:10.3390/e26050369: 369. doi : 10.3390/e26050369 .{{cite journal}}: CS1 maint: nombres múltiples: lista de autores ( enlace ) CS1 maint: nombres numéricos: lista de autores ( enlace )
10. G. Miller (1955) Nota sobre el sesgo de las estimaciones de información. En Teoría de la información en psicología: problemas y métodos , págs. 95-100.
11. EG Learned-Miller (2003) Una nueva clase de estimadores de entropía para densidades multidimensionales, en Actas de la Conferencia Internacional sobre Acústica, Habla y Procesamiento de Señales (ICASSP'03) , vol. 3, abril de 2003, págs. 297-300.
12. I. Lee (2010) Estimadores de densidad y entropía basados ​​en espaciamientos de muestra para datos multidimensionales esféricamente invariantes, en Neural Computation , vol. 22, número 8, abril de 2010, págs. 2208-2227.
13. Ilya Nemenman, Fariel Shafee, William Bialek (2003) Entropía e inferencia, revisitada. Avances en el procesamiento de información neuronal
14. Ilya Nemenman, William Bialek , de Ruyter (2004) Entropía e información en trenes de impulsos neuronales: avances en el problema del muestreo. Physical Review E
15. Marek Lesniewicz (2014) Entropía esperada como medida y criterio de aleatoriedad de secuencias binarias [1] En Przeglad Elektrotechniczny , Volumen 90, 1/2014, págs. 42– 46.
16. Marek Lesniewicz (2016) Análisis y mediciones de secuencias binarias aleatorias generadas por hardware modeladas como cadenas de Markov [2] En Przeglad Elektrotechniczny , Volumen 92, 11/2016, págs. 268-274.
17. Shalev y., Painsky A. y Ben-Gal I. (2022) (2024). "Estimación de entropía conjunta neuronal" (PDF) . Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje . 35 (4). Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje (TNNLS): 5488–5500. arXiv : 2012.11197 . doi :10.1109/TNNLS.2022.3204919. PMID  36155469.{{cite journal}}: CS1 maint: nombres múltiples: lista de autores ( enlace ) CS1 maint: nombres numéricos: lista de autores ( enlace )