Estimación de entropía

Métodos para estimar la entropía diferencial dadas algunas observaciones.

En diversas aplicaciones de ciencia/ingeniería, como análisis de componentes independientes , ^[1] análisis de imágenes , ^[2] análisis genético , ^[3] reconocimiento de voz , ^[4] aprendizaje múltiple , ^[5] y estimación de retardo de tiempo ^[6], es útil estimar la entropía diferencial de un sistema o proceso, dadas algunas observaciones.

El enfoque más simple y común utiliza la estimación basada en histogramas , pero se han desarrollado y utilizado otros enfoques, cada uno con sus propios beneficios e inconvenientes. ^[7] El factor principal al elegir un método es a menudo una compensación entre el sesgo y la varianza de la estimación, ^[8] aunque la naturaleza de la (sospechada) distribución de los datos también puede ser un factor, ^[7] así como el tamaño de la muestra y el tamaño del alfabeto de la distribución de probabilidad. ^[9]

Estimador de histograma

El enfoque del histograma utiliza la idea de que la entropía diferencial de una distribución de probabilidad para una variable aleatoria continua , ${\displaystyle f(x)}$ ${\displaystyle x}$

${\displaystyle h(X)=-\int _{\mathbb {X} }f(x)\log f(x)\,dx}$

se puede aproximar aproximando primero con un histograma de las observaciones y luego encontrando la entropía discreta de una cuantificación de ${\displaystyle f(x)}$ ${\displaystyle x}$

${\displaystyle H(X)=-\sum _{i=1}^{n}f(x_{i})\log \left({\frac {f(x_{i})}{w(x_{i})}}\right)}$

con probabilidades bin dadas por ese histograma. El histograma es en sí mismo una estimación de máxima verosimilitud (ML) de la distribución de frecuencia discretizada ^{[ cita necesaria ]} ), donde es el ancho del ésimo contenedor. Los histogramas pueden ser rápidos de calcular y simples, por lo que este enfoque tiene cierto atractivo. Sin embargo, la estimación producida está sesgada y, aunque se pueden hacer correcciones a la estimación, es posible que no siempre sean satisfactorias. ^[10] ${\displaystyle w}$ ${\displaystyle i}$

Un método más adecuado para funciones de densidad de probabilidad (pdf) multidimensionales es hacer primero una estimación de la pdf con algún método y luego, a partir de la estimación de la pdf, calcular la entropía. Un método de estimación de pdf útil es, por ejemplo, el modelado de mezclas gaussianas (GMM), donde se utiliza el algoritmo de maximización de expectativas (EM) para encontrar una estimación ML de una suma ponderada de pdf gaussianas que se aproxima a la pdf de datos.

Estimaciones basadas en espaciamientos muestrales

Si los datos son unidimensionales, podemos imaginarnos tomando todas las observaciones y ordenándolas según su valor. El espacio entre un valor y el siguiente nos da una idea aproximada de (el recíproco de) la densidad de probabilidad en esa región: cuanto más juntos estén los valores, mayor será la densidad de probabilidad. Esta es una estimación muy aproximada con una varianza alta , pero se puede mejorar, por ejemplo, pensando en el espacio entre un valor dado y el que m está alejado de él, donde m es un número fijo. ^[7]

La densidad de probabilidad estimada de esta manera se puede utilizar para calcular la estimación de entropía, de manera similar a la dada anteriormente para el histograma, pero con algunos ligeros ajustes.

Uno de los principales inconvenientes de este enfoque es ir más allá de una dimensión: la idea de alinear los datos en orden se desmorona en más de una dimensión. Sin embargo, utilizando métodos análogos, se han desarrollado algunos estimadores de entropía multidimensionales. ^{[11] [12]}

Estimaciones basadas en vecinos más cercanos

Para cada punto de nuestro conjunto de datos, podemos encontrar la distancia a su vecino más cercano . De hecho, podemos estimar la entropía a partir de la distribución de la distancia al vecino más cercano de nuestros puntos de datos. ^[7] (En una distribución uniforme, todas estas distancias tienden a ser bastante similares, mientras que en una distribución fuertemente no uniforme pueden variar mucho más).

estimador bayesiano

Cuando se está en un régimen de submuestreo, tener un análisis previo de la distribución puede ayudar en la estimación. Uno de esos estimadores bayesianos se propuso en el contexto de la neurociencia conocido como estimador NSB ( Nemenman –Shafee– Bialek ). ^{[13] [14]} El estimador NSB utiliza una mezcla de a priori de Dirichlet , elegida de manera que la a priori inducida sobre la entropía sea aproximadamente uniforme.

Estimaciones basadas en la entropía esperada.

Un nuevo enfoque al problema de la evaluación de la entropía es comparar la entropía esperada de una muestra de secuencia aleatoria con la entropía calculada de la muestra. El método proporciona resultados muy precisos, pero se limita a cálculos de secuencias aleatorias modeladas como cadenas de Markov de primer orden con pequeños valores de sesgo y correlaciones. Este es el primer método conocido que tiene en cuenta el tamaño de la secuencia de muestra y su impacto en la precisión del cálculo de la entropía. ^{[15] [16]}

Estimador de red neuronal profunda

Se puede utilizar una red neuronal profunda (DNN) para estimar la entropía conjunta y se denomina Estimador de entropía conjunta neuronal (NJEE). ^[17] En la práctica, el DNN se entrena como un clasificador que asigna un vector de entrada o matriz X a una distribución de probabilidad de salida sobre las posibles clases de variable aleatoria Y, dada la entrada X. Por ejemplo, en una tarea de clasificación de imágenes, el NJEE asigna un vector de valores de píxeles a probabilidades sobre posibles clases de imágenes. En la práctica, la distribución de probabilidad de Y se obtiene mediante una capa Softmax con un número de nodos igual al tamaño del alfabeto de Y. NJEE utiliza funciones de activación continuamente diferenciables, de modo que se cumplan las condiciones para el teorema de aproximación universal. Se muestra que este método proporciona un estimador fuertemente consistente y supera a otros métodos en el caso de alfabetos de gran tamaño. ^{[17] [9]}

Referencias

1. Dinh-Tuan Pham (2004) Algoritmos rápidos para análisis de componentes independientes basados ​​en información mutua. En Procesamiento de Señales . Volumen 52, Número 10, 2690–2700, doi :10.1109/TSP.2004.834398
2. Chang, CI; Du, Y.; Wang, J.; Guo, SM; Thouin, PD (2006) Encuesta y análisis comparativo de entropía y técnicas de umbral de entropía relativa. En Procesamiento de visión, imágenes y señales , volumen 153, número 6, 837–850, doi :10.1049/ip-vis:20050032
3. Martins, DC y col. (2008) Genes predictivos intrínsecamente multivariados. En Temas seleccionados sobre procesamiento de señales . Volumen 2, Número 3, 424–439, doi :10.1109/JSTSP.2008.923841
4. Gue Jun Jung; Yung-Hwan Oh (2008) Agrupación de subvectores basada en distancias de información para la cuantificación de parámetros ASR. En Cartas de procesamiento de señales , volumen 15, 209–212, doi :10.1109/LSP.2007.913132
5. Costa, JA; Hero, AO (2004), Gráficos entrópicos geodésicos para la estimación de dimensiones y entropía en el aprendizaje múltiple. En Procesamiento de señales , volumen 52, número 8, 2210–2221, doi :10.1109/TSP.2004.831130
6. Benestía, J.; Yiteng Huang; Jingdong Chen (2007) Estimación del retardo de tiempo mediante entropía mínima. En Signal Processing Letters , volumen 14, número 3, marzo de 2007 157–160 doi :10.1109/LSP.2006.884038
7. J. Beirlant, EJ Dudewicz, L. Gyorfi y EC van der Meulen (1997) Estimación de entropía no paramétrica: descripción general. En Revista Internacional de Ciencias Matemáticas y Estadística , Volumen 6, págs. 17-39.
8. T. Schürmann, Análisis de sesgo en la estimación de entropía. En J. Phys. R: Matemáticas. Gen , 37 (2004), págs. L295–L301. doi :10.1088/0305-4470/37/27/L02
9. Pinchas A., Ben-Gal I., Painsky A. (2024) (2024). "Un análisis comparativo de estimadores de entropía discretos para problemas de alfabetos grandes" (PDF) . Entropía . 26 (5). Entropía. 2024; 26(5):369. doi:10.3390/e26050369: 369. doi : 10.3390/e26050369 .{{cite journal}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace ) Mantenimiento CS1: nombres numéricos: lista de autores ( enlace )
10. G. Miller (1955) Nota sobre el sesgo de las estimaciones de información. En Teoría de la información en psicología: problemas y métodos , págs. 95-100.
11. EG Learned-Miller (2003) Una nueva clase de estimadores de entropía para densidades multidimensionales, en Actas de la Conferencia Internacional sobre Acústica, Habla y Procesamiento de Señales (ICASSP'03) , vol. 3, abril de 2003, págs. 297–300.
12. I. Lee (2010) Estimadores de densidad y entropía basados ​​​​en espacios entre muestras para datos multidimensionales esféricamente invariantes, en Neural Computation , vol. 22, número 8, abril de 2010, págs. 2208–2227.
13. Ilya Nemenman, Fariel Shafee, William Bialek (2003) Entropía e inferencia, revisada. Avances en el procesamiento de información neuronal
14. Ilya Nemenman, William Bialek , de Ruyter (2004) Entropía e información en trenes de picos neuronales: avances en el problema de muestreo. Revisión física E
15. Marek Lesniewicz (2014) La entropía esperada como medida y criterio de aleatoriedad de secuencias binarias [1] en Przeglad Elektrotechniczny , volumen 90, 1/2014, págs.
16. Marek Lesniewicz (2016) Análisis y mediciones de secuencias binarias aleatorias generadas por hardware modeladas como cadenas de Markov [2] en Przeglad Elektrotechniczny , volumen 92, 11/2016, págs.
17. Shalev y., Painsky A. y Ben-Gal I. (2022) (2024). "Estimación de la entropía conjunta neuronal" (PDF) . Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje . 35 (4). Transacciones IEEE sobre redes neuronales y sistemas de aprendizaje (TNNLS): 5488–5500. arXiv : 2012.11197 . doi :10.1109/TNNLS.2022.3204919. PMID  36155469.{{cite journal}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace ) Mantenimiento CS1: nombres numéricos: lista de autores ( enlace )