stringtranslate.com

Estimación de la densidad del núcleo

Estimación de la densidad del kernel de 100 números aleatorios distribuidos normalmente utilizando diferentes anchos de banda de suavizado.

En estadística , la estimación de densidad de kernel ( KDE ) es la aplicación del suavizado de kernel para la estimación de densidad de probabilidad , es decir, un método no paramétrico para estimar la función de densidad de probabilidad de una variable aleatoria basada en kernels como pesos . KDE responde a un problema fundamental de suavizado de datos donde se realizan inferencias sobre la población en función de una muestra de datos finita . En algunos campos, como el procesamiento de señales y la econometría, también se denomina método de ventana de Parzen-Rosenblatt , en honor a Emanuel Parzen y Murray Rosenblatt , a quienes generalmente se les atribuye la creación independiente del método en su forma actual. [1] [2] Una de las aplicaciones famosas de la estimación de densidad de kernel es la estimación de las densidades marginales condicionales de clase de los datos cuando se utiliza un clasificador bayesiano ingenuo , que puede mejorar su precisión de predicción. [3]

Definición

Sean ( x 1 , x 2 , ..., x n ) muestras independientes e idénticamente distribuidas extraídas de alguna distribución univariante con una densidad desconocida ƒ en cualquier punto dado x . Nos interesa estimar la forma de esta función ƒ . Su estimador de densidad kernel es

donde K es el kernel (una función no negativa) y h > 0 es un parámetro de suavizado llamado ancho de banda o simplemente ancho. [3] Un kernel con subíndice h se llama kernel escalado y se define como K h ( x ) = K ( ) . Intuitivamente, uno quiere elegir h tan pequeño como lo permitan los datos; sin embargo, siempre hay una compensación entre el sesgo del estimador y su varianza. La elección del ancho de banda se analiza con más detalle a continuación.

Se utilizan comúnmente una variedad de funciones kernel : uniforme, triangular, biweight, triweight, Epanechnikov (parabólica), normal y otras. El kernel de Epanechnikov es óptimo en el sentido del error cuadrático medio, [4] aunque la pérdida de eficiencia es pequeña para los kernels enumerados anteriormente. [5] Debido a sus convenientes propiedades matemáticas, a menudo se utiliza el kernel normal, lo que significa K ( x ) = ϕ ( x ) , donde ϕ es la función de densidad normal estándar .

La construcción de una estimación de densidad de kernel encuentra interpretaciones en campos fuera de la estimación de densidad. [6] Por ejemplo, en termodinámica , esto es equivalente a la cantidad de calor generado cuando los kernels de calor (la solución fundamental a la ecuación de calor ) se colocan en cada ubicación de punto de datos x i . Se utilizan métodos similares para construir operadores de Laplace discretos en nubes de puntos para el aprendizaje de variedades (por ejemplo, mapa de difusión ).

Ejemplo

Las estimaciones de densidad de kernel están estrechamente relacionadas con los histogramas , pero se les pueden otorgar propiedades como suavidad o continuidad mediante el uso de un kernel adecuado. El diagrama a continuación, basado en estos 6 puntos de datos, ilustra esta relación:

Para el histograma, primero, el eje horizontal se divide en subintervalos o compartimentos que cubren el rango de los datos: en este caso, seis compartimentos, cada uno de ancho 2. Siempre que un punto de datos se encuentre dentro de este intervalo, se coloca allí un cuadro de altura 1/12. Si más de un punto de datos se encuentra dentro del mismo compartimento, los cuadros se apilan uno sobre el otro.

Para la estimación de la densidad de kernel, se colocan kernels normales con una desviación estándar de 1,5 (indicados por las líneas discontinuas rojas) en cada uno de los puntos de datos x i . Los kernels se suman para hacer la estimación de la densidad de kernel (curva azul sólida). La suavidad de la estimación de la densidad de kernel (en comparación con la discreción del histograma) ilustra cómo las estimaciones de la densidad de kernel convergen más rápido a la densidad subyacente real para las variables aleatorias continuas. [7]

Comparación del histograma (izquierda) y la estimación de la densidad de kernel (derecha) construida con los mismos datos. Los seis kernels individuales son las curvas discontinuas rojas, la estimación de la densidad de kernel son las curvas azules. Los puntos de datos son el gráfico de alfombra en el eje horizontal.
Comparación del histograma (izquierda) y la estimación de la densidad de kernel (derecha) construida con los mismos datos. Los seis kernels individuales son las curvas discontinuas rojas, la estimación de la densidad de kernel son las curvas azules. Los puntos de datos son el gráfico de alfombra en el eje horizontal.

Selección de ancho de banda

Estimación de la densidad del núcleo (KDE) con diferentes anchos de banda de una muestra aleatoria de 100 puntos de una distribución normal estándar. Gris: densidad verdadera (normal estándar). Rojo: KDE con h=0,05. Negro: KDE con h=0,337. Verde: KDE con h=2.

El ancho de banda del núcleo es un parámetro libre que exhibe una fuerte influencia en la estimación resultante. Para ilustrar su efecto, tomamos una muestra aleatoria simulada de la distribución normal estándar (graficada en los picos azules en el gráfico de alfombra en el eje horizontal). La curva gris es la densidad verdadera (una densidad normal con media 0 y varianza 1). En comparación, la curva roja está poco suavizada ya que contiene demasiados artefactos de datos espurios que surgen del uso de un ancho de banda h = 0,05, que es demasiado pequeño. La curva verde está sobre suavizada ya que el uso del ancho de banda h = 2 oscurece gran parte de la estructura subyacente. La curva negra con un ancho de banda de h = 0,337 se considera óptimamente suavizada ya que su estimación de densidad está cerca de la densidad verdadera. Se encuentra una situación extrema en el límite (sin suavizado), donde la estimación es una suma de n funciones delta centradas en las coordenadas de las muestras analizadas. En el otro extremo la estimación conserva la forma del kernel utilizado, centrado en la media de las muestras (completamente suave).

El criterio de optimalidad más común utilizado para seleccionar este parámetro es la función de riesgo L 2 esperada , también denominada error cuadrático medio integrado :

Bajo supuestos débiles sobre ƒ y K , ( ƒ es la función de densidad real, generalmente desconocida), [1] [2]

donde o es la notación o minúscula y n el tamaño de la muestra (como se indica más arriba). El AMISE es el MISE asintótico, es decir, los dos términos principales,

donde para una función g , y es la segunda derivada de y es el núcleo. El mínimo de esta AMISE es la solución de esta ecuación diferencial.

o

Ni las fórmulas AMISE ni las h AMISE se pueden utilizar directamente ya que involucran la función de densidad desconocida o su segunda derivada . Para superar esa dificultad, se han desarrollado diversos métodos automáticos basados ​​en datos para seleccionar el ancho de banda. Se han realizado varios estudios de revisión para comparar su eficacia, [8] [9] [10] [11] [12] [13] [14] con el consenso general de que los selectores enchufables [6] [15] [16] y los selectores de validación cruzada [17] [18] [19] son ​​los más útiles en una amplia gama de conjuntos de datos.

Sustituyendo cualquier ancho de banda h que tenga el mismo orden asintótico n −1/5 que h AMISE en el AMISE se obtiene que AMISE( h ) = O ( n −4/5 ), donde O es la notación O grande . Se puede demostrar que, bajo supuestos débiles, no puede existir un estimador no paramétrico que converja a una tasa más rápida que el estimador kernel. [20] Nótese que la tasa n −4/5 es más lenta que la tasa de convergencia n −1 típica de los métodos paramétricos.

Si el ancho de banda no se mantiene fijo, sino que varía dependiendo de la ubicación de la estimación (estimador de globo) o de las muestras (estimador puntual), esto produce un método particularmente poderoso denominado estimación de densidad de núcleo de ancho de banda variable o adaptativo .

La selección del ancho de banda para la estimación de la densidad del núcleo de distribuciones de cola pesada es relativamente difícil. [21]

Un estimador de ancho de banda empírico

Si se utilizan funciones de base gaussianas para aproximar datos univariados y la densidad subyacente que se estima es gaussiana, la opción óptima para h (es decir, el ancho de banda que minimiza el error cuadrático medio integrado ) es: [22]

Se considera que un valor es más robusto cuando mejora el ajuste para distribuciones de cola larga y asimétricas o para distribuciones de mezcla bimodal. Esto se suele hacer de manera empírica reemplazando la desviación estándar por el parámetro siguiente:

donde IQR es el rango intercuartil.
Comparación entre la regla empírica y el ancho de banda para resolver ecuaciones
Comparación entre la regla general y el ancho de banda para resolver ecuaciones.

Otra modificación que mejorará el modelo es reducir el factor de 1,06 a 0,9. La fórmula final quedaría así:

¿Dónde está el tamaño de la muestra?

Esta aproximación se denomina aproximación de distribución normal , aproximación gaussiana o regla de oro de Silverman . [22] Si bien esta regla de oro es fácil de calcular, debe usarse con precaución ya que puede producir estimaciones muy inexactas cuando la densidad no está cerca de ser normal. Por ejemplo, al estimar el modelo de mezcla gaussiana bimodal

a partir de una muestra de 200 puntos, la figura de la derecha muestra la densidad real y dos estimaciones de densidad de kernel: una que utiliza el ancho de banda de la regla empírica y la otra que utiliza un ancho de banda de resolución de ecuaciones. [6] [16] La estimación basada en el ancho de banda de la regla empírica está significativamente suavizada.

Relación con el estimador de densidad de función característica

Dada la muestra ( x 1 , x 2 , ..., x n ), es natural estimar la función característica φ ( t ) = E[ e itX ] como

Conociendo la función característica, es posible encontrar la función de densidad de probabilidad correspondiente a través de la fórmula de la transformada de Fourier . Una dificultad con la aplicación de esta fórmula de inversión es que conduce a una integral divergente, ya que la estimación no es confiable para t grandes . Para evitar este problema, el estimador se multiplica por una función de amortiguamiento ψ h ( t ) = ψ ( ht ) , que es igual a 1 en el origen y luego cae a 0 en el infinito. El "parámetro de ancho de banda" h controla qué tan rápido intentamos amortiguar la función . En particular, cuando h es pequeño, entonces ψ h ( t ) será aproximadamente uno para un rango grande de t , lo que significa que permanece prácticamente inalterado en la región más importante de t .

La opción más común para la función ψ es la función uniforme ψ ( t ) = 1 {−1 ≤ t ≤ 1 }, lo que significa efectivamente truncar el intervalo de integración en la fórmula de inversión a [−1/ h , 1/ h ] , o la función gaussiana ψ ( t ) = e π t 2 . Una vez que se ha elegido la función ψ , se puede aplicar la fórmula de inversión y el estimador de densidad será

donde K es la transformada de Fourier de la función de amortiguamiento ψ . Por lo tanto, el estimador de densidad de kernel coincide con el estimador de densidad de la función característica.

Características geométricas y topológicas

Podemos extender la definición del modo (global) a un sentido local y definir los modos locales:

Es decir, es la colección de puntos para los cuales la función de densidad se maximiza localmente. Un estimador natural de es un complemento de KDE, [23] [24] donde y son la versión de KDE de y . Bajo supuestos moderados, es un estimador consistente de . Nótese que se puede usar el algoritmo de cambio de media [25] [26] [27] para calcular numéricamente el estimador .

Implementación estadística

Una lista no exhaustiva de implementaciones de software de estimadores de densidad de kernel incluye:

Véase también

Lectura adicional

Referencias

  1. ^ ab Rosenblatt, M. (1956). "Observaciones sobre algunas estimaciones no paramétricas de una función de densidad". Anales de estadística matemática . 27 (3): 832–837. doi : 10.1214/aoms/1177728190 .
  2. ^ ab Parzen, E. (1962). "Sobre la estimación de una función de densidad de probabilidad y un modo". Anales de estadística matemática . 33 (3): 1065–1076. doi : 10.1214/aoms/1177704472 . JSTOR  2237880.
  3. ^ ab Hastie, Trevor ; Tibshirani, Robert ; Friedman, Jerome H. (2001). Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción : con 200 ilustraciones a todo color . Nueva York: Springer. ISBN 0-387-95284-5.OCLC 46809224  .
  4. ^ Epanechnikov, VA (1969). "Estimación no paramétrica de una densidad de probabilidad multivariante". Teoría de la probabilidad y sus aplicaciones . 14 : 153–158. doi :10.1137/1114019.
  5. ^ Wand, MP; Jones, MC (1995). Suavizado de núcleo . Londres: Chapman & Hall/CRC. ISBN 978-0-412-55270-0.
  6. ^ abcd Botev, Zdravko (2007). Estimación de densidad no paramétrica mediante mezcla por difusión (informe técnico). Universidad de Queensland.
  7. ^ Scott, D. (1979). "Sobre histogramas óptimos y basados ​​en datos". Biometrika . 66 (3): 605–610. doi :10.1093/biomet/66.3.605.
  8. ^ Park, BU; Marron, JS (1990). "Comparación de selectores de ancho de banda basados ​​en datos". Revista de la Asociación Estadounidense de Estadística . 85 (409): 66–72. CiteSeerX 10.1.1.154.7321 . doi :10.1080/01621459.1990.10475307. JSTOR  2289526. 
  9. ^ Park, BU; Turlach, BA (1992). "Rendimiento práctico de varios selectores de ancho de banda controlados por datos (con discusión)". Computational Statistics . 7 : 251–270.
  10. ^ Cao, R.; Cuevas, A.; Manteiga, WG (1994). "Estudio comparativo de varios métodos de suavizado en la estimación de densidad". Estadística computacional y análisis de datos . 17 (2): 153–176. doi :10.1016/0167-9473(92)00066-Z.
  11. ^ Jones, MC; Marron, JS; Sheather, SJ (1996). "Un breve estudio de la selección del ancho de banda para la estimación de la densidad". Revista de la Asociación Estadounidense de Estadística . 91 (433): 401–407. doi :10.2307/2291420. JSTOR  2291420.
  12. ^ Sheather, SJ (1992). "El rendimiento de seis métodos populares de selección de ancho de banda en algunos conjuntos de datos reales (con discusión)". Computational Statistics . 7 : 225–250, 271–281.
  13. ^ Agarwal, N.; Aluru, NR (2010). "Un enfoque de colocación estocástica basado en datos para la cuantificación de la incertidumbre en MEMS" (PDF) . Revista internacional de métodos numéricos en ingeniería . 83 (5): 575–597. Bibcode :2010IJNME..83..575A. doi :10.1002/nme.2844. S2CID  84834908.
  14. ^ Xu, X.; Yan, Z.; Xu, S. (2015). "Estimación de la distribución de probabilidad de la velocidad del viento mediante el método de densidad de kernel basado en la difusión". Electric Power Systems Research . 121 : 28–37. Bibcode :2015EPSR..121...28X. doi :10.1016/j.epsr.2014.11.029.
  15. ^ Botev, ZI; Grotowski, JF; Kroese, DP (2010). "Estimación de la densidad del núcleo mediante difusión". Anales de estadística . 38 (5): 2916–2957. arXiv : 1011.2602 . doi :10.1214/10-AOS799. S2CID  41350591.
  16. ^ ab Sheather, SJ; Jones, MC (1991). "Un método de selección de ancho de banda basado en datos confiable para la estimación de densidad de kernel". Journal of the Royal Statistical Society, Serie B . 53 (3): 683–690. doi :10.1111/j.2517-6161.1991.tb01857.x. JSTOR  2345597.
  17. ^ Rudemo, M. (1982). "Elección empírica de histogramas y estimadores de densidad kernel". Scandinavian Journal of Statistics . 9 (2): 65–78. JSTOR  4615859.
  18. ^ Bowman, AW (1984). "Un método alternativo de validación cruzada para suavizar las estimaciones de densidad". Biometrika . 71 (2): 353–360. doi :10.1093/biomet/71.2.353.
  19. ^ Hall, P.; Marron, JS; Park, BU (1992). "Validación cruzada suavizada". Teoría de la probabilidad y campos relacionados . 92 : 1–20. doi : 10.1007/BF01205233 . S2CID  121181481.
  20. ^ Wahba, G. (1975). "Propiedades de convergencia óptimas de métodos de nudo variable, núcleo y series ortogonales para estimación de densidad". Anales de Estadística . 3 (1): 15–29. doi : 10.1214/aos/1176342997 .
  21. ^ Buch-Larsen, TINE (2005). "Estimación de la densidad de kernel para distribuciones de cola pesada utilizando la transformación de Champernowne". Estadísticas . 39 (6): 503–518. CiteSeerX 10.1.1.457.1544 . doi :10.1080/02331880500439782. S2CID  219697435. 
  22. ^ ab Silverman, BW (1986). Estimación de densidad para estadísticas y análisis de datos . Londres: Chapman & Hall/CRC. pág. 45. ISBN 978-0-412-24620-3.
  23. ^ Chen, Yen-Chi; Genovese, Christopher R.; Wasserman, Larry (2016). "Un enfoque integral para el agrupamiento de modos". Revista electrónica de estadística . 10 (1): 210–241. arXiv : 1406.1780 . doi : 10.1214/15-ejs1102 . ISSN  1935-7524.
  24. ^ Chazal, Frédéric; Fasy, Brittany Terese; Lecci, Fabrizio; Rinaldo, Alessandro; Wasserman, Larry (2014). "Convergencia estocástica de paisajes y siluetas de persistencia". Actas del trigésimo simposio anual sobre geometría computacional . Vol. 6. Nueva York, Nueva York, EE. UU.: ACM Press. págs. 474–483. doi :10.1145/2582112.2582128. ISBN . 978-1-4503-2594-3.S2CID6029340  .​
  25. ^ Fukunaga, K.; Hostetler, L. (enero de 1975). "La estimación del gradiente de una función de densidad, con aplicaciones en el reconocimiento de patrones". IEEE Transactions on Information Theory . 21 (1): 32–40. doi :10.1109/tit.1975.1055330. ISSN  0018-9448.
  26. ^ Yizong Cheng (1995). "Desplazamiento de la media, búsqueda de modos y agrupamiento". IEEE Transactions on Pattern Analysis and Machine Intelligence . 17 (8): 790–799. CiteSeerX 10.1.1.510.1222 . doi :10.1109/34.400568. ISSN  0162-8828. 
  27. ^ Comaniciu, D.; Meer, P. (mayo de 2002). "Desplazamiento medio: un enfoque robusto hacia el análisis del espacio de características". IEEE Transactions on Pattern Analysis and Machine Intelligence . 24 (5): 603–619. doi :10.1109/34.1000236. ISSN  0162-8828. S2CID  691081.
  28. ^ Janert, Philipp K (2009). Gnuplot en acción: comprensión de datos con gráficos . Connecticut, EE. UU.: Manning Publications. ISBN 978-1-933988-39-9.Consulte la sección 13.2.2 titulada Estimaciones de densidad de kernel .
  29. ^ "Estimación de la función de suavizado de kernel para datos univariados y bivariados - MATLAB ksdensity". www.mathworks.com . Consultado el 5 de noviembre de 2020 .
  30. ^ Horová, I.; Koláček, J.; Zelinka, J. (2012). Suavizado de kernel en MATLAB: teoría y práctica del suavizado de kernel . Singapur: World Scientific Publishing. ISBN 978-981-4405-48-5.
  31. ^ "SmoothKernelDistribution—Documentación del lenguaje Wolfram". reference.wolfram.com . Consultado el 5 de noviembre de 2020 .
  32. ^ "KernelMixtureDistribution—Documentación del lenguaje Wolfram". reference.wolfram.com . Consultado el 5 de noviembre de 2020 .
  33. ^ "Software para calcular densidades de núcleo". www.rsc.org . Consultado el 5 de noviembre de 2020 .
  34. ^ The Numerical Algorithms Group. "Documento de rutina de la biblioteca NAG: nagf_smooth_kerndens_gauss (g10baf)" (PDF) . Manual de la biblioteca NAG, Mark 23. Consultado el 16 de febrero de 2012 .
  35. ^ The Numerical Algorithms Group. "Documento de rutina de la biblioteca NAG: nag_kernel_density_estim (g10bac)" (PDF) . Manual de la biblioteca NAG, Mark 9. Archivado desde el original (PDF) el 24 de noviembre de 2011. Consultado el 16 de febrero de 2012 .
  36. ^ Vanderplas, Jake (1 de diciembre de 2013). "Estimación de densidad de kernel en Python" . Consultado el 12 de marzo de 2014 .
  37. ^ "seaborn.kdeplot — documentación de seaborn 0.10.1". seaborn.pydata.org . Consultado el 12 de mayo de 2020 .
  38. ^ "Kde-gpu: implementamos la densidad del kernel de Nadaraya Waston y el estimador de probabilidad condicional del kernel usando CUDA a través de Cupy. Es mucho más rápido que la versión de CPU, pero requiere una GPU con mucha memoria".
  39. ^ "Estadísticas básicas - API basada en RDD - Documentación de Spark 3.0.1". spark.apache.org . Consultado el 5 de noviembre de 2020 .
  40. ^ "kdensity — Estimación univariante de la densidad del núcleo" (PDF) . Manual de Stata 15 .
  41. ^ Jann, Ben (26 de mayo de 2008), "KDENS: módulo Stata para la estimación de densidad de kernel univariada", Componentes de software estadístico , Departamento de Economía de Boston College , consultado el 15 de octubre de 2022

Enlaces externos