stringtranslate.com

Bootstrapping (estadísticas)

Bootstrapping es cualquier prueba o métrica que utiliza muestreo aleatorio con reemplazo (por ejemplo, imitando el proceso de muestreo) y cae dentro de la clase más amplia de métodos de remuestreo . Bootstrapping asigna medidas de precisión ( sesgo , varianza, intervalos de confianza , error de predicción, etc.) a las estimaciones de la muestra. [1] [2] Esta técnica permite estimar la distribución muestral de casi cualquier estadística utilizando métodos de muestreo aleatorio. [3] [4]

Bootstrapping estima las propiedades de un estimador (como su varianza ) midiendo esas propiedades cuando se toma un muestreo de una distribución aproximada. Una elección estándar para una distribución aproximada es la función de distribución empírica de los datos observados. En el caso en que se pueda suponer que un conjunto de observaciones proviene de una población independiente e idénticamente distribuida , esto se puede implementar construyendo una cantidad de remuestras con reemplazo del conjunto de datos observado (y de igual tamaño que el conjunto de datos observado). .

También se puede utilizar para construir pruebas de hipótesis . [5] A menudo se utiliza como una alternativa a la inferencia estadística basada en el supuesto de un modelo paramétrico cuando ese supuesto está en duda, o cuando la inferencia paramétrica es imposible o requiere fórmulas complicadas para el cálculo de errores estándar .

Historia

El bootstrap fue publicado por Bradley Efron en "Métodos Bootstrap: otra mirada al jackknife" (1979), [6] [7] [8] inspirado en trabajos anteriores sobre el jackknife . [9] [10] [11] Posteriormente se desarrollaron estimaciones mejoradas de la varianza. [12] [13] En 1981 se desarrolló una extensión bayesiana. [14] Efron desarrolló el bootstrap acelerado y con corrección de sesgo ( ) en 1987, [15] y el procedimiento de intervalo de confianza de bootstrap aproximado (ABC, o aproximado ) en 1992. [16] Otros nombres que los colegas de Efron sugirieron para el método "bootstrap" fueron: Swiss Army Knife , Meat Axe , Swan-Dive , Jack-Rabbit y Shotgun . [8]

Acercarse

Se extrae una muestra de una población. A partir de esta muestra, se generan remuestras dibujando con reemplazo (naranja). Los puntos de datos que se extrajeron más de una vez (lo que ocurre en aproximadamente el 26,4 % de los puntos de datos) se muestran en rojo y ligeramente desplazados. A partir de las remuestras, se calcula la estadística y, por lo tanto, se puede calcular un histograma para estimar la distribución de .

La idea básica del bootstrapping es que la inferencia sobre una población a partir de datos de muestra (muestra → población) se puede modelar remuestreando los datos de la muestra y realizando inferencia sobre una muestra a partir de datos remuestreados (remuestreado → muestra). [17] Como se desconoce la población, se desconoce el verdadero error en una estadística de muestra frente a su valor poblacional. En bootstrap-resamples, la 'población' es de hecho la muestra, y esto se sabe; por lo tanto, la calidad de la inferencia de la muestra "verdadera" a partir de datos remuestreados (remuestreados → muestra) es mensurable.

Más formalmente, el bootstrap funciona tratando la inferencia de la distribución de probabilidad verdadera J , dados los datos originales, como análoga a una inferencia de la distribución empírica Ĵ , dados los datos remuestreados. La exactitud de las inferencias con respecto a Ĵ utilizando los datos remuestreados se puede evaluar porque conocemos Ĵ . Si Ĵ es una aproximación razonable a J , entonces, a su vez, se puede inferir la calidad de la inferencia sobre J.

Como ejemplo, supongamos que estamos interesados ​​en la altura promedio (o media ) de las personas en todo el mundo. No podemos medir a todas las personas de la población mundial, por lo que tomamos una muestra de solo una pequeña parte de ella y la medimos. Supongamos que la muestra es de tamaño N ; es decir, medimos las alturas de N individuos. De esa única muestra sólo se puede obtener una estimación de la media. Para razonar sobre la población, necesitamos cierta idea de la variabilidad de la media que hemos calculado. El método de arranque más simple implica tomar el conjunto de datos original de alturas y, utilizando una computadora, tomar muestras de él para formar una nueva muestra (llamada "remuestreo" o muestra de arranque) que también es de  tamaño N. La muestra de arranque se toma del original mediante el uso de muestreo con reemplazo (por ejemplo, podríamos 'volver a muestrear' 5 veces desde [1,2,3,4,5] y obtener [2,5,4,4,1]), por lo que , suponiendo que N sea suficientemente grande, para todos los fines prácticos existe prácticamente cero probabilidad de que sea idéntica a la muestra "real" original. Este proceso se repite una gran cantidad de veces (normalmente 1000 o 10 000 veces) y para cada una de estas muestras de arranque, calculamos su media (cada una de ellas se denomina "estimación de arranque"). Ahora podemos crear un histograma de medias de arranque. Este histograma proporciona una estimación de la forma de la distribución de la media muestral a partir de la cual podemos responder preguntas sobre cuánto varía la media entre muestras. (El método aquí descrito para la media se puede aplicar a casi cualquier otra estadística o estimador ).

Discusión

Ventajas

Una gran ventaja del bootstrap es su simplicidad. Es una forma sencilla de derivar estimaciones de errores estándar e intervalos de confianza para estimadores complejos de la distribución, como puntos percentiles, proporciones, odds ratio y coeficientes de correlación. Sin embargo, a pesar de su simplicidad, el bootstrapping puede aplicarse a diseños de muestreo complejos (por ejemplo, para una población dividida en s estratos con n s observaciones por estrato, el bootstrapping puede aplicarse para cada estrato). [18] Bootstrap también es una forma adecuada de controlar y comprobar la estabilidad de los resultados. Aunque para la mayoría de los problemas es imposible conocer el verdadero intervalo de confianza, el bootstrap es asintóticamente más preciso que los intervalos estándar obtenidos utilizando la varianza muestral y supuestos de normalidad. [19] Bootstrapping también es un método conveniente que evita el costo de repetir el experimento para obtener otros grupos de datos de muestra.

Desventajas

El bootstrapping depende en gran medida del estimador utilizado y, aunque simple, su uso ingenuo no siempre producirá resultados asintóticamente válidos y puede generar inconsistencia. [20] Aunque el bootstrapping es (bajo algunas condiciones) asintóticamente consistente , no proporciona garantías generales de muestras finitas. El resultado puede depender de la muestra representativa. La aparente simplicidad puede ocultar el hecho de que se hacen supuestos importantes al realizar el análisis bootstrap (por ejemplo, independencia de las muestras o un tamaño de muestra suficientemente grande) que se establecerían más formalmente en otros enfoques. Además, el arranque puede llevar mucho tiempo y no hay mucho software disponible para hacerlo, ya que es difícil de automatizar utilizando paquetes informáticos estadísticos tradicionales. [18]

Recomendaciones

Los académicos han recomendado más muestras de arranque a medida que ha aumentado la potencia informática disponible. Si los resultados pueden tener consecuencias sustanciales en el mundo real, entonces se deben utilizar tantas muestras como sea razonable, teniendo en cuenta el tiempo y la potencia de cálculo disponibles. Aumentar el número de muestras no puede aumentar la cantidad de información en los datos originales; sólo puede reducir los efectos de los errores de muestreo aleatorios que pueden surgir del propio procedimiento de arranque. Además, hay pruebas de que un número de muestras superior a 100 conduce a mejoras insignificantes en la estimación de los errores estándar. [21] De hecho, según el desarrollador original del método de arranque, incluso establecer el número de muestras en 50 probablemente conduzca a estimaciones de error estándar bastante buenas. [22]

Adèr et al. Recomendar el procedimiento bootstrap para las siguientes situaciones: [23]

  • Cuando la distribución teórica de una estadística de interés es complicada o desconocida. Dado que el procedimiento de arranque es independiente de la distribución, proporciona un método indirecto para evaluar las propiedades de la distribución subyacente a la muestra y los parámetros de interés que se derivan de esta distribución.
  • Cuando el tamaño de la muestra es insuficiente para una inferencia estadística sencilla. Si la distribución subyacente es bien conocida, el bootstrap proporciona una manera de dar cuenta de las distorsiones causadas por una muestra específica que puede no ser completamente representativa de la población.
  • Cuando es necesario realizar cálculos de potencia y se dispone de una pequeña muestra piloto. La mayoría de los cálculos de potencia y tamaño de muestra dependen en gran medida de la desviación estándar de la estadística de interés. Si la estimación utilizada es incorrecta, el tamaño de muestra requerido también será incorrecto. Un método para obtener una impresión de la variación de la estadística es utilizar una pequeña muestra piloto y realizar un arranque en ella para obtener una impresión de la variación.

Sin embargo, Athreya ha demostrado [24] que si se realiza un bootstrap ingenuo en la media muestral cuando la población subyacente carece de una varianza finita (por ejemplo, una distribución de ley de potencia ), entonces la distribución bootstrap no convergerá al mismo límite que la muestra promedio. Como resultado, los intervalos de confianza basados ​​en una simulación Monte Carlo del bootstrap podrían ser engañosos. Athreya afirma que "a menos que uno esté razonablemente seguro de que la distribución subyacente no es de cola pesada , uno debería dudar en utilizar el bootstrap ingenuo".

Tipos de esquema de arranque

En problemas univariados, generalmente es aceptable volver a muestrear las observaciones individuales con reemplazo ("remuestreo de casos" a continuación), a diferencia del submuestreo , en el que el remuestreo se realiza sin reemplazo y es válido en condiciones mucho más débiles en comparación con el bootstrap. En muestras pequeñas, podría preferirse un enfoque de arranque paramétrico. Para otros problemas, probablemente será preferible un arranque fluido .

Para problemas de regresión, hay otras alternativas disponibles. [1]

Remuestreo de casos

El bootstrap es generalmente útil para estimar la distribución de una estadística (por ejemplo, media, varianza) sin utilizar supuestos de normalidad (como se requiere, por ejemplo, para un estadístico z o un estadístico t). En particular, el bootstrap es útil cuando no existe una forma analítica o una teoría asintótica (por ejemplo, un teorema del límite central aplicable ) para ayudar a estimar la distribución de las estadísticas de interés. Esto se debe a que los métodos bootstrap pueden aplicarse a la mayoría de cantidades aleatorias, por ejemplo, la relación de varianza y media. Hay al menos dos formas de realizar el remuestreo de casos.

  1. El algoritmo de Monte Carlo para el remuestreo de casos es bastante simple. Primero, volvemos a muestrear los datos con reemplazo, y el tamaño del nuevo muestreo debe ser igual al tamaño del conjunto de datos original. Luego, la estadística de interés se calcula a partir del remuestreo del primer paso. Repetimos esta rutina muchas veces para obtener una estimación más precisa de la distribución Bootstrap de la estadística. [1]
  2. La versión "exacta" para el remuestreo de casos es similar, pero enumeramos exhaustivamente cada posible remuestreo del conjunto de datos. Esto puede resultar costoso desde el punto de vista computacional, ya que hay un total de remuestreos diferentes, donde n es el tamaño del conjunto de datos. Así, para n  = 5, 10, 20, 30 hay 126, 92378, 6,89 × 10 10 y 5,91 × 10 16 remuestreos diferentes respectivamente. [25]

Estimación de la distribución de la media muestral.

Considere un experimento de lanzar una moneda al aire. Lanzamos la moneda y registramos si sale cara o cruz. Sean X = x 1 , x 2 ,…, x 10 10 observaciones del experimento. x i = 1 si el i-ésimo lanzamiento sale cara, y 0 en caso contrario. Al invocar el supuesto de que el promedio de los lanzamientos de moneda se distribuye normalmente, podemos usar el estadístico t para estimar la distribución de la media muestral,

Tal supuesto de normalidad puede justificarse como una aproximación de la distribución de cada lanzamiento de moneda individual o como una aproximación de la distribución del promedio de un gran número de lanzamientos de moneda. La primera es una mala aproximación porque la verdadera distribución de los lanzamientos de moneda es Bernoulli en lugar de normal. Esta última es una aproximación válida en muestras infinitamente grandes debido al teorema del límite central .

Sin embargo, si no estamos preparados para hacer tal justificación, podemos usar el bootstrap en su lugar. Utilizando el remuestreo de casos, podemos derivar la distribución de . Primero volvemos a muestrear los datos para obtener un remuestreo de arranque . Un ejemplo del primer remuestreo podría verse así X 1 * = x 2 , x 1 , x 10 , x 10 , x 3 , x 4 , x 6 , x 7 , x 1 , x 9 . Hay algunos duplicados, ya que un remuestreo de arranque proviene del muestreo con reemplazo de los datos. Además, la cantidad de puntos de datos en un remuestreo de arranque es igual a la cantidad de puntos de datos en nuestras observaciones originales. Luego calculamos la media de este remuestreo y obtenemos la primera media de arranque : μ 1 *. Repetimos este proceso para obtener el segundo remuestreo X 2 * y calcular la segunda media de arranque μ 2 *. Si repetimos esto 100 veces, entonces tenemos μ 1 *, μ 2 *, ..., μ 100 *. Esto representa una distribución bootstrap empírica de la media muestral. A partir de esta distribución empírica, se puede derivar un intervalo de confianza de arranque para fines de prueba de hipótesis.

Regresión

En los problemas de regresión, el remuestreo de casos se refiere al esquema simple de remuestreo de casos individuales (a menudo filas de un conjunto de datos ). Para problemas de regresión, siempre que el conjunto de datos sea bastante grande, este esquema simple suele ser aceptable. [26] [27] [28] Sin embargo, el método está abierto a críticas [ cita necesaria ] . [18]

En los problemas de regresión, las variables explicativas suelen ser fijas, o al menos se observan con más control que la variable de respuesta. Además, el rango de las variables explicativas define la información disponible a partir de ellas. Por lo tanto, volver a muestrear los casos significa que cada muestra de arranque perderá cierta información. Como tal, se deben considerar procedimientos de arranque alternativos.

arranque bayesiano

El bootstrapping se puede interpretar en un marco bayesiano utilizando un esquema que crea nuevos conjuntos de datos reponderando los datos iniciales. Dado un conjunto de puntos de datos, la ponderación asignada al punto de datos en un nuevo conjunto de datos es , donde hay una lista ordenada de menor a mayor de números aleatorios distribuidos uniformemente en , precedida por 0 y seguida por 1. Las distribuciones de un parámetro Los valores inferidos al considerar muchos de estos conjuntos de datos son interpretables como distribuciones posteriores de ese parámetro. [29]

Arranque suave

Según este esquema, se agrega una pequeña cantidad de ruido aleatorio centrado en cero (generalmente distribuido normalmente) a cada observación remuestreada. Esto equivale a tomar un muestreo a partir de una estimación de la densidad del núcleo de los datos. Supongamos que K es una función de densidad del núcleo simétrica con varianza unitaria. El estimador kernel estándar de es

 [30]

¿ Dónde está el parámetro de suavizado? Y el estimador de la función de distribución correspondiente es

 [30]

Arranque paramétrico

Basado en el supuesto de que el conjunto de datos original es una realización de una muestra aleatoria de una distribución de un tipo paramétrico específico, en este caso se ajusta un modelo paramétrico mediante el parámetro θ, a menudo mediante máxima verosimilitud , y se extraen muestras de números aleatorios de este modelo ajustado. Por lo general, la muestra extraída tiene el mismo tamaño de muestra que los datos originales. Entonces la estimación de la función original F se puede escribir como . Este proceso de muestreo se repite muchas veces como para otros métodos de arranque. Considerando la media de la muestra centrada en este caso, la función de distribución original de la muestra aleatoria se reemplaza por una muestra aleatoria bootstrap con la función , y la distribución de probabilidad de se aproxima por la de , donde , que es la expectativa correspondiente a . [31] El uso de un modelo paramétrico en la etapa de muestreo de la metodología bootstrap conduce a procedimientos diferentes de los obtenidos aplicando la teoría estadística básica a la inferencia para el mismo modelo.

Remuestreo de residuos

Otro enfoque para el bootstrapping en problemas de regresión es remuestrear residuos . El método procede de la siguiente manera.

  1. Ajustar el modelo y conservar los valores ajustados y los residuos .
  2. Para cada par, ( xi , yi ), en el que xi es la variable explicativa ( posiblemente multivariada ) , agregue un residuo remuestreado aleatoriamente, al valor ajustado . En otras palabras, cree variables de respuesta sintéticas donde j se seleccione aleatoriamente de la lista (1,..., n ) para cada i .
  3. Vuelva a ajustar el modelo utilizando las variables de respuesta ficticias y conserve las cantidades de interés (a menudo los parámetros, estimados a partir del sintético ).
  4. Repita los pasos 2 y 3 una gran cantidad de veces.

Este esquema tiene la ventaja de que retiene la información en las variables explicativas. Sin embargo, surge la pregunta de qué residuos volver a muestrear. Los residuos crudos son una opción; otro son los residuos estudentizados (en regresión lineal). Aunque existen argumentos a favor del uso de residuos estudentizados; en la práctica, a menudo hay poca diferencia y es fácil comparar los resultados de ambos esquemas.

Arranque de regresión del proceso gaussiano

Cuando los datos están correlacionados temporalmente, el arranque directo destruye las correlaciones inherentes. Este método utiliza el proceso de regresión gaussiano (GPR) para ajustar un modelo probabilístico del cual luego se pueden extraer réplicas. GPR es un método de regresión no lineal bayesiano. Un proceso gaussiano (GP) es una colección de variables aleatorias, cualquier número finito de las cuales tiene una distribución gaussiana (normal) conjunta. Un GP se define mediante una función media y una función de covarianza, que especifican los vectores medios y las matrices de covarianza para cada colección finita de variables aleatorias. [32]

Modelo de regresión:

es un término de ruido.

Proceso gaussiano previo:

Para cualquier colección finita de variables, x 1 , ...,  x n , las salidas de la función se distribuyen conjuntamente según una matriz gaussiana multivariada con media y covarianza.

Supongamos entonces ,

donde y es la función delta estándar de Kronecker. [32]

Proceso gaussiano posterior:

Según GP anterior, podemos conseguir

,

dónde y

Sea x 1 * ,...,x s * otra colección finita de variables, es obvio que

,

dónde , ,

Según las ecuaciones anteriores, las salidas y también se distribuyen conjuntamente según una gaussiana multivariada. De este modo,

donde , , y es la matriz identidad. [32]

Arranque salvaje

El wild bootstrap, propuesto originalmente por Wu (1986), [33] es adecuado cuando el modelo exhibe heterocedasticidad . La idea es, como arranque residual, dejar los regresores en su valor muestral, pero volver a muestrear la variable de respuesta en función de los valores residuales. Es decir, para cada réplica, se calcula una nueva basada en

por lo tanto, los residuos se multiplican aleatoriamente por una variable aleatoria con media 0 y varianza 1. Para la mayoría de las distribuciones de (pero no la de Mammen), este método supone que la distribución residual "verdadera" es simétrica y puede ofrecer ventajas sobre el muestreo residual simple para muestras más pequeñas. tamaños. Se utilizan diferentes formas para la variable aleatoria , como

  • Una distribución sugerida por Mammen (1993). [34]
Aproximadamente, la distribución de Mammen es:

Arranque de bloque

El arranque en bloque se utiliza cuando los datos o los errores de un modelo están correlacionados. En este caso, un caso simple o un remuestreo residual fallarán, ya que no pueden replicar la correlación en los datos. El arranque de bloques intenta replicar la correlación remuestreando bloques internos de datos (consulte Bloqueo (estadísticas) ). El arranque en bloque se ha utilizado principalmente con datos correlacionados en el tiempo (es decir, series de tiempo), pero también se puede utilizar con datos correlacionados en el espacio o entre grupos (los llamados datos de clúster).

Serie temporal: arranque de bloque simple

En el arranque de bloques (simple), la variable de interés se divide en bloques que no se superponen.

Serie temporal: arranque de bloque móvil

En el bootstrap de bloques móviles, introducido por Künsch (1989), [35] los datos se dividen en n  −  b  + 1 bloques superpuestos de longitud b : la observación 1 a b será el bloque 1, la observación 2 a b  + 1 será el bloque 2 , etc. Luego, de estos n  −  b  + 1 bloques, los bloques n / b se extraerán al azar con reemplazo. Luego, alinear estos bloques n/b en el orden en que fueron elegidos dará las observaciones de arranque.

Este bootstrap funciona con datos dependientes; sin embargo, las observaciones bootstrap ya no serán estacionarias por construcción. Pero se demostró que variar aleatoriamente la longitud del bloque puede evitar este problema. [36] Este método se conoce como bootstrap estacionario. Otras modificaciones relacionadas del bootstrap de bloques móviles son el bootstrap de Markov y un método de bootstrap estacionario que hace coincidir bloques posteriores basándose en la coincidencia de desviación estándar.

Serie temporal: arranque de máxima entropía

Vinod (2006), [37] presenta un método que arranca datos de series temporales utilizando principios de máxima entropía que satisfacen el teorema ergódico con restricciones de preservación de la media y de la masa. Existe un paquete R, meboot , [38] que utiliza el método, que tiene aplicaciones en econometría e informática.

Datos del clúster: arranque de bloque

Los datos de conglomerados describen datos en los que se observan muchas observaciones por unidad. Esto podría ser observar muchas empresas en muchos estados u observar a los estudiantes en muchas clases. En tales casos, la estructura de correlación se simplifica y normalmente se supone que los datos están correlacionados dentro de un grupo/conglomerado, pero son independientes entre grupos/conglomerados. La estructura del bootstrap de bloque se obtiene fácilmente (donde el bloque sólo corresponde al grupo) y, por lo general, solo se vuelven a muestrear los grupos, mientras que las observaciones dentro de los grupos se dejan sin cambios. Cameron y cols. (2008) analiza esto para los errores agrupados en regresión lineal. [39]

Métodos para mejorar la eficiencia computacional.

El bootstrap es una técnica poderosa, aunque puede requerir importantes recursos informáticos tanto en tiempo como en memoria. Se han desarrollado algunas técnicas para reducir esta carga. Generalmente se pueden combinar con muchos de los diferentes tipos de esquemas Bootstrap y varias opciones de estadísticas.

Arranque de Poisson

Gráfico que muestra la convergencia de la Distribución Binomial a la de Poisson a medida que los parámetros Binomiales son n*p=1 y n crece

El bootstrap ordinario requiere la selección aleatoria de n elementos de una lista, lo que equivale a extraer de una distribución binomial. Esto puede requerir una gran cantidad de pasadas sobre los datos y es un desafío ejecutar estos cálculos en paralelo. Para valores grandes de n, el arranque de Poisson es un método eficaz para generar conjuntos de datos de arranque. [40] Al generar una única muestra de arranque, en lugar de extraer aleatoriamente los datos de la muestra con reemplazo, a cada punto de datos se le asigna un peso aleatorio distribuido de acuerdo con la distribución de Poisson con . Para datos de muestra grandes, esto se aproximará al muestreo aleatorio con reemplazo. Esto se debe a la siguiente aproximación:

Este método también se presta bien para la transmisión de datos y el crecimiento de conjuntos de datos, ya que no es necesario conocer el número total de muestras antes de comenzar a tomar muestras de arranque.

Para n suficientemente grande, los resultados son relativamente similares a las estimaciones bootstrap originales. [41]

Una forma de mejorar el arranque de Poisson, denominado "arranque secuencial", es tomando las primeras muestras de modo que la proporción de valores únicos sea ≈0,632 del tamaño de muestra original n. Esto proporciona una distribución cuyas principales características empíricas se encuentran a una distancia de . [42] La investigación empírica ha demostrado que este método puede producir buenos resultados. [43] Esto está relacionado con el método de arranque reducido. [44]

Bolsa de pequeños bootstraps

Para conjuntos de datos masivos, a menudo resulta prohibitivo desde el punto de vista computacional mantener todos los datos de muestra en la memoria y volver a muestrear a partir de los datos de muestra. The Bag of Little Bootstraps (BLB) [45] proporciona un método de preagregación de datos antes del arranque para reducir las restricciones computacionales. Esto funciona dividiendo el conjunto de datos en depósitos de igual tamaño y agregando los datos dentro de cada depósito. Este conjunto de datos preagregados se convierte en los nuevos datos de muestra sobre los cuales extraer muestras con reemplazo. Este método es similar al Block Bootstrap, pero las motivaciones y definiciones de los bloques son muy diferentes. Bajo ciertos supuestos, la distribución de la muestra debería aproximarse al escenario inicial completo. Una limitación es la cantidad de depósitos donde los autores recomiendan su uso como solución general.

Elección de estadística

La distribución de arranque de un estimador puntual de un parámetro de población se ha utilizado para producir un intervalo de confianza de arranque para el valor verdadero del parámetro si el parámetro se puede escribir como una función de la distribución de la población .

Los parámetros poblacionales se estiman con muchos estimadores puntuales . Las familias populares de estimadores puntuales incluyen estimadores de varianza mínima insesgados de media , estimadores insesgados de mediana , estimadores bayesianos (por ejemplo, la moda , mediana , media ) de la distribución posterior y estimadores de máxima verosimilitud .

Un estimador puntual bayesiano y un estimador de máxima verosimilitud tienen un buen rendimiento cuando el tamaño de la muestra es infinito, según la teoría asintótica . Para problemas prácticos con muestras finitas, pueden ser preferibles otros estimadores. La teoría asintótica sugiere técnicas que a menudo mejoran el desempeño de los estimadores bootstrap; El arranque de un estimador de máxima verosimilitud a menudo se puede mejorar utilizando transformaciones relacionadas con cantidades fundamentales . [46]

Derivar intervalos de confianza a partir de la distribución bootstrap

Se ha utilizado la distribución bootstrap de un estimador de parámetros para calcular intervalos de confianza para su parámetro poblacional. [1]

Sesgo, asimetría e intervalos de confianza.

Métodos para intervalos de confianza de arranque

Existen varios métodos para construir intervalos de confianza a partir de la distribución bootstrap de un parámetro real :

donde denota el percentil de los coeficientes bootstrap .
donde denota el percentil de los coeficientes bootstrap .
Véase Davison y Hinkley (1997, ecu. 5.18 p. 203) y Efron y Tibshirani (1993, ecu. 13.5 p. 171).
Este método se puede aplicar a cualquier estadística. Funcionará bien en los casos en los que la distribución bootstrap sea simétrica y esté centrada en la estadística observada [48] y en los que la estadística de la muestra sea medianamente insesgada y tenga una concentración máxima (o un riesgo mínimo con respecto a una función de pérdida de valor absoluto). Cuando se trabaja con tamaños de muestra pequeños (es decir, menos de 50), los intervalos de confianza percentil básico/invertido y percentil para (por ejemplo) la estadística de varianza serán demasiado estrechos. De modo que con una muestra de 20 puntos, el intervalo de confianza del 90% incluirá la varianza verdadera solo el 78% de las veces. [49] Los intervalos de confianza percentiles básicos/inversos son más fáciles de justificar matemáticamente [50] [47] pero son menos precisos en general que los intervalos de confianza percentiles, y algunos autores desaconsejan su uso. [47]
donde denota el percentil de la prueba t de Student con arranque y es el error estándar estimado del coeficiente en el modelo original.
La prueba estudentizada disfruta de propiedades óptimas ya que la estadística que se arranca es fundamental (es decir, no depende de parámetros molestos ya que la prueba t sigue asintóticamente una distribución N(0,1)), a diferencia del arranque percentil.

Prueba de hipótesis de arranque

Efron y Tibshirani [1] sugieren el siguiente algoritmo para comparar las medias de dos muestras independientes: Sea una muestra aleatoria de la distribución F con media muestral y varianza muestral . Sea otra muestra aleatoria independiente de la distribución G con media y varianza.

  1. Calcular la estadística de prueba.
  2. Cree dos nuevos conjuntos de datos cuyos valores sean y donde sea la media de la muestra combinada.
  3. Extraiga una muestra aleatoria ( ) de tamaño con reemplazo de y otra muestra aleatoria ( ) de tamaño con reemplazo de .
  4. Calcular la estadística de prueba.
  5. Repita 3 y 4 veces (p. ej. ) para recopilar valores de la estadística de prueba.
  6. Calcule el valor p cuando la condición es verdadera y 0 en caso contrario.

Aplicaciones de ejemplo

Arranque suavizado

En 1878, Simon Newcomb realizó observaciones sobre la velocidad de la luz . [51] El conjunto de datos contiene dos valores atípicos , que influyen en gran medida en la media de la muestra . (La media muestral no necesita ser un estimador consistente para ninguna media poblacional , porque no es necesario que exista media para una distribución de cola pesada ). Una estadística bien definida y sólida para la tendencia central es la mediana muestral, que es consistente y mediana. -imparcial para la mediana poblacional.

La distribución de arranque para los datos de Newcomb aparece a continuación. Podemos reducir la discreción de la distribución de arranque agregando una pequeña cantidad de ruido aleatorio a cada muestra de arranque. Una opción convencional es agregar ruido con una desviación estándar de para un tamaño de muestra n ; este ruido a menudo se extrae de una distribución t de Student con n-1 grados de libertad. [52] Esto da como resultado un estimador aproximadamente insesgado para la varianza de la media muestral. [53] Esto significa que las muestras tomadas de la distribución bootstrap tendrán una varianza que es, en promedio, igual a la varianza de la población total.

A continuación se muestran histogramas de la distribución bootstrap y de la distribución bootstrap suave. La distribución bootstrap de la mediana muestral tiene solo una pequeña cantidad de valores. La distribución de arranque suavizada tiene un soporte más rico . Sin embargo, tenga en cuenta que si el procedimiento de arranque suavizado o estándar es favorable depende de cada caso y se muestra que depende tanto de la función de distribución subyacente como de la cantidad que se estima. [54]

En este ejemplo, el intervalo de confianza del 95% (percentil) con arranque para la mediana de la población es (26, 28,5), que está cerca del intervalo de (25,98, 28,46) para el arranque suavizado.

Relación con otros enfoques de la inferencia

Relación con otros métodos de remuestreo

El bootstrap se distingue de:

Para obtener más detalles, consulte remuestreo .

La agregación de Bootstrap (bagging) es un metaalgoritmo basado en predicciones de modelos promediadas obtenidas a partir de modelos entrenados en múltiples muestras de bootstrap.

estadística U

En situaciones en las que se puede idear una estadística obvia para medir una característica requerida utilizando sólo un pequeño número, r , de elementos de datos, se puede formular una estadística correspondiente basada en toda la muestra. Dada una estadística de r -muestra, se puede crear una estadística de n -muestra mediante algo similar al arranque (tomando el promedio de la estadística sobre todas las submuestras de tamaño r ). Se sabe que este procedimiento tiene ciertas buenas propiedades y el resultado es una estadística U. La media muestral y la varianza muestral tienen esta forma, para r  = 1 y r  = 2.

Métodos para demostrar la coherencia de las estimaciones bootstrap.

Es posible utilizar el teorema del límite central para mostrar la consistencia del procedimiento bootstrap para estimar la distribución de la media muestral.

Específicamente, consideremos variables aleatorias independientes distribuidas idénticamente con y para cada . Dejar . Además, para cada , condicionado a , sean variables aleatorias independientes con distribución igual a la distribución empírica de . Esta es la secuencia de muestras de arranque.

Entonces se puede demostrar que

Para ver esto, observemos que se satisface la condición de Lindeberg , por lo que el CLT se cumple. [55]

Ver también

Referencias

  1. ^ abcde Efron, B .; Tibshirani, R. (1993). Una introducción a Bootstrap . Boca Ratón, FL: Chapman & Hall/CRC. ISBN 0-412-04231-2.software Archivado el 12 de julio de 2012 en archive.today
  2. ^ Segundos pensamientos sobre Bootstrap - Bradley Efron, 2003
  3. ^ Varian, H. (2005). "Tutorial de arranque". Revista Mathematica , 9, 768–775.
  4. ^ Weisstein, Eric W. "Métodos Bootstrap". De MathWorld: un recurso web de Wolfram. http://mathworld.wolfram.com/BootstrapMethods.html
  5. ^ Lehmann EL (1992) "Introducción a Neyman y Pearson (1933) sobre el problema de las pruebas más eficientes de hipótesis estadísticas". En: Avances en estadística, volumen 1, (Eds Kotz, S., Johnson, NL), Springer-Verlag. ISBN 0-387-94037-5 (seguido de la reimpresión del artículo).
  6. ^ Notas para los primeros usos conocidos de algunas de las palabras de matemáticas: Bootstrap (John Aldrich)
  7. ^ Primeros usos conocidos de algunas de las palabras de matemáticas (B) (Jeff Miller)
  8. ^ ab Efron, B. (1979). "Métodos bootstrap: otra mirada a la navaja". Los anales de la estadística . 7 (1): 1–26. doi : 10.1214/aos/1176344552 .
  9. ^ Quenouille M (1949) Pruebas aproximadas de correlación en series de tiempo. J Roy Estatista Soc Ser B 11 68–84
  10. ^ Tukey J (1958) Sesgo y confianza en muestras no muy grandes (resumen). Ann Estadística de Matemáticas 29 614
  11. ^ Jaeckel L (1972) La navaja infinitesimal. Memorando MM72-1215-11, Laboratorio Bell
  12. ^ Bickel P, Freeman D (1981) Alguna teoría asintótica para el bootstrap. Ann Estatista 9 1196-1217
  13. ^ Singh K (1981) Sobre la precisión asintótica del bootstrap de Efron. Ann Estatista 9 1187-1195
  14. ^ Rubin D (1981). El bootstrap bayesiano. Ann Estatista 9 130–134
  15. ^ a b C Efron, B. (1987). "Mejores intervalos de confianza de Bootstrap". Revista de la Asociación Estadounidense de Estadística . Revista de la Asociación Estadounidense de Estadística, vol. 82, núm. 397. 82 (397): 171–185. doi :10.2307/2289144. JSTOR  2289144.
  16. ^ Dicicio, Tomás; Efron, Bradley (1 de junio de 1992). "Intervalos de confianza más precisos en familias exponenciales". Biometrika . págs. 231-245. doi :10.2307/2336835. ISSN  0006-3444. OCLC  5545447518 . Consultado el 31 de enero de 2024 .
  17. ^ Bueno, P. (2006) Métodos de remuestreo. 3ª edición. Birkhauser.
  18. ^ abc "21 modelos de regresión de arranque" (PDF) . Archivado (PDF) desde el original el 24 de julio de 2015.
  19. ^ DiCiccio TJ, Efron B (1996) Intervalos de confianza de Bootstrap (con discusión). Ciencia estadística 11: 189–228
  20. ^ Hinkley, David (1 de agosto de 1994). "[Bootstrap: ¿Más que una puñalada en la oscuridad?]: Comentario". Ciencia estadística . 9 (3). doi : 10.1214/ss/1177010387 . ISSN  0883-4237.
  21. ^ Goodhue, DL, Lewis, W. y Thompson, R. (2012). ¿Tiene PLS ventajas para muestras de tamaño pequeño o datos anormales? MIS trimestral, 36(3), 981–1001.
  22. ^ Efron, B., Rogosa, D. y Tibshirani, R. (2004). Métodos de estimación de remuestreo. En NJ Smelser y PB Baltes (Eds.). Enciclopedia internacional de ciencias sociales y del comportamiento (págs. 13216-13220). Nueva York, Nueva York: Elsevier.
  23. ^ Adèr, HJ , Mellenbergh GJ y Hand, DJ (2008). Asesoramiento sobre métodos de investigación: el compañero de un consultor . Huizen, Países Bajos: Johannes van Kessel Publishing. ISBN 978-90-79418-01-5
  24. ^ Bootstrap de la media en el caso de varianza infinita Athreya, KB Ann Stats vol 15 (2) 1987 724–731
  25. ^ "¿Cuántas muestras de arranque diferentes hay? Statweb.stanford.edu". Archivado desde el original el 14 de septiembre de 2019 . Consultado el 9 de diciembre de 2019 .
  26. ^ Jenkins, David G.; Quintana-Ascencio, Pedro F. (2020-02-21). "Una solución al tamaño mínimo de muestra para regresiones". MÁS UNO . 15 (2): e0229345. Código Bib : 2020PLoSO..1529345J. doi : 10.1371/journal.pone.0229345 . ISSN  1932-6203. PMC 7034864 . PMID  32084211. 
  27. ^ Lumley, Thomas (2002). "La importancia del supuesto de normalidad en grandes conjuntos de datos de salud pública". Revista Anual de Salud Pública . 23 : 151-169. doi : 10.1146/annurev.publhealth.23.100901.140546 . PMID  11910059.
  28. ^ Li, Xiang; Wong, Wanling; Lamoureux, Ecosse L.; Wong, Tien Y. (1 de mayo de 2012). "¿Son adecuadas las técnicas de regresión lineal para el análisis cuando la variable dependiente (de resultado) no tiene una distribución normal?". Oftalmología de investigación y ciencias visuales . 53 (6): 3082–3083. doi :10.1167/iovs.12-9967. ISSN  1552-5783. PMID  22618757.
  29. ^ Rubin, DB (1981). "El arranque bayesiano". Anales de Estadística , 9, 130.
  30. ^ ab WANG, SUOJIN (1995). "Optimización del bootstrap suavizado". Ana. Inst. Estadístico. Matemáticas . 47 : 65–80. doi :10.1007/BF00773412. S2CID  122041565.
  31. ^ Una introducción moderna a la probabilidad y la estadística: comprender por qué y cómo . Dekking, Michel, 1946-. Londres: Springer. 2005.ISBN _ 978-1-85233-896-1. OCLC  262680588.{{cite book}}: CS1 maint: others (link)
  32. ^ abc Kirk, Paul (2009). "Arranque de regresión del proceso gaussiano: exploración de los efectos de la incertidumbre en los datos del curso del tiempo". Bioinformática . 25 (10): 1300-1306. doi : 10.1093/bioinformática/btp139. PMC 2677737 . PMID  19289448. 
  33. ^ Wu, CFJ (1986). "Jackknife, bootstrap y otros métodos de remuestreo en análisis de regresión (con discusiones)" (PDF) . Anales de Estadística . 14 : 1261-1350. doi : 10.1214/aos/1176350142 .
  34. ^ Mammen, E. (marzo de 1993). "Bootstrap y wild bootstrap para modelos lineales de alta dimensión". Anales de Estadística . 21 (1): 255–285. doi : 10.1214/aos/1176349025 .
  35. ^ Kunsch, HR (1989). "El Jackknife y el Bootstrap para observaciones estacionarias generales". Anales de Estadística . 17 (3): 1217-1241. doi : 10.1214/aos/1176347265 .
  36. ^ Politis, DN; Romano, JP (1994). "El Bootstrap estacionario". Revista de la Asociación Estadounidense de Estadística . 89 (428): 1303-1313. doi :10.1080/01621459.1994.10476870. hdl : 10983/25607 .
  37. ^ Vinod, HD (2006). "Conjuntos de entropía máxima para la inferencia de series temporales en economía". Revista de economía asiática . 17 (6): 955–978. doi :10.1016/j.asieco.2006.09.001.
  38. ^ Vinod, Hrishikesh; López-de-Lacalle, Javier (2009). "Arranque de entropía máxima para series temporales: el paquete meboot R". Revista de software estadístico . 29 (5): 1–19. doi : 10.18637/jss.v029.i05 .
  39. ^ Cameron, CA; Gelbach, JB; Molinero, DL (2008). "Mejoras basadas en Bootstrap para inferencia con errores agrupados" (PDF) . Revista de Economía y Estadística . 90 (3): 414–427. doi : 10.1162/rest.90.3.414.
  40. ^ Chamandy, N; Muralidharan, O; Najmi, A; Naidu, S (2012). "Estimación de la incertidumbre para flujos de datos masivos".
  41. ^ Hanley, James A. y Brenda MacGibbon. "Creación de muestras de arranque no paramétricas utilizando frecuencias de Poisson". métodos y programas informáticos en biomedicina 83.1 (2006): 57-62. pdf
  42. ^ Babu, G. Jogesh, PK Pathak y CR Rao. "Corrección de segundo orden del bootstrap de Poisson". Los Anales de Estadísticas 27.5 (1999): 1666-1683. enlace
  43. ^ Zapatero, Owen J. y PK Pathak. "El bootstrap secuencial: una comparación con el bootstrap normal". Comunicaciones en Estadística-Teoría y Métodos 30.8-9 (2001): 1661-1674. enlace
  44. ^ Jiménez-Gamero, María Dolores, Joaquín Muñoz-García y Rafael Pino-Mejías. "Bootstrap reducido para la mediana". Estadística Sínica (2004): 1179-1198. enlace
  45. ^ Kleiner, A; Talwalkar, A; Sarkar, P; Jordania, MI (2014). "Un arranque escalable para datos masivos". Revista de la Royal Statistical Society, Serie B (Metodología estadística) . 76 (4): 795–816. arXiv : 1112.5016 . doi :10.1111/rssb.12050. ISSN  1369-7412. S2CID  3064206.
  46. ^ ab Davison, CA ; Hinkley, DV (1997). Métodos Bootstrap y su aplicación . Serie Cambridge en Matemáticas Estadística y Probabilística. Prensa de la Universidad de Cambridge. ISBN 0-521-57391-2. software.
  47. ^ abc Hesterberg, Tim C (2014). "Lo que los profesores deben saber sobre Bootstrap: remuestreo en el plan de estudios de estadística de pregrado". arXiv : 1411.5279 [estad.OT].
  48. ^ Efrón, B. (1982). "El jackknife, el bootstrap y otros planes de remuestreo ". vol. 38. Monografías CBMS-NSF de la Sociedad de Matemáticas Industriales y Aplicadas. ISBN 0-89871-179-7.
  49. ^ Scheiner, S. (1998). Diseño y análisis de experimentos ecológicos . Prensa CRC. ISBN 0412035618.Capítulo 13, p300
  50. ^ Arroz, John. Estadística Matemática y Análisis de Datos (2 ed.). pag. 272."Aunque esta ecuación directa de cuantiles de la distribución de muestreo bootstrap con límites de confianza puede parecer inicialmente atractiva, su fundamento es algo oscuro".
  51. ^ Datos de ejemplos en análisis de datos bayesianos
  52. ^ Chihara, Laura; Hesterberg, Tim (3 de agosto de 2018). Estadística matemática con remuestreo y R (2ª ed.). John Wiley & Sons, Inc. doi :10.1002/9781119505969. ISBN 9781119416548. S2CID  60138121.
  53. ^ Voinov, Vassily [G.]; Nikulin, Mikhail [S.] (1993). Estimadores insesgados y sus aplicaciones. vol. 1: Caso univariado. Dordrect: Editores académicos de Kluwer. ISBN 0-7923-2382-3.
  54. ^ Young, GA (julio de 1990). "Bootstraps suavizados alternativos". Revista de la Royal Statistical Society, Serie B (Metodológica) . 52 (3): 477–484. doi :10.1111/j.2517-6161.1990.tb01801.x. ISSN  0035-9246.
  55. ^ Gregory, Karl (29 de diciembre de 2023). «Algunos resultados basados ​​en el teorema del límite central de Lindeberg» (PDF) . Consultado el 29 de diciembre de 2023 .

Otras lecturas

enlaces externos

Software