En estadística , el remuestreo es la creación de nuevas muestras basadas en una muestra observada. Los métodos de remuestreo son:
Las pruebas de permutación se basan en volver a muestrear los datos originales asumiendo la hipótesis nula. Con base en los datos remuestreados, se puede concluir qué probabilidad hay de que los datos originales ocurran bajo la hipótesis nula.
Bootstrapping es un método estadístico para estimar la distribución muestral de un estimador mediante muestreo con reemplazo de la muestra original, generalmente con el propósito de derivar estimaciones sólidas de errores estándar e intervalos de confianza de un parámetro poblacional como la media , la mediana , la proporción y las probabilidades. ratio , coeficiente de correlación o coeficiente de regresión . Se le ha llamado principio plug-in , [1] ya que es el método de estimación de funcionales de una distribución poblacional mediante la evaluación de los mismos funcionales en la distribución empírica basada en una muestra.
Por ejemplo, [1] al estimar la media poblacional , este método utiliza la media muestral ; para estimar la mediana poblacional , utiliza la mediana muestral; para estimar la línea de regresión poblacional , se utiliza la línea de regresión muestral.
También se puede utilizar para construir pruebas de hipótesis. A menudo se utiliza como una alternativa sólida a la inferencia basada en supuestos paramétricos cuando esos supuestos están en duda, o cuando la inferencia paramétrica es imposible o requiere fórmulas muy complicadas para el cálculo de errores estándar. Las técnicas de bootstrapping también se utilizan en las transiciones de actualización-selección de filtros de partículas , algoritmos de tipo genético y métodos Monte Carlo de remuestreo/reconfiguración relacionados utilizados en física computacional . [2] [3] En este contexto, el bootstrap se utiliza para reemplazar medidas de probabilidad ponderadas empíricas secuenciales por medidas empíricas . El bootstrap permite sustituir las muestras con pesos bajos por copias de las muestras con pesos altos.
La validación cruzada es un método estadístico para validar un modelo predictivo . Se reservan subconjuntos de datos para su uso como conjuntos de validación; un modelo se ajusta a los datos restantes (un conjunto de entrenamiento) y se utiliza para predecir el conjunto de validación. Promediar la calidad de las predicciones en los conjuntos de validación produce una medida general de la precisión de la predicción. La validación cruzada se emplea repetidamente en la construcción de árboles de decisión.
Una forma de validación cruzada omite una sola observación a la vez; esto es similar a la navaja . Otra validación cruzada de K veces divide los datos en K subconjuntos; cada uno se presenta a su vez como conjunto de validación.
Esto evita la "autoinfluencia". A modo de comparación, en los métodos de análisis de regresión , como la regresión lineal , cada valor de y dibuja la línea de regresión hacia sí mismo, lo que hace que la predicción de ese valor parezca más precisa de lo que realmente es. La validación cruzada aplicada a la regresión lineal predice el valor de y para cada observación sin utilizar esa observación.
Esto se utiliza a menudo para decidir cuántas variables predictivas utilizar en la regresión. Sin validación cruzada, agregar predictores siempre reduce la suma residual de cuadrados (o posiblemente la deja sin cambios). Por el contrario, el error cuadrático medio con validación cruzada tenderá a disminuir si se agregan predictores valiosos, pero aumentará si se agregan predictores inútiles. [4]
El submuestreo es un método alternativo para aproximar la distribución muestral de un estimador. Las dos diferencias clave con el bootstrap son:
La ventaja del submuestreo es que es válido en condiciones mucho más débiles en comparación con el bootstrap. En particular, un conjunto de condiciones suficientes es que se conozca la tasa de convergencia del estimador y que la distribución límite sea continua. Además, el tamaño de la remuestra (o submuestra) debe tender al infinito junto con el tamaño de la muestra pero a una tasa menor, de modo que su relación converja a cero. Si bien el submuestreo se propuso originalmente sólo para el caso de datos independientes e idénticamente distribuidos (iid), la metodología se ha ampliado para abarcar también datos de series temporales; en este caso, se vuelven a muestrear bloques de datos posteriores en lugar de puntos de datos individuales. Hay muchos casos de interés aplicado en los que el submuestreo conduce a una inferencia válida, mientras que el bootstrapping no; por ejemplo, tales casos incluyen ejemplos en los que la tasa de convergencia del estimador no es la raíz cuadrada del tamaño de la muestra o cuando la distribución límite no es normal. Cuando tanto el submuestreo como el bootstrap son consistentes, el bootstrap suele ser más preciso. RANSAC es un algoritmo popular que utiliza submuestreo.
Jackknifing (validación cruzada jackknife), se utiliza en inferencia estadística para estimar el sesgo y el error estándar (varianza) de una estadística, cuando se utiliza una muestra aleatoria de observaciones para calcularla. Históricamente, este método precedió a la invención del bootstrap: Quenouille inventó este método en 1949 y Tukey lo extendió en 1958. [5] [6] Este método fue presagiado por Mahalanobis , quien en 1946 sugirió estimaciones repetidas de la estadística de interés con la mitad de la muestra elegida al azar. [7] Acuñó el nombre de "muestras interpenetrantes" para este método.
Quenouille inventó este método con la intención de reducir el sesgo de la estimación muestral. Tukey amplió este método asumiendo que si las réplicas pudieran considerarse distribuidas de manera idéntica e independiente, entonces se podría hacer una estimación de la varianza del parámetro de la muestra y que se distribuiría aproximadamente como variable con n −1 grados de libertad ( n siendo el tamaño de la muestra).
La idea básica detrás del estimador de varianza jackknife radica en recalcular sistemáticamente la estimación estadística, omitiendo una o más observaciones a la vez del conjunto de muestras. A partir de este nuevo conjunto de réplicas de la estadística, se puede calcular una estimación del sesgo y una estimación de la varianza de la estadística.
En lugar de utilizar la navaja para estimar la varianza, se puede aplicar al registro de la varianza. Esta transformación puede dar como resultado mejores estimaciones, particularmente cuando la distribución de la varianza en sí misma puede no ser normal.
Para muchos parámetros estadísticos, la estimación jackknife de la varianza tiende asintóticamente al valor verdadero casi con seguridad. En términos técnicos se dice que la estimación jackknife es consistente . El jackknife es consistente para las medias muestrales , las varianzas muestrales , los estadísticos t centrales y no centrales (con poblaciones posiblemente no normales), el coeficiente de variación muestral , los estimadores de máxima verosimilitud , los estimadores de mínimos cuadrados, los coeficientes de correlación y los coeficientes de regresión .
No es consistente para la mediana de la muestra . En el caso de una variable unimodal, la relación entre la varianza jackknife y la varianza muestral tiende a distribuirse como la mitad del cuadrado de una distribución chi cuadrado con dos grados de libertad .
El jackknife, al igual que el bootstrap original, depende de la independencia de los datos. Se han propuesto extensiones del jackknife para permitir la dependencia de los datos.
Otra extensión es el método de eliminación de un grupo utilizado en asociación con el muestreo de Poisson .
Jackknife es equivalente a la validación cruzada aleatoria (submuestreo) de dejar uno fuera, solo difiere en el objetivo. [8]
Ambos métodos, el bootstrap y el jackknife, estiman la variabilidad de una estadística a partir de la variabilidad de esa estadística entre submuestras, en lugar de supuestos paramétricos. Para el jackknife más general, el jackknife de observaciones de eliminación de m, el bootstrap puede verse como una aproximación aleatoria del mismo. Ambos arrojan resultados numéricos similares, por lo que cada uno puede verse como una aproximación del otro. Aunque existen enormes diferencias teóricas en sus conocimientos matemáticos, la principal diferencia práctica para los usuarios de estadísticas es que el bootstrap da resultados diferentes cuando se repite con los mismos datos, mientras que el jackknife da exactamente el mismo resultado cada vez. Debido a esto, el jackknife es popular cuando las estimaciones deben verificarse varias veces antes de publicarlas (por ejemplo, agencias oficiales de estadísticas). Por otro lado, cuando esta característica de verificación no es crucial y lo que interesa no es tener un número sino sólo una idea de su distribución, se prefiere el bootstrap (por ejemplo, estudios de física, economía, ciencias biológicas).
El uso del bootstrap o del jackknife puede depender más de aspectos operativos que de aspectos estadísticos de una encuesta. El jackknife, utilizado originalmente para reducir el sesgo, es un método más especializado y solo estima la varianza del estimador puntual. Esto puede ser suficiente para inferencias estadísticas básicas (p. ej., pruebas de hipótesis, intervalos de confianza). El bootstrap, por otro lado, primero estima la distribución completa (del estimador puntual) y luego calcula la varianza a partir de eso. Si bien es potente y sencillo, esto puede resultar muy intensivo desde el punto de vista computacional.
"El bootstrap se puede aplicar tanto a problemas de estimación de varianza como de distribución. Sin embargo, el estimador de varianza bootstrap no es tan bueno como el jackknife o el estimador de varianza de replicación repetida equilibrada (BRR) en términos de resultados empíricos. Además, el estimador de varianza bootstrap Por lo general, requiere más cálculos que el jackknife o el BRR. Por lo tanto, el bootstrap se recomienda principalmente para la estimación de la distribución. [ atribución necesaria ] [9]
Hay una consideración especial con el jackknife, particularmente con el jackknife de observación de eliminación 1. Sólo debe usarse con estadísticas suaves y diferenciables (por ejemplo, totales, medias, proporciones, razones, razones impares, coeficientes de regresión, etc.; no con medianas o cuantiles). Esto podría convertirse en una desventaja práctica. Esta desventaja suele ser el argumento a favor del bootstrapping en lugar del jackknifing. Los jackknifes más generales que el de eliminar-1, como el de eliminar-m o el estimador de Hodges-Lehmann de eliminar-todos menos 2 , superan este problema para las medianas y los cuantiles al relajar los requisitos de suavidad para una estimación de varianza consistente.
Por lo general, el jackknife es más fácil de aplicar a esquemas de muestreo complejos que el bootstrap. Los esquemas de muestreo complejos pueden implicar estratificación, múltiples etapas (agrupación), pesos muestrales variables (ajustes por falta de respuesta, calibración, posestratificación) y diseños de muestreo de probabilidades desiguales. Los aspectos teóricos tanto del bootstrap como del jackknife se pueden encontrar en Shao y Tu (1995), [10] mientras que en Wolter (2007) se ofrece una introducción básica. [11] La estimación bootstrap del sesgo de predicción del modelo es más precisa que las estimaciones jackknife con modelos lineales como la función discriminante lineal o la regresión múltiple. [12]
Serie: Probabilidad y Aplicaciones
Monografías sobre estadística y probabilidad aplicada.