En estadística , el remuestreo es la creación de nuevas muestras a partir de una muestra observada. Los métodos de remuestreo son:
Las pruebas de permutación se basan en el remuestreo de los datos originales asumiendo la hipótesis nula. Con base en los datos remuestreados se puede concluir qué probabilidad hay de que los datos originales se cumplan bajo la hipótesis nula.
El bootstrapping es un método estadístico para estimar la distribución de muestreo de un estimador mediante muestreo con reemplazo de la muestra original, generalmente con el propósito de derivar estimaciones robustas de errores estándar e intervalos de confianza de un parámetro de población como una media , mediana , proporción , razón de probabilidades , coeficiente de correlación o coeficiente de regresión . Se ha llamado principio de plug-in , [1] ya que es el método de estimación de funcionales de una distribución de población mediante la evaluación de los mismos funcionales en la distribución empírica basada en una muestra.
Por ejemplo, [1] al estimar la media de la población , este método utiliza la media de la muestra ; para estimar la mediana de la población , utiliza la mediana de la muestra; para estimar la línea de regresión de la población , utiliza la línea de regresión de la muestra.
También se puede utilizar para construir pruebas de hipótesis. A menudo se utiliza como una alternativa robusta a la inferencia basada en supuestos paramétricos cuando esos supuestos están en duda, o cuando la inferencia paramétrica es imposible o requiere fórmulas muy complicadas para el cálculo de errores estándar. Las técnicas de bootstrap también se utilizan en las transiciones de actualización-selección de filtros de partículas , algoritmos de tipo genético y métodos de Monte Carlo de remuestreo/reconfiguración relacionados utilizados en física computacional . [2] [3] En este contexto, el bootstrap se utiliza para reemplazar secuencialmente medidas de probabilidad ponderadas empíricas por medidas empíricas . El bootstrap permite reemplazar las muestras con pesos bajos por copias de las muestras con pesos altos.
La validación cruzada es un método estadístico para validar un modelo predictivo . Se reservan subconjuntos de los datos para usarlos como conjuntos de validación; se ajusta un modelo a los datos restantes (un conjunto de entrenamiento) y se utiliza para predecir el conjunto de validación. Al promediar la calidad de las predicciones en los conjuntos de validación se obtiene una medida general de la precisión de la predicción. La validación cruzada se emplea repetidamente en la construcción de árboles de decisión.
Una forma de validación cruzada omite una sola observación a la vez; esto es similar a la operación jackknife . Otra, la validación cruzada K -fold, divide los datos en K subconjuntos; cada uno se presenta a su vez como el conjunto de validación.
Esto evita la "autoinfluencia". A modo de comparación, en los métodos de análisis de regresión como la regresión lineal , cada valor y dibuja la línea de regresión hacia sí mismo, lo que hace que la predicción de ese valor parezca más precisa de lo que realmente es. La validación cruzada aplicada a la regresión lineal predice el valor y para cada observación sin utilizar esa observación.
Esto se utiliza a menudo para decidir cuántas variables predictoras se utilizarán en la regresión. Sin validación cruzada, la adición de predictores siempre reduce la suma de cuadrados residual (o posiblemente la deja sin cambios). Por el contrario, el error cuadrático medio validado de forma cruzada tenderá a disminuir si se añaden predictores valiosos, pero aumentará si se añaden predictores inútiles. [4]
El submuestreo es un método alternativo para aproximar la distribución de muestreo de un estimador. Las dos diferencias clave con el método bootstrap son:
La ventaja del submuestreo es que es válido en condiciones mucho más débiles en comparación con el método bootstrap. En particular, un conjunto de condiciones suficientes es que se conozca la tasa de convergencia del estimador y que la distribución límite sea continua. Además, el tamaño de la nueva muestra (o submuestra) debe tender al infinito junto con el tamaño de la muestra, pero a una tasa menor, de modo que su relación converja a cero. Si bien el submuestreo se propuso originalmente solo para el caso de datos independientes e idénticamente distribuidos (iid), la metodología se ha extendido para cubrir también los datos de series temporales; en este caso, se remuestrean bloques de datos posteriores en lugar de puntos de datos individuales. Hay muchos casos de interés aplicado en los que el submuestreo conduce a una inferencia válida, mientras que el método bootstrap no lo hace; por ejemplo, estos casos incluyen ejemplos en los que la tasa de convergencia del estimador no es la raíz cuadrada del tamaño de la muestra o cuando la distribución límite no es normal. Cuando tanto el submuestreo como el método bootstrap son consistentes, el método bootstrap suele ser más preciso. RANSAC es un algoritmo popular que utiliza submuestreo.
El método Jackknifing (validación cruzada Jackknife) se utiliza en la inferencia estadística para estimar el sesgo y el error estándar (varianza) de una estadística, cuando se utiliza una muestra aleatoria de observaciones para calcularla. Históricamente, este método precedió a la invención del bootstrap, con Quenouille inventando este método en 1949 y Tukey ampliándolo en 1958. [5] [6] Este método fue anticipado por Mahalanobis, quien en 1946 sugirió estimaciones repetidas de la estadística de interés con la mitad de la muestra elegida al azar. [7] Acuñó el nombre de "muestras interpenetrantes" para este método.
Quenouille inventó este método con la intención de reducir el sesgo de la estimación de la muestra. Tukey amplió este método al suponer que si las réplicas podían considerarse idénticas e independientemente distribuidas, entonces se podría realizar una estimación de la varianza del parámetro de la muestra y que estaría distribuida aproximadamente como en variación con n −1 grados de libertad ( siendo n el tamaño de la muestra).
La idea básica detrás del estimador de varianza de tipo navaja consiste en recalcular sistemáticamente la estimación del estadístico, dejando fuera una o más observaciones a la vez del conjunto de la muestra. A partir de este nuevo conjunto de réplicas del estadístico, se puede calcular una estimación del sesgo y una estimación de la varianza del estadístico.
En lugar de utilizar la técnica de navaja para estimar la varianza, se puede aplicar al logaritmo de la varianza. Esta transformación puede dar como resultado mejores estimaciones, en particular cuando la distribución de la varianza en sí misma puede no ser normal.
Para muchos parámetros estadísticos, la estimación de varianza mediante el método jackknife tiende asintóticamente al valor verdadero casi con seguridad. En términos técnicos, se dice que la estimación mediante el método jackknife es consistente . El método jackknife es consistente para las medias muestrales , las varianzas muestrales , los estadísticos t centrales y no centrales (con poblaciones posiblemente no normales), el coeficiente de variación muestral , los estimadores de máxima verosimilitud , los estimadores de mínimos cuadrados, los coeficientes de correlación y los coeficientes de regresión .
No es consistente para la mediana de la muestra . En el caso de una variable unimodal, la relación entre la varianza de navaja y la varianza de la muestra tiende a distribuirse como la mitad del cuadrado de una distribución de chi cuadrado con dos grados de libertad .
El método jackknife, al igual que el bootstrap original, depende de la independencia de los datos. Se han propuesto extensiones del método jackknife para permitir la dependencia de los datos.
Otra extensión es el método de eliminar un grupo utilizado en asociación con el muestreo de Poisson .
Jackknife es equivalente a la validación cruzada aleatoria (submuestreo) con un método que deja uno fuera, solo se diferencia en el objetivo. [8]
Ambos métodos, el bootstrap y el jackknife, estiman la variabilidad de una estadística a partir de la variabilidad de esa estadística entre submuestras, en lugar de a partir de supuestos paramétricos. Para el jackknife más general, el jackknife de delete-m observaciones, el bootstrap puede verse como una aproximación aleatoria de la misma. Ambos producen resultados numéricos similares, por lo que cada uno puede verse como una aproximación al otro. Aunque existen enormes diferencias teóricas en sus conocimientos matemáticos, la principal diferencia práctica para los usuarios de estadística es que el bootstrap da resultados diferentes cuando se repite en los mismos datos, mientras que el jackknife da exactamente el mismo resultado cada vez. Debido a esto, el jackknife es popular cuando las estimaciones deben verificarse varias veces antes de publicarse (por ejemplo, agencias de estadísticas oficiales). Por otro lado, cuando esta característica de verificación no es crucial y es de interés no tener un número sino solo una idea de su distribución, se prefiere el bootstrap (por ejemplo, estudios en física, economía, ciencias biológicas).
La decisión de utilizar el método bootstrap o el método jackknife puede depender más de aspectos operativos que de las preocupaciones estadísticas de una encuesta. El método jackknife, utilizado originalmente para la reducción del sesgo, es un método más especializado y solo estima la varianza del estimador puntual. Esto puede ser suficiente para la inferencia estadística básica (por ejemplo, pruebas de hipótesis, intervalos de confianza). El método bootstrap, por otro lado, primero estima toda la distribución (del estimador puntual) y luego calcula la varianza a partir de ella. Si bien es poderoso y fácil, puede llegar a ser muy intensivo en términos computacionales.
"El método bootstrap se puede aplicar tanto a problemas de estimación de varianza como de distribución. Sin embargo, el estimador de varianza bootstrap no es tan bueno como el estimador de varianza jackknife o el estimador de varianza de replicación repetida balanceada (BRR) en términos de resultados empíricos. Además, el estimador de varianza bootstrap generalmente requiere más cálculos que el jackknife o el BRR. Por lo tanto, el método bootstrap se recomienda principalmente para la estimación de distribución". [ atribución requerida ] [9]
Existe una consideración especial con el jackknife, particularmente con el jackknife de observación delete-1. Solo debe usarse con estadísticas diferenciables y suaves (por ejemplo, totales, medias, proporciones, razones, razones de probabilidades, coeficientes de regresión, etc.; no con medianas o cuantiles). Esto podría convertirse en una desventaja práctica. Esta desventaja suele ser el argumento a favor del bootstrapping sobre el jackknifing. Los jackknifes más generales que el delete-1, como el jackknife delete-m o el estimador de Hodges -Lehmann delete-all-but-2 , superan este problema para las medianas y cuantiles al relajar los requisitos de suavidad para una estimación de varianza consistente.
Por lo general, el método jackknife es más fácil de aplicar a esquemas de muestreo complejos que el método bootstrap. Los esquemas de muestreo complejos pueden implicar estratificación, etapas múltiples (agrupamiento), ponderaciones de muestreo variables (ajustes por falta de respuesta, calibración, postestratificación) y diseños de muestreo de probabilidad desigual. Los aspectos teóricos tanto del método bootstrap como del jackknife se pueden encontrar en Shao y Tu (1995), [10] mientras que una introducción básica se explica en Wolter (2007). [11] La estimación bootstrap del sesgo de predicción del modelo es más precisa que las estimaciones jackknife con modelos lineales como la función discriminante lineal o la regresión múltiple. [12]
: Probabilidad y aplicaciones
Monografías sobre estadística y probabilidad aplicada