La inferencia estadística es el proceso de utilizar el análisis de datos para inferir propiedades de una distribución subyacente de probabilidad . [1] El análisis estadístico inferencial infiere propiedades de una población , por ejemplo, probando hipótesis y derivando estimaciones. Se supone que el conjunto de datos observados se extrae de una población más grande.
La estadística inferencial puede contrastarse con la estadística descriptiva . La estadística descriptiva se ocupa únicamente de las propiedades de los datos observados y no se basa en la suposición de que los datos provienen de una población más grande. En el aprendizaje automático , el término inferencia a veces se usa en cambio para significar "hacer una predicción, evaluando un modelo ya entrenado"; [2] en este contexto, inferir las propiedades del modelo se conoce como entrenamiento o aprendizaje (en lugar de inferencia ), y usar un modelo para la predicción se conoce como inferencia (en lugar de predicción ); consulte también inferencia predictiva .
La inferencia estadística permite formular proposiciones sobre una población, utilizando datos extraídos de la población mediante algún tipo de muestreo . Dada una hipótesis sobre una población, para la cual deseamos extraer inferencias, la inferencia estadística consiste en (primero) seleccionar un modelo estadístico del proceso que genera los datos y (segundo) deducir proposiciones a partir del modelo. [3]
Konishi y Kitagawa afirman que "la mayoría de los problemas en la inferencia estadística pueden considerarse problemas relacionados con el modelado estadístico". [4] En relación con esto, Sir David Cox ha dicho que "la forma en que se realiza la traducción del problema en cuestión al modelo estadístico es a menudo la parte más crítica de un análisis". [5]
La conclusión de una inferencia estadística es una proposición estadística . [6] Algunas formas comunes de proposición estadística son las siguientes:
Toda inferencia estadística requiere ciertas suposiciones. Un modelo estadístico es un conjunto de suposiciones relativas a la generación de los datos observados y otros similares. Las descripciones de los modelos estadísticos suelen poner énfasis en el papel de las magnitudes de interés de la población sobre las que se desea extraer inferencias. [7] Las estadísticas descriptivas se utilizan normalmente como paso preliminar antes de extraer inferencias más formales. [8]
Los estadísticos distinguen entre tres niveles de supuestos de modelado:
Cualquiera que sea el nivel de suposiciones realizadas, una inferencia correctamente calibrada, en general, requiere que dichas suposiciones sean correctas, es decir, que los mecanismos de generación de datos realmente se hayan especificado correctamente.
Las suposiciones incorrectas de un muestreo aleatorio "simple" pueden invalidar la inferencia estadística. [10] Las suposiciones semiparamétricas y totalmente paramétricas más complejas también son motivo de preocupación. Por ejemplo, suponer incorrectamente el modelo de Cox puede en algunos casos llevar a conclusiones erróneas. [11] Las suposiciones incorrectas de normalidad en la población también invalidan algunas formas de inferencia basada en la regresión. [12] La mayoría de los expertos en muestreo de poblaciones humanas ven con escepticismo el uso de cualquier modelo paramétrico: "la mayoría de los estadísticos de muestreo, cuando tratan con intervalos de confianza, se limitan a afirmaciones sobre [estimadores] basados en muestras muy grandes, donde el teorema del límite central asegura que estos [estimadores] tendrán distribuciones que son casi normales". [13] En particular, una distribución normal "sería una suposición totalmente irreal y catastróficamente imprudente de hacer si estuviéramos tratando con cualquier tipo de población económica". [13] Aquí, el teorema del límite central establece que la distribución de la media de la muestra "para muestras muy grandes" se distribuye aproximadamente de manera normal, si la distribución no tiene cola pesada.
Dada la dificultad de especificar distribuciones exactas de estadísticas de muestra, se han desarrollado muchos métodos para aproximarlas.
Con muestras finitas, los resultados de aproximación miden qué tan cerca se acerca una distribución limitante a la distribución muestral de la estadística : por ejemplo, con 10,000 muestras independientes la distribución normal se aproxima (a dos dígitos de precisión) a la distribución de la media muestral para muchas distribuciones poblacionales, por el teorema de Berry-Esseen . [14] Sin embargo, para muchos propósitos prácticos, la aproximación normal proporciona una buena aproximación a la distribución de la media muestral cuando hay 10 (o más) muestras independientes, según estudios de simulación y la experiencia de los estadísticos. [14] Siguiendo el trabajo de Kolmogorov en la década de 1950, las estadísticas avanzadas utilizan la teoría de aproximación y el análisis funcional para cuantificar el error de aproximación. En este enfoque, se estudia la geometría métrica de las distribuciones de probabilidad ; este enfoque cuantifica el error de aproximación con, por ejemplo, la divergencia de Kullback-Leibler , la divergencia de Bregman y la distancia de Hellinger . [15] [16] [17]
Con muestras indefinidamente grandes, los resultados limitantes como el teorema del límite central describen la distribución limitante de la estadística de muestra si existe una. Los resultados limitantes no son declaraciones sobre muestras finitas y, de hecho, son irrelevantes para muestras finitas. [18] [19] [20] Sin embargo, la teoría asintótica de distribuciones limitantes se invoca a menudo para trabajar con muestras finitas. Por ejemplo, los resultados limitantes se invocan a menudo para justificar el método generalizado de momentos y el uso de ecuaciones de estimación generalizadas , que son populares en econometría y bioestadística . La magnitud de la diferencia entre la distribución limitante y la distribución verdadera (formalmente, el "error" de la aproximación) se puede evaluar mediante simulación. [21] La aplicación heurística de los resultados limitantes a muestras finitas es una práctica común en muchas aplicaciones, especialmente con modelos de baja dimensión con probabilidades logarítmicas cóncavas (como con familias exponenciales de un parámetro ).
Para un conjunto de datos dado que fue producido por un diseño de aleatorización, la distribución de aleatorización de una estadística (bajo la hipótesis nula) se define evaluando la estadística de prueba para todos los planes que podrían haber sido generados por el diseño de aleatorización. En la inferencia frecuentista, la aleatorización permite que las inferencias se basen en la distribución de aleatorización en lugar de un modelo subjetivo, y esto es importante especialmente en el muestreo de encuestas y el diseño de experimentos. [22] [23] La inferencia estadística de estudios aleatorios también es más sencilla que en muchas otras situaciones. [24] [25] [26] En la inferencia bayesiana , la aleatorización también es importante: en el muestreo de encuestas , el uso del muestreo sin reemplazo asegura la intercambiabilidad de la muestra con la población; en experimentos aleatorios, la aleatorización garantiza una suposición de falta de información aleatoria para la covariable . [27]
La aleatorización objetiva permite procedimientos adecuadamente inductivos. [28] [29] [30] [31] [32] Muchos estadísticos prefieren el análisis basado en la aleatorización de datos generados por procedimientos de aleatorización bien definidos. [33] (Sin embargo, es cierto que en campos de la ciencia con conocimiento teórico desarrollado y control experimental, los experimentos aleatorios pueden aumentar los costos de la experimentación sin mejorar la calidad de las inferencias. [34] [35] ) De manera similar, los resultados de experimentos aleatorios son recomendados por las principales autoridades estadísticas porque permiten inferencias con mayor confiabilidad que los estudios observacionales de los mismos fenómenos. [36] Sin embargo, un buen estudio observacional puede ser mejor que un mal experimento aleatorio.
El análisis estadístico de un experimento aleatorio puede basarse en el esquema de aleatorización establecido en el protocolo experimental y no necesita un modelo subjetivo. [37] [38]
Sin embargo, en cualquier momento, algunas hipótesis no pueden probarse utilizando modelos estadísticos objetivos, que describen con precisión experimentos aleatorios o muestras aleatorias. En algunos casos, esos estudios aleatorios son antieconómicos o poco éticos.
Es una práctica habitual hacer referencia a un modelo estadístico, por ejemplo, un modelo lineal o logístico, al analizar datos de experimentos aleatorios. [39] Sin embargo, el esquema de aleatorización guía la elección de un modelo estadístico. No es posible elegir un modelo apropiado sin conocer el esquema de aleatorización. [23] Se pueden obtener resultados seriamente engañosos al analizar datos de experimentos aleatorios ignorando el protocolo experimental; los errores comunes incluyen olvidar el bloqueo utilizado en un experimento y confundir mediciones repetidas en la misma unidad experimental con réplicas independientes del tratamiento aplicado a diferentes unidades experimentales. [40]
Las técnicas sin modelos complementan a los métodos basados en modelos, que emplean estrategias reduccionistas de simplificación de la realidad. Las primeras combinan, desarrollan, agrupan y entrenan algoritmos que se adaptan dinámicamente a las afinidades contextuales de un proceso y aprenden las características intrínsecas de las observaciones. [41] [42]
Por ejemplo, la regresión lineal simple sin modelo se basa en
En cualquier caso, la inferencia de aleatorización sin modelo para las características de la distribución condicional común se basa en algunas condiciones de regularidad, por ejemplo, suavidad funcional. Por ejemplo, la inferencia de aleatorización sin modelo para la característica de población media condicional , , se puede estimar de manera consistente mediante un promedio local o un ajuste polinomial local, bajo el supuesto de que es suave. Además, confiando en la normalidad asintótica o el remuestreo, podemos construir intervalos de confianza para la característica de población, en este caso, la media condicional , . [43]
Se han establecido diferentes escuelas de inferencia estadística. Estas escuelas (o "paradigmas") no son mutuamente excluyentes, y los métodos que funcionan bien con un paradigma suelen tener interpretaciones atractivas con otros.
Bandyopadhyay y Forster describen cuatro paradigmas: el paradigma clásico (o frecuentista ), el paradigma bayesiano , el paradigma verosimilitudista y el paradigma basado en el criterio de información de Akaike . [44]
Este paradigma calibra la plausibilidad de las proposiciones considerando un muestreo repetido (teórico) de una distribución de población para producir conjuntos de datos similares al que se tiene en cuenta. Al considerar las características del conjunto de datos bajo un muestreo repetido, se pueden cuantificar las propiedades frecuentistas de una proposición estadística, aunque en la práctica esta cuantificación puede resultar complicada.
Una interpretación de la inferencia frecuentista (o inferencia clásica) es que es aplicable sólo en términos de probabilidad de frecuencia ; es decir, en términos de muestreo repetido de una población. Sin embargo, el enfoque de Neyman [45] desarrolla estos procedimientos en términos de probabilidades previas al experimento. Es decir, antes de emprender un experimento, se decide una regla para llegar a una conclusión tal que la probabilidad de ser correcta se controle de manera adecuada: dicha probabilidad no necesita tener una interpretación frecuentista o de muestreo repetido. Por el contrario, la inferencia bayesiana funciona en términos de probabilidades condicionales (es decir, probabilidades condicionales a los datos observados), en comparación con las probabilidades marginales (pero condicionadas a parámetros desconocidos) utilizadas en el enfoque frecuentista.
Los procedimientos frecuentistas de pruebas de significancia e intervalos de confianza pueden construirse sin tener en cuenta las funciones de utilidad . Sin embargo, algunos elementos de las estadísticas frecuentistas, como la teoría de la decisión estadística , sí incorporan funciones de utilidad . [ cita requerida ] En particular, los desarrollos frecuentistas de inferencia óptima (como los estimadores insesgados de varianza mínima o las pruebas uniformemente más poderosas ) hacen uso de funciones de pérdida , que desempeñan el papel de funciones de utilidad (negativas). Las funciones de pérdida no necesitan enunciarse explícitamente para que los teóricos estadísticos demuestren que un procedimiento estadístico tiene una propiedad de optimalidad. [46] Sin embargo, las funciones de pérdida suelen ser útiles para enunciar propiedades de optimalidad: por ejemplo, los estimadores insesgados de mediana son óptimos bajo funciones de pérdida de valor absoluto , en el sentido de que minimizan la pérdida esperada, y los estimadores de mínimos cuadrados son óptimos bajo funciones de pérdida de error al cuadrado, en el sentido de que minimizan la pérdida esperada.
Si bien los estadísticos que utilizan la inferencia frecuentista deben elegir por sí mismos los parámetros de interés y los estimadores / estadísticos de prueba que se utilizarán, la ausencia de utilidades obviamente explícitas y distribuciones previas ha ayudado a que los procedimientos frecuentistas sean vistos ampliamente como "objetivos". [47]
El cálculo bayesiano describe los grados de creencia utilizando el "lenguaje" de la probabilidad; las creencias son positivas, se integran en una sola y obedecen a los axiomas de probabilidad. La inferencia bayesiana utiliza las creencias posteriores disponibles como base para hacer proposiciones estadísticas. [48] Existen varias justificaciones diferentes para utilizar el enfoque bayesiano.
Muchas inferencias bayesianas informales se basan en resúmenes "intuitivamente razonables" de la variable posterior. Por ejemplo, la media, la mediana y la moda de la variable posterior, los intervalos de densidad posterior más altos y los factores de Bayes pueden motivarse de esta manera. Si bien no es necesario que se establezca la función de utilidad de un usuario para este tipo de inferencia, todos estos resúmenes dependen (hasta cierto punto) de creencias previas establecidas y, por lo general, se consideran conclusiones subjetivas. (Se han propuesto métodos de construcción previa que no requieren aportes externos, pero aún no se han desarrollado por completo).
Formalmente, la inferencia bayesiana se calibra con referencia a una utilidad explícitamente establecida, o función de pérdida; la "regla de Bayes" es la que maximiza la utilidad esperada, promediada sobre la incertidumbre posterior. Por lo tanto, la inferencia bayesiana formal proporciona automáticamente decisiones óptimas en un sentido teórico de decisión . Dados los supuestos, los datos y la utilidad, la inferencia bayesiana se puede hacer para esencialmente cualquier problema, aunque no toda inferencia estadística necesita tener una interpretación bayesiana. Los análisis que no son formalmente bayesianos pueden ser (lógicamente) incoherentes ; una característica de los procedimientos bayesianos que utilizan valores previos adecuados (es decir, aquellos integrables a uno) es que se garantiza que son coherentes . Algunos defensores de la inferencia bayesiana afirman que la inferencia debe tener lugar en este marco teórico de decisión, y que la inferencia bayesiana no debe concluir con la evaluación y resumen de creencias posteriores.
La inferencia basada en verosimilitud es un paradigma utilizado para estimar los parámetros de un modelo estadístico basado en datos observados. El verosimilitud aborda la estadística utilizando la función de verosimilitud , denotada como , cuantifica la probabilidad de observar los datos dados , asumiendo un conjunto específico de valores de parámetros . En la inferencia basada en verosimilitud, el objetivo es encontrar el conjunto de valores de parámetros que maximiza la función de verosimilitud o, equivalentemente, maximiza la probabilidad de observar los datos dados.
El proceso de inferencia basada en probabilidad generalmente implica los siguientes pasos:
El criterio de información de Akaike (AIC) es un estimador de la calidad relativa de los modelos estadísticos para un conjunto de datos determinado. Dada una colección de modelos para los datos, el AIC estima la calidad de cada modelo en relación con cada uno de los otros modelos. Por lo tanto, el AIC proporciona un medio para la selección de modelos .
El AIC se basa en la teoría de la información : ofrece una estimación de la información relativa que se pierde cuando se utiliza un modelo determinado para representar el proceso que generó los datos (para ello, se ocupa del equilibrio entre la bondad del ajuste del modelo y su simplicidad).
El principio de longitud mínima de descripción (MDL) se ha desarrollado a partir de ideas de la teoría de la información [49] y la teoría de la complejidad de Kolmogorov [50] . El principio (MDL) selecciona modelos estadísticos que comprimen al máximo los datos; la inferencia procede sin asumir "mecanismos de generación de datos" contrafácticos o no falsables o modelos de probabilidad para los datos, como podría hacerse en enfoques frecuentistas o bayesianos.
Sin embargo, si en realidad existe un "mecanismo de generación de datos", entonces, según el teorema de codificación de fuentes de Shannon, proporciona la descripción MDL de los datos, en promedio y de manera asintótica. [51] Al minimizar la longitud de la descripción (o complejidad descriptiva), la estimación MDL es similar a la estimación de máxima verosimilitud y la estimación máxima a posteriori (utilizando valores a priori bayesianos de máxima entropía ). Sin embargo, MDL evita asumir que se conoce el modelo de probabilidad subyacente; el principio MDL también se puede aplicar sin suposiciones de que, por ejemplo, los datos surgieron de un muestreo independiente. [51] [52]
El principio MDL se ha aplicado en la teoría de codificación de comunicaciones, en la teoría de la información , en la regresión lineal [52] y en la minería de datos . [50]
La evaluación de procedimientos inferenciales basados en MDL a menudo utiliza técnicas o criterios de la teoría de la complejidad computacional . [53]
La inferencia fiducial fue un enfoque de inferencia estadística basado en la probabilidad fiducial , también conocida como "distribución fiducial". En trabajos posteriores, este enfoque ha sido calificado de mal definido, extremadamente limitado en su aplicabilidad e incluso falaz. [54] [55] Sin embargo, este argumento es el mismo que muestra [56] que una denominada distribución de confianza no es una distribución de probabilidad válida y, dado que esto no ha invalidado la aplicación de intervalos de confianza , no invalida necesariamente las conclusiones extraídas de los argumentos fiduciales. Se intentó reinterpretar el trabajo temprano del argumento fiducial de Fisher como un caso especial de una teoría de inferencia que utiliza probabilidades superiores e inferiores . [57]
Desarrollando las ideas de Fisher y de Pitman entre 1938 y 1939, [58] George A. Barnard desarrolló la "inferencia estructural" o "inferencia pivotal", [59] un enfoque que utiliza probabilidades invariantes en familias de grupos . Barnard reformuló los argumentos detrás de la inferencia fiducial en una clase restringida de modelos en los que los procedimientos "fiduciales" estarían bien definidos y serían útiles. Donald AS Fraser desarrolló una teoría general para la inferencia estructural [60] basada en la teoría de grupos y la aplicó a modelos lineales. [61] La teoría formulada por Fraser tiene vínculos estrechos con la teoría de la decisión y las estadísticas bayesianas y puede proporcionar reglas de decisión frecuentistas óptimas si existen. [62]
Los temas que aparecen a continuación suelen estar incluidos en el área de inferencia estadística .
La inferencia predictiva es un enfoque de la inferencia estadística que enfatiza la predicción de observaciones futuras basadas en observaciones pasadas.
Inicialmente, la inferencia predictiva se basaba en parámetros observables y era el principal propósito del estudio de la probabilidad , [ cita requerida ] pero cayó en desgracia en el siglo XX debido a un nuevo enfoque paramétrico iniciado por Bruno de Finetti . El enfoque modelaba los fenómenos como un sistema físico observado con error (por ejemplo, la mecánica celeste ). La idea de intercambiabilidad de De Finetti —que las observaciones futuras deberían comportarse como las observaciones pasadas— llamó la atención del mundo angloparlante con la traducción del francés en 1974 de su artículo de 1937, [63] y desde entonces ha sido propuesta por estadísticos como Seymour Geisser . [64]
El término
inferencia
se refiere al proceso de ejecución de un modelo de TensorFlow Lite en el dispositivo para realizar predicciones basadas en datos de entrada.