La inferencia estadística es el proceso de utilizar el análisis de datos para inferir propiedades de una distribución de probabilidad subyacente . [1] El análisis estadístico inferencial infiere propiedades de una población , por ejemplo probando hipótesis y derivando estimaciones. Se supone que el conjunto de datos observados se toma de una población más grande.
La estadística inferencial se puede contrastar con la estadística descriptiva . La estadística descriptiva se ocupa únicamente de las propiedades de los datos observados y no se basa en el supuesto de que los datos provienen de una población más grande. En el aprendizaje automático , el término inferencia a veces se utiliza para significar "hacer una predicción evaluando un modelo ya entrenado"; [2] en este contexto, inferir propiedades del modelo se denomina entrenamiento o aprendizaje (en lugar de inferencia ), y usar un modelo para la predicción se denomina inferencia (en lugar de predicción ); ver también inferencia predictiva .
La inferencia estadística hace proposiciones sobre una población, utilizando datos extraídos de la población con alguna forma de muestreo . Dada una hipótesis sobre una población, para la cual deseamos hacer inferencias, la inferencia estadística consiste en (primero) seleccionar un modelo estadístico del proceso que genera los datos y (segundo) deducir proposiciones del modelo. [3]
Konishi y Kitagawa afirman: "La mayoría de los problemas de la inferencia estadística pueden considerarse problemas relacionados con el modelado estadístico". [4] En relación con esto, Sir David Cox ha dicho: "La forma en que se realiza [la] traducción del problema de la materia al modelo estadístico es a menudo la parte más crítica de un análisis". [5]
La conclusión de una inferencia estadística es una proposición estadística . [6] Algunas formas comunes de proposición estadística son las siguientes:
Cualquier inferencia estadística requiere algunas suposiciones. Un modelo estadístico es un conjunto de supuestos relacionados con la generación de datos observados y datos similares. Las descripciones de los modelos estadísticos generalmente enfatizan el papel de las cantidades de población de interés, sobre las cuales deseamos hacer inferencias. [7] Las estadísticas descriptivas se utilizan normalmente como paso preliminar antes de sacar inferencias más formales. [8]
Los estadísticos distinguen entre tres niveles de supuestos de modelización;
Cualquiera que sea el nivel de suposición que se haga, una inferencia correctamente calibrada, en general, requiere que estas suposiciones sean correctas; es decir, que los mecanismos generadores de datos realmente se han especificado correctamente.
Los supuestos incorrectos del muestreo aleatorio "simple" pueden invalidar la inferencia estadística. [10] Los supuestos semiparamétricos y totalmente paramétricos más complejos también son motivo de preocupación. Por ejemplo, asumir incorrectamente el modelo de Cox puede, en algunos casos, llevar a conclusiones erróneas. [11] Los supuestos incorrectos de normalidad en la población también invalidan algunas formas de inferencia basada en regresión. [12] La mayoría de los expertos en muestreo de poblaciones humanas ven con escepticismo el uso de cualquier modelo paramétrico: "la mayoría de los estadísticos de muestreo, cuando tratan con intervalos de confianza, se limitan a afirmaciones sobre [estimadores] basados en muestras muy grandes, donde el El teorema del límite central garantiza que estos [estimadores] tendrán distribuciones casi normales". [13] En particular, una distribución normal "sería una suposición totalmente irreal y catastróficamente imprudente si estuviéramos tratando con cualquier tipo de población económica". [13] Aquí, el teorema del límite central establece que la distribución de la media muestral "para muestras muy grandes" tiene una distribución aproximadamente normal, si la distribución no tiene colas pesadas.
Dada la dificultad de especificar distribuciones exactas de estadísticas muestrales, se han desarrollado muchos métodos para aproximarlas.
Con muestras finitas, los resultados de aproximación miden qué tan cerca se acerca una distribución límite a la distribución muestral de la estadística : por ejemplo, con 10.000 muestras independientes, la distribución normal se aproxima (con dos dígitos de precisión) a la distribución de la media muestral para muchas distribuciones poblacionales, según Berry. –Teorema de Essen . [14] Sin embargo, para muchos propósitos prácticos, la aproximación normal proporciona una buena aproximación a la distribución de la media muestral cuando hay 10 (o más) muestras independientes, según los estudios de simulación y la experiencia de los estadísticos. [14] Siguiendo el trabajo de Kolmogorov en la década de 1950, la estadística avanzada utiliza la teoría de la aproximación y el análisis funcional para cuantificar el error de aproximación. En este enfoque se estudia la geometría métrica de las distribuciones de probabilidad ; este enfoque cuantifica el error de aproximación con, por ejemplo, la divergencia de Kullback-Leibler , la divergencia de Bregman y la distancia de Hellinger . [15] [16] [17]
Con muestras indefinidamente grandes, los resultados limitantes como el teorema del límite central describen la distribución límite de la estadística muestral, si existe. Los resultados limitantes no son afirmaciones sobre muestras finitas y, de hecho, son irrelevantes para las muestras finitas. [18] [19] [20] Sin embargo, la teoría asintótica de distribuciones limitantes a menudo se invoca para trabajar con muestras finitas. Por ejemplo, a menudo se invocan resultados limitantes para justificar el método generalizado de momentos y el uso de ecuaciones de estimación generalizadas , que son populares en econometría y bioestadística . La magnitud de la diferencia entre la distribución límite y la distribución verdadera (formalmente, el "error" de la aproximación) se puede evaluar mediante simulación. [21] La aplicación heurística de limitar los resultados a muestras finitas es una práctica común en muchas aplicaciones, especialmente con modelos de baja dimensión con probabilidades log-cóncavas (como con familias exponenciales de un parámetro ).
Para un conjunto de datos determinado que fue producido mediante un diseño de aleatorización, la distribución de aleatorización de una estadística (bajo la hipótesis nula) se define evaluando la estadística de prueba para todos los planes que podrían haber sido generados por el diseño de aleatorización. En la inferencia frecuentista, la aleatorización permite que las inferencias se basen en la distribución aleatoria en lugar de en un modelo subjetivo, y esto es importante especialmente en el muestreo de encuestas y el diseño de experimentos. [22] [23] La inferencia estadística a partir de estudios aleatorios también es más sencilla que muchas otras situaciones. [24] [25] [26] En la inferencia bayesiana , la aleatorización también es importante: en el muestreo de encuestas , el uso del muestreo sin reemplazo garantiza la intercambiabilidad de la muestra con la población; en experimentos aleatorios, la aleatorización garantiza una suposición aleatoria faltante para la información de covariables . [27]
La aleatorización objetiva permite procedimientos adecuadamente inductivos. [28] [29] [30] [31] [32] Muchos estadísticos prefieren el análisis de datos basado en la aleatorización que se generó mediante procedimientos de aleatorización bien definidos. [33] (Sin embargo, es cierto que en campos de la ciencia con conocimiento teórico desarrollado y control experimental, los experimentos aleatorios pueden aumentar los costos de la experimentación sin mejorar la calidad de las inferencias. [34] [35] ) De manera similar, los resultados de experimentos aleatorios son recomendados por las principales autoridades estadísticas porque permiten inferencias con mayor confiabilidad que los estudios observacionales de los mismos fenómenos. [36] Sin embargo, un buen estudio observacional puede ser mejor que un mal experimento aleatorio.
El análisis estadístico de un experimento aleatorio puede basarse en el esquema de aleatorización establecido en el protocolo experimental y no necesita un modelo subjetivo. [37] [38]
Sin embargo, en cualquier momento, algunas hipótesis no pueden probarse utilizando modelos estadísticos objetivos, que describen con precisión experimentos aleatorios o muestras aleatorias. En algunos casos, estos estudios aleatorios no son económicos ni éticos.
Es una práctica estándar hacer referencia a un modelo estadístico, por ejemplo, modelos lineales o logísticos, al analizar datos de experimentos aleatorios. [39] Sin embargo, el esquema de aleatorización guía la elección de un modelo estadístico. No es posible elegir un modelo apropiado sin conocer el esquema de aleatorización. [23] Se pueden obtener resultados seriamente engañosos analizando datos de experimentos aleatorios ignorando el protocolo experimental; Los errores comunes incluyen olvidar el bloqueo utilizado en un experimento y confundir mediciones repetidas en la misma unidad experimental con réplicas independientes del tratamiento aplicado a diferentes unidades experimentales. [40]
Las técnicas sin modelos proporcionan un complemento a los métodos basados en modelos, que emplean estrategias reduccionistas de simplificación de la realidad. Los primeros combinan, evolucionan, ensamblan y entrenan algoritmos adaptándose dinámicamente a las afinidades contextuales de un proceso y aprendiendo las características intrínsecas de las observaciones. [39] [41]
Por ejemplo, la regresión lineal simple sin modelo se basa en
En cualquier caso, la inferencia de aleatorización sin modelo para características de la distribución condicional común se basa en algunas condiciones de regularidad, por ejemplo, la suavidad funcional. Por ejemplo, la inferencia de aleatorización sin modelo para la media condicional de características de la población , , se puede estimar consistentemente mediante un promedio local o un ajuste polinomial local, bajo el supuesto de que es suave. Además, basándonos en la normalidad asintótica o el remuestreo, podemos construir intervalos de confianza para la característica de la población, en este caso, la media condicional . [42]
Se han establecido diferentes escuelas de inferencia estadística. Estas escuelas —o "paradigmas"— no son mutuamente excluyentes, y los métodos que funcionan bien bajo un paradigma a menudo tienen interpretaciones atractivas bajo otros paradigmas.
Bandyopadhyay y Forster describen cuatro paradigmas: el paradigma clásico (o frecuentista ), el paradigma bayesiano , el paradigma probabilista y el paradigma basado en criterios de información akaikeanos . [43]
Este paradigma calibra la plausibilidad de las proposiciones considerando un muestreo repetido (nocional) de una distribución de población para producir conjuntos de datos similares al que tenemos a mano. Al considerar las características del conjunto de datos bajo muestreo repetido, se pueden cuantificar las propiedades frecuentistas de una proposición estadística, aunque en la práctica esta cuantificación puede resultar un desafío.
Una interpretación de la inferencia frecuentista (o inferencia clásica) es que es aplicable sólo en términos de probabilidad de frecuencia ; es decir, en términos de muestreo repetido de una población. Sin embargo, el enfoque de Neyman [44] desarrolla estos procedimientos en términos de probabilidades previas al experimento. Es decir, antes de emprender un experimento, se decide una regla para llegar a una conclusión tal que la probabilidad de ser correcto se controle de manera adecuada: tal probabilidad no necesita tener una interpretación frecuentista o de muestreo repetido. Por el contrario, la inferencia bayesiana funciona en términos de probabilidades condicionales (es decir, probabilidades condicionadas a los datos observados), en comparación con las probabilidades marginales (pero condicionadas a parámetros desconocidos) utilizadas en el enfoque frecuentista.
Los procedimientos frecuentistas de pruebas de significancia e intervalos de confianza se pueden construir sin tener en cuenta las funciones de utilidad . Sin embargo, algunos elementos de la estadística frecuentista, como la teoría de la decisión estadística , sí incorporan funciones de utilidad . [ cita necesaria ] En particular, los desarrollos frecuentistas de inferencia óptima (como los estimadores insesgados de varianza mínima o las pruebas uniformemente más poderosas ) hacen uso de funciones de pérdida , que desempeñan el papel de funciones de utilidad (negativas). No es necesario establecer explícitamente las funciones de pérdida para que los teóricos de la estadística demuestren que un procedimiento estadístico tiene una propiedad de optimización. [45] Sin embargo, las funciones de pérdida suelen ser útiles para establecer propiedades de optimización: por ejemplo, los estimadores insesgados de mediana son óptimos bajo funciones de pérdida de valor absoluto , ya que minimizan la pérdida esperada, y los estimadores de mínimos cuadrados son óptimos bajo funciones de pérdida de error al cuadrado. en el sentido de que minimizan la pérdida esperada.
Si bien los estadísticos que utilizan la inferencia frecuentista deben elegir por sí mismos los parámetros de interés y los estimadores / estadísticos de prueba que se utilizarán, la ausencia de utilidades y distribuciones previas obviamente explícitas ha ayudado a que los procedimientos frecuentistas sean ampliamente vistos como "objetivos". [46]
El cálculo bayesiano describe grados de creencia utilizando el "lenguaje" de la probabilidad; Las creencias son positivas, se integran en una sola y obedecen a axiomas de probabilidad. La inferencia bayesiana utiliza las creencias posteriores disponibles como base para hacer proposiciones estadísticas. [47] Hay varias justificaciones diferentes para utilizar el enfoque bayesiano.
Muchas inferencias bayesianas informales se basan en resúmenes "intuitivamente razonables" del posterior. Por ejemplo, la media posterior, la mediana y la moda, los intervalos de densidad posterior más altos y los factores de Bayes se pueden motivar de esta manera. Si bien no es necesario establecer la función de utilidad de un usuario para este tipo de inferencia, todos estos resúmenes dependen (hasta cierto punto) de creencias previas declaradas y generalmente se consideran conclusiones subjetivas. (Se han propuesto métodos de construcción previa que no requieren aportaciones externas, pero aún no se han desarrollado por completo).
Formalmente, la inferencia bayesiana se calibra con referencia a una utilidad o función de pérdida explícitamente establecida; la 'regla de Bayes' es la que maximiza la utilidad esperada, promediada sobre la incertidumbre posterior. Por lo tanto, la inferencia bayesiana formal proporciona automáticamente decisiones óptimas en un sentido teórico de decisión . Dadas las suposiciones, los datos y la utilidad, la inferencia bayesiana se puede hacer esencialmente para cualquier problema, aunque no todas las inferencias estadísticas necesitan tener una interpretación bayesiana. Los análisis que no son formalmente bayesianos pueden ser (lógicamente) incoherentes ; Una característica de los procedimientos bayesianos que utilizan antecedentes adecuados (es decir, aquellos integrables en uno) es que se garantiza su coherencia . Algunos defensores de la inferencia bayesiana afirman que la inferencia debe tener lugar en este marco teórico de la decisión y que la inferencia bayesiana no debe concluir con la evaluación y el resumen de creencias posteriores.
La inferencia basada en la probabilidad es un paradigma utilizado para estimar los parámetros de un modelo estadístico basado en datos observados. El verosimilismo aborda la estadística utilizando la función de verosimilitud , denotada como , que cuantifica la probabilidad de observar los datos dados , suponiendo un conjunto específico de valores de parámetros . En la inferencia basada en verosimilitud, el objetivo es encontrar el conjunto de valores de parámetros que maximiza la función de verosimilitud o, de manera equivalente, maximiza la probabilidad de observar los datos dados.
El proceso de inferencia basada en probabilidad normalmente implica los siguientes pasos:
El criterio de información de Akaike (AIC) es un estimador de la calidad relativa de los modelos estadísticos para un conjunto de datos determinado. Dada una colección de modelos para los datos, AIC estima la calidad de cada modelo, en relación con cada uno de los otros modelos. Por tanto, AIC proporciona un medio para la selección de modelos .
AIC se basa en la teoría de la información : ofrece una estimación de la información relativa perdida cuando se utiliza un modelo determinado para representar el proceso que generó los datos. (Al hacerlo, se ocupa del equilibrio entre la bondad de ajuste del modelo y la simplicidad del modelo).
El principio de longitud mínima de descripción (MDL) se ha desarrollado a partir de ideas de la teoría de la información [48] y la teoría de la complejidad de Kolmogorov . [49] El principio (MDL) selecciona modelos estadísticos que comprimen al máximo los datos; La inferencia procede sin asumir "mecanismos de generación de datos" contrafácticos o no falsificables o modelos de probabilidad para los datos, como podría hacerse en los enfoques frecuentistas o bayesianos.
Sin embargo, si en realidad existe un "mecanismo generador de datos", entonces, según el teorema de codificación fuente de Shannon, proporciona la descripción MDL de los datos, en promedio y de forma asintótica. [50] Al minimizar la longitud de la descripción (o la complejidad descriptiva), la estimación MDL es similar a la estimación de máxima verosimilitud y a la estimación máxima a posteriori (utilizando antecedentes bayesianos de máxima entropía ). Sin embargo, MDL evita asumir que se conoce el modelo de probabilidad subyacente; El principio MDL también se puede aplicar sin suposiciones de que, por ejemplo, los datos surgieron de un muestreo independiente. [50] [51]
El principio MDL se ha aplicado en la teoría de la codificación de la comunicación, en la teoría de la información , en la regresión lineal , [51] y en la minería de datos . [49]
La evaluación de procedimientos inferenciales basados en MDL suele utilizar técnicas o criterios de la teoría de la complejidad computacional . [52]
La inferencia fiducial era un enfoque de la inferencia estadística basada en la probabilidad fiducial , también conocida como "distribución fiducial". En trabajos posteriores, este enfoque ha sido calificado de mal definido, de aplicabilidad extremadamente limitada e incluso falaz. [53] [54] Sin embargo, este argumento es el mismo que muestra [55] que la llamada distribución de confianza no es una distribución de probabilidad válida y, dado que esto no ha invalidado la aplicación de intervalos de confianza , no necesariamente invalida conclusiones extraídas de argumentos fiduciarios. Se intentó reinterpretar los primeros trabajos del argumento fiduciario de Fisher como un caso especial de una teoría de la inferencia que utiliza probabilidades superiores e inferiores . [56]
Desarrollando ideas de Fisher y de Pitman de 1938 a 1939, [57] George A. Barnard desarrolló la "inferencia estructural" o "inferencia fundamental", [58] un enfoque que utiliza probabilidades invariantes en familias de grupos . Barnard reformuló los argumentos detrás de la inferencia fiducial en una clase restringida de modelos en los que los procedimientos "fiduciales" estarían bien definidos y serían útiles. Donald AS Fraser desarrolló una teoría general para la inferencia estructural [59] basada en la teoría de grupos y la aplicó a modelos lineales. [60] La teoría formulada por Fraser tiene estrechos vínculos con la teoría de la decisión y la estadística bayesiana y puede proporcionar reglas de decisión frecuentistas óptimas, si existen. [61]
Los temas siguientes suelen incluirse en el área de inferencia estadística .
La inferencia predictiva es un enfoque de la inferencia estadística que enfatiza la predicción de observaciones futuras basadas en observaciones pasadas.
Inicialmente, la inferencia predictiva se basaba en parámetros observables y era el objetivo principal del estudio de la probabilidad , [ cita necesaria ] pero cayó en desgracia en el siglo XX debido a un nuevo enfoque paramétrico iniciado por Bruno de Finetti . El enfoque modeló los fenómenos como un sistema físico observado con error (por ejemplo, la mecánica celeste ). La idea de intercambiabilidad de De Finetti (que las observaciones futuras deberían comportarse como observaciones pasadas) llamó la atención del mundo de habla inglesa con la traducción del francés en 1974 de su artículo de 1937, [62] y desde entonces ha sido propuesta por estadísticos como Seymour Geisser. . [63]
El término
inferencia
se refiere al proceso de ejecutar un modelo de TensorFlow Lite en el dispositivo para realizar predicciones basadas en datos de entrada.
