Estadística (del alemán : Statistik , orig. "descripción de un estado , de un país") [1] [2] es la disciplina que se ocupa de la recopilación, organización, análisis, interpretación y presentación de datos . [3] [4] [5] Al aplicar la estadística a un problema científico, industrial o social, es convencional comenzar con una población estadística o un modelo estadístico a estudiar. Las poblaciones pueden ser diversos grupos de personas u objetos como "todas las personas que viven en un país" o "cada átomo que compone un cristal". La estadística se ocupa de todos los aspectos de los datos, incluida la planificación de la recopilación de datos en términos del diseño de encuestas y experimentos . [6]
Cuando no se pueden recopilar datos del censo , los estadísticos los recopilan mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas . El muestreo representativo asegura que las inferencias y conclusiones puedan extenderse razonablemente de la muestra a la población en su conjunto. Un estudio experimental implica tomar medidas del sistema en estudio, manipular el sistema y luego tomar medidas adicionales utilizando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las medidas. Por el contrario, un estudio observacional no implica manipulación experimental.
En el análisis de datos se utilizan dos métodos estadísticos principales : la estadística descriptiva , que resume los datos de una muestra utilizando índices como la media o la desviación estándar , y la estadística inferencial , que extrae conclusiones de datos sujetos a variación aleatoria (por ejemplo, errores de observación, variación muestral). [7] La estadística descriptiva se ocupa con mayor frecuencia de dos conjuntos de propiedades de una distribución (muestra o población): la tendencia central (o ubicación ) busca caracterizar el valor central o típico de la distribución, mientras que la dispersión (o variabilidad ) caracteriza el grado en que Los miembros de la distribución parten de su centro y entre sí. Las inferencias sobre estadística matemática se realizan bajo el marco de la teoría de la probabilidad , que se ocupa del análisis de fenómenos aleatorios.
Un procedimiento estadístico estándar implica la recopilación de datos que conducen a una prueba de la relación entre dos conjuntos de datos estadísticos, o un conjunto de datos y datos sintéticos extraídos de un modelo idealizado. Se propone una hipótesis para la relación estadística entre los dos conjuntos de datos, y esto se compara como una alternativa a una hipótesis nula idealizada de que no hay relación entre dos conjuntos de datos. Rechazar o refutar la hipótesis nula se realiza mediante pruebas estadísticas que cuantifican el sentido en el que se puede demostrar que la nula es falsa, dados los datos que se utilizan en la prueba. Trabajando a partir de una hipótesis nula, se reconocen dos formas básicas de error: errores de tipo I (la hipótesis nula se rechaza cuando en realidad es cierta, dando un "falso positivo") y errores de tipo II (la hipótesis nula no se rechaza cuando es de hecho falso, dando un "falso negativo"). [8] Se han asociado múltiples problemas con este marco, que van desde obtener un tamaño de muestra suficiente hasta especificar una hipótesis nula adecuada. [7]
Los procesos de medición estadística también son propensos a errores en cuanto a los datos que generan. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos ( sesgo ), pero también pueden ocurrir otros tipos de errores (por ejemplo, errores garrafales, como cuando un analista informa unidades incorrectas). La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas.
La estadística es un cuerpo matemático de la ciencia que pertenece a la recopilación, análisis, interpretación o explicación y presentación de datos , [9] o como una rama de las matemáticas . [10] Algunos consideran que la estadística es una ciencia matemática distinta en lugar de una rama de las matemáticas. Si bien muchas investigaciones científicas utilizan datos, las estadísticas generalmente se ocupan del uso de datos en el contexto de la incertidumbre y de la toma de decisiones ante la incertidumbre. [11] [12]
Al aplicar la estadística a un problema, es una práctica común comenzar con una población o proceso a estudiar. Las poblaciones pueden ser temas diversos, como "todas las personas que viven en un país" o "cada átomo que compone un cristal". Idealmente, los estadísticos recopilan datos sobre toda la población (una operación llamada censo ). Esto puede ser organizado por institutos de estadística gubernamentales. Se pueden utilizar estadísticas descriptivas para resumir los datos de la población. Los descriptores numéricos incluyen la media y la desviación estándar para datos continuos (como los ingresos), mientras que la frecuencia y el porcentaje son más útiles en términos de describir datos categóricos (como la educación).
Cuando un censo no es factible, se estudia un subconjunto elegido de la población llamado muestra . Una vez que se determina una muestra que es representativa de la población, se recopilan datos para los miembros de la muestra en un entorno de observación o experimental . Nuevamente, se pueden utilizar estadísticas descriptivas para resumir los datos de la muestra. Sin embargo, la extracción de la muestra contiene un elemento de aleatoriedad; por lo tanto, los descriptores numéricos de la muestra también son propensos a la incertidumbre. Para sacar conclusiones significativas sobre toda la población, se necesitan estadísticas inferenciales . Utiliza patrones en los datos de la muestra para hacer inferencias sobre la población representada teniendo en cuenta la aleatoriedad. Estas inferencias pueden tomar la forma de responder preguntas de sí o no sobre los datos ( prueba de hipótesis ), estimar características numéricas de los datos ( estimación ), describir asociaciones dentro de los datos ( correlación ) y modelar relaciones dentro de los datos (por ejemplo, usando análisis de regresión ). La inferencia puede extenderse al pronóstico , la predicción y la estimación de valores no observados en la población que se estudia o asociados con ella. Puede incluir extrapolación e interpolación de series temporales o datos espaciales , así como minería de datos .
La estadística matemática es la aplicación de las matemáticas a la estadística. Las técnicas matemáticas utilizadas para esto incluyen el análisis matemático , el álgebra lineal , el análisis estocástico , las ecuaciones diferenciales y la teoría de la probabilidad de la teoría de la medida . [13] [14]
Las discusiones formales sobre la inferencia se remontan a los matemáticos y criptógrafos árabes , durante la Edad de Oro islámica entre los siglos VIII y XIII. Al-Khalil (717–786) escribió el Libro de mensajes criptográficos , que contiene uno de los primeros usos de permutaciones y combinaciones , para enumerar todas las palabras árabes posibles con y sin vocales. [15] El Manuscrito de Al-Kindi sobre el descifrado de mensajes criptográficos dio una descripción detallada de cómo utilizar el análisis de frecuencia para descifrar mensajes cifrados , proporcionando un ejemplo temprano de inferencia estadística para decodificar . Posteriormente , Ibn Adlan (1187-1268) hizo una importante contribución sobre el uso del tamaño de muestra en el análisis de frecuencia. [15]
Aunque el término "estadística" fue introducido por el erudito italiano Girolamo Ghilini en 1589 con referencia a una colección de hechos e información sobre un estado, fue el alemán Gottfried Achenwall en 1749 quien comenzó a utilizar el término como una colección de información cuantitativa, en el uso moderno de esta ciencia. [16] [17] El primer escrito que contiene estadísticas en Europa se remonta a 1663, con la publicación de Natural and Political Observations upon the Bills of Mortality de John Graunt . [18] Las primeras aplicaciones del pensamiento estadístico giraban en torno a las necesidades de los estados de basar sus políticas en datos demográficos y económicos, de ahí su estatimología . El alcance de la disciplina de la estadística se amplió a principios del siglo XIX para incluir la recopilación y el análisis de datos en general. Hoy en día, la estadística se utiliza ampliamente en el gobierno, los negocios y las ciencias naturales y sociales.
Los fundamentos matemáticos de la estadística se desarrollaron a partir de discusiones sobre juegos de azar entre matemáticos como Gerolamo Cardano , Blaise Pascal , Pierre de Fermat y Christiaan Huygens . Aunque la idea de probabilidad ya se examinaba en el derecho y la filosofía antiguos y medievales (como en la obra de Juan Caramuel ), la teoría de la probabilidad como disciplina matemática no tomó forma hasta finales del siglo XVII, particularmente en la obra póstuma de Jacob Bernoulli, Ars. Conjectandi . [19] Este fue el primer libro donde el ámbito de los juegos de azar y el ámbito de lo probable (que se refería a la opinión, la evidencia y el argumento) se combinaron y sometieron a análisis matemático. [20] [21] El método de mínimos cuadrados fue descrito por primera vez por Adrien-Marie Legendre en 1805, aunque Carl Friedrich Gauss probablemente lo utilizó una década antes, en 1795. [22]
El campo moderno de la estadística surgió a finales del siglo XIX y principios del XX en tres etapas. [23] La primera ola, a principios de siglo, fue liderada por el trabajo de Francis Galton y Karl Pearson , quienes transformaron la estadística en una disciplina matemática rigurosa utilizada para el análisis, no solo en la ciencia, sino también en la industria y la política. . Las contribuciones de Galton incluyeron la introducción de los conceptos de desviación estándar , correlación , análisis de regresión y la aplicación de estos métodos al estudio de la variedad de características humanas: altura, peso y longitud de las pestañas, entre otras. [24] Pearson desarrolló el coeficiente de correlación producto-momento de Pearson , definido como producto-momento, [25] el método de momentos para el ajuste de distribuciones a muestras y la distribución de Pearson , entre muchas otras cosas. [26] Galton y Pearson fundaron Biometrika como la primera revista de estadística matemática y bioestadística (entonces llamada biometría), y este último fundó el primer departamento universitario de estadística del mundo en el University College London . [27]
La segunda ola de las décadas de 1910 y 1920 fue iniciada por William Sealy Gosset y alcanzó su culminación con las ideas de Ronald Fisher , quien escribió los libros de texto que definirían la disciplina académica en las universidades de todo el mundo. Las publicaciones más importantes de Fisher fueron su artículo fundamental de 1918 La correlación entre parientes sobre la suposición de la herencia mendeliana (que fue el primero en utilizar el término estadístico varianza ), su obra clásica de 1925 Métodos estadísticos para trabajadores de investigación y su obra de 1935 El diseño de experimentos . [28] [29] [30] donde desarrolló un diseño riguroso de modelos de experimentos. Originó los conceptos de suficiencia , estadística auxiliar , discriminador lineal de Fisher e información de Fisher . [31] También acuñó el término hipótesis nula durante el experimento de la Dama degustando el té , que "nunca se prueba ni se establece, pero posiblemente se refuta en el curso de la experimentación". [32] [33] En su libro de 1930 La teoría genética de la selección natural , aplicó la estadística a varios conceptos biológicos como el principio de Fisher [34] (que AWF Edwards llamó "probablemente el argumento más célebre de la biología evolutiva ") y la fuga de Fisher. , [35] [36] [37] [38] [39] [40] un concepto en la selección sexual sobre un efecto de retroalimentación positiva desbocado que se encuentra en la evolución .
La ola final, que vio principalmente el refinamiento y la expansión de desarrollos anteriores, surgió del trabajo colaborativo entre Egon Pearson y Jerzy Neyman en la década de 1930. Introdujeron los conceptos de error " Tipo II ", potencia de una prueba e intervalos de confianza . Jerzy Neyman en 1934 demostró que el muestreo aleatorio estratificado era en general un mejor método de estimación que el muestreo intencional (por cuotas). [41]
Hoy en día, los métodos estadísticos se aplican en todos los campos que implican la toma de decisiones, para hacer inferencias precisas a partir de un conjunto de datos recopilados y para tomar decisiones frente a la incertidumbre basándose en una metodología estadística. El uso de computadoras modernas ha acelerado los cálculos estadísticos a gran escala y también ha hecho posibles nuevos métodos que no son prácticos de realizar manualmente. La estadística sigue siendo un área de investigación activa, por ejemplo sobre el problema de cómo analizar big data . [42]
Cuando no se pueden recopilar datos completos del censo, los estadísticos recopilan datos muestrales mediante el desarrollo de diseños de experimentos específicos y muestras de encuestas . La propia estadística también proporciona herramientas para la predicción y el pronóstico a través de modelos estadísticos .
Para utilizar una muestra como guía para una población completa, es importante que realmente represente a la población general. El muestreo representativo garantiza que las inferencias y conclusiones puedan extenderse con seguridad desde la muestra a la población en su conjunto. Un problema importante reside en determinar en qué medida la muestra elegida es realmente representativa. La estadística ofrece métodos para estimar y corregir cualquier sesgo dentro de la muestra y los procedimientos de recopilación de datos. También existen métodos de diseño experimental que pueden disminuir estos problemas al comienzo de un estudio, fortaleciendo su capacidad para discernir verdades sobre la población.
La teoría del muestreo es parte de la disciplina matemática de la teoría de la probabilidad . La probabilidad se utiliza en estadística matemática para estudiar las distribuciones muestrales de las estadísticas muestrales y, de manera más general, las propiedades de los procedimientos estadísticos . El uso de cualquier método estadístico es válido cuando el sistema o población bajo consideración satisface los supuestos del método. La diferencia de punto de vista entre la teoría de probabilidad clásica y la teoría del muestreo es, aproximadamente, que la teoría de probabilidad parte de los parámetros dados de una población total para deducir probabilidades que pertenecen a muestras. La inferencia estadística, sin embargo, avanza en la dirección opuesta: inferir inductivamente a partir de muestras los parámetros de una población mayor o total.
Un objetivo común de un proyecto de investigación estadística es investigar la causalidad y, en particular, sacar una conclusión sobre el efecto de los cambios en los valores de los predictores o variables independientes sobre las variables dependientes . Hay dos tipos principales de estudios estadísticos causales: estudios experimentales y estudios observacionales . En ambos tipos de estudios se observa el efecto de las diferencias de una variable (o variables) independiente sobre el comportamiento de la variable dependiente. La diferencia entre los dos tipos radica en cómo se realiza realmente el estudio. Cada uno puede ser muy efectivo. Un estudio experimental implica tomar medidas del sistema en estudio, manipular el sistema y luego tomar medidas adicionales con diferentes niveles usando el mismo procedimiento para determinar si la manipulación ha modificado los valores de las medidas. Por el contrario, un estudio observacional no implica manipulación experimental . En lugar de ello, se recopilan datos y se investigan las correlaciones entre los predictores y la respuesta. Si bien las herramientas de análisis de datos funcionan mejor con datos de estudios aleatorios , también se aplican a otros tipos de datos, como experimentos naturales y estudios observacionales [43] , para los cuales un estadístico usaría un método de estimación modificado y más estructurado (p. ej., Estimación de diferencias en diferencias y variables instrumentales , entre muchas otras) que producen estimadores consistentes .
Los pasos básicos de un experimento estadístico son:
Los experimentos sobre el comportamiento humano tienen preocupaciones especiales. El famoso estudio de Hawthorne examinó los cambios en el entorno laboral en la planta de Hawthorne de la Western Electric Company . Los investigadores estaban interesados en determinar si una mayor iluminación aumentaría la productividad de los trabajadores de la línea de montaje . Los investigadores primero midieron la productividad en la planta, luego modificaron la iluminación en un área de la planta y verificaron si los cambios en la iluminación afectaban la productividad. Resultó que la productividad efectivamente mejoró (bajo las condiciones experimentales). Sin embargo, el estudio es hoy muy criticado por errores en los procedimientos experimentales, concretamente por la falta de un grupo de control y el cegamiento . El efecto Hawthorne se refiere a encontrar que un resultado (en este caso, la productividad de los trabajadores) cambió debido a la observación misma. Los participantes en el estudio de Hawthorne se volvieron más productivos no porque se cambiara la iluminación sino porque estaban siendo observados. [44]
Un ejemplo de estudio observacional es aquel que explora la asociación entre el tabaquismo y el cáncer de pulmón. Este tipo de estudio normalmente utiliza una encuesta para recopilar observaciones sobre el área de interés y luego realiza un análisis estadístico. En este caso, los investigadores recopilarían observaciones tanto de fumadores como de no fumadores, quizás a través de un estudio de cohorte , y luego buscarían la cantidad de casos de cáncer de pulmón en cada grupo. [45] Un estudio de casos y controles es otro tipo de estudio observacional en el que se invita a participar a personas con y sin el resultado de interés (por ejemplo, cáncer de pulmón) y se recopilan sus historiales de exposición.
Se han realizado varios intentos para producir una taxonomía de niveles de medición . El psicofísico Stanley Smith Stevens definió escalas nominales, ordinales, de intervalo y de razón. Las mediciones nominales no tienen un orden de clasificación significativo entre los valores y permiten cualquier transformación uno a uno (inyectiva). Las medidas ordinales tienen diferencias imprecisas entre valores consecutivos, pero tienen un orden significativo para esos valores y permiten cualquier transformación que preserve el orden. Las mediciones de intervalo tienen definidas distancias significativas entre las mediciones, pero el valor cero es arbitrario (como en el caso de las mediciones de longitud y temperatura en Celsius o Fahrenheit ) y permite cualquier transformación lineal. Las mediciones de relación tienen tanto un valor cero significativo como las distancias entre diferentes mediciones definidas, y permiten cualquier transformación de reescalado.
Debido a que las variables que se ajustan únicamente a mediciones nominales u ordinales no pueden medirse numéricamente de manera razonable, a veces se agrupan como variables categóricas , mientras que las mediciones de razón e intervalo se agrupan como variables cuantitativas , que pueden ser discretas o continuas , debido a su naturaleza numérica. Estas distinciones a menudo pueden correlacionarse vagamente con el tipo de datos en informática, en el sentido de que las variables categóricas dicotómicas pueden representarse con el tipo de datos booleano , las variables categóricas politómicas con enteros asignados arbitrariamente en el tipo de datos integral y las variables continuas con el tipo de datos real que involucra aritmética de coma flotante . Pero la asignación de tipos de datos informáticos a tipos de datos estadísticos depende de qué categorización de estos últimos se esté implementando.
Se han propuesto otras categorizaciones. Por ejemplo, Mosteller y Tukey (1977) [46] distinguieron grados, rangos, fracciones contadas, recuentos, cantidades y saldos. Nelder (1990) [47] describió recuentos continuos, proporciones continuas, proporciones de recuento y modos categóricos de datos. (Ver también: Chrisman (1998), [48] van den Berg (1991). [49] )
La cuestión de si es apropiado o no aplicar diferentes tipos de métodos estadísticos a datos obtenidos a partir de diferentes tipos de procedimientos de medición se complica por cuestiones relativas a la transformación de variables y la interpretación precisa de las preguntas de investigación. "La relación entre los datos y lo que describen simplemente refleja el hecho de que ciertos tipos de enunciados estadísticos pueden tener valores de verdad que no son invariantes bajo algunas transformaciones. Si es sensato o no contemplar una transformación depende de la pregunta que uno está tratando de responder. ". [50] : 82
Una estadística descriptiva (en el sentido de sustantivo contable ) es una estadística resumida que describe o resume cuantitativamente las características de una colección de información , [51] mientras que la estadística descriptiva en el sentido de sustantivo masivo es el proceso de usar y analizar esas estadísticas. La estadística descriptiva se distingue de la estadística inferencial (o estadística inductiva) en que la estadística descriptiva tiene como objetivo resumir una muestra , en lugar de utilizar los datos para conocer la población que se cree que representa la muestra de datos. [52]
La inferencia estadística es el proceso de utilizar el análisis de datos para deducir propiedades de una distribución de probabilidad subyacente . [53] El análisis estadístico inferencial infiere propiedades de una población , por ejemplo probando hipótesis y derivando estimaciones. Se supone que el conjunto de datos observados se toma de una población más grande. La estadística inferencial se puede contrastar con la estadística descriptiva . La estadística descriptiva se ocupa únicamente de las propiedades de los datos observados y no se basa en el supuesto de que los datos provienen de una población más grande. [54]
Considere variables aleatorias independientes distribuidas idénticamente (IID) con una distribución de probabilidad dada : la teoría de estimación e inferencia estadística estándar define una muestra aleatoria como el vector aleatorio dado por el vector de columna de estas variables IID. [55] La población examinada se describe mediante una distribución de probabilidad que puede tener parámetros desconocidos.
Una estadística es una variable aleatoria que es función de la muestra aleatoria, pero no función de parámetros desconocidos . Sin embargo, la distribución de probabilidad de la estadística puede tener parámetros desconocidos. Consideremos ahora una función del parámetro desconocido: un estimador es un estadístico utilizado para estimar dicha función. Los estimadores comúnmente utilizados incluyen la media muestral , la varianza muestral insesgada y la covarianza muestral .
Una variable aleatoria que es función de la muestra aleatoria y del parámetro desconocido, pero cuya distribución de probabilidad no depende del parámetro desconocido se llama cantidad pivote o pivote. Los pivotes ampliamente utilizados incluyen la puntuación z , la estadística de chi cuadrado y el valor t de Student .
Entre dos estimadores de un parámetro determinado, se dice que el que tiene menor error cuadrático medio es más eficiente . Además, se dice que un estimador es insesgado si su valor esperado es igual al valor verdadero del parámetro desconocido que se está estimando, y asintóticamente insesgado si su valor esperado converge en el límite al valor verdadero de dicho parámetro.
Otras propiedades deseables para los estimadores incluyen: estimadores UMVUE que tienen la varianza más baja para todos los valores posibles del parámetro a estimar (esta suele ser una propiedad más fácil de verificar que la eficiencia) y estimadores consistentes que convergen en probabilidad al valor verdadero de dicho parámetro. .
Esto aún deja la cuestión de cómo obtener estimadores en una situación dada y realizar el cálculo, se han propuesto varios métodos: el método de los momentos , el método de máxima verosimilitud , el método de mínimos cuadrados y el más reciente método de estimación de ecuaciones .
La interpretación de la información estadística a menudo puede implicar el desarrollo de una hipótesis nula que generalmente (pero no necesariamente) es que no existe relación entre las variables o que no se produjo ningún cambio a lo largo del tiempo. [56] [57]
El mejor ejemplo para un novato es la situación que enfrenta un proceso penal. La hipótesis nula, H 0 , afirma que el acusado es inocente, mientras que la hipótesis alternativa, H 1 , afirma que el acusado es culpable. La acusación surge por sospecha de culpabilidad. El H 0 (status quo) se opone al H 1 y se mantiene a menos que el H 1 esté respaldado por pruebas "más allá de toda duda razonable". Sin embargo, "no rechazar H 0 " en este caso no implica inocencia, sino simplemente que las pruebas eran insuficientes para condenar. Entonces el jurado no necesariamente acepta H 0 pero no rechaza H 0 . Si bien no se puede "probar" una hipótesis nula, se puede probar qué tan cerca está de ser cierta con una prueba de potencia , que prueba los errores de tipo II .
Lo que los estadísticos llaman hipótesis alternativa es simplemente una hipótesis que contradice la hipótesis nula.
Partiendo de una hipótesis nula , se reconocen dos amplias categorías de error:
La desviación estándar se refiere al grado en que las observaciones individuales en una muestra difieren de un valor central, como la media de la muestra o la población, mientras que el error estándar se refiere a una estimación de la diferencia entre la media de la muestra y la media de la población.
Un error estadístico es la cantidad en la que una observación difiere de su valor esperado . Un residual es la cantidad que una observación difiere del valor que asume el estimador del valor esperado en una muestra determinada (también llamado predicción).
El error cuadrático medio se utiliza para obtener estimadores eficientes , una clase de estimadores ampliamente utilizada. El error cuadrático medio es simplemente la raíz cuadrada del error cuadrático medio.
.svg/1280px-Linear_least_squares(2).svg.png)
Muchos métodos estadísticos buscan minimizar la suma residual de cuadrados , y estos se denominan " métodos de mínimos cuadrados " en contraste con las desviaciones mínimas absolutas . Este último da igual peso a los errores pequeños y grandes, mientras que el primero da más peso a los errores grandes. La suma residual de cuadrados también es diferenciable , lo que proporciona una propiedad útil para realizar regresiones . Los mínimos cuadrados aplicados a la regresión lineal se denominan método de mínimos cuadrados ordinarios y los mínimos cuadrados aplicados a la regresión no lineal se denominan mínimos cuadrados no lineales . Además, en un modelo de regresión lineal, la parte no determinista del modelo se denomina término de error, perturbación o, más simplemente, ruido. Tanto la regresión lineal como la no lineal se abordan en mínimos cuadrados polinomiales , que también describe la varianza en una predicción de la variable dependiente (eje y) en función de la variable independiente (eje x) y las desviaciones (errores, ruido, perturbaciones) de la curva estimada (ajustada).
Los procesos de medición que generan datos estadísticos también están sujetos a errores. Muchos de estos errores se clasifican como aleatorios (ruido) o sistemáticos ( sesgo ), pero otros tipos de errores (por ejemplo, errores garrafales, como cuando un analista informa unidades incorrectas) también pueden ser importantes. La presencia de datos faltantes o la censura pueden dar lugar a estimaciones sesgadas y se han desarrollado técnicas específicas para abordar estos problemas. [58]
La mayoría de los estudios solo toman muestras de una parte de una población, por lo que los resultados no representan completamente a toda la población. Cualquier estimación obtenida de la muestra sólo se aproxima al valor poblacional. Los intervalos de confianza permiten a los estadísticos expresar en qué medida la estimación de la muestra coincide con el valor real en toda la población. A menudo se expresan como intervalos de confianza del 95%. Formalmente, un intervalo de confianza del 95% para un valor es un rango donde, si el muestreo y el análisis se repitieran bajo las mismas condiciones (produciendo un conjunto de datos diferente), el intervalo incluiría el valor verdadero (poblacional) en el 95% de todos los casos posibles. . Esto no implica que la probabilidad de que el valor verdadero esté en el intervalo de confianza sea del 95%. Desde la perspectiva frecuentista , tal afirmación ni siquiera tiene sentido, ya que el valor verdadero no es una variable aleatoria . O el valor verdadero está o no dentro del intervalo dado. Sin embargo, es cierto que, antes de muestrear cualquier dato y darle un plan sobre cómo construir el intervalo de confianza, la probabilidad es del 95% de que el intervalo aún por calcular cubra el valor verdadero: en este punto, el Los límites del intervalo son variables aleatorias aún por observar . Un enfoque que produce un intervalo que puede interpretarse como si tuviera una probabilidad dada de contener el valor verdadero es utilizar un intervalo creíble de la estadística bayesiana : este enfoque depende de una forma diferente de interpretar lo que se entiende por "probabilidad" , es decir como probabilidad bayesiana .
En principio, los intervalos de confianza pueden ser simétricos o asimétricos. Un intervalo puede ser asimétrico porque funciona como límite inferior o superior para un parámetro (intervalo del lado izquierdo o intervalo del lado derecho), pero también puede ser asimétrico porque el intervalo de dos lados se construye violando la simetría alrededor de la estimación. A veces, los límites de un intervalo de confianza se alcanzan asintóticamente y se utilizan para aproximar los límites verdaderos.
Las estadísticas rara vez dan una respuesta simple del tipo Sí o No a la pregunta que se analiza. La interpretación a menudo se reduce al nivel de significancia estadística aplicada a los números y a menudo se refiere a la probabilidad de que un valor rechace con precisión la hipótesis nula (a veces denominada valor p ).
El enfoque estándar [55] es probar una hipótesis nula frente a una hipótesis alternativa. Una región crítica es el conjunto de valores del estimador que lleva a refutar la hipótesis nula. La probabilidad de error tipo I es por tanto la probabilidad de que el estimador pertenezca a la región crítica dado que la hipótesis nula es verdadera ( significancia estadística ) y la probabilidad de error tipo II es la probabilidad de que el estimador no pertenezca a la región crítica dado que la hipótesis alternativa es cierta. El poder estadístico de una prueba es la probabilidad de que rechace correctamente la hipótesis nula cuando ésta es falsa.
Hacer referencia a significancia estadística no significa necesariamente que el resultado general sea significativo en términos del mundo real. Por ejemplo, en un estudio amplio de un fármaco se puede demostrar que el fármaco tiene un efecto beneficioso estadísticamente significativo pero muy pequeño, de modo que es poco probable que el fármaco ayude notablemente al paciente.
Aunque en principio el nivel aceptable de significancia estadística puede estar sujeto a debate, el nivel de significancia es el valor p más grande que permite que la prueba rechace la hipótesis nula. Esta prueba es lógicamente equivalente a decir que el valor p es la probabilidad, suponiendo que la hipótesis nula sea verdadera, de observar un resultado al menos tan extremo como el estadístico de prueba . Por tanto, cuanto menor sea el nivel de significancia, menor será la probabilidad de cometer error tipo I.
Algunos problemas suelen estar asociados con este marco (Ver crítica a la prueba de hipótesis ):
Algunas pruebas y procedimientos estadísticos bien conocidos son:
El análisis de datos exploratorio ( EDA ) es un enfoque para analizar conjuntos de datos para resumir sus características principales, a menudo con métodos visuales. Se puede utilizar un modelo estadístico o no, pero principalmente EDA sirve para ver qué nos pueden decir los datos más allá del modelado formal o la tarea de prueba de hipótesis.
El mal uso de las estadísticas puede producir errores sutiles pero graves en la descripción y la interpretación: sutiles en el sentido de que incluso los profesionales experimentados cometen tales errores, y graves en el sentido de que pueden conducir a errores de decisión devastadores. Por ejemplo, la política social, la práctica médica y la confiabilidad de estructuras como puentes dependen del uso adecuado de las estadísticas.
Incluso cuando las técnicas estadísticas se aplican correctamente, los resultados pueden ser difíciles de interpretar para quienes carecen de experiencia. La significancia estadística de una tendencia en los datos (que mide en qué medida una tendencia podría ser causada por una variación aleatoria en la muestra) puede concordar o no con un sentido intuitivo de su significancia. El conjunto de habilidades estadísticas básicas (y escepticismo) que las personas necesitan para manejar adecuadamente la información en su vida cotidiana se denomina alfabetización estadística .
Existe una percepción general de que con demasiada frecuencia se hace un mal uso intencionado del conocimiento estadístico al encontrar formas de interpretar sólo los datos que son favorables para el presentador. [60] La desconfianza y la mala comprensión de las estadísticas están asociadas con la cita: " Hay tres tipos de mentiras: mentiras, malditas mentiras y estadísticas ". El mal uso de las estadísticas puede ser tanto involuntario como intencional, y el libro Cómo mentir con las estadísticas , [60] de Darrell Huff , describe una serie de consideraciones. En un intento por arrojar luz sobre el uso y el mal uso de las estadísticas, se realizan revisiones de técnicas estadísticas utilizadas en campos particulares (por ejemplo, Warne, Lazo, Ramos y Ritter (2012)). [61]
Las formas de evitar el mal uso de las estadísticas incluyen el uso de diagramas adecuados y evitar sesgos . [62] Puede producirse un uso indebido cuando las conclusiones se sobregeneralizan y se afirma que son representativas de más de lo que realmente son, a menudo pasando por alto deliberada o inconscientemente el sesgo de muestreo. [63] Los gráficos de barras son posiblemente los diagramas más fáciles de usar y comprender, y se pueden hacer a mano o con programas de computadora simples. [62] La mayoría de las personas no buscan sesgos o errores, por lo que pasan desapercibidos. Así, las personas pueden creer a menudo que algo es cierto aunque no esté bien representado . [63] Para que los datos recopilados a partir de estadísticas sean creíbles y precisos, la muestra tomada debe ser representativa del conjunto. [64] Según Huff, "La confiabilidad de una muestra puede ser destruida por [sesgo]... permítase cierto grado de escepticismo". [sesenta y cinco]
Para ayudar en la comprensión de las estadísticas, Huff propuso una serie de preguntas que debían formularse en cada caso: [60]
El concepto de correlación es particularmente digno de mención por la posible confusión que puede causar. El análisis estadístico de un conjunto de datos a menudo revela que dos variables (propiedades) de la población considerada tienden a variar juntas, como si estuvieran conectadas. Por ejemplo, un estudio de ingresos anuales que también considere la edad de muerte podría encontrar que las personas pobres tienden a tener vidas más cortas que las personas adineradas. Se dice que las dos variables están correlacionadas; sin embargo, pueden o no ser causa del otro. Los fenómenos de correlación podrían ser causados por un tercer fenómeno, previamente no considerado, llamado variable oculta o variable de confusión . Por esta razón, no hay forma de inferir inmediatamente la existencia de una relación causal entre las dos variables.
La estadística aplicada, a veces denominada ciencia estadística, [66] comprende la estadística descriptiva y la aplicación de la estadística inferencial. [67] [68] La estadística teórica se refiere a los argumentos lógicos que subyacen a la justificación de los enfoques de la inferencia estadística , además de abarcar la estadística matemática . La estadística matemática incluye no sólo la manipulación de distribuciones de probabilidad necesarias para derivar resultados relacionados con métodos de estimación e inferencia, sino también varios aspectos de la estadística computacional y el diseño de experimentos .
Los consultores estadísticos pueden ayudar a las organizaciones y empresas que no tienen experiencia interna relevante para sus preguntas particulares.
Los modelos de aprendizaje automático son modelos estadísticos y probabilísticos que capturan patrones en los datos mediante el uso de algoritmos computacionales.
La estadística es aplicable a una amplia variedad de disciplinas académicas , incluidas las ciencias naturales y sociales , el gobierno y los negocios. Las estadísticas empresariales aplican métodos estadísticos en econometría , auditoría y producción y operaciones, incluida la mejora de servicios y la investigación de mercados. [69] Un estudio de dos revistas de biología tropical encontró que las 12 pruebas estadísticas más frecuentes son: análisis de varianza (ANOVA), prueba de chi-cuadrado , prueba t de Student , regresión lineal , coeficiente de correlación de Pearson , prueba U de Mann-Whitney , prueba de Kruskal-Wallis , índice de diversidad de Shannon , prueba de rango de Tukey , análisis de conglomerados , coeficiente de correlación de rangos de Spearman y análisis de componentes principales . [70]
Un curso típico de estadística cubre estadística descriptiva, probabilidad, distribuciones binomiales y normales , prueba de hipótesis e intervalos de confianza, regresión lineal y correlación. [71] Los cursos modernos de estadística fundamental para estudiantes universitarios se centran en la selección correcta de pruebas, la interpretación de resultados y el uso de software estadístico gratuito . [70]
Los aumentos rápidos y sostenidos de la potencia informática a partir de la segunda mitad del siglo XX han tenido un impacto sustancial en la práctica de la ciencia estadística. Los primeros modelos estadísticos casi siempre pertenecían a la clase de modelos lineales , pero las potentes computadoras, junto con algoritmos numéricos adecuados , provocaron un mayor interés en los modelos no lineales (como las redes neuronales ), así como la creación de nuevos tipos, como los modelos lineales generalizados . y modelos multinivel .
El aumento de la potencia informática también ha llevado a la creciente popularidad de los métodos computacionalmente intensivos basados en el remuestreo , como las pruebas de permutación y el bootstrap , mientras que técnicas como el muestreo de Gibbs han hecho más factible el uso de modelos bayesianos . La revolución informática tiene implicaciones para el futuro de las estadísticas con un nuevo énfasis en las estadísticas "experimentales" y "empíricas". Actualmente se encuentra disponible una gran cantidad de software estadístico , tanto general como especial . Ejemplos de software disponible capaz de realizar cálculos estadísticos complejos incluyen programas como Mathematica , SAS , SPSS y R.
En los negocios, las "estadísticas" son una herramienta de gestión y apoyo a las decisiones ampliamente utilizada . Se aplica particularmente en la gestión financiera , la gestión de marketing y la gestión de producción , servicios y operaciones . [72] [73] La estadística también se utiliza mucho en la contabilidad de gestión y la auditoría . La disciplina de Ciencias de la Gestión formaliza el uso de la estadística y otras matemáticas en los negocios. ( La econometría es la aplicación de métodos estadísticos a datos económicos con el fin de dar contenido empírico a las relaciones económicas .)
Un curso típico de "Estadística empresarial" está destinado a estudiantes de negocios y cubre [74] estadística descriptiva ( recopilación , descripción, análisis y resumen de datos), probabilidad (normalmente distribuciones binomial y normal ), prueba de hipótesis e intervalos de confianza. regresión lineal y correlación; Los cursos (de seguimiento) pueden incluir pronósticos , series temporales , árboles de decisión , regresión lineal múltiple y otros temas de análisis de negocios en general. Véase también Matemáticas empresariales § Nivel universitario . Los programas de certificación profesional , como el CFA , suelen incluir temas de estadística.
Tradicionalmente, la estadística se ocupaba de sacar inferencias utilizando una metodología semiestandarizada que era "aprendizaje requerido" en la mayoría de las ciencias. Esta tradición ha cambiado con el uso de estadísticas en contextos no inferenciales. Lo que alguna vez se consideró un tema árido, tomado en muchos campos como un requisito para obtener un título, ahora se ve con entusiasmo. [¿ según quién? ] Inicialmente ridiculizado por algunos puristas matemáticos, ahora se considera una metodología esencial en determinadas áreas.
Las técnicas estadísticas se utilizan en una amplia gama de tipos de investigación científica y social, entre ellas: bioestadística , biología computacional , sociología computacional , biología de redes , ciencias sociales , sociología e investigación social . Algunos campos de investigación utilizan estadísticas aplicadas tan ampliamente que tienen terminología especializada . Estas disciplinas incluyen:
Además, existen tipos particulares de análisis estadístico que también han desarrollado su propia terminología y metodología especializada:
Las estadísticas también constituyen una herramienta básica clave en los negocios y la industria manufacturera. Se utiliza para comprender la variabilidad de los sistemas de medición, los procesos de control (como en el control de procesos estadísticos o SPC), para resumir datos y para tomar decisiones basadas en datos. En estos roles, es una herramienta clave y quizás la única herramienta confiable. [ cita necesaria ]
La confiabilidad de una muestra puede verse destruida por el [sesgo]... permítase cierto grado de escepticismo.
Definiciones de Wikcionario
Medios de los comunes
Noticias de Wikinoticias
Citas de Wikiquote
Textos de Wikisource
Libros de texto de Wikilibros
Recursos de Wikiversidad