La estadística , en el sentido moderno de la palabra, comenzó a evolucionar en el siglo XVIII en respuesta a las nuevas necesidades de los estados soberanos en proceso de industrialización .
En los primeros tiempos, el significado se limitaba a la información sobre los estados, en particular la demografía , como la población. Más tarde, esto se amplió para incluir todas las colecciones de información de todo tipo, y más tarde aún se amplió para incluir el análisis y la interpretación de dichos datos. En términos modernos, "estadística" significa tanto conjuntos de información recopilada, como en las cuentas nacionales y el registro de temperatura , como el trabajo analítico que requiere inferencia estadística . Las actividades estadísticas a menudo se asocian con modelos expresados utilizando probabilidades , de ahí la conexión con la teoría de la probabilidad. Los grandes requisitos del procesamiento de datos han hecho de la estadística una aplicación clave de la computación. Una serie de conceptos estadísticos tienen un impacto importante en una amplia gama de ciencias. Estos incluyen el diseño de experimentos y enfoques de inferencia estadística como la inferencia bayesiana , cada uno de los cuales puede considerarse que tiene su propia secuencia en el desarrollo de las ideas subyacentes a las estadísticas modernas.
En el siglo XVIII, el término " estadística " designaba la recopilación sistemática de datos demográficos y económicos por parte de los estados. Durante al menos dos milenios, estos datos eran principalmente tabulaciones de recursos humanos y materiales que podían ser gravados o utilizados con fines militares. A principios del siglo XIX, la recopilación se intensificó y el significado de "estadística" se amplió para incluir la disciplina relacionada con la recopilación, el resumen y el análisis de datos. Hoy en día, se recopilan datos y se calculan estadísticas y se distribuyen ampliamente en el gobierno, las empresas, la mayoría de las ciencias y los deportes, e incluso en muchos pasatiempos. Las computadoras electrónicas han acelerado los cálculos estadísticos más elaborados, al tiempo que han facilitado la recopilación y agregación de datos. Un solo analista de datos puede tener disponible un conjunto de archivos de datos con millones de registros, cada uno con docenas o cientos de mediciones separadas. Estos se recopilaron a lo largo del tiempo a partir de la actividad informática (por ejemplo, una bolsa de valores) o de sensores computarizados, registros de puntos de venta, etc. Las computadoras producen entonces resúmenes simples y precisos, y permiten realizar análisis más tediosos, como los que requieren invertir una matriz grande o realizar cientos de pasos de iteración, que nunca se intentarían a mano. La computación más rápida ha permitido a los estadísticos desarrollar métodos "intensivos de computación" que pueden analizar todas las permutaciones o utilizar la aleatorización para analizar 10.000 permutaciones de un problema, a fin de estimar respuestas que no son fáciles de cuantificar solo con la teoría.
El término " estadística matemática " designa las teorías matemáticas de probabilidad e inferencia estadística , que se utilizan en la práctica estadística . Sin embargo, la relación entre la estadística y la teoría de la probabilidad se desarrolló bastante tarde. En el siglo XIX, la estadística utilizó cada vez más la teoría de la probabilidad , cuyos resultados iniciales se encontraron en los siglos XVII y XVIII, particularmente en el análisis de juegos de azar (juegos de azar). Hacia 1800, la astronomía utilizaba modelos de probabilidad y teorías estadísticas, particularmente el método de mínimos cuadrados . La teoría de la probabilidad y la estadística tempranas se sistematizaron en el siglo XIX y el razonamiento estadístico y los modelos de probabilidad fueron utilizados por los científicos sociales para avanzar en las nuevas ciencias de la psicología experimental y la sociología , y por los científicos físicos en la termodinámica y la mecánica estadística . El desarrollo del razonamiento estadístico estuvo estrechamente asociado con el desarrollo de la lógica inductiva y el método científico , que son preocupaciones que alejan a los estadísticos del área más estrecha de la estadística matemática. Gran parte del trabajo teórico estaba fácilmente disponible en el momento en que las computadoras estaban disponibles para explotarlos. En la década de 1970, Johnson y Kotz produjeron un Compendio sobre distribuciones estadísticas de cuatro volúmenes (1.ª ed., 1969-1972), que sigue siendo un recurso invaluable.
La estadística aplicada puede considerarse no como un campo de las matemáticas sino como una ciencia matemática autónoma , como la informática y la investigación de operaciones . A diferencia de las matemáticas, la estadística tuvo sus orígenes en la administración pública . Las aplicaciones surgieron temprano en la demografía y la economía ; grandes áreas de la micro y la macroeconomía hoy son "estadísticas" con énfasis en los análisis de series temporales. Con su énfasis en el aprendizaje de los datos y en la realización de las mejores predicciones, la estadística también ha sido moldeada por áreas de investigación académica que incluyen las pruebas psicológicas, la medicina y la epidemiología . Las ideas de las pruebas estadísticas tienen una superposición considerable con la ciencia de la decisión . Con sus preocupaciones por la búsqueda y presentación efectiva de datos , la estadística se superpone con la ciencia de la información y la informática .
El término estadística se deriva en última instancia del neolatín statisticum collegium ("consejo de estado") y la palabra italiana statista ("estadista" o " político "). El término alemán Statistik , introducido por primera vez por Gottfried Achenwall (1749), designaba originalmente el análisis de datos sobre el estado , es decir, la "ciencia del estado" (entonces llamada aritmética política en inglés). Adquirió el significado de la recopilación y clasificación de datos en general a principios del siglo XIX. Fue introducido al inglés en 1791 por Sir John Sinclair cuando publicó el primero de 21 volúmenes titulado Cuenta estadística de Escocia . [1]
Las formas básicas de estadística se han utilizado desde el comienzo de la civilización. Los primeros imperios solían recopilar censos de población o registrar el comercio de diversos productos. La dinastía Han y el Imperio romano fueron algunos de los primeros estados en recopilar datos extensivos sobre el tamaño de la población, la superficie geográfica y la riqueza del imperio.
El uso de métodos estadísticos se remonta al menos al siglo V a. C. El historiador Tucídides, en su Historia de la guerra del Peloponeso [2], describe cómo los atenienses calculaban la altura de la muralla de Platea contando el número de ladrillos que había en una sección no revestida de la muralla lo suficientemente cerca de ellos como para poder contarlos. El recuento se repetía varias veces por varios soldados. El valor más frecuente (en la terminología moderna, la moda ) así determinado se tomaba como el valor más probable del número de ladrillos. Al multiplicar este valor por la altura de los ladrillos utilizados en la muralla, los atenienses podían determinar la altura de las escaleras necesarias para escalar las murallas. [ cita requerida ]
La Prueba del Copón es una prueba de pureza de las monedas de la Real Casa de la Moneda que se lleva a cabo periódicamente desde el siglo XII. La Prueba en sí se basa en métodos de muestreo estadístico. Después de acuñar una serie de monedas (originalmente de diez libras de plata), se coloca una sola moneda en el Copón, una caja situada en la Abadía de Westminster . Después de un período determinado (ahora una vez al año), se extraen las monedas y se pesan. A continuación, se prueba la pureza de una muestra de monedas extraídas de la caja.
La Nuova Cronica , una historia de Florencia del siglo XIV escrita por el banquero y funcionario florentino Giovanni Villani , incluye mucha información estadística sobre población, ordenanzas, comercio, educación e instalaciones religiosas y ha sido descrita como la primera introducción de la estadística como un elemento positivo en la historia, [3] aunque ni el término ni el concepto de la estadística como campo específico existían todavía.
La media aritmética , aunque era un concepto conocido por los griegos, no se generalizó a más de dos valores hasta el siglo XVI. Es probable que la invención del sistema decimal por Simon Stevin en 1585 haya facilitado estos cálculos. Este método fue adoptado por primera vez en astronomía por Tycho Brahe, quien intentaba reducir los errores en sus estimaciones de las ubicaciones de varios cuerpos celestes.
La idea de la mediana se originó en el libro de navegación de Edward Wright ( Ciertos errores en la navegación ) en 1599 en una sección sobre la determinación de la ubicación con una brújula. Wright creía que este valor era el que tenía más probabilidades de ser el valor correcto en una serie de observaciones. La diferencia entre la media y la mediana fue advertida en 1669 por Christian Huygens en el contexto del uso de las tablas de Graunt. [4]
El término "estadística" fue introducido por el erudito italiano Girolamo Ghilini en 1589 con referencia a esta ciencia. [5] [6] El nacimiento de la estadística a menudo se fecha en 1662, cuando John Graunt , junto con William Petty , desarrolló los primeros métodos estadísticos y censales humanos que proporcionaron un marco para la demografía moderna . Produjo la primera tabla de vida , dando probabilidades de supervivencia a cada edad. Su libro Natural and Political Observations Made upon the Bills of Mortality utilizó el análisis de los registros de mortalidad para hacer la primera estimación basada en estadísticas de la población de Londres . Sabía que había alrededor de 13.000 funerales por año en Londres y que tres personas morían por cada once familias por año. Estimó a partir de los registros parroquiales que el tamaño promedio de la familia era de 8 y calculó que la población de Londres era de aproximadamente 384.000; este es el primer uso conocido de un estimador de razón . Laplace en 1802 estimó la población de Francia con un método similar; Consulte Estimador de proporción § Historial para obtener más detalles.
Aunque el alcance original de la estadística se limitaba a los datos útiles para la gobernanza, el enfoque se extendió a muchos campos de naturaleza científica o comercial durante el siglo XIX. Los fundamentos matemáticos de la materia se basaron en gran medida en la nueva teoría de la probabilidad , iniciada en el siglo XVI por Gerolamo Cardano , Pierre de Fermat y Blaise Pascal . Christiaan Huygens (1657) dio el primer tratamiento científico conocido del tema. El Ars Conjectandi de Jakob Bernoulli (póstumo, 1713) y La doctrina de las probabilidades de Abraham de Moivre (1718) trataron el tema como una rama de las matemáticas. En su libro, Bernoulli introdujo la idea de representar la certeza completa como uno y la probabilidad como un número entre cero y uno.
Una de las primeras aplicaciones clave de la estadística en el siglo XVIII fue la proporción de sexos humanos al nacer. [7] John Arbuthnot estudió esta cuestión en 1710. [8] [9] [10] [11] Arbuthnot examinó los registros de nacimientos en Londres durante cada uno de los 82 años desde 1629 hasta 1710. En cada año, el número de varones nacidos en Londres superó al número de mujeres. Considerando que es igualmente probable que haya más nacimientos de varones o más de mujeres, la probabilidad del resultado observado es de 0,5^82, o aproximadamente 1 en 4.8360.0000.0000.0000.0000.0000; en términos modernos, el valor p es . Esto es extremadamente pequeño, lo que lleva a Arbuthnot a pensar que esto no se debía al azar, sino a la providencia divina: "De donde se sigue que es el arte, no el azar, lo que gobierna". Este y otros trabajos de Arbuthnot se consideran "el primer uso de pruebas de significación " [12], el primer ejemplo de razonamiento sobre la significación estadística y la certeza moral, [13] y "... quizás el primer informe publicado de una prueba no paramétrica ...", [9] específicamente la prueba de signos ; consulte los detalles en Prueba de signos § Historia .
El estudio formal de la teoría de los errores se remonta a la Opera Miscellanea de Roger Cotes (póstuma, 1722), pero una memoria preparada por Thomas Simpson en 1755 (impresa en 1756) aplicó por primera vez la teoría al análisis de los errores de observación. La reimpresión (1757) de esta memoria establece los axiomas de que los errores positivos y negativos son igualmente probables y que existen ciertos límites asignables dentro de los cuales se puede suponer que caen todos los errores; se analizan los errores continuos y se da una curva de probabilidad. Simpson analizó varias distribuciones posibles de error. Primero consideró la distribución uniforme y luego la distribución triangular simétrica discreta seguida de la distribución triangular simétrica continua. Tobias Mayer , en su estudio de la libración de la luna ( Kosmographische Nachrichten , Nuremberg, 1750), inventó el primer método formal para estimar las cantidades desconocidas al generalizar el promedio de observaciones en circunstancias idénticas al promedio de grupos de ecuaciones similares.
Roger Joseph Boscovich en 1755, basándose en su trabajo sobre la forma de la tierra, propuso en su libro De Litteraria expeditione per pontificiam ditionem ad dimetiendos duos meridiani gradus a PP. Maire et Boscovicli que el verdadero valor de una serie de observaciones sería el que minimiza la suma de errores absolutos. En la terminología moderna, este valor es la mediana. El primer ejemplo de lo que más tarde se conocería como la curva normal fue estudiado por Abraham de Moivre, quien trazó esta curva el 12 de noviembre de 1733. [14] De Moivre estaba estudiando el número de caras que se producían cuando se lanzaba una moneda "justa".
En 1763, Richard Price transmitió a la Royal Society la prueba de Thomas Bayes de una regla para utilizar una distribución binomial para calcular una probabilidad posterior de un evento anterior.
En 1765 Joseph Priestley inventó los primeros gráficos de línea de tiempo .
Johann Heinrich Lambert en su libro Anlage zur Architectonic de 1765 propuso el semicírculo como una distribución de errores:
con -1 < x < 1.
Pierre-Simon Laplace (1774) fue el primero en intentar deducir una regla para la combinación de observaciones a partir de los principios de la teoría de probabilidades. Representó la ley de probabilidad de errores mediante una curva y dedujo una fórmula para la media de tres observaciones.
En 1774, Laplace observó que la frecuencia de un error podía expresarse como una función exponencial de su magnitud una vez que se descartaba su signo. [15] [16] Esta distribución se conoce ahora como distribución de Laplace . Lagrange propuso una distribución fractal parabólica de errores en 1776.
En 1778, Laplace publicó su segunda ley de errores, en la que señalaba que la frecuencia de un error era proporcional a la exponencial del cuadrado de su magnitud. Esta ley fue redescubierta posteriormente por Gauss (posiblemente en 1795) y ahora se la conoce mejor como distribución normal, que es de importancia central en estadística. [17] Esta distribución fue mencionada por primera vez como distribución normal por CS Peirce en 1873, quien estaba estudiando los errores de medición cuando se dejaba caer un objeto sobre una base de madera. [18] Eligió el término normal debido a su frecuente aparición en variables naturales.
Lagrange también sugirió en 1781 otras dos distribuciones de errores: una distribución de coseno elevado y una distribución logarítmica .
Laplace (1781) dio una fórmula para la ley de facilidad de error (un término debido a Joseph Louis Lagrange , 1774), pero que condujo a ecuaciones inmanejables. Daniel Bernoulli (1778) introdujo el principio del producto máximo de las probabilidades de un sistema de errores concurrentes.
En 1786, William Playfair (1759-1823) introdujo la idea de la representación gráfica en las estadísticas. Inventó el gráfico de líneas , el gráfico de barras y el histograma y los incorporó a sus obras sobre economía , el Atlas comercial y político . A esto le siguió en 1795 su invención del gráfico circular y del gráfico circular, que utilizó para mostrar la evolución de las importaciones y exportaciones de Inglaterra. Estos últimos gráficos llamaron la atención del público cuando publicó ejemplos en su Breviario estadístico en 1801.
Laplace, en una investigación de los movimientos de Saturno y Júpiter en 1787, generalizó el método de Mayer utilizando diferentes combinaciones lineales de un solo grupo de ecuaciones.
En 1791, Sir John Sinclair introdujo el término «estadística» en inglés en sus Cuentas estadísticas de Escocia .
En 1802, Laplace estimó que la población de Francia era de 28.328.612 habitantes. [19] Calculó esta cifra utilizando el número de nacimientos del año anterior y los datos del censo de tres comunidades. Los datos del censo de estas comunidades mostraban que tenían 2.037.615 personas y que el número de nacimientos era de 71.866. Suponiendo que estas muestras eran representativas de Francia, Laplace elaboró su estimación para toda la población.
El método de mínimos cuadrados , que se utilizó para minimizar los errores en la medición de datos , fue publicado de forma independiente por Adrien-Marie Legendre (1805), Robert Adrain (1808) y Carl Friedrich Gauss (1809). Gauss había utilizado el método en su famosa predicción de 1801 sobre la ubicación del planeta enano Ceres . Las observaciones en las que Gauss basó sus cálculos fueron realizadas por el monje italiano Piazzi.
El método de mínimos cuadrados fue precedido por el uso de una pendiente de regresión mediana. Este método minimiza la suma de las desviaciones absolutas. Un método para estimar esta pendiente fue inventado por Roger Joseph Boscovich en 1760 y lo aplicó a la astronomía.
El término error probable ( der wahrscheinliche Fehler ) –la desviación mediana respecto de la media– fue introducido en 1815 por el astrónomo alemán Frederik Wilhelm Bessel . Antoine Augustin Cournot fue el primero en utilizar en 1843 el término mediana ( valeur médiane ) para designar el valor que divide una distribución de probabilidad en dos mitades iguales.
Otros contribuyentes a la teoría de los errores fueron Ellis (1844), De Morgan (1864), Glaisher (1872) y Giovanni Schiaparelli (1875). [ cita requerida ] La fórmula de Peters (1856) para , el "error probable" de una sola observación, fue ampliamente utilizada e inspiró las primeras estadísticas robustas (resistentes a los valores atípicos : véase el criterio de Peirce ).
En el siglo XIX, los autores de teoría estadística incluyeron a Laplace, S. Lacroix (1816), Littrow (1833), Dedekind (1860), Helmert (1872), Laurent (1873), Liagre, Didion, De Morgan y Boole .
Gustav Theodor Fechner utilizó la mediana ( Centralwerth ) en fenómenos sociológicos y psicológicos. [20] Anteriormente se había utilizado sólo en astronomía y campos relacionados. Francis Galton utilizó el término inglés mediana por primera vez en 1881, habiendo utilizado anteriormente los términos valor medio en 1869 y medio en 1880. [21]
Adolphe Quetelet (1796-1874), otro importante fundador de la estadística, introdujo la noción del "hombre medio" ( l'homme moyen ) como un medio para comprender fenómenos sociales complejos como las tasas de criminalidad , las tasas de matrimonio y las tasas de suicidio . [22]
Las primeras pruebas de la distribución normal fueron inventadas por el estadístico alemán Wilhelm Lexis en la década de 1870. Los únicos conjuntos de datos disponibles que pudo demostrar que tenían una distribución normal fueron las tasas de natalidad.
Aunque los orígenes de la teoría estadística se encuentran en los avances del siglo XVIII en probabilidad, el campo moderno de la estadística solo surgió a fines del siglo XIX y principios del XX en tres etapas. La primera ola, a principios del siglo, fue liderada por el trabajo de Francis Galton y Karl Pearson , quienes transformaron la estadística en una disciplina matemática rigurosa utilizada para el análisis, no solo en la ciencia, sino también en la industria y la política. La segunda ola de las décadas de 1910 y 1920 fue iniciada por William Sealy Gosset y alcanzó su culminación en las ideas de Ronald Fisher . Esto implicó el desarrollo de mejores modelos de diseño de experimentos , pruebas de hipótesis y técnicas para usar con pequeñas muestras de datos. La ola final, que vio principalmente el refinamiento y la expansión de desarrollos anteriores, surgió del trabajo colaborativo entre Egon Pearson y Jerzy Neyman en la década de 1930. [23] Hoy en día, los métodos estadísticos se aplican en todos los campos que involucran la toma de decisiones, para hacer inferencias precisas a partir de un conjunto de datos recopilados y para tomar decisiones frente a la incertidumbre basada en la metodología estadística.
Los primeros organismos estadísticos se crearon a principios del siglo XIX. La Royal Statistical Society se fundó en 1834 y Florence Nightingale , su primera miembro femenina, fue pionera en la aplicación del análisis estadístico a los problemas de salud para fomentar la comprensión epidemiológica y la práctica de la salud pública. Sin embargo, los métodos que se utilizaban entonces no se considerarían hoy en día estadísticas modernas.
El libro del erudito de Oxford Francis Ysidro Edgeworth , Metretike: or The Method of Measuring Probability and Utility (1887) abordó la probabilidad como base del razonamiento inductivo, y sus trabajos posteriores se centraron en la "filosofía del azar". [24] Su primer artículo sobre estadística (1883) exploró la ley del error ( distribución normal ), y sus Métodos de estadística (1885) introdujeron una versión temprana de la distribución t , la expansión de Edgeworth , la serie de Edgeworth , el método de transformación de variables y la teoría asintótica de estimaciones de máxima verosimilitud.
El noruego Anders Nicolai Kiær introdujo el concepto de muestreo estratificado en 1895. [25] Arthur Lyon Bowley introdujo nuevos métodos de muestreo de datos en 1906 cuando trabajaba en estadísticas sociales. Aunque las encuestas estadísticas de las condiciones sociales habían comenzado con "La vida y el trabajo de la gente en Londres" (1889-1903) de Charles Booth y "La pobreza, un estudio de la vida urbana" (1901) de Seebohm Rowntree , la innovación clave de Bowley consistió en el uso de técnicas de muestreo aleatorio . Sus esfuerzos culminaron en su Nueva encuesta sobre la vida y el trabajo en Londres . [26]
A Francis Galton se le atribuye ser uno de los principales fundadores de la teoría estadística. Sus contribuciones a este campo incluyeron la introducción de los conceptos de desviación estándar , correlación y regresión , y la aplicación de estos métodos al estudio de la variedad de características humanas (altura, peso, longitud de las pestañas, entre otras). Descubrió que muchas de ellas podían ajustarse a una distribución de curva normal. [27]
Galton presentó un artículo a la revista Nature en 1907 sobre la utilidad de la mediana. [28] Examinó la precisión de 787 suposiciones sobre el peso de un buey en una feria rural. El peso real fue de 1208 libras: la mediana supuesta fue de 1198. Las suposiciones estaban marcadamente distribuidas de manera no normal (cf. Wisdom of the Crowd ).
La publicación de Natural Inheritance por Galton en 1889 despertó el interés de un matemático brillante, Karl Pearson , [29] que entonces trabajaba en el University College de Londres , y él fundó la disciplina de la estadística matemática. [30] Hizo hincapié en la base estadística de las leyes científicas y promovió su estudio y su laboratorio atrajo a estudiantes de todo el mundo atraídos por sus nuevos métodos de análisis, incluido Udny Yule . Su trabajo creció para abarcar los campos de la biología , la epidemiología , la antropometría, la medicina y la historia social . En 1901, con Walter Weldon , fundador de la biometría , y Galton, fundó la revista Biometrika como la primera revista de estadística matemática y biometría.
Su trabajo, y el de Galton, sustentan muchos de los métodos estadísticos "clásicos" que se usan comúnmente hoy en día, incluyendo el coeficiente de correlación , definido como un momento producto; [31] el método de momentos para el ajuste de distribuciones a muestras; el sistema de curvas continuas de Pearson que forma la base de las distribuciones de probabilidad continuas ahora convencionales; la distancia Chi, un precursor y caso especial de la distancia de Mahalanobis [32] y el valor P , definido como la medida de probabilidad del complemento de la pelota con el valor hipotético como punto central y la distancia chi como radio. [32] También introdujo el término "desviación estándar".
También fundó la teoría de prueba de hipótesis estadística , [32] la prueba de chi-cuadrado de Pearson y el análisis de componentes principales . [33] [34] En 1911 fundó el primer departamento de estadística universitaria del mundo en el University College de Londres .
La segunda ola de estadística matemática fue iniciada por Ronald Fisher , quien escribió dos libros de texto, Métodos estadísticos para investigadores , publicado en 1925 y El diseño de experimentos en 1935, que definirían la disciplina académica en universidades de todo el mundo. También sistematizó resultados anteriores, colocándolos sobre una base matemática sólida. En su artículo seminal de 1918 La correlación entre parientes en la suposición de la herencia mendeliana , el primero en utilizar el término estadístico, varianza . En 1919, en la Estación Experimental de Rothamsted comenzó un estudio importante de las extensas colecciones de datos registrados durante muchos años. Esto dio como resultado una serie de informes bajo el título general Estudios en variación de cultivos. En 1930 publicó La teoría genética de la selección natural donde aplicó la estadística a la evolución .
Durante los siguientes siete años, fue pionero en los principios del diseño de experimentos (ver más abajo) y elaboró sus estudios de análisis de varianza. Amplió sus estudios de las estadísticas de muestras pequeñas. Quizás aún más importante, comenzó su enfoque sistemático del análisis de datos reales como trampolín para el desarrollo de nuevos métodos estadísticos. Desarrolló algoritmos computacionales para analizar datos de sus diseños experimentales balanceados. En 1925, este trabajo resultó en la publicación de su primer libro, Métodos estadísticos para trabajadores de investigación . [35] Este libro pasó por muchas ediciones y traducciones en años posteriores, y se convirtió en la obra de referencia estándar para científicos en muchas disciplinas. En 1935, este libro fue seguido por El diseño de experimentos , que también fue ampliamente utilizado.
Además del análisis de varianza, Fisher nombró y promovió el método de estimación de máxima verosimilitud . Fisher también originó los conceptos de suficiencia , estadística auxiliar , discriminador lineal de Fisher e información de Fisher . Su artículo On a distribution yielding the error functions of several wellknown statistics (1924) presentó la prueba chi-cuadrado de Pearson y la t de William Sealy Gosset en el mismo marco que la distribución gaussiana , y su propio parámetro en el análisis de varianza, la distribución z de Fisher (más comúnmente utilizada décadas después en la forma de la distribución F ). [36] El nivel de significancia del 5% parece haber sido introducido por Fisher en 1925. [37] Fisher afirmó que las desviaciones que exceden el doble de la desviación estándar se consideran significativas. Antes de esto, las desviaciones que exceden el triple del error probable se consideraban significativas. Para una distribución simétrica, el error probable es la mitad del rango intercuartil. Para una distribución normal, el error probable es aproximadamente 2/3 de la desviación estándar. Parece que el criterio del 5% de Fisher tenía sus raíces en prácticas anteriores.
Otras contribuciones importantes en esta época incluyeron el coeficiente de correlación de rangos de Charles Spearman , que fue una extensión útil del coeficiente de correlación de Pearson. William Sealy Gosset , el estadístico inglés más conocido bajo su seudónimo de Student , introdujo la distribución t de Student , una distribución de probabilidad continua útil en situaciones en las que el tamaño de la muestra es pequeño y se desconoce la desviación estándar de la población.
Egon Pearson (hijo de Karl) y Jerzy Neyman introdujeron los conceptos de error de " tipo II ", potencia de una prueba e intervalos de confianza . En 1934, Jerzy Neyman demostró que el muestreo aleatorio estratificado era, en general, un mejor método de estimación que el muestreo intencional (por cuotas). [38]
En 1747, mientras trabajaba como cirujano en el HM Bark Salisbury , James Lind llevó a cabo un experimento controlado para desarrollar una cura para el escorbuto . [39] En este estudio, los casos de sus sujetos "eran tan similares como pude imaginar", es decir, proporcionó requisitos de entrada estrictos para reducir la variación extraña. Los hombres fueron emparejados, lo que proporcionó un bloqueo . Desde una perspectiva moderna, lo principal que falta es la asignación aleatoria de sujetos a los tratamientos.
En la actualidad, a Lind se lo suele describir como un experimentador que analizaba un factor a la vez. [40] En la década de 1840, Sir John Lawes realizó una experimentación similar que analizaba un factor a la vez (OFAT) en la Estación de Investigación de Rothamsted para determinar el fertilizante inorgánico óptimo para su uso en el trigo. [40]
Charles S. Peirce desarrolló una teoría de la inferencia estadística en " Ilustraciones de la lógica de la ciencia " (1877-1878) y " Una teoría de la inferencia probable " (1883), dos publicaciones que enfatizaban la importancia de la inferencia basada en la aleatorización en las estadísticas. En otro estudio, Peirce asignó aleatoriamente a voluntarios a un diseño ciego de medidas repetidas para evaluar su capacidad para discriminar pesos. [41] [42] [ 43] [44]
El experimento de Peirce inspiró a otros investigadores en psicología y educación, que desarrollaron una tradición de investigación de experimentos aleatorios en laboratorios y libros de texto especializados en el siglo XIX. [41] [42] [43] [44] Peirce también contribuyó con la primera publicación en idioma inglés sobre un diseño óptimo para modelos de regresión en 1876. [45] Gergonne sugirió un diseño óptimo pionero para la regresión polinomial en 1815. [ cita requerida ] En 1918, Kirstine Smith publicó diseños óptimos para polinomios de grado seis (y menos). [46]
El uso de una secuencia de experimentos, donde el diseño de cada uno puede depender de los resultados de experimentos anteriores, incluida la posible decisión de dejar de experimentar, fue iniciado [47] por Abraham Wald en el contexto de pruebas secuenciales de hipótesis estadísticas. [48] Hay encuestas disponibles de diseños secuenciales óptimos , [49] y de diseños adaptativos . [50] Un tipo específico de diseño secuencial es el "bandido de dos brazos", generalizado al bandido de múltiples brazos , en el que Herbert Robbins realizó un trabajo temprano en 1952. [51]
El término "diseño de experimentos" (DOE) se deriva del trabajo estadístico temprano realizado por Sir Ronald Fisher . Anders Hald lo describió como "un genio que casi sin ayuda creó las bases de la ciencia estadística moderna". [52] Fisher inició los principios del diseño de experimentos y profundizó en sus estudios de " análisis de varianza ". Quizás aún más importante, Fisher comenzó su enfoque sistemático para el análisis de datos reales como trampolín para el desarrollo de nuevos métodos estadísticos. Comenzó a prestar especial atención al trabajo involucrado en los cálculos necesarios realizados a mano y desarrolló métodos que eran tan prácticos como basados en el rigor. En 1925, este trabajo culminó en la publicación de su primer libro, Métodos estadísticos para investigadores . [53] Este tuvo muchas ediciones y traducciones en años posteriores, y se convirtió en una obra de referencia estándar para científicos en muchas disciplinas. [54]
Ronald A. Fisher propuso una metodología para diseñar experimentos en su innovador libro The Design of Experiments (1935), que también se convirtió en un estándar. [55] [56] [57] [58] Como ejemplo, describió cómo probar la hipótesis de que cierta dama podía distinguir solo por el sabor si la leche o el té se colocaba primero en la taza. Si bien esto parece una aplicación frívola, le permitió ilustrar las ideas más importantes del diseño experimental: consulte Dama probando té .
Los avances en la ciencia agrícola sirvieron para hacer frente a la combinación de poblaciones urbanas más grandes y menos granjas. Pero para que los científicos de cultivos tuvieran debidamente en cuenta los climas y necesidades geográficas de crecimiento muy diferentes, era importante diferenciar las condiciones de cultivo locales. Para extrapolar los experimentos en cultivos locales a escala nacional, tuvieron que extender económicamente las pruebas de muestras de cultivos a las poblaciones generales. A medida que los métodos estadísticos avanzaron (principalmente la eficacia de los experimentos diseñados en lugar de la experimentación de un factor a la vez), el diseño factorial representativo de los experimentos comenzó a permitir la extensión significativa, por inferencia, de los resultados del muestreo experimental a la población en su conjunto. [ cita requerida ] Pero era difícil decidir cuán representativa era la muestra de cultivo elegida. [ cita requerida ] La metodología de diseño factorial mostró cómo estimar y corregir cualquier variación aleatoria dentro de la muestra y también en los procedimientos de recolección de datos.
El término bayesiano se refiere a Thomas Bayes (1702-1761), quien demostró que se podían poner límites probabilísticos a un evento desconocido. Sin embargo, fue Pierre-Simon Laplace (1749-1827) quien introdujo (como principio VI) lo que ahora se llama teorema de Bayes y lo aplicó a la mecánica celeste , la estadística médica, la confiabilidad y la jurisprudencia . [59] Cuando no se disponía de suficiente conocimiento para especificar un prior informado, Laplace utilizó priores uniformes , de acuerdo con su " principio de razón insuficiente ". [59] [60] Laplace asumió priores uniformes por simplicidad matemática en lugar de por razones filosóficas. [59] Laplace también introdujo [ cita requerida ] versiones primitivas de priores conjugados y el teorema de von Mises y Bernstein , según el cual los posteriores correspondientes a priores inicialmente diferentes finalmente coinciden, a medida que aumenta el número de observaciones. [61] Esta inferencia bayesiana temprana, que utilizaba valores previos uniformes siguiendo el principio de razón insuficiente de Laplace , se denominó " probabilidad inversa " (porque infiere hacia atrás desde las observaciones a los parámetros, o desde los efectos a las causas [62] ).
Después de la década de 1920, la probabilidad inversa fue suplantada en gran medida [ cita requerida ] por una colección de métodos desarrollados por Ronald A. Fisher , Jerzy Neyman y Egon Pearson . Sus métodos llegaron a llamarse estadísticas frecuentistas . [62] Fisher rechazó la visión bayesiana, escribiendo que "la teoría de la probabilidad inversa se basa en un error y debe ser rechazada por completo". [63] Sin embargo, al final de su vida, Fisher expresó un mayor respeto por el ensayo de Bayes, que Fisher creía que había anticipado su propio enfoque fiducial de la probabilidad; Fisher todavía sostenía que las opiniones de Laplace sobre la probabilidad eran "basura falaz". [63] Neyman comenzó como un "cuasi-bayesiano", pero posteriormente desarrolló intervalos de confianza (un método clave en las estadísticas frecuentistas) porque "toda la teoría se vería mejor si se construyera desde el principio sin referencia al bayesianismo y a los valores anteriores". [64] La palabra bayesiano apareció alrededor de 1950, y en la década de 1960 se convirtió en el término preferido por aquellos insatisfechos con las limitaciones de las estadísticas frecuentistas. [62] [65]
En el siglo XX, las ideas de Laplace se desarrollaron en dos direcciones diferentes, dando lugar a corrientes objetivas y subjetivas en la práctica bayesiana. En la corriente objetivista, el análisis estadístico depende únicamente del modelo asumido y de los datos analizados. [66] No es necesario tomar decisiones subjetivas. Por el contrario, los estadísticos "subjetivistas" niegan la posibilidad de un análisis totalmente objetivo para el caso general.
En el desarrollo posterior de las ideas de Laplace, las ideas subjetivas son anteriores a las posiciones objetivistas. La idea de que la "probabilidad" debe interpretarse como "grado subjetivo de creencia en una proposición" fue propuesta, por ejemplo, por John Maynard Keynes a principios de la década de 1920. [ cita requerida ] Esta idea fue llevada más allá por Bruno de Finetti en Italia ( Fondamenti Logici del Ragionamento Probabilistico , 1930) y Frank Ramsey en Cambridge ( The Foundations of Mathematics , 1931). [67] El enfoque fue ideado para resolver problemas con la definición frecuentista de probabilidad pero también con el enfoque objetivista anterior de Laplace. [66] Los métodos bayesianos subjetivos fueron desarrollados y popularizados en la década de 1950 por LJ Savage . [ cita requerida ]
La inferencia bayesiana objetiva fue desarrollada por Harold Jeffreys en la Universidad de Cambridge . Su libro Theory of Probability apareció por primera vez en 1939 y jugó un papel importante en el resurgimiento de la visión bayesiana de la probabilidad . [68] [69] En 1957, Edwin Jaynes promovió el concepto de máxima entropía para construir valores a priori, que es un principio importante en la formulación de métodos objetivos, principalmente para problemas discretos. En 1965, la obra de dos volúmenes de Dennis Lindley "Introducción a la probabilidad y la estadística desde un punto de vista bayesiano" llevó los métodos bayesianos a una amplia audiencia. En 1979, José-Miguel Bernardo introdujo el análisis de referencia , [66] que ofrece un marco general aplicable para el análisis objetivo. [70] Otros defensores conocidos de la teoría de la probabilidad bayesiana incluyen a IJ Good , BO Koopman , Howard Raiffa , Robert Schlaifer y Alan Turing .
En la década de 1980, hubo un crecimiento espectacular en la investigación y las aplicaciones de los métodos bayesianos, principalmente atribuido al descubrimiento de los métodos de Monte Carlo de cadenas de Markov , que eliminaron muchos de los problemas computacionales , y un creciente interés en aplicaciones complejas no estándar. [71] A pesar del crecimiento de la investigación bayesiana, la mayoría de la enseñanza de pregrado todavía se basa en estadísticas frecuentistas. [72] No obstante, los métodos bayesianos son ampliamente aceptados y utilizados, como por ejemplo en el campo del aprendizaje automático . [73]
