Desviación Estándar

En estadística, una medida de variación.

Un gráfico de distribución normal (o curva en forma de campana) donde cada banda tiene un ancho de 1 desviación estándar; consulte también: regla 68–95–99,7 .

Probabilidad acumulada de una distribución normal con valor esperado 0 y desviación estándar 1

En estadística , la desviación estándar es una medida de la cantidad de variación esperada de una variable aleatoria con respecto a su media . ^{[1] Una} desviación estándar baja indica que los valores tienden a estar cerca de la media (también llamada valor esperado ) del conjunto, mientras que una desviación estándar alta indica que los valores se distribuyen en un rango más amplio. La desviación estándar se utiliza comúnmente para determinar qué constituye un valor atípico y qué no.

La desviación estándar puede abreviarse SD y se representa más comúnmente en textos y ecuaciones matemáticas mediante la letra griega minúscula σ (sigma), para la desviación estándar de la población, o la letra latina s , para la desviación estándar de la muestra.

La desviación estándar de una variable aleatoria , muestra , población estadística , conjunto de datos o distribución de probabilidad es la raíz cuadrada de su varianza . Es algebraicamente más simple, aunque en la práctica menos robusta , que la desviación absoluta promedio . ^{[2] [3]} Una propiedad útil de la desviación estándar es que, a diferencia de la varianza, se expresa en la misma unidad que los datos.

La desviación estándar de una población o muestra y el error estándar de una estadística (p. ej., de la media muestral) son bastante diferentes, pero están relacionados. El error estándar de la media muestral es la desviación estándar del conjunto de medias que se encontraría al extraer un número infinito de muestras repetidas de la población y calcular una media para cada muestra. El error estándar de la media resulta ser igual a la desviación estándar de la población dividida por la raíz cuadrada del tamaño de la muestra y se estima utilizando la desviación estándar de la muestra dividida por la raíz cuadrada del tamaño de la muestra. Por ejemplo, el error estándar de una encuesta (lo que se informa como el margen de error de la encuesta) es la desviación estándar esperada de la media estimada si la misma encuesta se realizara varias veces. Por lo tanto, el error estándar estima la desviación estándar de una estimación, que a su vez mide en qué medida depende la estimación de la muestra particular que se tomó de la población.

En ciencia , es común informar tanto la desviación estándar de los datos (como estadística resumida) como el error estándar de la estimación (como medida del error potencial en los hallazgos). Por convención, sólo los efectos que se encuentran a más de dos errores estándar de una expectativa nula se consideran "estadísticamente significativos" , una salvaguardia contra conclusiones espurias que en realidad se deben a un error de muestreo aleatorio.

Cuando solo se dispone de una muestra de datos de una población, el término desviación estándar de la muestra o desviación estándar de la muestra puede referirse a la cantidad antes mencionada tal como se aplica a esos datos, o a una cantidad modificada que es una estimación insesgada de la población. desviación estándar de la población (la desviación estándar de toda la población).

Ejemplos básicos

Desviación estándar poblacional de las calificaciones de ocho estudiantes

Supongamos que toda la población de interés son ocho estudiantes en una clase particular. Para un conjunto finito de números, la desviación estándar de la población se encuentra tomando la raíz cuadrada del promedio de las desviaciones al cuadrado de los valores restados de su valor promedio. Las notas de una clase de ocho estudiantes (es decir, una población estadística ) son los siguientes ocho valores:

$${\displaystyle 2,\ 4,\ 4,\ 4,\ 5,\ 5,\ 7,\ 9.}$$

Estos ocho puntos de datos tienen la media (promedio) de 5:

$${\displaystyle \mu ={\frac {2+4+4+4+5+5+7+9}{8}}={\frac {40}{8}}=5.}$$

Primero, calcule las desviaciones de cada punto de datos de la media y eleve al cuadrado el resultado de cada uno:

$${\displaystyle {\begin{array}{lll}(2-5)^{2}=(-3)^{2}=9&&(5-5)^{2}=0^{2}=0\\(4-5)^{2}=(-1)^{2}=1&&(5-5)^{2}=0^{2}=0\\(4-5)^{2}=(-1)^{2}=1&&(7-5)^{2}=2^{2}=4\\(4-5)^{2}=(-1)^{2}=1&&(9-5)^{2}=4^{2}=16.\\\end{array}}}$$

La varianza es la media de estos valores:

$${\displaystyle \sigma ^{2}={\frac {9+1+1+1+0+0+4+16}{8}}={\frac {32}{8}}=4.}$$

y la desviación estándar de la población es igual a la raíz cuadrada de la varianza:

$${\displaystyle \sigma ={\sqrt {4}}=2.}$$

Esta fórmula es válida sólo si los ocho valores con los que comenzamos forman la población completa. Si, en cambio, los valores fueran una muestra aleatoria extraída de una gran población de padres (por ejemplo, eran 8 estudiantes elegidos al azar e independientemente de una clase de 2 millones), entonces se divide por 7 (que es n − 1) en lugar de 8 ( que es n ) en el denominador de la última fórmula, y el resultado es En ese caso, el resultado de la fórmula original se llamaría desviación estándar muestral y se denotaría por en lugar de Dividir por en lugar de por da una estimación insesgada de la varianza de la población de padres más grande. Esto se conoce como corrección de Bessel . ^{[4] [5]} En términos generales, la razón es que la fórmula para la varianza muestral se basa en calcular las diferencias de las observaciones con respecto a la media muestral, y la media muestral en sí se construyó para ser lo más cercana posible a las observaciones, por lo que simplemente dividir por n subestimaría la variabilidad. ${\textstyle s={\sqrt {32/7}}\approx 2.1.}$ ${\textstyle s}$ ${\displaystyle \sigma .}$ ${\textstyle n-1}$ ${\textstyle n}$

Desviación estándar de la altura promedio para hombres adultos

Si la población de interés tiene una distribución aproximadamente normal, la desviación estándar proporciona información sobre la proporción de observaciones por encima o por debajo de ciertos valores. Por ejemplo, la altura promedio de los hombres adultos en los Estados Unidos es de aproximadamente 69 pulgadas , ^[6] con una desviación estándar de alrededor de 3 pulgadas . Esto significa que la mayoría de los hombres (alrededor del 68%, suponiendo una distribución normal ) tienen una altura dentro de las 3 pulgadas de la media ( 66 a 72 pulgadas ) – una desviación estándar – y casi todos los hombres (alrededor del 95%) tienen una altura dentro de las 6 pulgadas. de la media ( 63 a 75 pulgadas ): dos desviaciones estándar. Si la desviación estándar fuera cero, entonces todos los hombres compartirían una altura idéntica de 69 pulgadas. Tres desviaciones estándar representan el 99,73% de la población de la muestra que se estudia, suponiendo que la distribución sea normal o en forma de campana (consulte la regla 68–95–99,7 , o la regla empírica, para obtener más información).

Definición de valores de población.

Sea μ el valor esperado (el promedio) de la variable aleatoria X con densidad f ( x ) :

$${\displaystyle \mu \equiv \operatorname {E} [X]=\int _{-\infty }^{+\infty }xf(x)\,\mathrm {d} x}$$

σX

$${\displaystyle \sigma \equiv {\sqrt {\operatorname {E} \left[(X-\mu )^{2}\right]}}={\sqrt {\int _{-\infty }^{+\infty }(x-\mu )^{2}f(x)\,\mathrm {d} x}},}$$

${\textstyle {\sqrt {\operatorname {E} \left[X^{2}\right]-(\operatorname {E} [X])^{2}}}.}$

En palabras, la desviación estándar es la raíz cuadrada de la varianza de X.

La desviación estándar de una distribución de probabilidad es la misma que la de una variable aleatoria que tiene esa distribución.

No todas las variables aleatorias tienen una desviación estándar. Si la distribución tiene colas gruesas que llegan al infinito, es posible que la desviación estándar no exista, porque la integral podría no converger. La distribución normal tiene colas que llegan al infinito, pero su media y desviación estándar existen, porque las colas disminuyen con bastante rapidez. La distribución de Pareto con parámetro tiene una media, pero no una desviación estándar (en términos generales, la desviación estándar es infinita). La distribución de Cauchy no tiene media ni desviación estándar. ${\displaystyle \alpha \in (1,2]}$

Variable aleatoria discreta

En el caso en que X toma valores aleatorios de un conjunto de datos finito x ₁ , x ₂ , ..., x _N , y cada valor tiene la misma probabilidad, la desviación estándar es

$${\displaystyle \sigma ={\sqrt {{\frac {1}{N}}\left[(x_{1}-\mu )^{2}+(x_{2}-\mu )^{2}+\cdots +(x_{N}-\mu )^{2}\right]}},{\text{ where }}\mu ={\frac {1}{N}}(x_{1}+\cdots +x_{N}),}$$

la corrección de Bessel

o, usando notación de suma ,

$${\displaystyle \sigma ={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\mu )^{2}}},{\text{ where }}\mu ={\frac {1}{N}}\sum _{i=1}^{N}x_{i}.}$$

Si, en lugar de tener probabilidades iguales, los valores tienen probabilidades diferentes, dejemos que x ₁ tenga probabilidad p ₁ , x ₂ tenga probabilidad p ₂ , ..., x _N tenga probabilidad p _N . En este caso, la desviación estándar será

$${\displaystyle \sigma ={\sqrt {\sum _{i=1}^{N}p_{i}(x_{i}-\mu )^{2}}},{\text{ where }}\mu =\sum _{i=1}^{N}p_{i}x_{i}.}$$

Variable aleatoria continua

La desviación estándar de una variable aleatoria continua de valor real X con función de densidad de probabilidad p ( x ) es

$${\displaystyle \sigma ={\sqrt {\int _{\mathbf {X} }(x-\mu )^{2}\,p(x)\,\mathrm {d} x}},{\text{ where }}\mu =\int _{\mathbf {X} }x\,p(x)\,\mathrm {d} x,}$$

y donde las integrales son integrales definidas tomadas para x que abarcan el conjunto de valores posibles de la variable  aleatoria X.

En el caso de una familia paramétrica de distribuciones , la desviación estándar se puede expresar en términos de los parámetros. Por ejemplo, en el caso de la distribución log-normal con parámetros μ y σ ² , la desviación estándar es

$${\displaystyle {\sqrt {\left(e^{\sigma ^{2}}-1\right)e^{2\mu +\sigma ^{2}}}}.}$$

Estimacion

Se puede encontrar la desviación estándar de una población completa en casos (como las pruebas estandarizadas ) en los que se toma una muestra de cada miembro de una población. En los casos en que eso no se pueda hacer, la desviación estándar σ se estima examinando una muestra aleatoria tomada de la población y calculando una estadística de la muestra, que se utiliza como estimación de la desviación estándar de la población. Tal estadística se llama estimador , y el estimador (o el valor del estimador, es decir, la estimación) se llama desviación estándar muestral y se denota por s (posiblemente con modificadores).

A diferencia del caso de la estimación de la media poblacional, para el cual la media muestral es un estimador simple con muchas propiedades deseables ( insesgado , eficiente , máxima verosimilitud), no existe un estimador único para la desviación estándar con todas estas propiedades, y la estimación insesgada de La desviación estándar es un problema muy complicado desde el punto de vista técnico. En la mayoría de los casos, la desviación estándar se estima utilizando la desviación estándar de la muestra corregida (usando N  − 1), definida a continuación, y esto a menudo se denomina "desviación estándar de la muestra", sin calificadores. Sin embargo, otros estimadores son mejores en otros aspectos: el estimador no corregido (usando N ) produce un error cuadrático medio más bajo, mientras que el uso de N  − 1,5 (para la distribución normal) elimina casi por completo el sesgo.

Desviación estándar muestral sin corregir

La fórmula para la desviación estándar de la población (de una población finita) se puede aplicar a la muestra, utilizando el tamaño de la muestra como tamaño de la población (aunque el tamaño real de la población de la que se extrae la muestra puede ser mucho mayor). Este estimador, denotado por s _N , se conoce como desviación estándar de la muestra no corregida o, a veces, desviación estándar de la muestra (considerada como toda la población), y se define de la siguiente manera: ^[7]

$${\displaystyle s_{N}={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}},}$$

donde están los valores observados de los elementos de la muestra y es el valor medio de estas observaciones, mientras que el denominador  N representa el tamaño de la muestra: esta es la raíz cuadrada de la varianza de la muestra, que es el promedio de las desviaciones al cuadrado sobre la media muestral. ${\displaystyle \{x_{1},\,x_{2},\,\ldots ,\,x_{N}\}}$ ${\displaystyle {\bar {x}}}$

Este es un estimador consistente (converge en probabilidad al valor de la población cuando el número de muestras llega al infinito) y es la estimación de máxima verosimilitud cuando la población se distribuye normalmente. ^[8] Sin embargo, este es un estimador sesgado , ya que las estimaciones son generalmente demasiado bajas. El sesgo disminuye a medida que crece el tamaño de la muestra, disminuyendo a 1/ N y, por lo tanto, es más significativo para tamaños de muestra pequeños o moderados; porque el sesgo es inferior al 1%. Por lo tanto, para tamaños de muestra muy grandes, la desviación estándar de la muestra sin corregir es generalmente aceptable. Este estimador también tiene un error cuadrático medio uniformemente menor que la desviación estándar muestral corregida. ${\displaystyle N>75}$

Desviación estándar de la muestra corregida

Si se utiliza la varianza muestral sesgada (el segundo momento central de la muestra, que es una estimación sesgada hacia abajo de la varianza poblacional) para calcular una estimación de la desviación estándar de la población, el resultado es

$${\displaystyle s_{N}={\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}.}$$

Aquí, tomar la raíz cuadrada introduce un mayor sesgo hacia abajo, por la desigualdad de Jensen , debido a que la raíz cuadrada es una función cóncava . El sesgo de la varianza se corrige fácilmente, pero el sesgo de la raíz cuadrada es más difícil de corregir y depende de la distribución en cuestión.

Se obtiene un estimador insesgado de la varianza aplicando la corrección de Bessel , usando N  − 1 en lugar de N para obtener la varianza muestral insesgada, denotada como s ² :

$${\displaystyle s^{2}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}.}$$

Este estimador es insesgado si existe la varianza y los valores de la muestra se extraen de forma independiente con reemplazo. N  − 1 corresponde al número de grados de libertad en el vector de desviaciones de la media, ${\displaystyle \textstyle (x_{1}-{\bar {x}},\;\dots ,\;x_{n}-{\bar {x}}).}$

Tomar raíces cuadradas reintroduce el sesgo (porque la raíz cuadrada es una función no lineal que no conmuta con la expectativa, es decir, a menudo ), lo que produce la desviación estándar muestral corregida, denotada por s: ${\textstyle E[{\sqrt {X}}]\neq {\sqrt {E[X]}}}$

$${\displaystyle s={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}.}$$

Como se explicó anteriormente, si bien s ² es un estimador insesgado de la varianza poblacional, s sigue siendo un estimador sesgado de la desviación estándar poblacional, aunque notablemente menos sesgado que la desviación estándar muestral no corregida. Este estimador se usa comúnmente y generalmente se conoce simplemente como "desviación estándar muestral". El sesgo aún puede ser grande para muestras pequeñas ( N menor que 10). A medida que aumenta el tamaño de la muestra, la cantidad de sesgo disminuye. Obtenemos más información y la diferencia entre y se hace más pequeña. ${\displaystyle {\frac {1}{N}}}$ ${\displaystyle {\frac {1}{N-1}}}$

Desviación estándar de muestra insesgada

Para la estimación insesgada de la desviación estándar , no existe una fórmula que funcione en todas las distribuciones, a diferencia de la media y la varianza. En cambio, se utiliza s como base y se le aplica un factor de corrección para producir una estimación insesgada. Para la distribución normal, un estimador insesgado viene dado pors/c ₄, donde el factor de corrección (que depende de N ) está dado en términos de la función Gamma y es igual a:

$${\displaystyle c_{4}(N)\,=\,{\sqrt {\frac {2}{N-1}}}\,\,\,{\frac {\Gamma \left({\frac {N}{2}}\right)}{\Gamma \left({\frac {N-1}{2}}\right)}}.}$$

Esto surge porque la distribución muestral de la desviación estándar de la muestra sigue una distribución chi (escalada) y el factor de corrección es la media de la distribución chi.

Se puede dar una aproximación reemplazando N  − 1 con N  − 1,5 , obteniendo:

$${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{N-1.5}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}},}$$

El error en esta aproximación decae cuadráticamente (como1/norte ²), y es adecuado para todas las muestras excepto las más pequeñas o de mayor precisión: para N = 3 el sesgo es igual al 1,3%, y para N = 9 el sesgo ya es inferior al 0,1%.

Una aproximación más precisa es reemplazar N − 1,5 arriba con N − 1,5 +1/8( norte - 1). ^[9]

Para otras distribuciones, la fórmula correcta depende de la distribución, pero una regla general es utilizar un mayor refinamiento de la aproximación:

$${\displaystyle {\hat {\sigma }}={\sqrt {{\frac {1}{N-1.5-{\frac {1}{4}}\gamma _{2}}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}},}$$

donde γ ₂ denota el exceso de curtosis de la población . El exceso de curtosis puede conocerse de antemano para determinadas distribuciones o estimarse a partir de los datos. ^[10]

Intervalo de confianza de una desviación estándar muestreada

La desviación estándar que obtenemos al muestrear una distribución no es en sí misma absolutamente exacta, tanto por razones matemáticas (explicadas aquí por el intervalo de confianza) como por razones prácticas de medición (error de medición). El efecto matemático puede describirse mediante el intervalo de confianza o IC.

Para mostrar cómo una muestra más grande hará que el intervalo de confianza sea más estrecho, considere los siguientes ejemplos: Una población pequeña de N = 2 tiene sólo un grado de libertad para estimar la desviación estándar. El resultado es que un IC del 95% de la DE va ​​de 0,45 × DE a 31,9 × DE; Los factores aquí son los siguientes :

$${\displaystyle \Pr \left(q_{\frac {\alpha }{2}}<k{\frac {s^{2}}{\sigma ^{2}}}<q_{1-{\frac {\alpha }{2}}}\right)=1-\alpha ,}$$

donde es el p -ésimo cuantil de la distribución chi-cuadrado con k grados de libertad, y 1 − α es el nivel de confianza. Esto equivale a lo siguiente: ${\displaystyle q_{p}}$

$${\displaystyle \Pr \left(k{\frac {s^{2}}{q_{1-{\frac {\alpha }{2}}}}}<\sigma ^{2}<k{\frac {s^{2}}{q_{\frac {\alpha }{2}}}}\right)=1-\alpha .}$$

Con k = 1 , q _0,025 = 0,000982 y q _0,975 = 5,024 . Los recíprocos de las raíces cuadradas de estos dos números nos dan los factores 0,45 y 31,9 indicados anteriormente.

Una población mayor de N = 10 tiene 9 grados de libertad para estimar la desviación estándar. Los mismos cálculos anteriores nos dan en este caso un IC del 95% que va de 0,69 × DE a 1,83 × DE. Entonces, incluso con una población de muestra de 10, la DE real todavía puede ser casi un factor 2 mayor que la DE de la muestra. Para una población de muestra N = 100 , esto se reduce a 0,88 × DE a 1,16 × DE. Para estar más seguros de que la SD muestreada se acerca a la SD real, necesitamos muestrear una gran cantidad de puntos.

Estas mismas fórmulas se pueden utilizar para obtener intervalos de confianza sobre la varianza de los residuos de un ajuste de mínimos cuadrados según la teoría normal estándar, donde k ahora es el número de grados de libertad para el error.

Límites de la desviación estándar

Para un conjunto de N > 4 datos que abarcan un rango de valores R , un límite superior en la desviación estándar s viene dado por s = 0,6 R . ^[11] Una estimación de la desviación estándar para N > 100 datos considerados aproximadamente normales se deduce de la heurística que el 95% del área bajo la curva normal se encuentra aproximadamente a dos desviaciones estándar a cada lado de la media, de modo que, con 95 % probabilidad el rango total de valores R representa cuatro desviaciones estándar de modo que s ≈ R /4 . Esta llamada regla de rango es útil en la estimación del tamaño de la muestra , ya que el rango de valores posibles es más fácil de estimar que la desviación estándar. Otros divisores K ( N ) del rango tales que s ≈ R / K ( N ) están disponibles para otros valores de N y para distribuciones no normales. ^[12]

Identidades y propiedades matemáticas.

La desviación estándar es invariante ante cambios de ubicación y escala directamente con la escala de la variable aleatoria. Así, para una constante c y variables aleatorias X e Y :

$${\displaystyle {\begin{aligned}\sigma (c)&=0\\\sigma (X+c)&=\sigma (X),\\\sigma (cX)&=|c|\sigma (X).\end{aligned}}}$$

La desviación estándar de la suma de dos variables aleatorias se puede relacionar con sus desviaciones estándar individuales y la covarianza entre ellas:

$${\displaystyle \sigma (X+Y)={\sqrt {\operatorname {var} (X)+\operatorname {var} (Y)+2\,\operatorname {cov} (X,Y)}}.\,}$$

donde y representan varianza y covarianza , respectivamente. ${\displaystyle \textstyle \operatorname {var} \,=\,\sigma ^{2}}$ ${\displaystyle \textstyle \operatorname {cov} }$

El cálculo de la suma de las desviaciones al cuadrado se puede relacionar con momentos calculados directamente a partir de los datos. En la siguiente fórmula, la letra E se interpreta como el valor esperado, es decir, la media.

$${\displaystyle \sigma (X)={\sqrt {\operatorname {E} \left[(X-\operatorname {E} [X])^{2}\right]}}={\sqrt {\operatorname {E} \left[X^{2}\right]-(\operatorname {E} [X])^{2}}}.}$$

La desviación estándar de la muestra se puede calcular como:

$${\displaystyle s(X)={\sqrt {\frac {N}{N-1}}}{\sqrt {\operatorname {E} \left[(X-\operatorname {E} [X])^{2}\right]}}.}$$

Para una población finita con iguales probabilidades en todos los puntos, tenemos

$${\displaystyle {\sqrt {{\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}={\sqrt {{\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-{\bar {x}}^{2}}}={\sqrt {\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)^{2}}},}$$

lo que significa que la desviación estándar es igual a la raíz cuadrada de la diferencia entre el promedio de los cuadrados de los valores y el cuadrado del valor promedio.

Consulte la fórmula computacional para la varianza como prueba y para obtener un resultado análogo para la desviación estándar de la muestra.

Interpretación y aplicación

Ejemplo de muestras de dos poblaciones con la misma media pero diferentes desviaciones estándar. La población roja tiene media 100 y DE 10; La población azul tiene media 100 y DE 50.

Una desviación estándar grande indica que los puntos de datos pueden alejarse mucho de la media y una desviación estándar pequeña indica que están agrupados estrechamente alrededor de la media.

Por ejemplo, cada una de las tres poblaciones {0, 0, 14, 14}, {0, 6, 8, 14} y {6, 6, 8, 8} tiene una media de 7. Sus desviaciones estándar son 7, 5. y 1, respectivamente. La tercera población tiene una desviación estándar mucho más pequeña que las otras dos porque todos sus valores están cerca de 7. Estas desviaciones estándar tienen las mismas unidades que los propios puntos de datos. Si, por ejemplo, el conjunto de datos {0, 6, 8, 14} representa las edades de una población de cuatro hermanos en años, la desviación estándar es 5 años. Como otro ejemplo, la población {1000, 1006, 1008, 1014} puede representar las distancias recorridas por cuatro atletas, medidas en metros. Tiene una media de 1007 metros y una desviación estándar de 5 metros.

La desviación estándar puede servir como medida de incertidumbre. En ciencias físicas, por ejemplo, la desviación estándar informada de un grupo de mediciones repetidas proporciona la precisión de esas mediciones. Al decidir si las mediciones concuerdan con una predicción teórica, la desviación estándar de esas mediciones es de crucial importancia: si la media de las mediciones está demasiado alejada de la predicción (con la distancia medida en desviaciones estándar), entonces la teoría que se está probando probablemente necesita ser revisado. Esto tiene sentido ya que quedan fuera del rango de valores que razonablemente se podría esperar que ocurran si la predicción fuera correcta y la desviación estándar se cuantificara adecuadamente. Ver intervalo de predicción .

Si bien la desviación estándar mide qué tan lejos tienden a estar los valores típicos de la media, hay otras medidas disponibles. Un ejemplo es la desviación media absoluta , que podría considerarse una medida más directa de la distancia promedio, en comparación con la distancia media cuadrática inherente a la desviación estándar.

Ejemplos de aplicación

El valor práctico de comprender la desviación estándar de un conjunto de valores radica en apreciar cuánta variación hay con respecto al promedio (media).

Pruebas experimentales, industriales y de hipótesis.

La desviación estándar se utiliza a menudo para comparar datos del mundo real con un modelo para probarlo. Por ejemplo, en aplicaciones industriales, es posible que el peso de los productos que salen de una línea de producción deba cumplir con un valor legalmente requerido. Pesando alguna fracción de los productos se puede encontrar un peso medio, que siempre será ligeramente diferente del promedio a largo plazo. Al utilizar desviaciones estándar, se puede calcular un valor mínimo y máximo para que el peso promedio esté dentro de un porcentaje muy alto del tiempo (99,9% o más). Si queda fuera del rango, es posible que sea necesario corregir el proceso de producción. Las pruebas estadísticas como éstas son particularmente importantes cuando las pruebas son relativamente caras. Por ejemplo, si es necesario abrir, escurrir y pesar el producto, o si la prueba lo agotó de otro modo.

En la ciencia experimental se utiliza un modelo teórico de la realidad. La física de partículas utiliza tradicionalmente el estándar " 5 sigma " para declarar un descubrimiento. Un nivel de cinco sigma se traduce en una probabilidad entre 3,5 millones de que una fluctuación aleatoria produzca el resultado. Este nivel de certeza era necesario para afirmar que se había descubierto una partícula compatible con el bosón de Higgs en dos experimentos independientes en el CERN ^[13] , lo que también condujo a la declaración de la primera observación de ondas gravitacionales . ^[14]

Clima

Como ejemplo sencillo, consideremos las temperaturas máximas diarias promedio de dos ciudades, una en el interior y otra en la costa. Es útil comprender que el rango de temperaturas máximas diarias en las ciudades cercanas a la costa es menor que en las ciudades del interior. Por lo tanto, si bien estas dos ciudades pueden tener cada una la misma temperatura máxima promedio, la desviación estándar de la temperatura máxima diaria para la ciudad costera será menor que la de la ciudad del interior ya que, en cualquier día en particular, la temperatura máxima real es más probable. estar más alejada de la temperatura máxima media para la ciudad del interior que para la costera.

Finanzas

En finanzas, la desviación estándar se utiliza a menudo como medida del riesgo asociado con las fluctuaciones de precios de un activo determinado (acciones, bonos, propiedades, etc.), o el riesgo de una cartera de activos ^[15] (fondos mutuos gestionados activamente). , fondos mutuos indexados o ETF). El riesgo es un factor importante para determinar cómo administrar eficientemente una cartera de inversiones porque determina la variación en los rendimientos del activo y/o cartera y brinda a los inversionistas una base matemática para las decisiones de inversión (conocida como optimización de varianza media ). El concepto fundamental del riesgo es que a medida que aumenta, el rendimiento esperado de una inversión también debería aumentar, aumento conocido como prima de riesgo. En otras palabras, los inversores deberían esperar un mayor rendimiento de una inversión cuando esa inversión conlleva un mayor nivel de riesgo o incertidumbre. Al evaluar las inversiones, los inversores deben estimar tanto el rendimiento esperado como la incertidumbre de los rendimientos futuros. La desviación estándar proporciona una estimación cuantificada de la incertidumbre de los rendimientos futuros.

Por ejemplo, supongamos que un inversor tuviera que elegir entre dos acciones. La acción A durante los últimos 20 años tuvo un rendimiento promedio del 10 por ciento, con una desviación estándar de 20 puntos porcentuales (pp) y la acción B, durante el mismo período, tuvo un rendimiento promedio del 12 por ciento pero una desviación estándar más alta de 30 pp. Sobre la base del riesgo y el rendimiento, un inversor puede decidir que la acción A es la opción más segura, porque los dos puntos porcentuales adicionales de rendimiento de la acción B no valen la desviación estándar adicional de 10 pp (mayor riesgo o incertidumbre del rendimiento esperado). Es probable que la acción B no alcance la inversión inicial (pero también la supere) con más frecuencia que la acción A en las mismas circunstancias, y se estima que rendirá sólo un dos por ciento más en promedio. En este ejemplo, se espera que la Acción A gane alrededor del 10 por ciento, más o menos 20 puntos porcentuales (un rango de 30 por ciento a -10 por ciento), aproximadamente dos tercios de los rendimientos del año futuro. Al considerar retornos o resultados posibles más extremos en el futuro, un inversionista debe esperar resultados de hasta un 10 por ciento más o menos 60 puntos porcentuales, o un rango de 70 por ciento a -50 por ciento, que incluye resultados para tres desviaciones estándar del retorno promedio. (alrededor del 99,7 por ciento de los rendimientos probables).

Calcular el promedio (o media aritmética) del rendimiento de un valor durante un período determinado generará el rendimiento esperado del activo. Para cada período, restar el rendimiento esperado del rendimiento real da como resultado la diferencia con la media. Al elevar al cuadrado la diferencia en cada período y tomar el promedio se obtiene la varianza general del rendimiento del activo. Cuanto mayor sea la variación, mayor riesgo conlleva el valor. Encontrar la raíz cuadrada de esta varianza dará la desviación estándar de la herramienta de inversión en cuestión.

Se sabe que las series de tiempo financieras son series no estacionarias, mientras que los cálculos estadísticos anteriores, como la desviación estándar, se aplican solo a series estacionarias. Para aplicar las herramientas estadísticas anteriores a series no estacionarias, la serie primero debe transformarse en una serie estacionaria, lo que permite el uso de herramientas estadísticas que ahora tienen una base válida a partir de la cual trabajar.

Interpretación geométrica

Para obtener algunas ideas y aclaraciones geométricas, comenzaremos con una población de tres valores, x ₁ , x ₂ , x ₃ . Esto define un punto P = ( x ₁ , x ₂ , x ₃ ) en R ³ . Considere la línea L = {( r , r , r ) : r ∈ R } . Esta es la "diagonal principal" que pasa por el origen. Si nuestros tres valores dados fueran todos iguales, entonces la desviación estándar sería cero y P estaría en L. Por lo tanto , no es descabellado suponer que la desviación estándar está relacionada con la distancia de P a L. De hecho, ese es el caso. Para moverse ortogonalmente desde L al punto P , se comienza en el punto:

$${\displaystyle M=\left({\bar {x}},{\bar {x}},{\bar {x}}\right)}$$

cuyas coordenadas son la media de los valores con los que empezamos.

Un poco de álgebra muestra que la distancia entre P y M (que es la misma que la distancia ortogonal entre P y la recta L ) es igual a la desviación estándar del vector ( x ₁ , x ₂ , x ₃ ) , multiplicada por raíz cuadrada del número de dimensiones del vector (3 en este caso). ${\textstyle {\sqrt {\sum _{i}\left(x_{i}-{\bar {x}}\right)^{2}}}}$

La desigualdad de Chebyshev

Una observación rara vez está a más de unas pocas desviaciones estándar de la media. La desigualdad de Chebyshev garantiza que, para todas las distribuciones para las que se define la desviación estándar, la cantidad de datos dentro de un número de desviaciones estándar de la media sea al menos igual a la que se indica en la siguiente tabla.

Reglas para datos distribuidos normalmente

El azul oscuro es una desviación estándar a cada lado de la media. Para la distribución normal, esto representa el 68,27 por ciento del conjunto; mientras que dos desviaciones estándar de la media (azul medio y oscuro) representan el 95,45 por ciento; tres desviaciones estándar (azul claro, medio y oscuro) representan el 99,73 por ciento; y cuatro desviaciones estándar representan el 99,994 por ciento. Los dos puntos de la curva que están a una desviación estándar de la media también son los puntos de inflexión .

El teorema del límite central establece que la distribución de un promedio de muchas variables aleatorias independientes e idénticamente distribuidas tiende hacia la famosa distribución normal en forma de campana con una función de densidad de probabilidad de

$${\displaystyle f\left(x,\mu ,\sigma ^{2}\right)={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}}$$

donde μ es el valor esperado de las variables aleatorias, σ es igual a la desviación estándar de su distribución dividida por n ^{1 ⁄ 2} y n es el número de variables aleatorias. Por lo tanto, la desviación estándar es simplemente una variable de escala que ajusta qué tan amplia será la curva, aunque también aparece en la constante de normalización .

Si una distribución de datos es aproximadamente normal, entonces la proporción de valores de datos dentro de z desviaciones estándar de la media se define por:

$${\displaystyle {\text{Proportion}}=\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)}$$

¿Dónde está la función de error ? La proporción que es menor o igual a un número, x , viene dada por la función de distribución acumulativa : ^[17] ${\displaystyle \textstyle \operatorname {erf} }$

$${\displaystyle {\text{Proportion}}\leq x={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {x-\mu }{\sigma {\sqrt {2}}}}\right)\right]={\frac {1}{2}}\left[1+\operatorname {erf} \left({\frac {z}{\sqrt {2}}}\right)\right].}$$

Si una distribución de datos es aproximadamente normal, entonces alrededor del 68 por ciento de los valores de los datos están dentro de una desviación estándar de la media (matemáticamente, μ ± σ , donde μ es la media aritmética), alrededor del 95 por ciento están dentro de dos desviaciones estándar ( μ ± 2 σ ), y alrededor del 99,7 por ciento se encuentran dentro de tres desviaciones estándar ( μ ± 3 σ ). Esto se conoce como regla 68–95–99,7 , o regla empírica .

Para varios valores de z , el porcentaje de valores que se espera que se encuentren dentro y fuera del intervalo simétrico, CI = (− z σ , z σ ) , son los siguientes:

Porcentaje dentro de ( z )

z (Porcentaje dentro)

Relación entre desviación estándar y media

La media y la desviación estándar de un conjunto de datos son estadísticas descriptivas que generalmente se informan juntas. En cierto sentido, la desviación estándar es una medida "natural" de dispersión estadística si el centro de los datos se mide alrededor de la media. Esto se debe a que la desviación estándar de la media es menor que la de cualquier otro punto. La afirmación precisa es la siguiente: supongamos que x ₁ , ..., x _n son números reales y definen la función:

$${\displaystyle \sigma (r)={\sqrt {{\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{i}-r\right)^{2}}}.}$$

Usando cálculo o completando el cuadrado , es posible demostrar que σ ( r ) tiene un mínimo único en la media:

$${\displaystyle r={\bar {x}}.\,}$$

La variabilidad también se puede medir mediante el coeficiente de variación , que es la relación entre la desviación estándar y la media. Es un número adimensional .

Desviación estándar de la media

A menudo queremos alguna información sobre la precisión de la media que obtuvimos. Podemos obtener esto determinando la desviación estándar de la media muestral. Suponiendo independencia estadística de los valores de la muestra, la desviación estándar de la media está relacionada con la desviación estándar de la distribución por:

$${\displaystyle \sigma _{\text{mean}}={\frac {1}{\sqrt {N}}}\sigma }$$

donde N es el número de observaciones de la muestra utilizadas para estimar la media. Esto se puede probar fácilmente con (ver propiedades básicas de la varianza ):

$${\displaystyle {\begin{aligned}\operatorname {var} (X)&\equiv \sigma _{X}^{2}\\\operatorname {var} (X_{1}+X_{2})&\equiv \operatorname {var} (X_{1})+\operatorname {var} (X_{2})\\\end{aligned}}}$$

(Se supone independencia estadística).

$${\displaystyle \operatorname {var} (cX_{1})\equiv c^{2}\,\operatorname {var} (X_{1})}$$

por eso

$${\displaystyle {\begin{aligned}\operatorname {var} ({\text{mean}})&=\operatorname {var} \left({\frac {1}{N}}\sum _{i=1}^{N}X_{i}\right)={\frac {1}{N^{2}}}\operatorname {var} \left(\sum _{i=1}^{N}X_{i}\right)\\&={\frac {1}{N^{2}}}\sum _{i=1}^{N}\operatorname {var} (X_{i})={\frac {N}{N^{2}}}\operatorname {var} (X)={\frac {1}{N}}\operatorname {var} (X).\end{aligned}}}$$

Resultando en:

$${\displaystyle \sigma _{\text{mean}}={\frac {\sigma }{\sqrt {N}}}.}$$

Para estimar la desviación estándar de la media σ _media es necesario conocer de antemano la desviación estándar de toda la población σ . Sin embargo, en la mayoría de las aplicaciones se desconoce este parámetro. Por ejemplo, si se realiza en un laboratorio una serie de 10 mediciones de una cantidad previamente desconocida, es posible calcular la media muestral resultante y la desviación estándar de la muestra, pero es imposible calcular la desviación estándar de la media. Sin embargo, se puede estimar la desviación estándar de toda la población a partir de la muestra y así obtener una estimación del error estándar de la media.

Métodos de cálculo rápido

Las dos fórmulas siguientes pueden representar una desviación estándar actualizada (actualizada repetidamente). Un conjunto de dos sumas de potencias s ₁ y s ₂ se calculan sobre un conjunto de N valores de x , denotados como x ₁ , ..., x _N :

$${\displaystyle s_{j}=\sum _{k=1}^{N}{x_{k}^{j}}.}$$

Dados los resultados de estas sumas corrientes, los valores N , s ₁ , s ₂ se pueden utilizar en cualquier momento para calcular el valor actual de la desviación estándar corriente:

$${\displaystyle \sigma ={\frac {\sqrt {Ns_{2}-s_{1}^{2}}}{N}}}$$

Donde N , como se mencionó anteriormente, es el tamaño del conjunto de valores (o también puede considerarse como s ₀ ).

De manera similar, para la desviación estándar de la muestra,

$${\displaystyle s={\sqrt {\frac {Ns_{2}-s_{1}^{2}}{N(N-1)}}}.}$$

En una implementación informática, a medida que las dos sumas s _j aumentan, debemos considerar el error de redondeo , el desbordamiento aritmético y el desbordamiento aritmético . El siguiente método calcula el método de sumas acumuladas con errores de redondeo reducidos. ^[18] Este es un algoritmo de "un paso" para calcular la varianza de n muestras sin la necesidad de almacenar datos previos durante el cálculo. La aplicación de este método a una serie de tiempo dará como resultado valores sucesivos de desviación estándar correspondientes a n puntos de datos a medida que n crece con cada nueva muestra, en lugar de un cálculo de ventana deslizante de ancho constante.

Para k = 1, ..., norte :

$${\displaystyle {\begin{aligned}A_{0}&=0\\A_{k}&=A_{k-1}+{\frac {x_{k}-A_{k-1}}{k}}\end{aligned}}}$$

donde A es el valor medio.

$${\displaystyle {\begin{aligned}Q_{0}&=0\\Q_{k}&=Q_{k-1}+{\frac {k-1}{k}}\left(x_{k}-A_{k-1}\right)^{2}=Q_{k-1}+\left(x_{k}-A_{k-1}\right)\left(x_{k}-A_{k}\right)\end{aligned}}}$$

Nota: Q ₁ = 0 ya que k − 1 = 0 o x ₁ = A ₁ .

Variación de la muestra:

$${\displaystyle s_{n}^{2}={\frac {Q_{n}}{n-1}}}$$

Variación de la población:

$${\displaystyle \sigma _{n}^{2}={\frac {Q_{n}}{n}}}$$

Cálculo ponderado

Cuando los valores se ponderan con pesos desiguales , las sumas de potencias s ₀ , s ₁ , s ₂ se calculan cada una como: ${\displaystyle x_{k}}$ ${\displaystyle w_{k}}$

$${\displaystyle s_{j}=\sum _{k=1}^{N}w_{k}x_{k}^{j}.\,}$$

Y las ecuaciones de desviación estándar permanecen sin cambios. s ₀ es ahora la suma de los pesos y no el número de muestras N .

También se puede aplicar el método incremental con errores de redondeo reducidos, con cierta complejidad adicional.

Se debe calcular una suma acumulada de pesos para cada k del 1 al n :

$${\displaystyle {\begin{aligned}W_{0}&=0\\W_{k}&=W_{k-1}+w_{k}\end{aligned}}}$$

y los lugares donde se usa 1/ k arriba deben reemplazarse por : ${\displaystyle w_{k}/W_{k}}$

$${\displaystyle {\begin{aligned}A_{0}&=0\\A_{k}&=A_{k-1}+{\frac {w_{k}}{W_{k}}}\left(x_{k}-A_{k-1}\right)\\Q_{0}&=0\\Q_{k}&=Q_{k-1}+{\frac {w_{k}W_{k-1}}{W_{k}}}\left(x_{k}-A_{k-1}\right)^{2}=Q_{k-1}+w_{k}\left(x_{k}-A_{k-1}\right)\left(x_{k}-A_{k}\right)\end{aligned}}}$$

En la división final,

$${\displaystyle \sigma _{n}^{2}={\frac {Q_{n}}{W_{n}}}\,}$$

y

$${\displaystyle s_{n}^{2}={\frac {Q_{n}}{W_{n}-1}},}$$

o

$${\displaystyle s_{n}^{2}={\frac {n'}{n'-1}}\sigma _{n}^{2},}$$

donde n es el número total de elementos y n ′ es el número de elementos con pesos distintos de cero.

Las fórmulas anteriores se vuelven iguales a las fórmulas más simples dadas anteriormente si los pesos se toman iguales a uno.

Historia

El término desviación estándar fue utilizado por primera vez por escrito por Karl Pearson en 1894, luego de su uso en conferencias. ^{[19] [20]} Esto fue un reemplazo de nombres alternativos anteriores para la misma idea: por ejemplo, Gauss usó error medio . ^[21]

Índice de desviación estándar

El índice de desviación estándar (SDI) se utiliza en evaluaciones de calidad externas , particularmente para laboratorios médicos . Se calcula como: ^[22]

$${\displaystyle {\text{SDI}}={\frac {{\text{Laboratory mean}}-{\text{Consensus group mean}}}{\text{Consensus group standard deviation}}}}$$

Dimensiones superiores

La elipse de desviación estándar (verde) de una distribución normal bidimensional

En dos dimensiones, la desviación estándar se puede ilustrar con la elipse de desviación estándar (ver Distribución normal multivariada § Interpretación geométrica ).

Ver también

• Portal de matemáticas

• Regla 68–95–99,7
• Exactitud y precisión
• Algoritmos para calcular la varianza.
• La desigualdad de Chebyshev Una desigualdad en los parámetros de ubicación y escala.
• Coeficiente de variación
• Acumulante
• Desviación (estadísticas)
• Correlación de distancia Desviación estándar de distancia
• Barra de error
• Desviación estándar geométrica
• Distancia de Mahalanobis generalizando el número de desviaciones estándar a la media
• Error absoluto medio
• Varianza agrupada
• Propagación de la incertidumbre
• percentil
• Datos sin procesar
• Estadística de chi-cuadrado reducida
• Desviación estándar robusta
• Media cuadrática
• Tamaño de la muestra
• La desigualdad de Samuelson
• Seis Sigma
• Error estándar
• Puntuación estándar
• Dispersión estadística
• Método Yamartino para calcular la desviación estándar de la dirección del viento.

Referencias

1. Suave, JM; Altman, DG (1996). "Notas estadísticas: error de medición". BMJ . 312 (7047): 1654. doi :10.1136/bmj.312.7047.1654. PMC  2351401 . PMID  8664723.
2. Gauss, Carl Friedrich (1816). "Bestimmung der Genauigkeit der Beobachtungen". Zeitschrift für Astronomie und Verwandte Wissenschaften . 1 : 187–197.
3. Caminante, Helen (1931). Estudios de Historia del Método Estadístico . Baltimore, MD: Williams & Wilkins Co. págs. 24-25.
4. Weisstein, Eric W. "Corrección de Bessel". MundoMatemático .
5. "Fórmulas de desviación estándar". www.mathsisfun.com . Consultado el 21 de agosto de 2020 .
6. Datos de referencia antropométricos para niños y adultos: Estados Unidos, 2015-2018 (PDF) , Centro Nacional de Estadísticas de Salud: Estadísticas Vitales y de Salud, vol. 3, Centros para el Control y la Prevención de Enfermedades, enero de 2021, pág. 16, Tabla 12
7. Weisstein, Eric W. "Desviación estándar". mathworld.wolfram.com . Consultado el 21 de agosto de 2020 .
8. "Estimador consistente". www.statlect.com . Consultado el 10 de octubre de 2022 .
9. Gurland, John; Tripathi, Ram C. (1971), "Una aproximación simple para la estimación imparcial de la desviación estándar", The American Statistician , 25 (4): 30–32, doi :10.2307/2682923, JSTOR  2682923
10. "Calculadora de desviación estándar". Calculadoras puras . 11 de julio de 2021 . Consultado el 14 de septiembre de 2021 .
11. Shiffler, Ronald E.; Harsha, Phillip D. (1980). "Límites superior e inferior de la desviación estándar muestral". Enseñanza de Estadística . 2 (3): 84–86. doi :10.1111/j.1467-9639.1980.tb00398.x.
12. Browne, Richard H. (2001). "Uso del rango de muestra como base para calcular el tamaño de la muestra en cálculos de potencia". El estadístico estadounidense . 55 (4): 293–298. doi :10.1198/000313001753272420. JSTOR  2685690. S2CID  122328846.
13. "Los experimentos del CERN observan partículas consistentes con el bosón de Higgs buscado durante mucho tiempo | Oficina de prensa del CERN". Press.web.cern.ch. 4 de julio de 2012. Archivado desde el original el 25 de marzo de 2016 . Consultado el 30 de mayo de 2015 .
14. Colaboración científica LIGO, Colaboración Virgo (2016), "Observación de ondas gravitacionales a partir de una fusión de agujeros negros binarios", Physical Review Letters , 116 (6): 061102, arXiv : 1602.03837 , Bibcode : 2016PhRvL.116f1102A, doi : 10.1103/PhysRevLett .116.061102, PMID  26918975, S2CID  124959784
15. "¿Qué es la desviación estándar?". Prístino . Consultado el 29 de octubre de 2011 .
16. Ghahramani, Saeed (2000). Fundamentos de probabilidad (2ª ed.). Nueva Jersey: Prentice Hall. pag. 438.ISBN​ 9780130113290.
17. Eric W. Weisstein. "Función de distribución". MundoMatemático . Wolframio . Consultado el 30 de septiembre de 2014 .
18. Welford, BP (agosto de 1962). "Nota sobre un método para calcular sumas corregidas de cuadrados y productos". Tecnometría . 4 (3): 419–420. CiteSeerX 10.1.1.302.7503 . doi :10.1080/00401706.1962.10490022. 
19. Esquivar, Yadolah (2003). Diccionario Oxford de términos estadísticos . Prensa de la Universidad de Oxford. ISBN 978-0-19-920613-1.
20. Pearson, Karl (1894). "Sobre la disección de curvas de frecuencia asimétricas". Transacciones filosóficas de la Royal Society A. 185 : 71-110. Código bibliográfico : 1894RSPTA.185...71P. doi : 10.1098/rsta.1894.0003 .
21. Molinero, Jeff. "Primeros usos conocidos de algunas de las palabras de matemáticas".
22. Harr, Robert R. (2012). Revisión de la ciencia del laboratorio médico . Filadelfia: FA Davis Co. p. 236.ISBN​ 978-0-8036-3796-2. OCLC  818846942.

enlaces externos

• "Desviación cuadrática", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• "Calculadora de desviación estándar"