Rama de la estadística para estimar modelos basados en datos medidos.
La teoría de la estimación es una rama de la estadística que se ocupa de estimar los valores de parámetros basándose en datos empíricos medidos que tienen un componente aleatorio. Los parámetros describen una configuración física subyacente de tal manera que su valor afecta la distribución de los datos medidos. Un estimador intenta aproximar los parámetros desconocidos utilizando las mediciones. En la teoría de la estimación, generalmente se consideran dos enfoques: [1]
Ejemplos
Por ejemplo, se desea estimar la proporción de una población de votantes que votará por un candidato en particular. Esa proporción es el parámetro buscado; la estimación se basa en una pequeña muestra aleatoria de votantes. Alternativamente, se desea estimar la probabilidad de que un votante vote por un candidato en particular, basándose en algunas características demográficas, como la edad.
O, por ejemplo, en el radar el objetivo es encontrar la distancia de los objetos (aviones, barcos, etc.) analizando el tiempo de tránsito bidireccional de los ecos recibidos de los pulsos transmitidos. Dado que los impulsos reflejados están inevitablemente inmersos en ruido eléctrico, sus valores medidos están distribuidos aleatoriamente, por lo que es necesario estimar el tiempo de tránsito.
Como otro ejemplo, en la teoría de las comunicaciones eléctricas, las mediciones que contienen información sobre los parámetros de interés suelen estar asociadas con una señal ruidosa .
Lo esencial
Para un modelo determinado, se necesitan varios "ingredientes" estadísticos para que se pueda implementar el estimador. La primera es una muestra estadística : un conjunto de puntos de datos tomados de un vector aleatorio (RV) de tamaño N. Poner en un vector ,
![{\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
En segundo lugar, hay parámetros M.
![{\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}} ,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
cuyos valores se pretende estimar. En tercer lugar, la función de densidad de probabilidad continua (pdf) o su contraparte discreta, la función de masa de probabilidad (pmf), de la distribución subyacente que generó los datos debe establecerse de forma condicional a los valores de los parámetros:
![{\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
También es posible que los propios parámetros tengan una distribución de probabilidad (p. ej., estadística bayesiana ). Entonces es necesario definir la probabilidad bayesiana.
![{\displaystyle \pi ({\boldsymbol {\theta }}).\,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Una vez formado el modelo, el objetivo es estimar los parámetros, donde las estimaciones se denominan comúnmente , donde el "sombrero" indica la estimación.![{\displaystyle {\sombrero {\boldsymbol {\theta }}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Un estimador común es el estimador del error cuadrático medio mínimo (MMSE), que utiliza el error entre los parámetros estimados y el valor real de los parámetros.
![{\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
como base para la optimización. Luego, este término de error se eleva al cuadrado y el valor esperado de este valor al cuadrado se minimiza para el estimador MMSE.
Estimadores
Los estimadores (métodos de estimación) comúnmente utilizados y los temas relacionados con ellos incluyen:
Ejemplos
Constante desconocida en ruido blanco gaussiano aditivo
Considere una señal discreta recibida , de muestras independientes que consiste en una constante desconocida con ruido blanco gaussiano aditivo (AWGN) con media cero y varianza conocida ( es decir , ). Como se conoce la varianza, el único parámetro desconocido es .![{\displaystyle x[n]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \sigma ^{2}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\mathcal {N}}(0,\sigma ^{2})}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
El modelo de la señal es entonces
![{\displaystyle x[n]=A+w[n]\quad n=0,1,\dots,N-1}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Dos posibles (de muchos) estimadores para el parámetro son:![{\displaystyle A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\sombrero {A}}_{1}=x[0]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
cual es la media muestral
Ambos estimadores tienen una media de , que se puede demostrar tomando el valor esperado de cada estimador.![{\displaystyle A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n= 0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left [x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
En este punto, estos dos estimadores parecerían realizar lo mismo. Sin embargo, la diferencia entre ellos se hace evidente al comparar las varianzas.
![{\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y
![{\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n= 0}^{N-1}x[n]\right){\overset {\text{independencia}}{=}}{\frac {1}{N^{2}}}\left[\sum _{ n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\ derecha]={\frac {\sigma ^{2}}{N}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Parecería que la media muestral es un mejor estimador ya que su varianza es menor para cada N > 1.
Máxima verosimilitud
Continuando con el ejemplo que utiliza el estimador de máxima verosimilitud , la función de densidad de probabilidad (pdf) del ruido para una muestra es![{\displaystyle w[n]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2 }}}w[n]^{2}\derecha)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y la probabilidad de se convierte en ( se puede pensar en a )![{\displaystyle x[n]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle x[n]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\mathcal {N}}(A,\sigma ^{2})}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^ {2}}}(x[n]-A)^{2}\derecha)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Por independencia , la probabilidad de se convierte en![{\displaystyle \mathbf {x} }](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{ N-1}(x[n]-A)^{2}\derecha)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Tomando el logaritmo natural de la pdf
![{\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{ 2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y el estimador de máxima verosimilitud es
![{\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Tomando la primera derivada de la función de probabilidad logarítmica
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _ {n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^ {N-1}x[n]-NA\derecha]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y poniéndolo a cero
![{\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _ {n=0}^{N-1}x[n]-NA}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Esto da como resultado el estimador de máxima verosimilitud.
![{\displaystyle {\hat {A}}={\frac {1}{N}}\sum _ {n=0}^{N-1}x[n]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
que es simplemente la media muestral. A partir de este ejemplo, se encontró que la media de la muestra es el estimador de máxima verosimilitud para muestras de un parámetro fijo desconocido corrompido por AWGN.![{\displaystyle N}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Límite inferior de Cramér-Rao
Para encontrar el límite inferior de Cramér-Rao (CRLB) del estimador de la media muestral, primero es necesario encontrar el número de información de Fisher
![{\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A) \right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;Rectamente]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y copiando desde arriba
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _ {n=0}^{N-1}x[n]-NA\right]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Tomando la segunda derivada
![{\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2} }}(-N)={\frac {-N}{\sigma ^{2}}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
y encontrar el valor esperado negativo es trivial ya que ahora es una constante determinista![{\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={ \frac {N}{\sigma ^{2}}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Finalmente, poner la información de Fisher en
![{\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
resultados en
![{\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Comparando esto con la varianza de la media muestral (determinada previamente) se muestra que la media muestral es igual al límite inferior de Cramér-Rao para todos los valores de y . En otras palabras, la media muestral es el estimador eficiente (necesariamente único) y, por tanto, también el estimador insesgado de varianza mínima (MVUE), además de ser el estimador de máxima verosimilitud .![{\displaystyle N}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle A}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Máximo de una distribución uniforme
Uno de los ejemplos de estimación más simples y no triviales es la estimación del máximo de una distribución uniforme. Se utiliza como ejercicio práctico en el aula y para ilustrar los principios básicos de la teoría de la estimación. Además, en el caso de la estimación basada en una muestra única, demuestra cuestiones filosóficas y posibles malentendidos en el uso de estimadores de máxima verosimilitud y funciones de verosimilitud .
Dada una distribución uniforme discreta con máximo desconocido, el estimador UMVU para el máximo viene dado por![{\displaystyle 1,2,\puntos,N}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
donde m es el máximo de muestra y k es el tamaño de muestra , muestreo sin reemplazo. [2] [3] Este problema se conoce comúnmente como el problema de los tanques alemanes , debido a la aplicación de la estimación máxima a las estimaciones de la producción de tanques alemanes durante la Segunda Guerra Mundial .
La fórmula puede entenderse intuitivamente como;
- "El máximo de la muestra más la brecha promedio entre observaciones en la muestra",
la brecha se agrega para compensar el sesgo negativo del máximo muestral como estimador del máximo poblacional. [nota 1]
Esto tiene una variación de [2]
![{\displaystyle {\frac {1}{k}}{\frac {(Nk)(N+1)}{(k+2)}}\aprox {\frac {N^{2}}{k^{ 2}}}{\text{ para muestras pequeñas }}k\ll N}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
entonces, una desviación estándar de aproximadamente , el tamaño promedio (poblacional) de una brecha entre muestras; comparar arriba. Esto puede verse como un caso muy simple de estimación de espaciamiento máximo .![{\displaystyle N/k}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\frac {m}{k}}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
El máximo muestral es el estimador de máxima verosimilitud para el máximo poblacional, pero, como se analizó anteriormente, está sesgado.
Aplicaciones
Numerosos campos requieren el uso de la teoría de la estimación. Algunos de estos campos incluyen:
Es probable que los datos medidos estén sujetos a ruido o incertidumbre y es a través de la probabilidad estadística que se buscan soluciones óptimas para extraer la mayor cantidad de información posible de los datos.
Ver también
Notas
- ^ El máximo de la muestra nunca es mayor que el máximo de la población, pero puede ser menor, por lo que es un estimador sesgado : tenderá a subestimar el máximo de la población.
Referencias
Citas
- ^ Walter, E.; Pronzato, L. (1997). Identificación de modelos paramétricos a partir de datos experimentales . Londres, Inglaterra: Springer-Verlag.
- ^ ab Johnson, Roger (1994), "Estimación del tamaño de una población", Enseñanza de estadística , 16 (2 (verano)): 50–52, doi :10.1111/j.1467-9639.1994.tb00688.x
- ^ Johnson, Roger (2006), "Estimación del tamaño de una población", Obtener lo mejor de la enseñanza de la estadística, archivado desde el original (PDF) el 20 de noviembre de 2008
Fuentes
- Teoría de la estimación puntual de EL Lehmann y G. Casella. ( ISBN 0387985026 )
- Ingeniería de costos de sistemas por Dale Shermon. ( ISBN 978-0-566-08861-2 )
- Estadística matemática y análisis de datos por John Rice. ( ISBN 0-534-209343 )
- Fundamentos del procesamiento estadístico de señales: teoría de la estimación por Steven M. Kay ( ISBN 0-13-345711-7 )
- Introducción a la detección y estimación de señales por H. Vincent Poor ( ISBN 0-387-94173-8 )
- Teoría de detección, estimación y modulación, parte 1 por Harry L. Van Trees ( ISBN 0-471-09517-6 ; sitio web)
- Estimación del estado óptimo: enfoques de Kalman, H-infinito y no lineales del sitio web de Dan Simon
- Ali H. Sayed , Filtros adaptativos, Wiley, Nueva Jersey, 2008, ISBN 978-0-470-25388-5 .
- Ali H. Sayed , Fundamentos del filtrado adaptativo, Wiley, Nueva Jersey, 2003, ISBN 0-471-46126-1 .
- Thomas Kailath , Ali H. Sayed y Babak Hassibi , Estimación lineal, Prentice-Hall, Nueva Jersey, 2000, ISBN 978-0-13-022464-4 .
- Babak Hassibi , Ali H. Sayed y Thomas Kailath , Estimación y control cuadráticos indefinidos: un enfoque unificado para las teorías H 2 y H , Sociedad de Matemáticas Industriales y Aplicadas (SIAM), PA, 1999, ISBN 978-0-89871-411 -1 .
- VGVoinov, MSNikulin, "Estimadores imparciales y sus aplicaciones. Vol.1: caso univariado", Kluwer Academic Publishers, 1993, ISBN 0-7923-2382-3 .
- VGVoinov, MSNikulin, "Estimadores imparciales y sus aplicaciones. Vol.2: Caso multivariado", Kluwer Academic Publishers, 1996, ISBN 0-7923-3939-8 .
enlaces externos
Medios relacionados con la teoría de la estimación en Wikimedia Commons