Estimation theory

Rama de la estadística para estimar modelos basados ​​en datos medidos.

Estimation theory is a branch of statistics that deals with estimating the values of parameters based on measured empirical data that has a random component. The parameters describe an underlying physical setting in such a way that their value affects the distribution of the measured data. An estimator attempts to approximate the unknown parameters using the measurements. In estimation theory, two approaches are generally considered:^[1]

• The probabilistic approach (described in this article) assumes that the measured data is random with probability distribution dependent on the parameters of interest
• The set-membership approach assumes that the measured data vector belongs to a set which depends on the parameter vector.

Examples

For example, it is desired to estimate the proportion of a population of voters who will vote for a particular candidate. That proportion is the parameter sought; the estimate is based on a small random sample of voters. Alternatively, it is desired to estimate the probability of a voter voting for a particular candidate, based on some demographic features, such as age.

Or, for example, in radar the aim is to find the range of objects (airplanes, boats, etc.) by analyzing the two-way transit timing of received echoes of transmitted pulses. Since the reflected pulses are unavoidably embedded in electrical noise, their measured values are randomly distributed, so that the transit time must be estimated.

As another example, in electrical communication theory, the measurements which contain information regarding the parameters of interest are often associated with a noisy signal.

Basics

Para un modelo determinado, se necesitan varios "ingredientes" estadísticos para que se pueda implementar el estimador. La primera es una muestra estadística : un conjunto de puntos de datos tomados de un vector aleatorio ( RV ) de tamaño N. Puesto en un vector , en segundo lugar, hay M parámetros cuyos valores deben estimarse. En tercer lugar, la función de densidad de probabilidad continua (pdf) o su contraparte discreta, la función de masa de probabilidad (pmf), de la distribución subyacente que generó los datos debe expresarse de manera condicional a los valores de los parámetros: también es posible para los parámetros mismos. tener una distribución de probabilidad (p. ej., estadística bayesiana ). Luego es necesario definir la probabilidad bayesiana. Una vez formado el modelo, el objetivo es estimar los parámetros, donde las estimaciones se denominan comúnmente , donde el "sombrero" indica la estimación. $${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$$ $${\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$$ $${\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}$$ $${\displaystyle \pi ({\boldsymbol {\theta }}).\,}$$ ${\displaystyle {\hat {\boldsymbol {\theta }}}}$

Un estimador común es el estimador del error cuadrático medio mínimo (MMSE), que utiliza el error entre los parámetros estimados y el valor real de los parámetros como base para la optimización. Luego, este término de error se eleva al cuadrado y el valor esperado de este valor al cuadrado se minimiza para el estimador MMSE. $${\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}$$

Estimadores

Los estimadores (métodos de estimación) comúnmente utilizados y los temas relacionados con ellos incluyen:

• Estimadores de máxima verosimilitud
• Estimadores de Bayes
• Método de estimadores de momentos.
• Cramér-Rao con destino
• mínimos cuadrados
• Error cuadrático medio mínimo (MMSE), también conocido como error mínimo cuadrático de Bayes (BLSE)
• Máximo a posteriori (MAP)
• Estimador insesgado de varianza mínima (MVUE)
• Identificación de sistemas no lineales.
• Mejor estimador lineal insesgado (AZUL)
• Estimadores insesgados: consulte sesgo del estimador .
• Filtro de partículas
• Cadena de Markov Montecarlo (MCMC)
• Filtro de Kalman y sus diversos derivados.
• Filtro de salchicha

Ejemplos

Constante desconocida en ruido blanco gaussiano aditivo

Considere una señal discreta recibida , de muestras independientes que consiste en una constante desconocida con ruido blanco gaussiano aditivo (AWGN) con media cero y varianza conocida ( es decir , ). Como se conoce la varianza, el único parámetro desconocido es . ${\displaystyle x[n]}$ ${\displaystyle N}$ ${\displaystyle A}$ ${\displaystyle w[n]}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$ ${\displaystyle A}$

El modelo de la señal es entonces $${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$$

Dos posibles (de muchos) estimadores para el parámetro son: ${\displaystyle A}$

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$cual es la media muestral

Ambos estimadores tienen una media de , que se puede mostrar tomando el valor esperado de cada estimador y ${\displaystyle A}$ $${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$$ $${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$$

En este punto, estos dos estimadores parecerían realizar lo mismo. Sin embargo, la diferencia entre ellos se hace evidente al comparar las varianzas. y $${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$$ $${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$$

Parecería que la media muestral es un mejor estimador ya que su varianza es menor para cada  N  > 1.

Máxima verosimilitud

Continuando con el ejemplo usando el estimador de máxima verosimilitud , la función de densidad de probabilidad (pdf) del ruido para una muestra es y la probabilidad de se convierte en ( se puede pensar en a ) Por independencia , la probabilidad de se convierte en Tomando el logaritmo natural de la pdf y el estimador de máxima verosimilitud es ${\displaystyle w[n]}$ $${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$$ ${\displaystyle x[n]}$ ${\displaystyle x[n]}$ ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$ $${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$$ ${\displaystyle \mathbf {x} }$ $${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$$ $${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$$ $${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$$

Tomando la primera derivada de la función de probabilidad logarítmica y poniéndola en cero $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$ $${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$$

Esto da como resultado el estimador de máxima verosimilitud que es simplemente la media muestral. A partir de este ejemplo, se encontró que la media de la muestra es el estimador de máxima verosimilitud para muestras de un parámetro fijo desconocido corrompido por AWGN. $${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$$ ${\displaystyle N}$

Límite inferior de Cramér-Rao

Para encontrar el límite inferior de Cramér-Rao (CRLB) del estimador de la media muestral, primero es necesario encontrar el número de información de Fisher y copiarlo desde arriba. $${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$$ $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$

Tomar la segunda derivada y encontrar el valor esperado negativo es trivial ya que ahora es una constante determinista. $${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$$ ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

Finalmente, poner la información de Fisher en resultados en $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$$ $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$$

Comparando esto con la varianza de la media muestral (determinada previamente) se muestra que la media muestral es igual al límite inferior de Cramér-Rao para todos los valores de y . En otras palabras, la media muestral es el estimador eficiente (necesariamente único) y, por tanto, también el estimador insesgado de varianza mínima (MVUE), además de ser el estimador de máxima verosimilitud . ${\displaystyle N}$ ${\displaystyle A}$

Máximo de una distribución uniforme

Uno de los ejemplos de estimación más simples y no triviales es la estimación del máximo de una distribución uniforme. Se utiliza como ejercicio práctico en el aula y para ilustrar los principios básicos de la teoría de la estimación. Además, en el caso de la estimación basada en una sola muestra, demuestra cuestiones filosóficas y posibles malentendidos en el uso de estimadores de máxima verosimilitud y funciones de verosimilitud .

Dada una distribución uniforme discreta con máximo desconocido, el estimador UMVU para el máximo viene dado por donde m es el máximo de la muestra y k es el tamaño de la muestra , muestreo sin reemplazo. ^{[2] [3]} Este problema se conoce comúnmente como el problema de los tanques alemanes , debido a la aplicación de la estimación máxima a las estimaciones de la producción de tanques alemanes durante la Segunda Guerra Mundial . ${\displaystyle 1,2,\dots ,N}$ $${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$$

La fórmula puede entenderse intuitivamente como;

"El máximo de la muestra más la brecha promedio entre observaciones en la muestra",

la brecha se agrega para compensar el sesgo negativo del máximo de muestra como estimador del máximo de población. ^{[nota 1]}

Esto tiene una varianza de ^[2], por lo que una desviación estándar de aproximadamente , el tamaño promedio (poblacional) de una brecha entre muestras; comparar arriba. Esto puede verse como un caso muy simple de estimación de espaciamiento máximo . $${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$$ ${\displaystyle N/k}$ ${\displaystyle {\frac {m}{k}}}$

El máximo muestral es el estimador de máxima verosimilitud para el máximo poblacional, pero, como se analizó anteriormente, está sesgado.

Aplicaciones

Numerosos campos requieren el uso de la teoría de la estimación. Algunos de estos campos incluyen:

• Interpretación de experimentos científicos.
• Procesamiento de la señal
• Ensayos clínicos
• Las encuestas de opinión
• Control de calidad
• Telecomunicaciones
• Gestión de proyectos
• Ingeniería de software
• Teoría del control (en particular control adaptativo )
• Sistema de detección de intrusiones en la red.
• determinación de órbita

Es probable que los datos medidos estén sujetos a ruido o incertidumbre y es a través de la probabilidad estadística que se buscan soluciones óptimas para extraer la mayor cantidad de información posible de los datos.

Ver también

• Mejor estimador lineal insesgado (AZUL)
• Integridad (estadísticas)
• Teoría de detección
• Eficiencia (estadísticas)
• Algoritmo de maximización de expectativas (algoritmo EM)
• problema de fermi
• Modelo de caja gris
• Teoría de la información
• Análisis espectral de mínimos cuadrados
• Filtro coincidente
• Estimación espectral de entropía máxima
• Parámetro molesto
• Ecuación paramétrica
• principio de pareto
• Regla de tres (estadísticas)
• estimador de estado
• Procesamiento estadístico de señales.
• Suficiencia (estadísticas)

Notas

1. El máximo de la muestra nunca es mayor que el máximo de la población, pero puede ser menor, por lo que es un estimador sesgado : tenderá a subestimar el máximo de la población.

Referencias

Citas

1. Walter, E.; Pronzato, L. (1997). Identificación de modelos paramétricos a partir de datos experimentales . Londres, Inglaterra: Springer-Verlag.
2. Johnson, Roger (1994), "Estimación del tamaño de una población", Enseñanza de estadística , 16 (2 (verano)): 50–52, doi :10.1111/j.1467-9639.1994.tb00688.x
3. Johnson, Roger (2006), "Estimación del tamaño de una población", Obtener lo mejor de la enseñanza de la estadística, archivado desde el original (PDF) el 20 de noviembre de 2008

Fuentes

• EL Lehmann y G. Casella. Teoría de la estimación puntual . ISBN 0387985026.
• Dale Shermon (2009). Ingeniería de Costos de Sistemas . Publicación de Gower. ISBN 978-0-566-08861-2.
• John arroz (1995). Estadística Matemática y Análisis de Datos . Prensa de Duxbury. ISBN 0-534-209343.
• Steven M. Kay. Fundamentos del procesamiento estadístico de señales: teoría de la estimación . ISBN 0-13-345711-7.
• H. Vincent Poor (16 de marzo de 1998). Introducción a la detección y estimación de señales . Saltador. ISBN 0-387-94173-8.
• Harry L. Van Árboles (2001). Teoría de detección, estimación y modulación, parte 1. Wiley. ISBN 0-471-09517-6. Archivado desde el original el 28 de abril de 2005.
• Dan Simón. Estimación del estado óptimo: enfoques de Kalman, H-infinito y no lineal. Archivado desde el original el 30 de diciembre de 2010.
• Filtros adaptativos . Nueva Jersey: Wiley. 2008.ISBN​ 978-0-470-25388-5.
• Fundamentos del filtrado adaptativo . Nueva Jersey: Wiley. 2003.ISBN​ 0-471-46126-1.
• Estimación lineal . Nueva Jersey: Prentice-Hall. 2000.ISBN​ 978-0-13-022464-4.
• Estimación y control cuadráticos indefinidos: un enfoque unificado de las teorías H ² y H ^∞ . PA: Sociedad de Matemáticas Industriales y Aplicadas (SIAM). 1999.ISBN​ 978-0-89871-411-1.
• VG Voinov y MS Nikulin (1993). Estimadores insesgados y sus aplicaciones. vol. 1: Caso univariado . Editores académicos de Kluwer. ISBN 0-7923-2382-3.
• VG Voinov y MS Nikulin (1996). Estimadores insesgados y sus aplicaciones. vol. 2: Caso multivariado . Editores académicos de Kluwer. ISBN 0-7923-3939-8.

enlaces externos

• Medios relacionados con la teoría de la estimación en Wikimedia Commons