Máxima verosimilitud
En estadística, la estimación por máxima verosimilitud (conocida también como EMV y, en ocasiones, MLE por sus siglas en inglés) es un método habitual para ajustar un modelo y estimar sus parámetros.
, llamada modelo paramétrico, de manera que
(o estimador) que esté lo más próximo posible al verdadero valor
: En ocasiones este estimador es una función explícita de los datos observados
, pero muchas veces hay que recurrir a optimizaciones numéricas.
Un contexto en el que esto es habitual es el del análisis de series temporales.
En muchos casos, el estimador obtenido por máxima verosimilitud posee un conjunto de propiedades asintóticas atractivas: Bajo ciertas condiciones bastante habituales,[2] el estimador de máxima verosimilitud es consistente: si el número de observaciones n tiende a infinito, el estimador
converge en probabilidad a su valor verdadero: Bajo condiciones algo más fuertes,[2] la convergencia es casi segura: Si las condiciones para la consistencia se cumplen y, además, entonces el estimador de máxima verosimilitud tiene una distribución asintótica normal:[3] Si
En particular, esto significa que el sesgo es cero hasta el orden n−1/2.
Este sesgo es igual a[4] fórmula donde se ha adoptado la convención de Einstein para expresar sumas; I jk representa la j,k-ésima componente de la inversa de la matriz de información de Fisher y Gracias a estas fórmulas es posible estimar el sesgo de segundo orden del estimador y corregirlo mediante substracción: Este estimador, insesgado hasta el orden n−1, se llama estimador de máxima verosimilitud con corrección del sesgo.
Supóngase que n bolas numeradas de 1 a n se colocan en una urna y que una de ellas se extrae al azar.
Supóngase que se lanza una moneda sesgada al aire 80 veces.
La muestra resultante puede ser algo así como x1 = H, x2 = T, ..., x80 = T, y se cuenta el número de caras, "H".
Supóngase que se obtienen 49 caras y 31 cruces.
Imagínese que la moneda se extrajo de una caja que contenía tres de ellas y que éstas tienen probabilidades p iguales a 1/3, 1/2 y 2/3 aunque no se sabe cuál de ellas es cuál.
A partir de los datos obtenidos del experimento se puede saber cuál es la moneda con la máxima verosimilitud.
Ahora supongamos que sólo había una moneda pero su p podría haber sido cualquier valor 0 ≤ p ≤ 1.
La función de verosimilitud a maximizar es y que la maximización se realiza sobre todos los valores posibles de 0 ≤ p ≤ 1.
Por lo tanto el estimador de máxima probabilidad para p es 49/80.
Esta familia de distribuciones posee dos parámetros: θ = (μ, σ), por lo que se maximiza la verosimilitud,
Dado que el logaritmo es una función continua estrictamente creciente sobre el range of the likelihood, los valores que maximizan la verosimilitud también maximizan su logaritmo.
Dado que maximizar el logaritmo a menudo requiere de álgebra simple, es el logaritmo el que se maximizará a continuación.
lo cual se resuelve haciendo Se trata efectivamente del máximo de la función, ya que es el único punto de inflexión en μ y la segunda derivada es estrictamente menor que cero.
se obtiene Para calcular su valor esperado, es conveniente reescribir la expresión en términos de variables aleatorias de media cero (error estadístico)
Expresando el estimador mediante estas variables se obtiene Simplificando la expresión anterior, utilizando el hecho que
, permite obtener Lo cual significa que el estimador
Formalmente decimos que el estimador de máxima verosimilitud para
es: En este caso, los MLE podrían obtenerse individualmente.
, donde cada variable posee valor medio corresponsiente a
Y sea la matriz covariante expresada mediante
