En estadística bayesiana , un hiperparámetro es un parámetro de una distribución previa ; el término se utiliza para distinguirlos de los parámetros del modelo para el sistema subyacente bajo análisis.
Por ejemplo, si se utiliza una distribución beta para modelar la distribución del parámetro p de una distribución de Bernoulli , entonces:
Se puede tomar un valor único para un hiperparámetro determinado, o se puede iterar y tomar una distribución de probabilidad en el propio hiperparámetro, llamada hiperprior .
A menudo se utiliza un a priori que proviene de una familia paramétrica de distribuciones de probabilidad; esto se hace en parte para que sea explícito (de modo que se pueda escribir una distribución y elegir la forma variando el hiperparámetro, en lugar de intentar producir una función arbitraria), y en parte para que se pueda variar el hiperparámetro, particularmente en el método de priores conjugados , o para análisis de sensibilidad.
Cuando se utiliza una distribución anterior conjugada, la distribución posterior será de la misma familia, pero tendrá hiperparámetros diferentes, que reflejan la información agregada de los datos: en términos subjetivos, las creencias de uno se han actualizado. Para una distribución previa general, esto es computacionalmente muy complicado, y la posterior puede tener una forma inusual o difícil de describir, pero con una anterior conjugada, generalmente existe una fórmula simple que relaciona los valores de los hiperparámetros de la posterior con los de la anterior y, por tanto, el cálculo de la distribución posterior es muy fácil.
Una preocupación clave de los usuarios de las estadísticas bayesianas, y la crítica de los críticos, es la dependencia de la distribución posterior de la anterior. Los hiperparámetros abordan esto permitiendo variarlos fácilmente y ver cómo varía la distribución posterior (y varias estadísticas de la misma, como los intervalos creíbles ): uno puede ver cuán sensibles son sus conclusiones a sus suposiciones previas, y el proceso se llama análisis de sensibilidad. .
De manera similar, se puede usar una distribución previa con un rango para un hiperparámetro, tal vez reflejando la incertidumbre en la toma anterior correcta, y reflejar esto en un rango para la incertidumbre final. [1]
En lugar de utilizar un valor único para un hiperparámetro determinado, se puede considerar una distribución de probabilidad del propio hiperparámetro; esto se llama " hiperprior ". En principio, se puede iterar esto, llamando a los parámetros de un hiperprior "hiperhiperparámetros", y así sucesivamente.