En estadística bayesiana , un hiperparámetro es un parámetro de una distribución previa ; el término se utiliza para distinguirlos de los parámetros del modelo del sistema subyacente bajo análisis.
Por ejemplo, si se utiliza una distribución beta para modelar la distribución del parámetro p de una distribución de Bernoulli , entonces:
Se puede tomar un valor único para un hiperparámetro dado, o se puede iterar y tomar una distribución de probabilidad en el hiperparámetro mismo, llamado hiperprior .
A menudo se utiliza una distribución previa que proviene de una familia paramétrica de distribuciones de probabilidad; esto se hace en parte para que sea más explícito (para que uno pueda escribir una distribución y elegir la forma variando el hiperparámetro, en lugar de tratar de producir una función arbitraria) y en parte para que uno pueda variar el hiperparámetro, particularmente en el método de distribuciones previas conjugadas o para el análisis de sensibilidad.
Cuando se utiliza una distribución a priori conjugada, la distribución a posteriori será de la misma familia, pero tendrá diferentes hiperparámetros, que reflejan la información agregada de los datos: en términos subjetivos, las creencias de uno se han actualizado. Para una distribución a priori general, esto es computacionalmente muy complejo, y la distribución a posteriori puede tener una forma inusual o difícil de describir, pero con una distribución a priori conjugada, generalmente hay una fórmula simple que relaciona los valores de los hiperparámetros de la distribución a posteriori con los de la distribución a priori, y por lo tanto el cálculo de la distribución a posteriori es muy fácil.
Una preocupación clave de los usuarios de las estadísticas bayesianas, y una crítica de los críticos, es la dependencia de la distribución posterior con respecto a la distribución previa. Los hiperparámetros abordan este problema al permitir que uno los varíe fácilmente y vea cómo varía la distribución posterior (y varias estadísticas de la misma, como los intervalos creíbles ): uno puede ver cuán sensibles son sus conclusiones a sus suposiciones previas, y el proceso se llama análisis de sensibilidad.
De manera similar, se puede utilizar una distribución previa con un rango para un hiperparámetro, definiendo así un hiperprior , tal vez reflejando incertidumbre en el previo correcto a tomar, y reflejar esto en un rango para la incertidumbre final. [1]
En lugar de utilizar un único valor para un hiperparámetro determinado, se puede considerar una distribución de probabilidad del hiperparámetro en sí; esto se denomina " hiperprior ". En principio, se puede iterar esto, llamando a los parámetros de un hiperprior "hiperhiperparámetros", y así sucesivamente.