Criterio de información bayesiano

Cuando se ajustan modelos, es posible aumentar la verosimilitud mediante la adición de parámetros, pero esto puede resultar en sobreajuste.El BIC fue desarrollado por Gideon E. Schwarz, quien dio un argumento bayesiano a favor de su adopción.[1]​ Akaike también desarrolló su propio formalismo Bayesiano, que ahora se conoce como la ABIC por Criterio de Información Bayesiano de Akaike ".[2]​ El BIC es una consecuencia derivada asintótica bajo los supuestos de que la distribución de los datos se encuentra en la familia exponencial.Veamos: La fórmula para el BIC es: Bajo la suposición de que los errores de modelo o perturbaciones son independientes e idénticamente distribuidos según una distribución normal y que la condición límite de que la derivada de la probabilidad de registro con respecto a la varianza real es cero, esto se convierte en (hasta una constante aditiva, la cual sólo depende de n, y no en el modelo): [3] dondeSe define como: Adicionalmente, bajo el supuesto de normalidad la siguiente versión puede ser más manejable: Tenga en cuenta que hay una constante añadido que se deriva de transición de la log-verosimilitud para, sin embargo, en el uso del BIC para determinar el "mejor" modelo de la constante se convierte en trivial.La fuerza de la evidencia en contra del modelo con el mayor valor de BIC se puede resumir de la siguiente manera:[3]​ El BIC generalmente penaliza parámetros libres con más fuerza que hace el criterio de información de Akaike, aunque depende del tamaño de n y la magnitud relativa de n y k. Es importante tener en cuenta que el BIC se puede utilizar para comparar los modelos estimados sólo cuando los valores numéricos de la variable dependiente son idénticos para todas las estimaciones que se están comparando.Los modelos que se comparan no tienen que ser anidados , a diferencia del caso cuando los modelos se comparan utilizando un F o prueba de razón verosimilitud .