Máquina de Boltzmann

El nombre le fue dado por los investigadores Geoffrey Hinton y Terry Sejnowski.Aun así resultan interesantes en la teoría debido a la localización y a la naturaleza hebbiana de su algoritmo de entrenamiento, así como por su paralelismo y por la semejanza de su dinámica a fenómenos físicos sencillos.Si se limita la conectividad, el aprendizaje puede ser lo bastante eficaz como para ser útil en la resolución de problemas prácticos.A continuación se reordenan los términos considerando que la probabilidad de que una unidad esté en on y en off es uno: Finalmente podemos resolver parase refiere a cómo está la temperatura en el sistema.La red se ejecuta repetidamente escogiendo una unidad y estableciendo su estado de acuerdo con la fórmula anterior.Esta relación se cumple cuando la máquina está "en equilibrio termodinámico", lo que significa que la distribución de probabilidad de los estados globales ha convergido.Este proceso se llama Simulated annealing (SA) o templado simulado.Para esto se usa el siguiente método de entrenamiento.Las unidades de la máquina de Boltzmann se dividen en unidades "visibles", V, y unidades "ocultas", H. Las primeras son las que recibirán información del "entorno", por ejemplo la serie de entrenamiento podría ser un conjunto de vectores binarios aplicado sobre las unidades V.La distribución en el conjunto de entrenamiento se denotaEn las máquinas de Boltzmann, como ya se ha dicho, la distribución de los estados globales convergen hasta un equilibrio termodinámico.Para medir la similitud entre las dos distribuciones se usa la divergencia de Kullback-Leibler,: Donde el sumatorio es superior a todos los posibles estados devaría en función de los pesos, ya que estos determinan la energía de un estado, y la energía a su vez determina, que se cambiará restando la derivada parcial deLa otra es la fase "negativa", en la que a la red se le permite ejecutarse libremente, es decir, los estados de las unidades no están determinados por datos externos., está dado por una ecuación muy sencilla (demostrada por Ackley et al.): Donde: Este resultado se deduce del hecho de que en el equilibrio termodinámico la probabilidadEsto es mucho más realista biológicamente hablando que lo que sucede con la información que necesitan muchos otros algoritmos de entrenamiento de redes neuronales, como por ejemplo el de retropropagación.Esto se debe a una serie de efectos, los más importantes de los cuales son: Aunque el aprendizaje es por lo general poco práctico en las máquinas de Boltzmann, puede llegar a ser muy eficiente en una arquitectura llamada Máquina de Boltzmann restringida o MBR (RBM en inglés: Restricted Boltzmann Machine).Esta arquitectura no permite las conexiones entre las unidades de las capas ocultas.Este método de apilamiento MBR hace que sea posible entrenar muchas capas de unidades ocultas de manera eficiente y que cada nueva capa sea añadida para mejorar el modelo generativo principal.Sin embargo, no hay ninguna razón para pensar que las diversas propuestas para el uso de templado simulado para la inferencia descritas anteriormente no sean independientes.(Helmholtz, hizo una analogía similar en los albores de la psicofísica.)