Producto de expertos

Técnica de aprendizaje automático

El producto de expertos (PoE) es una técnica de aprendizaje automático que modela una distribución de probabilidad combinando los resultados de varias distribuciones más simples. Fue propuesto por Geoffrey Hinton en 1999 ^[1] junto con un algoritmo para entrenar los parámetros de dicho sistema.

La idea central es combinar varias distribuciones de probabilidad ("expertos") multiplicando sus funciones de densidad, lo que hace que la clasificación PoE sea similar a una operación "y". Esto permite que cada experto tome decisiones sobre la base de unas pocas dimensiones sin tener que cubrir la dimensionalidad completa de un problema: ${\displaystyle P(y|\{x_{k}\})={\frac {1}{Z}}\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})}$

donde son densidades de expertos no normalizadas y es una constante de normalización (ver función de partición (mecánica estadística) ). ${\displaystyle f_{j}}$ ${\displaystyle Z=\int {\mbox{d}}y\prod _{j=1}^{M}f_{j}(y|\{x_{k}\})}$

Esto está relacionado con (pero es bastante diferente de) un modelo de mezcla , donde varias distribuciones de probabilidad se combinan a través de una operación "o", que es una suma ponderada de sus funciones de densidad: con ${\displaystyle p_{j}(y|\{x_{j}\})}$ ${\displaystyle P(y|\{x_{k}\})=\sum _{j=1}^{M}\alpha _{j}p_{j}(y|\{x_{k}\}),}$ ${\displaystyle \sum _{j}\alpha _{j}=1.}$

Se puede entender que cada uno de los expertos es responsable de hacer cumplir una restricción en un espacio de alta dimensión. Un punto de datos se considera probable si ninguno de los expertos dice que el punto viola una restricción.

Para optimizarlo, propuso el algoritmo de minimización de divergencia contrastiva . ^[2] Este algoritmo se utiliza con mayor frecuencia para el aprendizaje de máquinas de Boltzmann restringidas .

Véase también

• Mezcla de expertos
• Máquina de Boltzmann

Referencias

1. Hinton, GE (1999). "Productos de expertos". Novena Conferencia Internacional sobre Redes Neuronales Artificiales: ICANN '99 . Vol. 1999. IEE. págs. 1–6. doi :10.1049/cp:19991075. ISBN. 978-0-85296-721-8.
2. Hinton, Geoffrey E. (1 de agosto de 2002). "Productos de entrenamiento de expertos minimizando la divergencia contrastiva". Computación neuronal . 14 (8): 1771–1800. doi :10.1162/089976602760128018. ISSN  0899-7667. PMID  12180402. S2CID  207596505.

Enlaces externos

• Artículo sobre el producto de los expertos en Scholarpedia
• Artículos de Geoffrey Hinton sobre PoE