Unidades recurrentes cerradas

Las unidades recurrentes cerradas (GRU, por sus siglas en inglés) son un mecanismo de compuerta en redes neuronales recurrentes, introducido en 2014 por Kyunghyun Cho et al.

[1]​ La GRU es como una memoria a largo plazo (LSTM, por sus siglas en inglés) con un mecanismo de compuerta para introducir u olvidar ciertas características,[2]​ pero carece de vector de contexto o compuerta de salida, lo que resulta en menos parámetros que la LSTM.

[4]​[5]​ Las GRU demostraron que la compuerta es útil en general, y el equipo de Bengio no llegó a ninguna conclusión concreta sobre cuál de las dos unidades de compuerta era mejor.

[6]​[7]​ Existen diversas variaciones de la unidad de compuerta completa, en la que la compuerta se realiza utilizando el estado oculto anterior y el sesgo en diversas combinaciones, y una forma simplificada denominada unidad de compuerta mínima.

denota el producto Hadamard en lo siguiente: Inicialmente, para

Esto también implica que la ecuación para el vector de salida debe cambiarse:[10]​ Variables La unidad recurrente activada por luz (LiGRU)[4]​ elimina la puerta de reinicio, sustituye tanh por la activación ReLU y aplica la normalización por lotes (BN): La LiGRU se ha estudiado desde una perspectiva bayesiana.

[11]​ Este análisis dio lugar a una variante denominada unidad recurrente bayesiana ligera (LiBRU), que mostró ligeras mejoras sobre la LiGRU en tareas de reconocimiento del habla.