Poda (red neuronal artificial)

Recorte de redes neuronales para reducir la sobrecarga computacional

En el contexto de las redes neuronales artificiales , la poda es la práctica de eliminar parámetros (que puede implicar la eliminación de parámetros individuales o de parámetros en grupos, como por ejemplo, por neuronas ) de una red existente. ^[1] El objetivo de este proceso es mantener la precisión de la red al tiempo que aumenta su eficiencia . Esto se puede hacer para reducir los recursos computacionales necesarios para ejecutar la red neuronal. Un proceso biológico de poda sináptica tiene lugar en el cerebro de los mamíferos durante el desarrollo ^[2] (ver también Darwinismo neuronal ).

Poda de nodos (neuronas)

Un algoritmo básico para la poda es el siguiente: ^{[3] [4]}

1. Evaluar la importancia de cada neurona.
2. Clasifique las neuronas según su importancia (asumiendo que hay una medida claramente definida para la "importancia").
3. Eliminar la neurona menos importante.
4. Marque una condición de terminación (que será determinada por el usuario) para ver si desea continuar con la poda.

Poda de bordes (peso)

La mayor parte del trabajo sobre la poda de redes neuronales se centra en eliminar pesos, es decir, establecer sus valores en cero. Los primeros trabajos sugirieron cambiar también los valores de los pesos no podados. ^[5]

Referencias

1. Blalock, Davis; Ortiz, Jose Javier Gonzalez; Frankle, Jonathan; Guttag, John (6 de marzo de 2020). "¿Cuál es el estado de la poda de redes neuronales?". arXiv : 2003.03033 [cs.LG].
2. Chechik, Gal; Meilijson, Isaac; Ruppin, Eytan (octubre de 1998). "Poda sináptica en el desarrollo: una explicación computacional". Computación neuronal . 10 (7): 1759–1777. doi :10.1162/089976698300017124. ISSN  0899-7667. PMID  9744896. S2CID  14629275.
3. Molchanov, P., Tyree, S., Karras, T., Aila, T. y Kautz, J. (2016). Poda de redes neuronales convolucionales para una inferencia eficiente en el uso de recursos . Preimpresión de arXiv arXiv:1611.06440.
4. Gildenblat, Jacob (23 de junio de 2017). "Poda de redes neuronales profundas para hacerlas rápidas y pequeñas". Github . Consultado el 4 de febrero de 2024 .
5. Chechik, Gal; Meilijson, Isaac; Ruppin, Eytan (abril de 2001). "Aprendizaje neuronal eficaz con reglas de aprendizaje hebbiano ineficaces". Computación neuronal . 13 (4): 817–840. doi :10.1162/089976601300014367. ISSN  0899-7667. PMID  11255571. S2CID  133186.