La ley de Huang es una observación en informática e ingeniería de que los avances en las unidades de procesamiento de gráficos (GPU) están creciendo a un ritmo mucho más rápido que con las unidades centrales de procesamiento (CPU) tradicionales. La observación contrasta con la ley de Moore que predijo que el número de transistores en un circuito integrado (CI) denso se duplica aproximadamente cada dos años. [1] La ley de Huang establece que el rendimiento de las GPU se duplicará con creces cada dos años. [2] La hipótesis está sujeta a dudas sobre su validez.
La observación fue hecha por Jensen Huang , director ejecutivo de Nvidia , en su Conferencia de Tecnología GPU (GTC) de 2018 celebrada en San José, California . [3] Observó que las GPU de Nvidia eran "25 veces más rápidas que hace cinco años", mientras que la ley de Moore habría esperado sólo un aumento diez veces mayor. [2] A medida que los componentes del microchip se vuelven más pequeños, se hizo más difícil que el avance del chip alcanzara la velocidad de la ley de Moore. [4]
En 2006, la GPU de Nvidia tenía una ventaja de rendimiento 4 veces mayor que otras CPU. En 2018, la GPU de Nvidia era 20 veces más rápida que un nodo de CPU comparable: las GPU eran 1,7 veces más rápidas cada año. La ley de Moore predeciría una duplicación cada dos años; sin embargo, el rendimiento de la GPU de Nvidia se triplicó con creces cada dos años, cumpliendo la ley de Huang. [5]
La ley de Huang afirma que una sinergia entre hardware , software e inteligencia artificial hace posible la nueva "ley". [A] Huang dijo: "La innovación no se trata solo de chips", dijo, "se trata de toda la pila". Dijo que los procesadores gráficos son especialmente importantes para un nuevo paradigma. [3] La eliminación de obstáculos puede acelerar el proceso y crear ventajas para alcanzar la meta. "Nvidia es un pony de un solo truco", ha dicho Huang. [7] Según Huang: "La computación acelerada es liberadora... Digamos que tienes un avión que tiene que entregar un paquete. Se necesitan 12 horas para entregarlo. En lugar de hacer que el avión vaya más rápido, concéntrate en cómo entregar el paquete". más rápido, mire la impresión 3D en el destino". El objetivo "... es lograr el objetivo más rápido". [7]
Para las tareas de inteligencia artificial, Huang dijo que entrenar la red convolucional AlexNet tomó seis días en dos de los procesadores GTX 580 de Nvidia para completar el proceso de entrenamiento, pero solo 18 minutos en un moderno servidor de IA DGX-2, lo que resultó en un factor de aceleración de 500. En comparación con la ley de Moore, que se centra exclusivamente en los transistores de la CPU, la ley de Huang describe una combinación de avances en arquitectura, interconexiones, tecnología de memoria y algoritmos. [2] [6]
Bharath Ramsundar escribió que el aprendizaje profundo se combina con "mejoras en la arquitectura personalizada". Por ejemplo, los sistemas de aprendizaje automático se han implementado en el mundo blockchain , donde Bitmain atacó "muchas criptomonedas mediante el diseño de ASIC ( circuitos integrados de aplicaciones específicas ) de minería personalizados" que se habían concebido como deshacer. "Sin embargo, el gran logro de Nvidia es demostrar que estas mejoras en las arquitecturas no son meras victorias aisladas para aplicaciones específicas, sino quizás ampliamente aplicables a toda la informática". Han sugerido que un amplio aprovechamiento de las GPU y la pila de GPU ( cf. pila de CPU) puede generar un "crecimiento espectacular en la arquitectura de aprendizaje profundo". "La magia" de la promesa de la ley de Huang es que a medida que el software incipiente impulsado por el aprendizaje profundo se vuelva más utilizado, las mejoras del escalado de GPU y, en general, de las mejoras arquitectónicas "mejorarán concretamente" el rendimiento y el comportamiento de las pilas de software modernas ". [8]
Ha habido críticas. El periodista Joel Hruska, que escribió en ExtremeTech en 2020, dijo que "no existe la ley de Huang", calificándola de una "ilusión" que se basa en los beneficios posibles gracias a la ley de Moore; y que es demasiado pronto para determinar si existe una ley. [9] La organización de investigación sin fines de lucro Epoch descubrió que, entre 2006 y 2021, el rendimiento del precio de la GPU (en términos de FLOPS/$) ha tendido a duplicarse aproximadamente cada 2,5 años, mucho más lento de lo previsto por la ley de Huang. [10]
Los procesadores gráficos están en un camino de desarrollo sobrealimentado que eclipsa la Ley de Moore. ... Las GPU también están avanzando más rápidamente que las CPU porque dependen de una arquitectura paralela, señaló Jesse Clayton, gerente senior de Nvidia, en otra sesión."
... hay dos dinámicas que controlan la industria informática hoy en día: el fin de la ley de Moore y el software que puede escribirse a sí mismo, la inteligencia artificial o IA. ... Podemos estudiar dónde están los obstáculos. Los nuevos sistemas de software hacen que la aplicación vaya más rápido, no sólo el chip.