Blackwell es una microarquitectura de unidad de procesamiento gráfico (GPU) desarrollada por Nvidia como sucesora de las microarquitecturas Hopper y Ada Lovelace .
La arquitectura Blackwell, que debe su nombre al estadístico y matemático David Blackwell , se filtró en 2022 y los aceleradores B40 y B100 se confirmaron en octubre de 2023 con una hoja de ruta oficial de Nvidia mostrada durante una presentación para inversores. [1] Se anunció oficialmente en la conferencia magistral GTC 2024 de Nvidia el 18 de marzo de 2024. [2]
.jpg/1280px-David_Blackwell_1999_(re-scanned,_cropped).jpg)
En marzo de 2022, Nvidia anunció la arquitectura Hopper para centros de datos para aceleradores de IA. La demanda de productos Hopper fue alta durante el auge de la IA de 2023. [3] El tiempo de entrega desde el pedido hasta la entrega de servidores basados en H100 fue de entre 36 y 52 semanas debido a la escasez y la alta demanda. [4] Según se informa, Nvidia vendió 500.000 aceleradores H100 basados en Hopper solo en el tercer trimestre de 2023. [4] El dominio de la IA de Nvidia con los productos Hopper llevó a la empresa a aumentar su capitalización de mercado a más de 2 billones de dólares, solo por detrás de Microsoft y Apple . [5]
La arquitectura Blackwell debe su nombre al matemático estadounidense David Blackwell , conocido por sus contribuciones a los campos matemáticos de la teoría de juegos , la teoría de la probabilidad , la teoría de la información y la estadística. Estas áreas han influido o se implementan en diseños de modelos de IA generativos basados en transformadores o sus algoritmos de entrenamiento . Blackwell fue el primer académico afroamericano en ser incluido en la Academia Nacional de Ciencias . [6]
En la presentación para inversores de octubre de 2023 de Nvidia, se actualizó su hoja de ruta para centros de datos para incluir una referencia a sus aceleradores B100 y B40 y a la arquitectura Blackwell. [7] [8] Anteriormente, el sucesor de Hopper se nombraba simplemente en las hojas de ruta como "Hopper-Next". La hoja de ruta actualizada de Nvidia enfatizó el cambio de una cadencia de lanzamiento de dos años para productos de centros de datos a lanzamientos anuales destinados a sistemas x86 y ARM .
En la Conferencia de Tecnología Gráfica (GTC) del 18 de marzo de 2024, Nvidia anunció oficialmente la arquitectura Blackwell con el foco puesto en sus aceleradores de centros de datos B100 y B200 y productos asociados, como la placa HGX B200 de ocho GPU y el sistema a escala de rack NVL72 de 72 GPU. [9] Según las cifras de potencia y rendimiento publicadas, parece que el B100 y el B200 son el mismo silicio, pero el primero funciona al 75% de la frecuencia de reloj del B200. [10] El director ejecutivo de Nvidia, Jensen Huang, dijo que con Blackwell, "creamos un procesador para la era de la IA generativa " y enfatizó la plataforma Blackwell general que combina los aceleradores Blackwell con la CPU Grace basada en ARM de Nvidia. [11] [12] Nvidia promocionó el respaldo de Blackwell de los directores ejecutivos de Google , Meta , Microsoft , OpenAI y Oracle . [12] La conferencia principal no mencionó los juegos.
Blackwell es una arquitectura diseñada tanto para aplicaciones informáticas de centros de datos como para aplicaciones de juegos y estaciones de trabajo con matrices dedicadas para cada propósito. Supuestas filtraciones indican que las matrices para portátiles tendrán el nombre en código GN22-Xx y las tarjetas GPU GeForce RTX Mobile correspondientes tendrán el nombre en código GB20x. [13] De manera similar a la última notación, GB200 y GB100 son los nombres comerciales de los superchips para centros de datos Grace Blackwell de Nvidia, módulos que combinan dos GPU Blackwell y un procesador Grace basado en Arm. [14]
Blackwell se fabrica en el nodo 4NP personalizado de TSMC . 4NP es una mejora del nodo 4N utilizado para las arquitecturas Hopper y Ada Lovelace. El proceso 4NP específico de Nvidia probablemente agrega capas de metal a la tecnología N4P estándar de TSMC. [15] Cada uno de los dos chips de cómputo en el centro de datos B100/B200 tiene 104 mil millones de transistores, un aumento del 30% sobre los 80 mil millones de transistores en la generación anterior de Hopper. [16] Como Blackwell no puede cosechar los beneficios que vienen con un avance importante en el nodo de proceso, debe lograr eficiencia energética y ganancias de rendimiento a través de cambios arquitectónicos subyacentes. [17]
El chip de cómputo en los aceleradores de centros de datos está en el límite de retícula de la fabricación de semiconductores. [18] El límite de retícula en la fabricación de semiconductores es el límite de tamaño físico que las máquinas de litografía pueden grabar en un chip de silicio. Anteriormente, Nvidia casi había alcanzado el límite de retícula de TSMC con el chip de 814 mm2 de GH100 . Para no verse limitado por el tamaño del chip, el acelerador B100 de Nvidia utiliza dos chips GB100 en un solo paquete, conectados con un enlace de 10 TB/s que Nvidia llama NV-High Bandwidth Interface (NV-HBI). NV-HBI se basa en el protocolo NVLink 5.0 . El director ejecutivo de Nvidia, Jensen Huang, afirmó en una entrevista con CNBC que Nvidia había gastado alrededor de 10 mil millones de dólares en investigación y desarrollo para la interconexión de chips NV-HBI de Blackwell. El veterano ingeniero de semiconductores Jim Keller , que había trabajado en las arquitecturas K7, K12 y Zen de AMD , criticó esta cifra y afirmó que se podría lograr el mismo resultado por mil millones de dólares mediante el uso de Ultra Ethernet en lugar del sistema propietario NVLink. [19] Los dos chips de cómputo conectados pueden actuar como una gran pieza monolítica de silicio con coherencia de caché completa entre ambos chips. [20] El paquete de doble chip tiene un total de 208 mil millones de transistores. [18] Esos dos chips se colocan encima de un intercalador de silicio producido utilizando la técnica de empaquetado CoWoS-L 2.5D de TSMC. [21]
Se agrega CUDA Compute Capability 10.0 con Blackwell.
La arquitectura Blackwell introduce núcleos Tensor de quinta generación para el cálculo de IA y la realización de cálculos de punto flotante . En el centro de datos, Blackwell añade compatibilidad con los tipos de datos FP4 y FP6. [22] La arquitectura Hopper anterior introdujo el Transformer Engine, un software para facilitar la cuantificación de modelos de mayor precisión (por ejemplo, FP32) a una precisión menor, para la que Hopper tiene un mayor rendimiento. El Transformer Engine de segunda generación de Blackwell añade compatibilidad con los tipos FP4 y FP6 más nuevos y menos precisos. El uso de datos de 4 bits permite una mayor eficiencia y rendimiento para la inferencia de modelos durante el entrenamiento generativo de IA. [17] Nvidia afirma 20 petaflops (excluyendo la ganancia de 2x que la empresa afirma por escasez) de cálculo FP4 para el superchip GB200 de doble GPU. [23]