Tesla Dojo es una supercomputadora diseñada y construida por Tesla para el procesamiento y reconocimiento de video por visión artificial . [1] Se utiliza para entrenar los modelos de aprendizaje automático de Tesla para mejorar su sistema avanzado de asistencia al conductor Full Self-Driving (FSD) . Según Tesla, entró en producción en julio de 2023. [2]
El objetivo de Dojo es procesar de manera eficiente millones de terabytes de datos de video capturados en situaciones de conducción reales de los más de 4 millones de autos Tesla. [3] Este objetivo condujo a una arquitectura considerablemente diferente a los diseños de supercomputadoras convencionales. [4] [5]
Tesla opera varios clústeres de computación masivamente paralelos para desarrollar su sistema avanzado de asistencia al conductor Autopilot . Su clúster principal sin nombre que utiliza 5760 unidades de procesamiento gráfico (GPU) Nvidia A100 fue promocionado por Andrej Karpathy en 2021 en la cuarta Conferencia Conjunta Internacional sobre Visión por Computador y Reconocimiento de Patrones (CCVPR 2021) como "aproximadamente la quinta supercomputadora del mundo" [6] con aproximadamente 81,6 petaflops , según el escalado del rendimiento de la supercomputadora Nvidia Selene , que utiliza componentes similares. [7] Sin embargo, el rendimiento del clúster principal de GPU de Tesla ha sido cuestionado, ya que no estaba claro si se midió utilizando números de punto flotante de precisión simple o doble ( FP32 o FP64 ). [8] Tesla también opera un segundo clúster de 4032 GPU para entrenamiento y un tercer clúster de 1752 GPU para etiquetado automático de objetos. [9] [10]
El clúster de GPU principal de Tesla, sin nombre, se ha utilizado para procesar un millón de videoclips, cada uno de diez segundos de duración, tomados de las cámaras Tesla Autopilot que funcionan en los automóviles Tesla en el mundo real, a 36 fotogramas por segundo . En conjunto, estos videoclips contenían seis mil millones de etiquetas de objetos, con datos de profundidad y velocidad; el tamaño total del conjunto de datos fue de 1,5 petabytes . Este conjunto de datos se utilizó para entrenar una red neuronal destinada a ayudar a las computadoras Autopilot en los automóviles Tesla a comprender las carreteras. [6] Para agosto de 2022, Tesla había actualizado el clúster de GPU principal a 7360 GPU. [11]
Musk mencionó a Dojo por primera vez en abril de 2019 durante el "Día del inversor en autonomía" de Tesla. [12] En agosto de 2020, [6] [13] Musk declaró que faltaba "alrededor de un año" debido a problemas térmicos y de energía. [14]
El objetivo definitorio de [Dojo] es la escalabilidad . Hemos restado importancia a varios mecanismos que se encuentran en las CPU típicas , como la coherencia , la memoria virtual y los directorios de búsqueda global, simplemente porque estos mecanismos no escalan muy bien... En cambio, nos hemos basado en un almacenamiento SRAM [ memoria estática de acceso aleatorio ] muy rápido y muy distribuido en toda la malla . Y esto está respaldado por una velocidad de interconexión un orden de magnitud mayor que la que se encuentra en un sistema distribuido típico .
— Emil Talpes, ingeniero de hardware de Tesla, artículo de The Next Platform de 2022 [5]
Dojo se anunció oficialmente en el Día de la Inteligencia Artificial (IA) de Tesla el 19 de agosto de 2021. [15] Tesla reveló detalles del chip D1 y sus planes para el "Proyecto Dojo", un centro de datos que albergaría 3.000 chips D1; [16] el primer "Training Tile" se había completado y entregado la semana anterior. [9] En octubre de 2021, Tesla publicó un documento técnico "Dojo Technology" que describe los formatos de punto flotante Configurable Float8 (CFloat8) y Configurable Float16 (CFloat16) y las operaciones aritméticas como una extensión del estándar 754 del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE) . [17]
En el siguiente AI Day de septiembre de 2022, Tesla anunció que había construido varias bandejas de sistema y un gabinete. Durante una prueba, la empresa afirmó que Project Dojo consumía 2,3 megavatios (MW) de energía antes de activar una subestación eléctrica local de San José, California. [18] En ese momento, Tesla ensamblaba un Training Tile por día. [10]
En agosto de 2023, Tesla puso en marcha Dojo para uso de producción, así como un nuevo grupo de entrenamiento configurado con 10 000 GPU Nvidia H100 . [19]
En enero de 2024, Musk describió a Dojo como "una apuesta arriesgada que vale la pena porque la recompensa es potencialmente muy alta, pero no es algo que tenga una probabilidad alta". [20]
En junio de 2024, Musk explicó que las obras de construcción en curso en Gigafactory Texas son para un clúster informático y afirmó que está previsto que comprenda una combinación uniforme de "Tesla AI" y Nvidia/otro hardware con una potencia de diseño térmico total de al menos 130 MW y que eventualmente superará los 500 MW. [21]
Varios analistas han afirmado que Dojo "es impresionante, pero no transformará la supercomputación", [4] "es un punto de inflexión porque se ha desarrollado completamente internamente", [22] "acelera enormemente el desarrollo de vehículos autónomos", [23] y "podría ser un punto de inflexión para el futuro de Tesla FSD y para la IA en general". [1]
El 11 de septiembre de 2023, Morgan Stanley aumentó su precio objetivo para las acciones de Tesla ( TSLA ) a US$400 desde un objetivo anterior de US$250 y calificó la acción como su mejor elección en el sector de vehículos eléctricos, afirmando que la supercomputadora Dojo de Tesla podría impulsar un salto de US$500 mil millones en el valor de mercado de Tesla. [24]
La unidad fundamental de la supercomputadora Dojo es el chip D1, [25] diseñado por un equipo de Tesla dirigido por el ex diseñador de CPU AMD Ganesh Venkataramanan, que incluye a Emil Talpes, Debjit Das Sarma, Douglas Williams, Bill Chang y Rajiv Kurian. [5]
El chip D1 es fabricado por Taiwan Semiconductor Manufacturing Company (TSMC) utilizando nodos semiconductores de 7 nanómetros (nm) , tiene 50 mil millones de transistores y un tamaño de chip grande de 645 mm2 ( 1,0 pulgada cuadrada). [26] [27]
En una actualización en el Día de la Inteligencia Artificial (IA) de 2022, Tesla anunció que Dojo escalaría mediante la implementación de múltiples ExaPOD, en los que habría: [23]
Según Venkataramanan, director senior de hardware de piloto automático de Tesla, Dojo tendrá más de un exaflop (un millón de teraflops) de potencia informática. [28] A modo de comparación, según Nvidia, en agosto de 2021, el centro de entrenamiento de IA de Tesla (pre-Dojo) utilizaba 720 nodos, cada uno con ocho GPU Nvidia A100 Tensor Core para un total de 5760 GPU, lo que proporcionaba hasta 1,8 exaflops de rendimiento. [29]
Cada nodo (núcleo de cómputo) del chip de procesamiento D1 es una CPU de 64 bits de propósito general con un núcleo superescalar . Admite paralelismo interno a nivel de instrucción e incluye subprocesamiento simultáneo de múltiples hilos (SMT). No admite memoria virtual y utiliza mecanismos de protección de memoria limitados. El software y las aplicaciones Dojo administran los recursos del chip.
El conjunto de instrucciones D1 admite instrucciones escalares de 64 bits y de vector de datos múltiples (SIMD) de instrucción única de 64 bytes. [30] La unidad de enteros combina instrucciones de conjunto de instrucciones reducidas ( RISC-V ) e instrucciones personalizadas, y admite enteros de 8, 16, 32 o 64 bits. La unidad matemática de vector personalizada está optimizada para núcleos de aprendizaje automático y admite múltiples formatos de datos, con una combinación de precisiones y rangos numéricos, muchos de los cuales son componibles por compilador. [5] Se pueden utilizar hasta 16 formatos de vector simultáneamente. [5]
Cada nodo D1 utiliza una ventana de búsqueda de 32 bytes que contiene hasta ocho instrucciones. Estas instrucciones se envían a un decodificador de ocho anchos que admite dos subprocesos por ciclo, seguido de un programador escalar SMT de cuatro anchos y cuatro vías que tiene dos unidades de números enteros, dos unidades de direcciones y un archivo de registro por subproceso. Las instrucciones vectoriales se pasan más adelante en la tubería a un programador vectorial dedicado con SMT de dos vías, que alimenta una unidad SIMD de 64 bytes o cuatro unidades de multiplicación de matrices de 8×8×4. [30]
El enrutador de red en chip (NOC) conecta los núcleos en una red en malla bidimensional. Puede enviar un paquete de entrada y un paquete de salida en las cuatro direcciones hacia/desde cada nodo vecino, junto con una lectura de 64 bytes y una escritura de 64 bytes a la SRAM local por ciclo de reloj. [30]
Las operaciones nativas de hardware transfieren datos, semáforos y restricciones de barrera entre memorias y CPU. La memoria de acceso aleatorio dinámico sincrónico (SDRAM) DDR4 ( velocidad de datos doble 4 ) de todo el sistema funciona como un almacenamiento masivo.
Cada núcleo tiene una memoria principal SRAM de 1,25 megabytes (MB). Las velocidades de carga y almacenamiento alcanzan los 400 gigabytes (GB) por segundo y los 270 GB/s, respectivamente. El chip tiene instrucciones explícitas de transferencia de datos de núcleo a núcleo. Cada SRAM tiene un analizador de lista único que alimenta un par de decodificadores y un motor de recopilación que alimenta el archivo de registro vectorial, que juntos pueden transferir información directamente entre nodos. [5]
Doce nodos (núcleos) se agrupan en un bloque local. Los nodos están dispuestos en una matriz de 18×20 en un solo chip, de los cuales 354 núcleos están disponibles para aplicaciones. [5] El chip funciona a 2 gigahercios (GHz) y tiene un total de 440 MB de SRAM (360 núcleos × 1,25 MB/núcleo). [5] Alcanza 376 teraflops utilizando números de punto flotante cerebral de 16 bits ( BF16 ) o utilizando números de punto flotante configurables de 8 bits (CFloat8), que es una propuesta de Tesla, [17] y 22 teraflops en FP32.
Cada chip consta de 576 canales serializadores/deserializadores bidireccionales ( SerDes ) a lo largo del perímetro para conectarse con otros chips, y se mueve a 8 TB/seg a través de los cuatro bordes del chip. [5] Cada chip D1 tiene una potencia de diseño térmico de aproximadamente 400 vatios. [31]
El módulo de entrenamiento refrigerado por agua incluye 25 chips D1 en una matriz de 5x5. [5] Cada módulo admite 36 TB/s de ancho de banda agregado a través de 40 chips de entrada/salida (E/S), la mitad del ancho de banda de la red de malla de chips. Cada módulo admite 10 TB/s de ancho de banda en módulo. Cada módulo tiene 11 GB de memoria SRAM (25 chips D1 × 360 núcleos/D1 × 1,25 MB/núcleo). Cada módulo alcanza 9 petaflops con precisión BF16/CFloat8 (25 chips D1 × 376 TFLOP/D1). Cada módulo consume 15 kilovatios; [5] 288 amperios a 52 voltios . [31]
Seis mosaicos se agregan en una bandeja del sistema, que está integrada con una interfaz de host . Cada interfaz de host incluye 512 núcleos x86 , lo que proporciona un entorno de usuario basado en Linux . [18] Anteriormente, la bandeja del sistema Dojo se conocía como la matriz de entrenamiento, que incluye seis mosaicos de entrenamiento, 20 tarjetas de procesador de interfaz Dojo en cuatro servidores host y servidores adjuntos vinculados a Ethernet. Tiene 53.100 núcleos D1.
Las tarjetas de procesador de interfaz Dojo (DIP) se ubican en los bordes de las matrices de mosaicos y están conectadas a la red en malla. Los sistemas host alimentan las DIP y realizan varias funciones de administración del sistema. Una memoria DIP y un coprocesador de E/S contienen 32 GB de HBM compartido ( HBM2e o HBM3 ), así como interfaces Ethernet que eluden la red en malla. Cada tarjeta DIP tiene 2 procesadores de E/S con 4 bancos de memoria que suman un total de 32 GB con 800 GB/s de ancho de banda .
El DIP se conecta a una ranura PCI-Express 4.0 x16 que ofrece 32 GB/seg de ancho de banda por tarjeta. Cinco tarjetas por borde de mosaico ofrecen 160 GB/seg de ancho de banda a los servidores host y 4,5 TB/seg al mosaico.
El protocolo de transporte Tesla (TTP) es una interconexión patentada sobre PCI-Express. Un enlace de protocolo TTP de 50 GB/s se ejecuta sobre Ethernet para acceder a un solo puerto de 400 Gb/s o a un conjunto de puertos emparejados de 200 Gb/s. Cruzar toda la red en malla bidimensional puede requerir 30 saltos, mientras que el TTP sobre Ethernet requiere solo cuatro saltos (con un ancho de banda menor), lo que reduce la latencia vertical.
Dojo apila los mosaicos verticalmente en un gabinete para minimizar la distancia y el tiempo de comunicación entre ellos. El sistema Dojo ExaPod incluye 120 mosaicos, con un total de 1.062.000 núcleos utilizables, alcanzando 1 exaflops en formatos BF16 y CFloat8. Tiene 1,3 TB de memoria SRAM en mosaico y 13 TB de memoria dual en línea de alto ancho de banda (HBM).
Dojo es compatible con el framework PyTorch , "Nada de tan bajo nivel como C o C++, nada remotamente parecido a CUDA ". [5] La SRAM se presenta como un único espacio de direcciones. [5]
Debido a que FP32 tiene más precisión y alcance de lo necesario para las tareas de IA, y FP16 no tiene suficiente, Tesla ha ideado formatos de punto flotante configurables de 8 y 16 bits (CFloat8 y CFloat16, respectivamente) que permiten al compilador establecer dinámicamente la precisión de la mantisa y el exponente, aceptando una precisión menor a cambio de un procesamiento vectorial más rápido y requisitos de almacenamiento reducidos. [5] [17]
{{cite web}}: CS1 maint: varios nombres: lista de autores ( enlace )
Medios relacionados con Tesla Dojo en Wikimedia Commons