Tensor Processing Unit ( TPU ) es un circuito integrado específico de aplicación (ASIC) de acelerador de IA desarrollado por Google para el aprendizaje automático de redes neuronales , utilizando el software TensorFlow de Google . [1] Google comenzó a utilizar TPU internamente en 2015, y en 2018 los puso a disposición de terceros , tanto como parte de su infraestructura en la nube como ofreciendo a la venta una versión más pequeña del chip.
En comparación con una unidad de procesamiento de gráficos , las TPU están diseñadas para un gran volumen de cálculo de baja precisión (por ejemplo, una precisión tan pequeña como de 8 bits ) [2] con más operaciones de entrada/salida por julio , sin hardware para rasterización/ mapeo de texturas . [3] Los ASIC de TPU están montados en un conjunto de disipador de calor, que puede caber en una ranura de disco duro dentro del bastidor de un centro de datos , según Norman Jouppi . [4]
Los distintos tipos de procesadores son adecuados para distintos tipos de modelos de aprendizaje automático. Las TPU son muy adecuadas para las CNN , mientras que las GPU tienen ventajas para algunas redes neuronales completamente conectadas y las CPU pueden tener ventajas para las RNN . [5]
La unidad de procesamiento tensorial se anunció en mayo de 2016 en Google I/O , cuando la compañía dijo que la TPU ya se había utilizado dentro de sus centros de datos durante más de un año. [4] [3] El chip ha sido diseñado específicamente para el marco TensorFlow de Google , una biblioteca matemática simbólica que se utiliza para aplicaciones de aprendizaje automático como redes neuronales . [6] Sin embargo, a partir de 2017, Google todavía usaba CPU y GPU para otros tipos de aprendizaje automático . [4] Otros diseños de aceleradores de IA también están apareciendo de otros proveedores y están dirigidos a los mercados integrados y de robótica .
Las TPU de Google son propietarias. Algunos modelos están disponibles comercialmente y el 12 de febrero de 2018, The New York Times informó que Google "permitiría a otras empresas comprar acceso a esos chips a través de su servicio de computación en la nube". [7] Google ha dicho que se utilizaron en la serie de juegos Go hombre-máquina AlphaGo versus Lee Sedol , [3] así como en el sistema AlphaZero , que produjo programas de ajedrez , shogi y go a partir de las reglas del juego únicamente y Luego venció a los programas líderes en esos juegos. [8] Google también ha utilizado TPU para el procesamiento de texto de Google Street View y pudo encontrar todo el texto en la base de datos de Street View en menos de cinco días. En Google Photos , una TPU individual puede procesar más de 100 millones de fotos al día. [4] También se utiliza en RankBrain , que utiliza Google para proporcionar resultados de búsqueda. [9]
Google proporciona acceso a terceros a las TPU a través de su servicio Cloud TPU como parte de Google Cloud Platform [10] y a través de sus servicios basados en portátiles Kaggle y Colaboratory . [11] [12]
La TPU de primera generación es un motor de multiplicación de matrices de 8 bits , impulsado con instrucciones CISC por el procesador host a través de un bus PCIe 3.0 . Se fabrica mediante un proceso de 28 nm con un tamaño de matriz ≤ 331 mm 2 . La velocidad del reloj es de 700 MHz y tiene una potencia de diseño térmico de 28 a 40 W. Tiene 28 MiB de memoria en chip y 4 MiB de acumuladores de 32 bits que toman los resultados de una matriz sistólica de 256 × 256 de multiplicadores de 8 bits . [20] Dentro del paquete TPU hay 8 GiB de SDRAM DDR3 de 2133 MHz de doble canal que ofrece 34 GB/s de ancho de banda. [15] Las instrucciones transfieren datos hacia o desde el host, realizan multiplicaciones de matrices o convoluciones y aplican funciones de activación . [20]
La TPU de segunda generación se anunció en mayo de 2017. [21] Google declaró que el diseño de TPU de primera generación estaba limitado por el ancho de banda de la memoria y que el uso de 16 GB de memoria de alto ancho de banda en el diseño de segunda generación aumentó el ancho de banda a 600 GB/s y el rendimiento. a 45 tera FLOPS . [15] Luego, los TPU se organizan en módulos de cuatro chips con un rendimiento de 180 teraFLOPS. [21] Luego, 64 de estos módulos se ensamblan en cápsulas de 256 chips con 11,5 petaFLOPS de rendimiento. [21] En particular, mientras que las TPU de primera generación se limitaban a números enteros, las TPU de segunda generación también pueden calcular en punto flotante , introduciendo el formato bfloat16 inventado por Google Brain . Esto hace que las TPU de segunda generación sean útiles tanto para el entrenamiento como para la inferencia de modelos de aprendizaje automático. Google ha declarado que estos TPU de segunda generación estarán disponibles en Google Compute Engine para su uso en aplicaciones TensorFlow. [22]
La TPU de tercera generación se anunció el 8 de mayo de 2018. [23] Google anunció que los procesadores en sí son dos veces más potentes que los TPU de segunda generación y se implementarían en módulos con cuatro veces más chips que la generación anterior. [24] [25] Esto da como resultado un aumento de 8 veces en el rendimiento por módulo (con hasta 1024 chips por módulo) en comparación con la implementación de TPU de segunda generación.
El 18 de mayo de 2021, el director ejecutivo de Google, Sundar Pichai, habló sobre las unidades de procesamiento de tensor TPU v4 durante su discurso de apertura en la conferencia virtual Google I/O. TPU v4 mejoró el rendimiento en más del doble que los chips TPU v3. Pichai dijo: "Un solo pod v4 contiene 4096 chips v4, y cada pod tiene 10 veces el ancho de banda de interconexión por chip a escala, en comparación con cualquier otra tecnología de red". [26] Un artículo de abril de 2023 de Google afirma que TPU v4 es entre un 5 y un 87 % más rápido que el A100 en los puntos de referencia de aprendizaje automático .
También existe una versión de "inferencia", llamada v4i, [28] que no requiere refrigeración líquida . [29]
En 2021, Google reveló que el diseño físico de TPU v5 se está realizando mediante una novedosa aplicación de aprendizaje por refuerzo profundo . [30] Google afirma que TPU v5 es casi dos veces más rápido que TPU v4, [31] y basándose en eso y en el rendimiento relativo de TPU v4 sobre A100, algunos especulan que TPU v5 es tan rápido o más rápido que H100 . [32]
De manera similar a que v4i es una versión más liviana de v4, la quinta generación tiene una versión "rentable" [33] llamada v5e. [17] En diciembre de 2023, Google anunció TPU v5p que, según se afirma, es competitivo con el H100. [34]
En julio de 2018, Google anunció el Edge TPU. Edge TPU es el chip ASIC de Google diseñado específicamente para ejecutar modelos de aprendizaje automático (ML) para computación de borde , lo que significa que es mucho más pequeño y consume mucha menos energía en comparación con los TPU alojados en los centros de datos de Google (también conocidos como Cloud TPU [35] ). En enero de 2019, Google puso Edge TPU a disposición de los desarrolladores con una línea de productos bajo la marca Coral. El Edge TPU es capaz de realizar 4 billones de operaciones por segundo con 2 W de energía eléctrica. [36]
La oferta de productos incluye una computadora de placa única (SBC), un sistema en módulo (SoM), un accesorio USB , una tarjeta mini PCI-e y una tarjeta M.2 . Tanto SBC Coral Dev Board como Coral SoM ejecutan el sistema operativo Mendel Linux, un derivado de Debian . [37] [38] Los productos USB, PCI-e y M.2 funcionan como complementos para los sistemas informáticos existentes y son compatibles con sistemas Linux basados en Debian en hosts x86-64 y ARM64 (incluido Raspberry Pi ).
El tiempo de ejecución de aprendizaje automático utilizado para ejecutar modelos en Edge TPU se basa en TensorFlow Lite . [39] Edge TPU solo es capaz de acelerar operaciones de paso hacia adelante, lo que significa que es principalmente útil para realizar inferencias (aunque es posible realizar aprendizaje de transferencia liviano en Edge TPU [40] ). Edge TPU también solo admite matemáticas de 8 bits, lo que significa que para que una red sea compatible con Edge TPU, debe entrenarse utilizando la técnica de entrenamiento con reconocimiento de cuantificación TensorFlow o, desde finales de 2019, también es posible usar post- Cuantización del entrenamiento.
El 12 de noviembre de 2019, Asus anunció un par de computadoras de placa única (SBC) con Edge TPU. Las placas Asus Tinker Edge T y Tinker Edge R están diseñadas para IoT y Edge AI . Los SBC soportan oficialmente los sistemas operativos Android y Debian . [41] [42] ASUS también ha demostrado una mini PC llamada Asus PN60T con Edge TPU. [43]
El 2 de enero de 2020, Google anunció el Coral Accelerator Module y el Coral Dev Board Mini, que se demostrarán en CES 2020 ese mismo mes. El módulo Coral Accelerator es un módulo multichip que presenta las interfaces Edge TPU, PCIe y USB para una integración más sencilla. Coral Dev Board Mini es un SBC más pequeño que presenta el módulo acelerador Coral y el SoC MediaTek 8167s . [44] [45]
El 15 de octubre de 2019, Google anunció el teléfono inteligente Pixel 4 , que contiene un Edge TPU llamado Pixel Neural Core . Google lo describe como "personalizado para cumplir con los requisitos de las funciones clave de la cámara en Pixel 4", utilizando una búsqueda de red neuronal que sacrifica cierta precisión para minimizar la latencia y el uso de energía. [46]
Google siguió el Pixel Neural Core al integrar un Edge TPU en un sistema en chip personalizado llamado Google Tensor , que se lanzó en 2021 con la línea de teléfonos inteligentes Pixel 6 . [47] El Google Tensor SoC demostró "ventajas de rendimiento extremadamente grandes sobre la competencia" en pruebas comparativas centradas en el aprendizaje automático; Aunque el consumo instantáneo de energía también fue relativamente alto, el rendimiento mejorado significó que se consumiera menos energía debido a períodos más cortos que requerían un rendimiento máximo. [48]
En 2019, Singular Computing, fundada en 2009 por Joseph Bates, profesor visitante en el MIT , [49] presentó una demanda contra Google alegando infracción de patente en chips de TPU. [50] Para 2020, Google había reducido con éxito el número de reclamaciones que el tribunal consideraría a solo dos: la reclamación 53 de US 8407273 presentada en 2012 y la reclamación 7 de US 9218156 presentada en 2013, las cuales reclaman un rango dinámico de 10 - 6 a 10 6 para números de coma flotante, lo que el float16 estándar no puede hacer (sin recurrir a números subnormales ) ya que sólo tiene cinco bits para el exponente. En una presentación judicial de 2023, Singular Computing denunció específicamente el uso de bfloat16 por parte de Google , ya que excede el rango dinámico de float16 . [51] Singular afirma que los formatos de punto flotante no estándar no eran obvios en 2009, pero Google responde que el formato VFLOAT [52] , con un número configurable de bits exponentes, existía como técnica anterior en 2002. [53] En enero de 2024 , las demandas posteriores de Singular han elevado a ocho el número de patentes en litigio.[actualizar]