High Bandwidth Memory ( HBM ) es una interfaz de memoria de computadora para memoria de acceso aleatorio dinámica síncrona (SDRAM) apilada en 3D inicialmente de Samsung , AMD y SK Hynix . Se utiliza junto con aceleradores de gráficos de alto rendimiento, dispositivos de red, ASIC de IA de centros de datos de alto rendimiento , como caché en el paquete en las CPU [1] y RAM en el paquete en las próximas CPU y FPGA y en algunas supercomputadoras (como el NEC SX-Aurora TSUBASA y el Fujitsu A64FX ). [2] El primer chip de memoria HBM fue producido por SK Hynix en 2013, [3] y los primeros dispositivos en utilizar HBM fueron las GPU AMD Fiji en 2015. [4] [5]
JEDEC adoptó la memoria de alto ancho de banda como estándar de la industria en octubre de 2013. [6] JEDEC aceptó la segunda generación, HBM2 , en enero de 2016. [7]
HBM logra un mayor ancho de banda que DDR4 o GDDR5 mientras usa menos energía y en un factor de forma sustancialmente más pequeño. [8] Esto se logra apilando hasta ocho matrices DRAM y una matriz base opcional que puede incluir circuitos de búfer y lógica de prueba. [9] La pila suele estar conectada al controlador de memoria en una GPU o CPU a través de un sustrato, como un intercalador de silicio . [10] [11] Alternativamente, la unidad de memoria podría apilarse directamente en el chip de la CPU o GPU. Dentro de la pila, los troqueles están interconectados verticalmente mediante vías de silicio (TSV) y microbumps . La tecnología HBM es similar en principio pero incompatible con la interfaz Hybrid Memory Cube (HMC) desarrollada por Micron Technology . [12]
El bus de memoria HBM es muy amplio en comparación con otras memorias DRAM como DDR4 o GDDR5. Una pila HBM de cuatro matrices DRAM (4‑Hi) tiene dos canales de 128 bits por matriz para un total de 8 canales y un ancho de 1024 bits en total. Por lo tanto, una tarjeta gráfica/GPU con cuatro pilas HBM 4-Hi tendría un bus de memoria con un ancho de 4096 bits. En comparación, el ancho del bus de las memorias GDDR es de 32 bits, con 16 canales para una tarjeta gráfica con una interfaz de memoria de 512 bits. [13] HBM admite hasta 4 GB por paquete.
La mayor cantidad de conexiones a la memoria, en relación con DDR4 o GDDR5, requirió un nuevo método para conectar la memoria HBM a la GPU (u otro procesador). [14] AMD y Nvidia han utilizado chips de silicio especialmente diseñados, llamados interposers , para conectar la memoria y la GPU. Este intercalador tiene la ventaja adicional de requerir que la memoria y el procesador estén físicamente cerca, lo que reduce las rutas de memoria. Sin embargo, como la fabricación de dispositivos semiconductores es significativamente más cara que la fabricación de placas de circuito impreso , esto añade coste al producto final.
La DRAM de HBM está estrechamente acoplada a la matriz informática del host con una interfaz distribuida. La interfaz está dividida en canales independientes. Los canales son completamente independientes entre sí y no necesariamente están sincronizados entre sí. La DRAM de HBM utiliza una arquitectura de interfaz amplia para lograr un funcionamiento de alta velocidad y bajo consumo de energía. La DRAM de HBM utiliza un reloj diferencial CK_t / CK_c de 500 MHz (donde el sufijo "_t" denota el componente "verdadero" o "positivo" del par diferencial, y "_c" representa el "complementario"). Los comandos se registran en el flanco ascendente de CK_t, CK_c. Cada interfaz de canal mantiene un bus de datos de 128 bits que funciona a doble velocidad de datos (DDR). HBM admite velocidades de transferencia de 1 GT/s por pin (transfiriendo 1 bit), lo que produce un ancho de banda total del paquete de 128 GB/s. [15]
La segunda generación de memoria de alto ancho de banda, HBM2, también especifica hasta ocho troqueles por pila y duplica las velocidades de transferencia de pines hasta 2 GT/s . Al conservar un acceso amplio de 1024 bits, HBM2 puede alcanzar un ancho de banda de memoria de 256 GB/s por paquete. La especificación HBM2 permite hasta 8 GB por paquete. Se prevé que HBM2 sea especialmente útil para aplicaciones de consumo sensibles al rendimiento, como la realidad virtual . [dieciséis]
El 19 de enero de 2016, Samsung anunció la producción en masa temprana de HBM2, de hasta 8 GB por pila. [17] [18] SK Hynix también anunció la disponibilidad de pilas de 4 GB en agosto de 2016. [19]
A finales de 2018, JEDEC anunció una actualización de la especificación HBM2, que proporciona mayor ancho de banda y capacidades. [20] La especificación oficial ahora admite hasta 307 GB/s por pila (velocidad de datos efectiva de 2,5 Tbit/s), aunque ya había productos que operaban a esta velocidad disponibles. Además, la actualización agregó soporte para pilas de 12 Hi (12 troqueles), lo que hace posibles capacidades de hasta 24 GB por pila.
El 20 de marzo de 2019, Samsung anunció su Flashbolt HBM2E, con ocho matrices por pila y una tasa de transferencia de 3,2 GT/s , lo que proporciona un total de 16 GB y 410 GB/s por pila. [21]
El 12 de agosto de 2019, SK Hynix anunció su HBM2E, que presenta ocho matrices por pila y una tasa de transferencia de 3,6 GT/s , lo que proporciona un total de 16 GB y 460 GB/s por pila. [22] [23] El 2 de julio de 2020, SK Hynix anunció que había comenzado la producción en masa. [24]
A finales de 2020, Micron reveló que el estándar HBM2E se actualizaría y, junto con eso, presentaron el próximo estándar conocido como HBMnext (más tarde rebautizado como HBM3). Este iba a ser un gran salto generacional desde HBM2 y el reemplazo a HBM2E. Esta nueva VRAM habría llegado al mercado en el cuarto trimestre de 2022. Esto probablemente introduciría una nueva arquitectura, como sugiere el nombre.
Si bien la arquitectura podría revisarse, las filtraciones apuntan a que el rendimiento será similar al del estándar HBM2E actualizado. Es probable que esta RAM se utilice principalmente en GPU de centros de datos . [25] [26] [27] [28]
A mediados de 2021, SK Hynix dio a conocer algunas especificaciones del estándar HBM3, con velocidades de E/S de 5,2 Gbit/s y un ancho de banda de 665 GB/s por paquete, así como hasta 16 soluciones 2,5D y 3D de altura. [29] [30]
El 20 de octubre de 2021, antes de que se finalizara el estándar JEDEC para HBM3, SK Hynix fue el primer proveedor de memoria en anunciar que había finalizado el desarrollo de los dispositivos de memoria HBM3. Según SK Hynix, la memoria funcionaría a una velocidad de 6,4 Gbps/pin, el doble de la velocidad de datos del HBM2E estándar JEDEC, que formalmente alcanza un máximo de 3,2 Gbps/pin, o un 78% más rápido que el HBM2E de 3,6 Gbps/pin de SK Hynix. . Los dispositivos admiten una velocidad de transferencia de datos de 6,4 Gbit/s y, por lo tanto, una única pila HBM3 puede proporcionar un ancho de banda de hasta 819 GB/s. Los anchos de bus básicos para HBM3 permanecen sin cambios, con una única pila de memoria de 1024 bits de ancho. SK Hynix ofrecería su memoria en dos capacidades: 16 GB y 24 GB, alineándose con pilas de 8-Hi y 12-Hi respectivamente. Las pilas constan de 8 o 12 DRAM de 16 Gb, cada una de las cuales tiene un grosor de 30 μm y están interconectadas mediante Through Silicon Vias (TSV). [31] [32] [33]
Según Ryan Smith de AnandTech , la memoria HBM3 de primera generación de SK Hynix tiene la misma densidad que su memoria HBM2E de última generación, lo que significa que los proveedores de dispositivos que busquen aumentar sus capacidades totales de memoria para sus piezas de próxima generación necesitarían usar memoria con 12 troqueles/capas, en comparación con las pilas de 8 capas que normalmente usaban hasta entonces. [31] Según Anton Shilov de Tom's Hardware , las GPU o FPGA de computación de alto rendimiento suelen utilizar cuatro o seis pilas HBM, por lo que con las pilas HBM3 de 24 GB de SK Hynix obtendrían en consecuencia 3,2 TB/s o 4,9 TB/s de ancho de banda de memoria. . También señaló que los chips HBM3 de SK Hynix son cuadrados, no rectangulares como los chips HBM2 y HBM2E. [32] Según Chris Mellor de The Register , dado que JEDEC aún no ha desarrollado su estándar HBM3, podría significar que SK Hynix necesitaría adaptar su diseño a uno futuro y más rápido. [33]
JEDEC anunció oficialmente el estándar HBM3 el 27 de enero de 2022. [34] El número de canales de memoria se duplicó de 8 canales de 128 bits con HBM2e a 16 canales de 64 bits con HBM3. Por lo tanto, el número total de pines de datos de la interfaz sigue siendo 1024. [35]
En junio de 2022, SK Hynix anunció que comenzaron la producción en masa de la primera memoria HBM3 de la industria que se utilizará con la GPU H100 de Nvidia que se espera que se envíe en el tercer trimestre de 2022. La memoria proporcionará al H100 "hasta 819 GB/s" de ancho de banda de memoria. [36]
En agosto de 2022, Nvidia anunció que su GPU "Hopper" H100 se entregará con cinco sitios HBM3 activos (de seis a bordo) que ofrecerán 80 GB de RAM y 3 TB/s de ancho de banda de memoria (16 GB y 600 GB/s por sitio). ). [37]
El 30 de mayo de 2023, SK Hynix presentó su memoria HBM3E con una velocidad de procesamiento de datos de 8 Gbps/pin (un 25 % más rápida que la HBM3), que entrará en producción en el primer semestre de 2024. [38] A 8 GT/s con 1024- bus de bits, su ancho de banda por pila aumenta de 819,2 GB/s como en HBM3 a 1 TB/s.
El 26 de julio de 2023, Micron anunció su memoria HBM3E con una velocidad de procesamiento de datos de 9,2 Gbps/pin (50% más rápida que HBM3). [39] La memoria Micron HBM3E es un HBM de alto rendimiento que utiliza tecnología de proceso 1β DRAM y empaquetado avanzado para lograr el mayor rendimiento, capacidad y eficiencia energética de la industria. Puede almacenar 24 GB por cubo de 8 alturas y permite la transferencia de datos a 1,2 TB/s. En 2024 habrá un cubo de 12 de altura y 36 GB de capacidad.
En agosto de 2023, Nvidia anunció una nueva versión de su superchip GH200 Grace Hopper que utiliza 141 GB (144 GiB físicos) de HBM3e sobre un bus de 6144 bits, lo que proporciona un 50 % más de ancho de banda de memoria y un 75 % más de capacidad de memoria que la versión HBM3. [40]
En mayo de 2023, Samsung anunció HBM3P con hasta 7,2 Gbps que estará en producción en 2024. [41]
El 20 de octubre de 2023, Samsung anunció su HBM3E "Shinebolt" con hasta 9,8 Gbps de memoria. [42]
El 26 de febrero de 2024, Micron anunció la producción en masa de la memoria HBM3E de Micron. [43]
El 18 de marzo de 2024, Nvidia anunció la serie Blackwell de GPU que utilizan memoria HBM3E [44]
El 19 de marzo de 2024, SK Hynix anunció la producción en masa de la memoria HBM3E de SK Hynix. [45]
En febrero de 2021, Samsung anunció el desarrollo de HBM con procesamiento en memoria (PIM). Esta nueva memoria incorpora capacidades informáticas de IA dentro de la memoria para aumentar el procesamiento de datos a gran escala. Dentro de cada banco de memoria se coloca un motor de IA optimizado para DRAM para permitir el procesamiento paralelo y minimizar el movimiento de datos. Samsung afirma que esto ofrecerá el doble de rendimiento del sistema y reducirá el consumo de energía en más del 70%, sin requerir ningún cambio de hardware o software en el resto del sistema. [46]
La memoria apilada se comercializó inicialmente en la industria de la memoria flash . Toshiba introdujo un chip de memoria flash NAND con ocho matrices apiladas en abril de 2007, [47] seguido de Hynix Semiconductor que introdujo un chip flash NAND con 24 matrices apiladas en septiembre de 2007. [48]
La memoria de acceso aleatorio (RAM) apilada en 3D que utiliza tecnología de vía de silicio (TSV) fue comercializada por Elpida Memory , que desarrolló el primer chip DRAM de 8 GB (apilado con cuatro matrices SDRAM DDR3 ) en septiembre de 2009 y lo lanzó en junio. 2011. En 2011, SK Hynix introdujo la memoria DDR3 de 16 GB ( clase de 40 nm ) utilizando tecnología TSV, [3] Samsung Electronics presentó DDR3 de 32 GB ( clase de 30 nm ) apilada en 3D basada en TSV en septiembre, y luego Samsung y Micron Technology. anunció la tecnología Hybrid Memory Cube (HMC) basada en TSV en octubre. [49]
JEDEC lanzó por primera vez el estándar JESD229 para memoria Wide IO, [50] el predecesor de HBM que presenta cuatro canales de 128 bits con sincronización de velocidad de datos única, en diciembre de 2011 después de varios años de trabajo. En octubre de 2013 siguió el primer estándar JESD235 de HBM.
El desarrollo de la memoria de alto ancho de banda comenzó en AMD en 2008 para resolver el problema del uso cada vez mayor de energía y el factor de forma de la memoria de la computadora. Durante los siguientes años, AMD desarrolló procedimientos para resolver problemas de apilamiento de troqueles con un equipo dirigido por Bryan Black, miembro senior de AMD. [51] Para ayudar a AMD a hacer realidad su visión de HBM, reclutaron socios de la industria de la memoria, en particular la empresa coreana SK Hynix , [51] que tenía experiencia previa con memorias apiladas en 3D, [3] [48] así como socios de la industria de intercaladores (empresa taiwanesa UMC ) y la industria del embalaje ( Amkor Technology y ASE ). [51]
El desarrollo de HBM finalizó en 2013, cuando SK Hynix construyó el primer chip de memoria de HBM. [3] JEDEC adoptó HBM como estándar industrial JESD235 en octubre de 2013, tras una propuesta de AMD y SK Hynix en 2010. [6] La fabricación en gran volumen comenzó en una instalación de Hynix en Icheon , Corea del Sur, en 2015.
La primera GPU que utilizó HBM fue AMD Fiji, que se lanzó en junio de 2015 con AMD Radeon R9 Fury X. [4] [52] [53]
En enero de 2016, Samsung Electronics inició la producción en masa del HBM2. [17] [18] El mismo mes, JEDEC aceptó HBM2 como estándar JESD235a. [7] El primer chip GPU que utiliza HBM2 es el Nvidia Tesla P100, que se anunció oficialmente en abril de 2016. [54] [55]
En junio de 2016, Intel lanzó una familia de procesadores Xeon Phi con 8 pilas de HCDRAM, la versión de HBM de Micron. En Hot Chips de agosto de 2016, tanto Samsung como Hynix anunciaron una nueva generación de tecnologías de memoria HBM. [56] [57] Ambas compañías anunciaron productos de alto rendimiento que se espera que tengan mayor densidad, mayor ancho de banda y menor consumo de energía. Samsung también anunció una versión de menor costo de HBM en desarrollo dirigida a mercados masivos. Quitar el buffer y disminuir el número de TSV reduce el costo, aunque a expensas de un menor ancho de banda general (200 GB/s).
Nvidia anunció la GPU Nvidia Hopper H100, la primera GPU del mundo que utiliza HBM3 el 22 de marzo de 2022. [58]
Nvidia adoptará la variante de memoria DRAM apilada de alto ancho de banda (HBM) desarrollada por AMD y Hynix.
.jpg/1280px-AMD@28nm@GCN_3th_gen@Fiji@Radeon_R9_Nano@SPMRC_REA0356A-1539_215-0862120_Stack-DSC10301-DSC10363_-_ZS-retouched_(29514443756).jpg)
.jpg/1280px-AMD@28nm@GCN_3th_gen@Fiji@Radeon_R9_Nano@SPMRC_REA0356A-1539_215-0862120_Stack-DSC10364-DSC10418_-_ZS-DMap_(29548526985).jpg)
.jpg/1280px-AMD@28nm@GCN_3th_gen@Fiji@Radeon_R9_Nano@SPMRC_REA0356A-1539_215-0862120_DSC04466_(29461603171).jpg)
