Cerebras Systems Inc. es una empresa estadounidense de inteligencia artificial (IA) con oficinas en Sunnyvale , San Diego , Toronto y Bangalore, India . [3] [4] Cerebras construye sistemas informáticos para aplicaciones complejas de aprendizaje profundo de IA. [5]
Cerebras fue fundada en 2015 por Andrew Feldman, Gary Lauterbach, Michael James, Sean Lie y Jean-Philippe Fricker. [6] Estos cinco fundadores trabajaron juntos en SeaMicro , que fue fundada en 2007 por Feldman y Lauterbach y luego vendida a AMD en 2012 por 334 millones de dólares. [7] [8]
En mayo de 2016, Cerebras obtuvo 27 millones de dólares en financiación de serie A liderada por Benchmark , Foundation Capital y Eclipse Ventures. [9] [6]
En diciembre de 2016, la financiación de la serie B fue liderada por Coatue Management , seguida en enero de 2017 por la financiación de la serie C liderada por VY Capital. [6]
En noviembre de 2018, Cerebras cerró su ronda de financiación de serie D con 88 millones de dólares, lo que convirtió a la empresa en un unicornio . Entre los inversores de esta ronda se encontraban Altimeter , VY Capital, Coatue, Foundation Capital, Benchmark y Eclipse. [10] [11]
El 19 de agosto de 2019, Cerebras anunció su Wafer-Scale Engine (WSE). [12] [13] [14 ]
En noviembre de 2019, Cerebras cerró su ronda de serie E con más de 270 millones de dólares para una valoración de 2.400 millones de dólares. [15]
En 2020, la empresa anunció una oficina en Japón y una asociación con Tokyo Electron Devices . [16]
En abril de 2021, Cerebras anunció el CS-2 basado en el Wafer Scale Engine Two (WSE-2) de la empresa, que tiene 850.000 núcleos. [17] En agosto de 2021, la empresa anunció su tecnología a escala cerebral que puede ejecutar una red neuronal con más de 120 billones de conexiones. [18]
En noviembre de 2021, Cerebras anunció que había recaudado 250 millones de dólares adicionales en financiación de Serie F, lo que valoró la empresa en más de 4.000 millones de dólares. La ronda de financiación de Serie F estuvo liderada por Alpha Wave Ventures y Abu Dhabi Growth Fund (ADG). [19] Hasta la fecha, la empresa ha recaudado 720 millones de dólares en financiación. [19] [20]
En agosto de 2022, Cerebras fue homenajeado por el Museo de Historia de la Computación en Mountain View, California . El museo amplió su colección permanente y presentó una nueva exhibición que presenta el WSE-2, el chip de computadora más grande fabricado hasta ahora, lo que marca un logro "trascendental" en la historia de la fabricación de transistores como parte integrada. [21] [22]
En agosto de 2022, Cerebras anunció la apertura de una nueva oficina en Bangalore, India. [3] [4]
Cerebras presentó su prospecto para una oferta pública inicial (IPO) en septiembre de 2024, con la intención de cotizar en la bolsa Nasdaq bajo el símbolo "CBRS". El prospecto indicaba que la mayor parte de sus ingresos en ese momento provenían del holding emiratí de inteligencia artificial G42 . [23] Una semana después de la presentación, se informó que el Comité de Inversión Extranjera en los Estados Unidos estaba revisando la inversión de G42 en la empresa, lo que podría provocar un retraso en su IPO. [24]
El Cerebras Wafer Scale Engine (WSE) es un procesador integrado único a escala de oblea que incluye computación, memoria y estructura de interconexión . El WSE-1 alimenta el Cerebras CS-1, que es la computadora de IA de primera generación de Cerebras. [25] Es un dispositivo montado en bastidor de 19 pulgadas diseñado para cargas de trabajo de inferencia y entrenamiento de IA en un centro de datos. [13] El CS-1 incluye un solo procesador primario WSE con 400.000 núcleos de procesamiento, así como doce conexiones Ethernet de 100 Gigabit para mover datos dentro y fuera. [26] [13] El WSE-1 tiene 1,2 billones de transistores, 400.000 núcleos de computación y 18 gigabytes de memoria. [12] [13] [14]
En abril de 2021, Cerebras anunció el sistema de IA CS-2 basado en el Wafer Scale Engine (WSE-2) de segunda generación, fabricado mediante el proceso de 7 nm de TSMC . [17] Tiene 26 pulgadas de alto y cabe en un tercio de un rack de centro de datos estándar. [27] [17] El Cerebras WSE-2 tiene 850.000 núcleos y 2,6 billones de transistores. [27] [28] El WSE-2 amplió la SRAM en chip a 40 gigabytes, el ancho de banda de memoria a 20 petabytes por segundo y el ancho de banda total de la estructura a 220 petabits por segundo. [29] [30]
En agosto de 2021, la empresa anunció un sistema que conecta múltiples circuitos integrados (comúnmente llamados "chips") en una red neuronal con muchas conexiones. [18] Permite que un solo sistema admita modelos de IA con más de 120 billones de parámetros. [31]
En junio de 2022, Cerebras estableció un récord para los modelos de IA más grandes jamás entrenados en un dispositivo. [32] Cerebras dijo que, por primera vez, un solo sistema CS-2 con una oblea Cerebras puede entrenar modelos con hasta 20 mil millones de parámetros. [33] El sistema Cerebras CS-2 puede entrenar modelos de procesamiento de lenguaje natural (PLN) de miles de millones de parámetros, incluidos los 1300 millones de modelos GPT-3XL, así como GPT-J 6B, GPT-3 13B y GPT-NeoX 20B con una infraestructura y una complejidad de software reducidas. [33] [32]
En agosto de 2022, Cerebras anunció que sus clientes ahora pueden entrenar modelos de IA de lenguaje natural estilo Transformer con secuencias 20 veces más largas de lo que es posible utilizando hardware informático tradicional, lo que se espera que conduzca a avances en el procesamiento del lenguaje natural (PLN), particularmente en las ciencias farmacéuticas y de la vida. [34]
En septiembre de 2022, Cerebras anunció que puede unir sus chips para crear lo que sería el clúster informático más grande de la historia para la computación de IA. [35] Un clúster a escala de oblea puede conectar hasta 192 sistemas de IA CS-2 en un clúster, mientras que un clúster de 16 sistemas de IA CS-2 puede crear un sistema informático con 13,6 millones de núcleos para el procesamiento del lenguaje natural. [35] La clave del nuevo clúster a escala de oblea de Cerebras es el uso exclusivo del paralelismo de datos para entrenar, que es el enfoque preferido para todo el trabajo de IA. [36]
En noviembre de 2022, Cerebras presentó su última supercomputadora, Andromeda, que combina 16 chips WSE-2 en un clúster con 13,5 millones de núcleos optimizados para IA, lo que ofrece hasta 1 exaflop de potencia de procesamiento de IA, o al menos un quintillón (10 elevado a 18) de operaciones por segundo. [37] [38] El sistema completo consume 500 kW, que es una cantidad drásticamente menor que las supercomputadoras aceleradas por GPU algo comparables. [37]
En noviembre de 2022, Cerebras anunció su asociación con Cirrascale Cloud Services para proporcionar un tiempo de cómputo de "pago por modelo" a tarifa plana para su Cerebras AI Model Studio . El precio varía desde $2500 por entrenar "un modelo de GPT-3 de 1300 millones de parámetros en 10 horas" hasta $2,5 millones por entrenar "una versión de 70 mil millones de parámetros en 85 días". Se dice que el servicio reduce el costo (en comparación con los servicios en la nube similares en el mercado) a la mitad, al tiempo que aumenta la velocidad hasta ocho veces más rápido. [39]
En 2024, la compañía presentó WSE-3, un chip basado en 5 nm que alberga 4 billones de transistores y 900.000 núcleos optimizados para IA, la base de la computadora CS-3 junto con una colaboración con Dell Technologies . [40]
Se informa que los clientes están utilizando las tecnologías de Cerebras en los sectores farmacéutico, de ciencias biológicas y energético. [41] [42]
En 2020, GlaxoSmithKline (GSK) comenzó a utilizar el sistema de inteligencia artificial Cerebras CS-1 en su centro de inteligencia artificial de Londres para que los modelos de redes neuronales aceleren la investigación genética y genómica y reduzcan el tiempo necesario para el descubrimiento de fármacos . [43] El equipo de investigación de GSK pudo aumentar la complejidad de los modelos de codificador que podían generar, al tiempo que reducía el tiempo de entrenamiento. [44] Otros clientes de la industria farmacéutica incluyen a AstraZeneca , que pudo reducir el tiempo de entrenamiento de dos semanas en un grupo de GPU a dos días utilizando el sistema Cerebras CS-1. [45] GSK y Cerebras publicaron recientemente una investigación conjunta en diciembre de 2021 sobre modelos de lenguaje epigenómico.
El Laboratorio Nacional de Argonne ha estado utilizando el CS-1 desde 2020 en la investigación de COVID-19 y la investigación de tumores cancerosos basándose en la base de datos de tratamientos contra el cáncer más grande del mundo. [46] Una serie de modelos que se ejecutan en el CS-1 para predecir la respuesta de los medicamentos contra el cáncer a los tumores lograron aceleraciones de muchos cientos de veces en el CS-1 en comparación con sus líneas base de GPU. [41]
En noviembre de 2020, Cerebras y el Laboratorio Nacional de Tecnología Energética (NETL) demostraron un rendimiento récord del sistema CS-1 de Cerebras en una carga de trabajo de computación científica. El CS-1 fue 200 veces más rápido que la supercomputadora Joule en la carga de trabajo clave de dinámica de fluidos computacional. [47]
La supercomputadora Lassen del Laboratorio Nacional Lawrence Livermore incorporó el CS-1 en áreas clasificadas y no clasificadas para simulaciones de física. [48] El Centro de Supercomputación de Pittsburgh (PSC) también ha incorporado el CS-1 en su supercomputadora Neocortex para cargas de trabajo duales de HPC y IA. [49] EPCC , el centro de supercomputación de la Universidad de Edimburgo, también ha implementado un sistema CS-1 para investigación basada en IA. [50]
En agosto de 2021, Cerebras anunció una asociación con Peptilogics para el desarrollo de IA para terapias con péptidos . [51]
En marzo de 2022, Cerebras anunció que la Compañía implementó su sistema CS-2 en las instalaciones de Houston de TotalEnergies , su primer cliente divulgado públicamente en el sector energético. [42] Cerebras también anunció que ha implementado un sistema CS-2 en nference, una startup que utiliza el procesamiento del lenguaje natural para analizar cantidades masivas de datos biomédicos. El CS-2 se utilizará para entrenar modelos de transformadores que están diseñados para procesar información de pilas de datos médicos no estructurados para brindar nuevos conocimientos a los médicos y mejorar la recuperación y el tratamiento de los pacientes. [52]
En mayo de 2022, Cerebras anunció que el Centro Nacional de Aplicaciones de Supercomputación (NCSA) había implementado el sistema Cerebras CS-2 en su supercomputadora HOLL-I. [53] También anunciaron que el Centro de Supercomputación Leibniz (LRZ) en Alemania planea implementar una nueva supercomputadora con el sistema CS-2 junto con el servidor HPE Superdome Flex. [54] Se espera que el nuevo sistema de supercomputación se entregue al LRZ este verano. Esta será la primera implementación del sistema CS-2 en Europa. [54]
En octubre de 2022, se anunció que la Administración Nacional de Seguridad Nuclear de EE. UU. patrocinaría un estudio para investigar el uso del CS-2 de Cerebras en la computación de gestión de arsenales nucleares. [55] [56] El contrato plurianual se ejecutará a través de Sandia National Laboratories , Lawrence Livermore National Lab y Los Alamos National Laboratory . [55]
En noviembre de 2022, Cerebras y el Laboratorio Nacional de Tecnología Energética (NETL) lograron un rendimiento récord en la carga de trabajo de computación científica de formulación y resolución de ecuaciones de campo. Cerebras demostró que su sistema CS-2 era hasta 470 veces más rápido que la supercomputadora Joule de NETL en el modelado de ecuaciones de campo. [57]
El ganador del Premio Especial Gordon Bell 2022 por Investigación de COVID-19 basada en HPC, que reconoce los logros de investigación sobresalientes en la comprensión de la pandemia de COVID-19 mediante el uso de computación de alto rendimiento, utilizó el sistema CS-2 de Cerebras para llevar a cabo esta investigación premiada para transformar modelos de lenguaje de gran tamaño para analizar las variantes de COVID-19. El artículo fue escrito por un equipo de 34 personas del Laboratorio Nacional Argonne, el Instituto de Tecnología de California, la Universidad de Harvard, la Universidad del Norte de Illinois, la Universidad Técnica de Múnich, la Universidad de Chicago, la Universidad de Illinois Chicago, Nvidia y Cerebras. ANL señaló que, utilizando el clúster CS-2 Wafer-Scale Engine, el equipo pudo lograr la convergencia al entrenar con los genomas completos del SARS-CoV-2 en menos de un día. [58] [59]
Cerebras se asoció con el grupo tecnológico emiratí G42 para implementar sus supercomputadoras de IA para crear chatbots y analizar datos genómicos y de atención preventiva. En julio de 2023, G42 acordó pagar alrededor de 100 millones de dólares para comprar la primera de las nueve supercomputadoras potenciales de Cerebras, cada una de las cuales tiene una capacidad de 4 exaflops de cómputo. [60] [61] [62] En agosto de 2023, Cerebras, la Universidad de Inteligencia Artificial Mohamed bin Zayed y la subsidiaria de G42, Inception, lanzaron Jais , un gran modelo de lenguaje . [63]
Mayo Clinic anunció una colaboración con Cerebras en la Conferencia de Atención Médica JP Morgan de 2024 , ofreciendo detalles sobre el primer modelo de base que desarrollará con la habilitación de la capacidad de computación de inteligencia artificial generativa de Cerebras. La solución combinará datos genómicos con datos anónimos de registros de pacientes y evidencia médica para explorar la capacidad de predecir la respuesta de un paciente a los tratamientos para controlar la enfermedad y se aplicará inicialmente a la artritis reumatoide . El modelo podría servir como prototipo para soluciones similares para respaldar el diagnóstico y el tratamiento de otras enfermedades.
En marzo de 2024, Cerebras presentó CS-3, que representa el último desarrollo de su tecnología. Tiene el doble de rendimiento que CS-2 y alberga 900.000 núcleos. Un clúster CS-3 es capaz de entrenar un modelo de IA como Llama2-70B en un solo día. [64]
{{cite web}}: CS1 maint: nombres numéricos: lista de autores ( enlace )