La aritmética de precisión mixta es una forma de aritmética de punto flotante que utiliza números con diferentes anchos en una sola operación.
Un uso común de la aritmética de precisión mixta es operar con números inexactos con un ancho pequeño y expandirlos a una representación más grande y precisa. Por ejemplo, dos números de punto flotante de media precisión o bfloat16 (16 bits) se pueden multiplicar para dar como resultado un número flotante de precisión simple (32 bits) más preciso. [1] De esta manera, la aritmética de precisión mixta se aproxima a la aritmética de precisión arbitraria , aunque con un número reducido de precisiones posibles.
La aritmética de precisión mixta se utiliza en el campo del aprendizaje automático , ya que los algoritmos de descenso de gradiente pueden usar flotadores de media precisión burdos y eficientes para ciertas tareas, pero pueden ser más precisos si usan flotadores de precisión simple más precisos pero más lentos. Algunas plataformas, incluidas las CPU y GPU de Nvidia , Intel y AMD , proporcionan aritmética de precisión mixta para este propósito, utilizando flotadores aproximados cuando es posible, pero ampliándolos a una mayor precisión cuando es necesario. [1] [2]
Los algoritmos iterativos (como el descenso de gradiente ) son buenos candidatos para la aritmética de precisión mixta. En un algoritmo iterativo como la raíz cuadrada , se puede hacer una suposición integral aproximada y refinarla a lo largo de muchas iteraciones hasta que el error en la precisión haga que la suma o resta más pequeña de la suposición sea todavía demasiado aproximada para ser una respuesta aceptable. Cuando esto sucede, la precisión se puede aumentar a algo más preciso, lo que permite utilizar incrementos más pequeños para la aproximación.
Las supercomputadoras como Summit utilizan aritmética de precisión mixta para ser más eficientes en cuanto a memoria y tiempo de procesamiento, así como al consumo de energía. [1] [2] [3]