GPFS ( General Parallel File System , nombre comercial IBM Storage Scale y anteriormente IBM Spectrum Scale ) [1] es un software de sistema de archivos en clúster de alto rendimiento desarrollado por IBM . Se puede implementar en modos paralelos distribuidos de disco compartido o sin uso compartido , o una combinación de estos. Lo utilizan muchas de las empresas comerciales más grandes del mundo, así como algunas de las supercomputadoras de la lista Top 500. [ 2] Por ejemplo, es el sistema de archivos de Summit [3] en el Laboratorio Nacional de Oak Ridge , que fue la supercomputadora número uno más rápida del mundo en la lista Top 500 de noviembre de 2019. [4] Summit es un sistema de 200 petaflops compuesto por más de 9000 procesadores POWER9 y 27 000 GPU NVIDIA Volta . El sistema de archivos de almacenamiento se llama Alpine. [5]
Al igual que los sistemas de archivos de clúster típicos, GPFS proporciona acceso simultáneo a archivos de alta velocidad a aplicaciones que se ejecutan en varios nodos de clústeres. Se puede utilizar con clústeres AIX , clústeres Linux , [6] en Microsoft Windows Server o un clúster heterogéneo de nodos AIX, Linux y Windows que se ejecutan en arquitecturas de procesador x86 , Power o IBM Z.
GPFS comenzó como el sistema de archivos Tiger Shark , un proyecto de investigación del Centro de Investigación Almaden de IBM en 1993. Tiger Shark fue diseñado inicialmente para soportar aplicaciones multimedia de alto rendimiento. Este diseño resultó ser muy adecuado para la computación científica. [7]
Otro antecesor es el sistema de archivos Vesta de IBM , desarrollado como un proyecto de investigación en el Centro de Investigación Thomas J. Watson de IBM entre 1992 y 1995. [8] Vesta introdujo el concepto de particionamiento de archivos para satisfacer las necesidades de aplicaciones paralelas que se ejecutan en multicomputadoras de alto rendimiento con subsistemas de E/S paralelos . Con el particionamiento, un archivo no es una secuencia de bytes, sino más bien múltiples secuencias disjuntas a las que se puede acceder en paralelo. El particionamiento es tal que abstrae la cantidad y el tipo de nodos de E/S que alojan el sistema de archivos y permite una variedad de vistas particionadas lógicamente de los archivos, independientemente de la distribución física de los datos dentro de los nodos de E/S. Las secuencias disjuntas se organizan para corresponder a procesos individuales de una aplicación paralela, lo que permite una escalabilidad mejorada. [9] [10]
Vesta se comercializó como el sistema de archivos PIOFS alrededor de 1994, [11] y fue sucedido por GPFS alrededor de 1998. [12] [13] La principal diferencia entre los sistemas de archivos más antiguos y los más nuevos fue que GPFS reemplazó la interfaz especializada ofrecida por Vesta/PIOFS con la API estándar de Unix : todas las características para soportar E/S paralelas de alto rendimiento estaban ocultas a los usuarios y se implementaron de forma discreta. [7] [13] GPFS también compartía muchos componentes con los productos relacionados IBM Multi-Media Server e IBM Video Charger, por lo que muchas utilidades GPFS comienzan con el prefijo mm —multi-media. [14] : xi
En 2010, IBM presentó una versión preliminar de GPFS que incluía una función conocida como GPFS-SNC, donde SNC significa Shared Nothing Cluster. Esta función se lanzó oficialmente con GPFS 3.5 en diciembre de 2012 y ahora se conoce como FPO [15] (File Placement Optimizer).
Es un sistema de archivos en clúster . Divide un archivo en bloques de un tamaño configurado, de menos de 1 megabyte cada uno, que se distribuyen entre varios nodos del clúster.
El sistema almacena datos en volúmenes de almacenamiento en bloque estándar, pero incluye una capa RAID interna que puede virtualizar esos volúmenes para lograr redundancia y acceso paralelo, de forma muy similar a un sistema de almacenamiento en bloque RAID. También tiene la capacidad de replicarse entre volúmenes en el nivel de archivo superior.
Las características de la arquitectura incluyen:
Otras características incluyen alta disponibilidad, capacidad de uso en un clúster heterogéneo, recuperación ante desastres, seguridad, DMAPI , HSM e ILM .
El sistema de archivos HDFS de Hadoop está diseñado para almacenar cantidades similares o mayores de datos en hardware convencional, es decir, centros de datos sin discos RAID y una red de área de almacenamiento (SAN).
Los grupos de almacenamiento permiten agrupar discos dentro de un sistema de archivos. Un administrador puede crear niveles de almacenamiento agrupando discos en función de características de rendimiento, ubicación o confiabilidad. Por ejemplo, un grupo podría estar formado por discos de canal de fibra de alto rendimiento y otro por almacenamiento SATA más económico.
Un conjunto de archivos es un subárbol del espacio de nombres del sistema de archivos y proporciona una forma de dividir el espacio de nombres en unidades más pequeñas y manejables. Los conjuntos de archivos proporcionan un límite administrativo que se puede utilizar para establecer cuotas y especificar en una política para controlar la ubicación inicial de los datos o la migración de los mismos. Los datos de un único conjunto de archivos pueden residir en uno o más grupos de almacenamiento. La ubicación de los datos de los archivos y la forma en que se migran se basan en un conjunto de reglas en una política definida por el usuario.
Existen dos tipos de políticas definidas por el usuario: la ubicación de archivos y la administración de archivos. Las políticas de ubicación de archivos dirigen los datos de los archivos a medida que se crean al grupo de almacenamiento adecuado. Las reglas de ubicación de archivos se seleccionan por atributos como el nombre del archivo, el nombre de usuario o el conjunto de archivos. Las políticas de administración de archivos permiten mover o replicar los datos del archivo o eliminar archivos. Las políticas de administración de archivos se pueden utilizar para mover datos de un grupo a otro sin cambiar la ubicación del archivo en la estructura del directorio. Las políticas de administración de archivos se determinan por atributos de archivo como la hora del último acceso, el nombre de la ruta o el tamaño del archivo.
El motor de procesamiento de políticas es escalable y puede ejecutarse en muchos nodos a la vez. Esto permite que las políticas de administración se apliquen a un solo sistema de archivos con miles de millones de archivos y se completen en unas pocas horas. [ cita requerida ]
{{cite journal}}: CS1 maint: bot: original URL status unknown (link){{cite journal}}: CS1 maint: bot: original URL status unknown (link){{cite book}}: CS1 maint: bot: original URL status unknown (link)