El sistema de almacenamiento de alto rendimiento ( HPSS ) es un producto de gestión de almacenamiento jerárquico (HSM) flexible, escalable , basado en políticas y definido por software, desarrollado por HPSS Collaboration. Proporciona servicios de HSM, archivo y sistema de archivos escalables mediante tecnologías de clúster, LAN y red de área de almacenamiento (SAN) para agregar la capacidad y el rendimiento de muchas computadoras, discos, sistemas de discos, unidades de cinta y bibliotecas de cintas. [1]
HPSS admite una variedad de métodos para acceder y crear datos. Entre ellos, se encuentran la compatibilidad con FTP , FTP paralelo, FUSE (Linux), así como una sólida API de cliente con compatibilidad con E/S paralela.
A partir de la versión 7.5, HPSS tiene soporte completo en Linux . La API del cliente HPSS es compatible con AIX , Linux y Solaris . [1]
La implementación se basa en Db2 de IBM , un sistema de gestión de bases de datos relacionales escalables .
A principios de 1992, varios laboratorios nacionales del Departamento de Energía de los Estados Unidos (DOE) —Lawrence Livermore (LLNL), Los Alamos (LANL), Oak Ridge (ORNL) y Sandia (SNL)— se unieron a IBM para formar el Laboratorio Nacional de Almacenamiento (NSL). [2] El propósito del NSL era comercializar tecnologías de software y hardware que superaran los cuellos de botella de la computación y el almacenamiento de datos. [3] La investigación del NSL sobre el almacenamiento de datos dio origen a la colaboración que produce HPSS. Esta colaboración comenzó en el otoño de 1992 [4] e involucró a Houston Global Services de IBM y cinco laboratorios nacionales del DOE ( Lawrence Berkeley [LBL], LLNL, LANL, ORNL y SNL). [1] En ese momento, el equipo de diseño de HPSS en los laboratorios nacionales del DOE e IBM reconocieron que habría una explosión de almacenamiento de datos impulsada por la potencia de procesamiento que aumentaría a teraflops / petaflops, lo que requeriría que los datos almacenados en HSM aumentaran a petabytes y más, las tasas de transferencia de datos con el HSM aumentaran a gigabytes/s y más, y el rendimiento diario con un HSM fuera de decenas de terabytes por día. Por lo tanto, la colaboración se propuso diseñar e implementar un sistema que escalara por un factor de 1000 o más y evolucionara desde la base anterior hacia estos objetivos esperados y más allá. [5]
La colaboración HPSS se basa en la premisa de que ninguna organización tiene la experiencia y los recursos necesarios para afrontar todos los desafíos que representa el creciente desequilibrio entre la potencia informática y las capacidades de recopilación de datos, y la capacidad, funcionalidad y entrada/salida del sistema de almacenamiento. Más de veinte organizaciones de todo el mundo, entre ellas la industria, el Departamento de Energía de los Estados Unidos (DOE), otros laboratorios federales, universidades, centros de supercomputación de la Fundación Nacional de la Ciencia (NSF), el Comisariado de Energía Atómica (CEA) de Francia y Gleicher Enterprises, han contribuido a diversos aspectos de este esfuerzo.
A partir de 2022, el equipo principal de desarrollo de HPSS está formado por: