gLite (pronunciado "gee-lite") es un proyecto de software de middleware para computación en red utilizado en los experimentos LHC del CERN y otros dominios científicos. Fue implementado gracias a los esfuerzos colaborativos de más de 80 personas en 12 centros de investigación académicos e industriales diferentes en Europa. gLite proporciona un marco para crear aplicaciones que aprovechen los recursos distribuidos de computación y almacenamiento a través de Internet . Los servicios de gLite fueron adoptados por más de 250 centros de computación y utilizados por más de 15.000 investigadores en Europa y en todo el mundo.
Después de las fases de creación de prototipos en 2004 y 2005, la convergencia con la distribución LHC Computing Grid (LCG-2) se alcanzó en mayo de 2006, cuando se lanzó gLite 3.0, y se convirtió en el middleware oficial del proyecto Enabling Grids for E-sciencE (EGEE), que finalizó en 2010.
El desarrollo del middleware gLite quedó luego a cargo de la Iniciativa Europea de Middleware y ahora se mantiene como parte de la pila de software EMI.
La infraestructura informática distribuida construida por EGEE cuenta ahora con el respaldo de la Infraestructura Grid Europea . Ejecuta el middleware Grid producido por la "Iniciativa de Middleware Europeo", muchos de cuyos componentes provienen del middleware gLite.
La comunidad de usuarios de gLite está agrupada en Organizaciones Virtuales (VO). [1] Un usuario debe unirse a una VO que sea compatible con la infraestructura que ejecuta gLite para ser autenticado y autorizado para usar los recursos de la red.
La infraestructura de seguridad de red (GSI) en WLCG /EGEE permite la autenticación y comunicación seguras a través de una red abierta. [2] GSI se basa en cifrado de clave pública, certificados X.509 y el protocolo de comunicación Secure Sockets Layer (SSL), con extensiones para inicio de sesión único y delegación.
Para autenticarse, un usuario debe tener un certificado digital X.509 emitido por una autoridad de certificación (CA) en la que confíe la infraestructura que ejecuta el middleware.
La autorización de un usuario en un recurso de red específico se puede realizar de dos maneras diferentes. La primera es más sencilla y se basa en el mecanismo grid-mapfile. La segunda se basa en el Servicio de membresía de organización virtual (VOMS) y el mecanismo LCAS/LCMAPS, que permiten una definición más detallada de los privilegios de usuario.
El punto de acceso al Grid gLite es la Interfaz de Usuario (UI). Esta puede ser cualquier máquina donde los usuarios tengan una cuenta personal y donde esté instalado su certificado de usuario. Desde una UI, un usuario puede autenticarse y autorizarse para utilizar los recursos de WLCG/EGEE, y puede acceder a las funcionalidades que ofrecen los sistemas de gestión de Información, Carga de Trabajo y Datos. Proporciona herramientas CLI para realizar algunas operaciones básicas del Grid:
Un elemento de cómputo (CE), en la terminología de Grid, es un conjunto de recursos de cómputo localizados en un sitio (es decir, un clúster, una granja de cómputo). Un CE incluye una puerta de cómputo (GG), que actúa como una interfaz genérica para el clúster; un sistema de administración de recursos locales (LRMS) (a veces llamado sistema por lotes) y el clúster en sí, una colección de nodos de trabajo (WN), los nodos donde se ejecutan los trabajos.
Existen dos implementaciones de CE en gLite 3.1: la CE LCG, desarrollada por EDG y utilizada en LCG-22, y la CE gLite, desarrollada por EGEE. Los sitios pueden elegir qué instalar y algunos de ellos ofrecen ambos tipos. El GG es responsable de aceptar trabajos y enviarlos para su ejecución en las WN a través del LRMS.
En gLite 3.1 los tipos de LRMS admitidos fueron OpenPBS /PBSPro, Platform LSF , Maui/Torque, BQS y Condor , y Sun Grid Engine . [3]
Un elemento de almacenamiento (SE) proporciona acceso uniforme a los recursos de almacenamiento de datos. El elemento de almacenamiento puede controlar servidores de discos simples, matrices de discos grandes o sistemas de almacenamiento masivo (MSS) basados en cintas. La mayoría de los sitios WLCG/EGEE proporcionan al menos un SE.
Los elementos de almacenamiento pueden admitir distintos protocolos e interfaces de acceso a datos. En términos simples, GSIFTP (un FTP seguro de GSI) es el protocolo para transferencias de archivos completos, mientras que el acceso a archivos locales y remotos se realiza mediante RFIO o gsidcap.
La mayoría de los recursos de almacenamiento son administrados por un Administrador de recursos de almacenamiento (SRM), un servicio de middleware que proporciona capacidades como migración transparente de archivos de disco a cinta, fijación de archivos, reserva de espacio, etc. Sin embargo, diferentes SE pueden admitir diferentes versiones del protocolo SRM y las capacidades pueden variar.
Hay varias implementaciones de SRM en uso, con distintas capacidades. El Disk Pool Manager (DPM) se utiliza para sistemas de almacenamiento relativamente pequeños con almacenamiento basado en discos únicamente, mientras que CASTOR está diseñado para gestionar sistemas de almacenamiento de discos de gran escala (MSS), con discos de front-end y almacenamiento en cinta de back-end. dCache está orientado tanto a sistemas de almacenamiento de discos de gran escala como a MSS. Se están desarrollando otras implementaciones de SRM, y la propia especificación del protocolo SRM también está evolucionando.
Los SE clásicos, que no tienen una interfaz SRM, ofrecen un modelo de almacenamiento simple basado en disco. Están en proceso de eliminación gradual. [ ¿Cuándo? ]
El Servicio de Información (SI) proporciona información sobre los recursos de la red WLCG/EGEE y su estado. Esta información es esencial para el funcionamiento de toda la red, ya que es a través del SI que se descubren los recursos. La información publicada también se utiliza para fines de seguimiento y contabilidad.
Gran parte de los datos publicados en el IS se ajustan al esquema GLUE, [4] que define un modelo de datos conceptual común que se utilizará para el monitoreo y descubrimiento de recursos de Grid.
El sistema de información que se utiliza en gLite 3.1 hereda sus conceptos principales del Servicio de Monitoreo y Descubrimiento Globus (MDS). [5] Sin embargo, el GRIS y el GIIS en MDS han sido reemplazados por el Índice de Información de Base de Datos Berkeley (BDII), que es esencialmente un servidor OpenLDAP que se actualiza mediante un proceso externo.
El propósito del Sistema de Gestión de Cargas de Trabajo (WMS) [6] es aceptar trabajos de usuario, asignarlos al Elemento de Cómputo más apropiado, registrar su estado y recuperar su salida. El Broker de Recursos (RB) es la máquina donde se ejecutan los servicios del WMS.
Los trabajos que se enviarán se describen utilizando el lenguaje de descripción de trabajos (JDL), que especifica, por ejemplo, qué ejecutable ejecutar y sus parámetros, los archivos que se moverán hacia y desde el nodo de trabajo en el que se ejecuta el trabajo, los archivos de cuadrícula de entrada necesarios y cualquier requisito en el CE y el nodo de trabajo.
La elección del CE al que se envía el trabajo se realiza en un proceso llamado match-making, que primero selecciona, entre todos los CE disponibles, aquellos que cumplen con los requisitos expresados por el usuario y que están cerca de los archivos Grid de entrada especificados. Luego elige el CE con el rango más alto, una cantidad derivada de la información de estado del CE que expresa la bondad de un CE (normalmente una función de la cantidad de trabajos en ejecución y en cola).
El RB localiza los archivos de entrada de la red especificados en la descripción del trabajo mediante un servicio denominado Interfaz de ubicación de datos (DLI), que proporciona una interfaz genérica para un catálogo de archivos. De esta manera, el Resource Broker puede comunicarse con catálogos de archivos distintos de LFC (siempre que tengan una interfaz DLI).
La implementación más reciente del WMS de EGEE permite no sólo el envío de trabajos individuales, sino también colecciones de trabajos (posiblemente con dependencias entre ellos) de una manera mucho más eficiente que el antiguo WMS LCG-2, y tiene muchas otras opciones nuevas.
Por último, el servicio de registro y contabilidad (LB) [7] realiza un seguimiento de los trabajos gestionados por el WMS. Recopila eventos de muchos componentes del WMS y registra el estado y el historial del trabajo.