stringtranslate.com

Nirvana (programa)

Nirvana fue un software de almacenamiento de objetos virtuales desarrollado y mantenido por General Atomics.

También se puede describir como un software de metadatos , ubicación de datos y gestión de datos que permite a las organizaciones gestionar datos no estructurados en múltiples dispositivos de almacenamiento ubicados en cualquier parte del mundo para orquestar flujos de trabajo globales intensivos en datos y buscar y localizar datos sin importar dónde se encuentren o cuándo se crearon. Nirvana hace esto capturando metadatos del sistema y definidos por el usuario para permitir una búsqueda detallada y promulgar políticas para controlar el movimiento y la protección de los datos. Nirvana también mantiene la procedencia de los datos , la auditoría , la seguridad y el control de acceso .

Nirvana puede reducir los costos de almacenamiento al identificar los datos que deben trasladarse a un almacenamiento de menor costo y los datos que ya no necesitan almacenarse.

Historia

Nirvana es el resultado de una investigación iniciada en 1995 en el Centro de Supercomputación de San Diego (SDSC) (que fue fundado y dirigido en ese momento por General Atomics [1] ), en respuesta a un proyecto patrocinado por DARPA para un Sistema de Análisis de Datos Masivos. [2] Dirigido por el físico de plasma computacional de General Atomics, el Dr. Reagan Moore, el desarrollo continuó a través de los esfuerzos cooperativos de General Atomics y el SDSC en el Storage Resource Broker (SRB), con el apoyo de la National Science Foundation (NSF). SRB 1.1 se entregó en 1998, [3] demostrando un sistema de archivos distribuido lógico con un único espacio de nombres global en sistemas de almacenamiento distribuidos geográficamente.

En 2003, General Atomics entregó la operación del SDSC a la Universidad de California en San Diego (UCSD) y el Dr. Moore se convirtió en profesor de tiempo completo allí estableciendo el Centro de Entornos de Computación Intensiva de Datos (DICE), continuando el desarrollo de SRB. En ese mismo año, General Atomics adquirió la licencia exclusiva para desarrollar una versión comercial de SRB, llamándola Nirvana. [4] El equipo de DICE terminó el desarrollo de SRB en 2006 y comenzó un proyecto de gestión de datos orientado a reglas llamado iRODS [5] para distribución de código abierto . El Dr. Moore y su equipo de DICE se mudaron a la Universidad de Carolina del Norte en Chapel Hill , donde iRODS ahora es mantenido por el Consorcio iRODS. [6] General Atomics continuó el desarrollo de Nirvana en su sede de San Diego, centrándose en las capacidades para servir a los usuarios gubernamentales y comerciales, incluyendo alta escalabilidad, conmutación por error, rendimiento, implementación, mantenimiento y soporte.

Historia del Nirvana
Historia del Nirvana

En 2009, General Atomics ganó un contrato de gestión de datos con el Programa de Modernización de Computación de Alto Rendimiento del Departamento de Defensa de los EE. UU. [7] Los requisitos de este contrato enfocaron a General Atomics a expandir el rendimiento, la escalabilidad, la seguridad y la facilidad de uso de Nirvana. Un entregable importante implicó la integración de Nirvana con el sistema de archivos SAM-QFS de Oracle Corporation para proporcionar un sistema de Gestión de Almacenamiento Jerárquico (HSM) basado en políticas con sincronización de eventos casi en tiempo real. General Atomics también anunció que la firma de marketing digital infoGROUP implementó Nirvana para crear un espacio de nombres global en tres de los centros de operaciones informáticas de infoGROUP en el área de Omaha. [8]

En 2012, General Atomics lanzó la versión 4.3 de Nirvana. [9]

En 2014, General Atomics cambió el modelo de negocio de Nirvana de un gran contrato gubernamental, un modelo de pago por servicio, a un modelo de software comercial estándar.

En 2015, General Atomics inició una relación estratégica con pixitmedia/arcastream en el Reino Unido, integrando Nirvana con los productos de pixitmedia y arcastream. [10]

En 2016, General Atomics lanzó la versión 5.0 de Nirvana. [11]

En mayo de 2018, las investigaciones sobre las URL de marketing y soporte de Nirvana bajo el paraguas corporativo de General Atomics (www.Nirvanastorage.com, [12] www.ga.com/nirvana [13] y https://www.nirvanaware.com [14] ) y, más recientemente, las ofertas de integración de marca como "Nirvana EasyHSM" (www.ga.com/easyhsm [15] (mencionada en una presentación de marketing de enero de 2017 en [16] )) arrojaron un mensaje de error "no se puede encontrar" en www.ga.com o un tiempo de espera de conexión. Una búsqueda de palabras clave "Nirvana" en www.ga.com arroja solo páginas con indicaciones archivadas. Las páginas y los comunicados de prensa de Nirvana archivados por General Atomics se pueden recuperar a través de http://www.ga.com/?Key=Search&q=nirvana [17]

Arquitectura y funcionamiento

Nirvana es un software cliente-servidor compuesto por agentes de ubicación que residen en recursos de almacenamiento o acceden a ellos. Un recurso de almacenamiento puede ser un sistema de almacenamiento conectado a red (NAS), un sistema de almacenamiento de objetos o un servicio de almacenamiento en la nube . Nirvana cataloga la ubicación de los archivos y objetos en estos recursos de almacenamiento en su Catálogo de metadatos (MCAT) y etiqueta los archivos con metadatos del sistema de almacenamiento (propietario, nombre del archivo, tamaño del archivo y marcas de tiempo de creación, cambio, modificación y acceso ) y metadatos adicionales definidos por el usuario y específicos del dominio. Los metadatos definidos por el sistema y por el usuario se pueden utilizar para buscar un archivo u objeto (o grupos de archivos y objetos) y también para controlar el acceso y mover esos archivos y objetos de un recurso de almacenamiento a otro. El MCAT crea un único espacio de nombres global en todos los recursos de almacenamiento conectados a él para que los usuarios y administradores puedan buscar, acceder y mover datos en múltiples sistemas de almacenamiento heterogéneos de múltiples proveedores en centros de datos dispersos geográficamente. El MCAT está conectado a un sistema de gestión de bases de datos relacionales e interactúa con él para respaldar su funcionamiento. Se pueden implementar múltiples MCAT para escalamiento horizontal y conmutación por error . Varios clientes pueden interactuar con Nirvana, incluidos el navegador web provisto y los clientes GUI basados ​​en Java , una interfaz de línea de comandos , una interfaz de unidad de red virtual nativa de Windows y aplicaciones desarrolladas por el usuario a través de las API provistas.

Arquitectura Nirvana
Arquitectura Nirvana

El funcionamiento de Nirvana está controlado por tres demonios : Metadata, Sync e ILM. El demonio de metadatos puede extraer metadatos automáticamente de un instrumento que crea datos, desde dentro de los datos reales del archivo utilizando plantillas predefinidas y personalizables y políticas de análisis de metadatos, o capturando la entrada del usuario a través de la GUI o la interfaz de línea de comandos. El demonio de sincronización, que se ejecuta en segundo plano, detecta cuándo se agregan o eliminan archivos de los sistemas de archivos de recursos de almacenamiento subyacentes. Cuando el demonio de sincronización observa cambios en el sistema de archivos, los cambios se registran y actualizan en MCAT. El demonio ILM consulta rutinariamente a MCAT y ejecuta acciones que incluyen migración , replicación o copia de seguridad en un cronograma especificado. Por ejemplo, un administrador puede establecer una política para liberar espacio en un costoso sistema de almacenamiento primario migrando esos datos a ubicaciones de retención distribuidas según criterios como: marcas de agua de consumo de almacenamiento (porcentaje lleno), todos los datos asociados con un proyecto específico o datos a los que no se ha accedido en más de un año. Las políticas son extremadamente flexibles. Los atributos de metadatos definidos por el usuario (por ejemplo, Proyecto, Investigador principal , Fuente de datos, Ubicación, Temperatura, etc.) también se pueden utilizar para mover datos. La ejecución de políticas de Nirvana ILM se realiza en segundo plano y es transparente para los usuarios finales o las aplicaciones.

Casos de uso

Puerta de enlace de almacenamiento en la nube que reconoce los datos

La funcionalidad ILM de Nirvana se puede utilizar como una puerta de enlace de almacenamiento en la nube , donde los datos almacenados localmente, en las instalaciones, se pueden mover a servicios de almacenamiento en la nube populares según los diversos atributos y políticas de metadatos de Nirvana. En 2015, General Atomics y ArcaStream anunciaron un dispositivo de almacenamiento en la nube que utiliza Spectrum Scale de IBM para el almacenamiento en las instalaciones y se integra con los proveedores de almacenamiento en la nube Amazon S3 y Google Cloud Storage . [18]

Búsqueda avanzada

Se puede utilizar Nirvana para realizar consultas de búsqueda para encontrar datos de interés utilizando metadatos definidos por el usuario y del sistema. Las consultas se ingresan en la interfaz de línea de comandos o a través del cliente de navegador web que se muestra a continuación.

Interfaz gráfica de usuario del navegador web Nirvana
Interfaz gráfica de usuario del navegador web Nirvana

Colecciones virtuales

Nirvana puede automatizar la agrupación y distribución de archivos de datos en una colección virtual, basándose en reglas lógicas fáciles de usar. Por ejemplo, se pueden utilizar metadatos definidos por el usuario para identificar archivos de datos que se deben transferir entre colaboradores con atributos específicos del dominio (experimento, estudio, proyecto, etc.).

Procedencia de los datos

En muchos campos, resulta útil conocer la procedencia y el proceso de procesamiento utilizado para producir los resultados derivados. Nirvana realiza un seguimiento de los datos dentro de los flujos de trabajo, a través de todas las transformaciones, análisis e interpretaciones. Con Nirvana, los datos se pueden compartir y utilizar con la procedencia verificada de las condiciones en las que se generaron, de modo que los resultados sean reproducibles y analizables para detectar defectos.

Auditoría

Nirvana se puede utilizar para auditar cada transacción de un archivo de datos dentro de un flujo de trabajo. Se puede almacenar un registro de auditoría que contenga información como la fecha de la transacción, el código de éxito o error, el usuario que realizó la transacción, el tipo de transacción y las notas, etc. Los registros de auditoría, como todo lo demás con Nirvana, se pueden consultar y filtrar fácilmente.

Seguridad y control de acceso

Nirvana se puede utilizar para controlar el acceso a los datos mediante la configuración de listas de control de acceso específicas por usuario, grupo, etc., utilizando atributos de metadatos definidos por el usuario (Proyecto, Estudio, etc.) y mediante la configuración de niveles de privilegio de acceso donde los usuarios a los que se les asignan niveles superiores pueden ver más información que otros a los que se les asignan niveles inferiores. Nirvana admite el inicio de sesión único y el acceso mediante la integración con el Protocolo ligero de acceso a directorios (LDAP) y Active Directory , mediante autenticación de desafío-respuesta , Grid Security Infrastructure (GSI) y Kerberos . Los datos solo pueden ser vistos y modificados por usuarios autorizados para hacerlo.

Análisis del sistema de archivos

Nirvana se puede utilizar para analizar la composición de un sistema de archivos compartido y determinar qué tipo de datos se almacenan, cuánto espacio ocupan, cuándo se accedió a ellos por última vez y quién los almacenó. Con esta información, los administradores de almacenamiento pueden determinar el tipo de sistema de almacenamiento más adecuado que se debe utilizar y cuándo trasladar los datos no utilizados a un almacenamiento de archivos de menor coste. En el ejemplo siguiente, el análisis de Nirvana de los datos almacenados en un costoso sistema de almacenamiento NAS empresarial mostró que la mayoría de los datos no habían sido accedidos en más de dos años. El análisis mostró además que la mayoría de los archivos eran muy pequeños y que más de la mitad del almacenamiento lo consumían solo dos usuarios. Con estos datos, la organización reemplazó su sistema de almacenamiento empresarial por un almacenamiento de objetos menos costoso para administrar mejor los numerosos archivos pequeños a los que rara vez se accede. [19]

Análisis del archivo Nirvana
Análisis del archivo Nirvana

Referencias

  1. ^ "Cronología del SDSC" (PDF) . Consultado el 25 de enero de 2016 .
  2. ^ "MDAS - Sistema de análisis de datos masivos" . Consultado el 25 de enero de 2016 .
  3. ^ Baru, Chaitanya; Moore, Reagan; Rajasekar, Arcot; Wan, Michael (2010). "El agente de recursos de almacenamiento SDSC". Documentos de alto impacto de la primera década de CASCON : 189–200. CiteSeerX 10.1.1.203.4142 . doi :10.1145/1925805.1925816. S2CID  15937740. (Reimpresión del 30 de noviembre al 3 de diciembre de 1998)
  4. ^ "General Atomics adquiere licencia exclusiva de UCSD para la comercialización de software exclusivo de gestión de datos" . Consultado el 25 de enero de 2016 .
  5. ^ "iRODS (sistema integrado de datos orientado a reglas)". irods.org . Consultado el 17 de marzo de 2016 .
  6. ^ "iRODS (sistema integrado de datos orientado a reglas)". irods.org/about . Consultado el 31 de julio de 2017 .
  7. ^ "General Atomics gana un contrato del Departamento de Defensa por 22,5 millones de dólares para la gestión del ciclo de vida del almacenamiento (SLM) en seis sitios de computación de alto rendimiento" . Consultado el 25 de enero de 2016 .
  8. ^ "infoGROUP® Architects Innovative Global Namespace with Nirvana® SRB® 2008" (Arquitectura de espacios de nombres globales innovadores de infoGROUP® con Nirvana® SRB® 2008) . Consultado el 25 de enero de 2016 .
  9. ^ "Nirvana SRB 2012 R3® se ha mejorado con importantes mejoras en el rendimiento de almacenamiento en caché, la sincronización y la migración de bases de datos" . Consultado el 25 de enero de 2016 .
  10. ^ "arcastream y General Atomics presentan el primer gateway de almacenamiento en la nube con reconocimiento de datos del mundo" . Consultado el 25 de enero de 2016 .
  11. ^ "General Atomics lanza un sistema de datos de próxima generación que promueve flujos de trabajo científicos y de medios con uso intensivo de datos". General Atomics & Affiliated Companies . Consultado el 26 de mayo de 2018 .
  12. ^ "Nirvana Storage". General Atomics. Archivado desde el original el 24 de julio de 2008. Consultado el 26 de mayo de 2018 .
  13. ^ "Nirvana SRB" . Consultado el 26 de mayo de 2018 .
  14. ^ "Atención al cliente de Nirvana". General Atomics . Consultado el 26 de mayo de 2018 .
  15. ^ "Nirvana EasyHSM". General Atomics . Consultado el 26 de mayo de 2018 .
  16. ^ Sfiligoi, Igor (17 de enero de 2017). "Descripción general de EasyHSM" – vía www.slideshare.net, consultado el 26 de mayo de 2018. {{cite journal}}: Requiere citar revista |journal=( ayuda )
  17. ^ "General Atomics & Affiliated Companies" . Consultado el 26 de mayo de 2018 .
  18. ^ "ArcaStream y General Atomics presentan el primer gateway de almacenamiento en la nube con reconocimiento de datos del mundo" . Consultado el 25 de enero de 2016 .
  19. ^ "Análisis de datos de almacenamiento con Nirvana SRB presentado en la Conferencia IEEE MSST 2014 en Santa Clara, California, del 2 al 6 de junio de 2014" (PDF) .