El almacenamiento de objetos (también conocido como almacenamiento basado en objetos [1] o almacenamiento de blobs ) es un enfoque de almacenamiento de datos informáticos que gestiona datos como "blobs" u "objetos", a diferencia de otras arquitecturas de almacenamiento como sistemas de archivos que gestionan los datos como un archivo. jerarquía y almacenamiento en bloques que gestiona datos como bloques dentro de sectores y pistas. [2] Cada objeto suele estar asociado con una cantidad variable de metadatos y un identificador único a nivel mundial . El almacenamiento de objetos se puede implementar en múltiples niveles, incluido el nivel de dispositivo (dispositivo de almacenamiento de objetos), el nivel de sistema y el nivel de interfaz. En cada caso, el almacenamiento de objetos busca habilitar capacidades que otras arquitecturas de almacenamiento no abordan, como interfaces que son directamente programables por la aplicación, un espacio de nombres que puede abarcar múltiples instancias de hardware físico y funciones de administración de datos como la replicación y distribución de datos en granularidad a nivel de objeto.
Los sistemas de almacenamiento de objetos permiten la retención de cantidades masivas de datos no estructurados en los que los datos se escriben una vez y se leen una vez (o muchas veces). [3] El almacenamiento de objetos se utiliza para fines tales como almacenar objetos como vídeos y fotos en Facebook , canciones en Spotify o archivos en servicios de colaboración en línea, como Dropbox . [4] Una de las limitaciones del almacenamiento de objetos es que no está diseñado para datos transaccionales , ya que el almacenamiento de objetos no fue diseñado para reemplazar el acceso y el intercambio de archivos NAS ; no admite los mecanismos de bloqueo y uso compartido necesarios para mantener una versión única y actualizada con precisión de un archivo. [3]
Jim Starkey acuñó el término " blob " [ ¿cuándo? ] trabajando en Digital Equipment Corporation para referirse a entidades de datos opacas. Se adoptó la terminología para Rdb/VMS . A menudo se explica con humor que "Blob" es una abreviatura de "objeto binario grande". Según Starkey, este trasfondo surgió cuando Terry McKiever, que trabajaba en marketing en Apollo Computer, sintió que el término debía ser una abreviatura. McKiever comenzó a utilizar la expansión "Basic Large Object". Más tarde, esto fue eclipsado por la explicación retroactiva de los blobs como "objetos binarios grandes". Según Starkey, "Blob no representa nada". Rechazando el acrónimo, explicó su motivación detrás de la acuñación, diciendo: "Una mancha es lo que se comió a Cincinnatti [ sic ], Cleveland o lo que sea", refiriéndose a la película de ciencia ficción de 1958 The Blob . [5]
En 1995, una investigación dirigida por Garth Gibson sobre discos seguros conectados a la red promovió por primera vez el concepto de dividir operaciones menos comunes, como manipulaciones de espacios de nombres, de operaciones comunes, como lecturas y escrituras, para optimizar el rendimiento y la escala de ambas. [6] Ese mismo año se creó una empresa belga, FilePool, para sentar las bases de las funciones de archivo. El almacenamiento de objetos se propuso en el laboratorio de Gibson de la Universidad Carnegie Mellon como proyecto de investigación en 1996. [7] Otro concepto clave fue abstraer las escrituras y lecturas de datos en contenedores de datos (objetos) más flexibles. El control de acceso detallado a través de la arquitectura de almacenamiento de objetos [8] fue descrito con más detalle por uno de los miembros del equipo de NASD, Howard Gobioff, quien más tarde fue uno de los inventores del sistema de archivos de Google . [9]
Otro trabajo relacionado incluye el proyecto del sistema de archivos Coda en Carnegie Mellon , que comenzó en 1987 y generó el sistema de archivos Lustre . [10] También está el proyecto OceanStore en UC Berkeley, [11] que comenzó en 1999 [12] y el proyecto Logistical Networking en la Universidad de Tennessee Knoxville, que comenzó en 1998. [13] En 1999, Gibson fundó Panasas para comercializar los conceptos desarrollados por el equipo de NASD.
Seagate Technology jugó un papel central en el desarrollo del almacenamiento de objetos. Según la Asociación de la Industria de Redes de Almacenamiento SNIA, "El almacenamiento de objetos se originó a finales de la década de 1990: las especificaciones de Seagate de 1999 introdujeron algunos de los primeros comandos y cómo el sistema operativo eliminó efectivamente el consumo del almacenamiento". [14]
Seagate presentó una versión preliminar de la "Propuesta de conjunto de comandos de DISPOSITIVOS DE ALMACENAMIENTO BASADOS EN OBJETOS" con fecha del 25/10/1999, editada por Dave Anderson de Seagate y fue producto del trabajo del Consorcio Nacional de la Industria del Almacenamiento (NSIC), incluidas contribuciones de Carnegie Mellon. Universidad , Seagate, IBM, Quantum y StorageTek. [15] Este documento fue propuesto al INCITS T-10 ( Comité Internacional de Estándares de Tecnología de la Información ) con el objetivo de formar un comité y diseñar una especificación basada en el protocolo de interfaz SCSI. Esto definió los objetos como datos abstractos, con identificadores y metadatos únicos, cómo los objetos se relacionan con los sistemas de archivos, junto con muchos otros conceptos innovadores. Anderson presentó muchas de estas ideas en la conferencia SNIA en octubre de 1999. La presentación reveló un acuerdo de propiedad intelectual que se había firmado en febrero de 1997 entre los colaboradores originales (con Seagate representado por Anderson y Chris Malakapalli) y cubría los beneficios del almacenamiento de objetos, escalable informática, independencia de plataforma y gestión de almacenamiento. [dieciséis]
Uno de los principios de diseño del almacenamiento de objetos es abstraer algunas de las capas inferiores de almacenamiento de los administradores y las aplicaciones. De este modo, los datos se exponen y gestionan como objetos en lugar de bloques o (exclusivamente) archivos. Los objetos contienen propiedades descriptivas adicionales que se pueden utilizar para una mejor indexación o gestión. Los administradores no tienen que realizar funciones de almacenamiento de nivel inferior, como construir y administrar volúmenes lógicos para utilizar la capacidad del disco o configurar niveles RAID para hacer frente a fallas del disco.
El almacenamiento de objetos también permite direccionar e identificar objetos individuales mediante algo más que el nombre y la ruta del archivo. El almacenamiento de objetos agrega un identificador único dentro de un depósito, o en todo el sistema, para admitir espacios de nombres mucho más grandes y eliminar colisiones de nombres.
El almacenamiento de objetos separa explícitamente los metadatos de archivos de los datos para admitir capacidades adicionales. A diferencia de los metadatos fijos en los sistemas de archivos (nombre de archivo, fecha de creación, tipo, etc.), el almacenamiento de objetos proporciona metadatos a nivel de objeto personalizados y con funciones completas para:
Además, en algunas implementaciones de sistemas de archivos basados en objetos:
Los dispositivos de almacenamiento basados en objetos ( OSD ), así como algunas implementaciones de software (por ejemplo, DataCore Swarm), administran metadatos y datos a nivel del dispositivo de almacenamiento:
El almacenamiento de objetos proporciona interfaces programáticas para permitir que las aplicaciones manipulen datos. En el nivel básico, esto incluye funciones de creación, lectura, actualización y eliminación ( CRUD ) para operaciones básicas de lectura, escritura y eliminación. Algunas implementaciones de almacenamiento de objetos van más allá y admiten funciones adicionales como control de versiones de objetos/archivos , replicación de objetos, gestión del ciclo de vida y movimiento de objetos entre diferentes niveles y tipos de almacenamiento. La mayoría de las implementaciones de API están basadas en REST , lo que permite el uso de muchas llamadas HTTP estándar.
La gran mayoría del almacenamiento en la nube disponible en el mercado aprovecha una arquitectura de almacenamiento de objetos. Algunos ejemplos notables son Amazon Web Services S3 , que debutó en marzo de 2006, Microsoft Azure Blob Storage, Rackspace Cloud Files (cuyo código fue donado en 2010 al proyecto Openstack y lanzado como OpenStack Swift ) y Google Cloud Storage lanzado en mayo de 2010.
Algunos sistemas de archivos distribuidos utilizan una arquitectura basada en objetos, donde los metadatos de los archivos se almacenan en servidores de metadatos y los datos de los archivos se almacenan en servidores de almacenamiento de objetos. El software cliente del sistema de archivos interactúa con los distintos servidores y los abstrae para presentar un sistema de archivos completo a los usuarios y aplicaciones.
Algunas de las primeras encarnaciones del almacenamiento de objetos se utilizaron para archivar, ya que las implementaciones se optimizaron para servicios de datos como la inmutabilidad, no el rendimiento. EMC Centera y Hitachi HCP (anteriormente conocido como HCAP) son dos productos de almacenamiento de objetos para archivado comúnmente citados. Otro ejemplo es la plataforma de almacenamiento de objetos Quantum ActiveScale.
Alrededor de 2008 llegaron al mercado más sistemas de almacenamiento de objetos de uso general. Atraídos por el increíble crecimiento de los sistemas de almacenamiento "cautivos" dentro de aplicaciones web como Yahoo Mail y el éxito inicial del almacenamiento en la nube, los sistemas de almacenamiento de objetos prometían la escala y las capacidades de la nube. almacenamiento, con la capacidad de implementar el sistema dentro de una empresa o en un aspirante a proveedor de servicios de almacenamiento en la nube.
Algunos sistemas de almacenamiento de objetos admiten el almacenamiento unificado de archivos y objetos, lo que permite a los clientes almacenar objetos en un sistema de almacenamiento mientras, simultáneamente, otros clientes almacenan archivos en el mismo sistema de almacenamiento. [17] Otros proveedores en el área de almacenamiento en la nube híbrida están utilizando puertas de enlace de almacenamiento en la nube para proporcionar una capa de acceso a archivos sobre el almacenamiento de objetos, implementando protocolos de acceso a archivos como SMB y NFS.
Algunas grandes empresas de Internet desarrollaron su propio software cuando los productos de almacenamiento de objetos no estaban disponibles comercialmente o los casos de uso eran muy específicos. Facebook inventó su propio software de almacenamiento de objetos, cuyo nombre en código Haystack, para abordar de manera eficiente sus necesidades particulares de gestión de fotografías a gran escala. [18]
El almacenamiento de objetos en la capa de protocolo y dispositivo se propuso hace 20 años [ ambiguo ] y se aprobó para el conjunto de comandos SCSI hace casi 10 años [ ambiguo ] como "Comandos de dispositivo de almacenamiento basados en objetos" (OSD), [19] sin embargo, tenía no se puso en producción hasta el desarrollo de la plataforma Seagate Kinetic Open Storage. [20] [21] El conjunto de comandos SCSI para dispositivos de almacenamiento de objetos fue desarrollado por un grupo de trabajo del SNIA para el comité T10 del Comité Internacional de Estándares de Tecnología de la Información (INCITS). [22] T10 es responsable de todos los estándares SCSI.
Uno de los primeros productos de almacenamiento de objetos, Lustre , se utiliza en el 70% de las 100 supercomputadoras principales y en aproximadamente el 50% de las 500 principales . [23] Al 16 de junio de 2013, esto incluye 7 de los 10 primeros, incluido el actual cuarto sistema más rápido de la lista: el Tianhe-2 de China y el séptimo más rápido, la supercomputadora Titán en el Laboratorio Nacional de Oak Ridge . [24]
Los sistemas de almacenamiento de objetos tuvieron una buena adopción a principios de la década de 2000 como plataforma de archivo, particularmente a raíz de leyes de cumplimiento como Sarbanes-Oxley . Después de cinco años en el mercado, el producto Centera de EMC contaba con más de 3.500 clientes y 150 petabytes enviados en 2007. [25] El producto HCP de Hitachi también cuenta con muchos clientes a escala de petabytes . [26] Los sistemas de almacenamiento de objetos más nuevos también han ganado cierta popularidad, particularmente en torno a aplicaciones personalizadas de gran tamaño como el sitio de subastas de eBay, donde se utiliza EMC Atmos para gestionar más de 500 millones de objetos al día. [27] Al 3 de marzo de 2014, EMC afirma haber vendido más de 1,5 exabytes de almacenamiento Atmos. [28] El 1 de julio de 2014, el Laboratorio Nacional de Los Álamos eligió Scality RING como base para un entorno de almacenamiento de 500 petabytes, que estaría entre los más grandes jamás creados. [29]
Los sistemas de almacenamiento de objetos "cautivos" como Haystack de Facebook han crecido de manera impresionante. En abril de 2009, Haystack gestionaba 60 mil millones de fotografías y 1,5 petabytes de almacenamiento, añadiendo 220 millones de fotografías y 25 terabytes por semana. [18] Facebook declaró más recientemente que estaban agregando 350 millones de fotos al día y almacenaban 240 mil millones de fotos. [30] Esto podría equivaler a 357 petabytes. [31]
El almacenamiento en la nube se ha vuelto omnipresente a medida que muchas nuevas aplicaciones web y móviles lo eligen como una forma común de almacenar datos binarios . [32] Como back-end de almacenamiento para muchas aplicaciones populares como Smugmug y Dropbox , Amazon S3 ha crecido a escala masiva, citando más de 2 billones de objetos almacenados en abril de 2013. [33] Dos meses después, Microsoft afirmó que almacenaban incluso más objetos en Azure en 8,5 billones. [34] En abril de 2014, Azure afirmó tener más de 20 billones de objetos almacenados. [35] Windows Azure Storage gestiona blobs (archivos de usuario), tablas (almacenamiento estructurado) y colas (entrega de mensajes) y los cuenta todos como objetos. [36]
IDC ha comenzado a evaluar anualmente el mercado de almacenamiento basado en objetos utilizando su metodología MarketScape. IDC describe MarketScape como: "...una evaluación cuantitativa y cualitativa de las características que evalúan el éxito actual y futuro de un proveedor en dicho mercado o segmento de mercado y proporcionan una medida de su ascenso para convertirse en líder o mantener un liderazgo. IDC Las evaluaciones de MarketScape son particularmente útiles en los mercados emergentes que a menudo están fragmentados, tienen varios actores y carecen de líderes claros". [37]
En 2019, IDC calificó a Dell EMC , Hitachi Data Systems , IBM , NetApp y Scality como líderes.
En la primera versión del estándar OSD, los objetos [38] se especifican con una ID de partición de 64 bits y una ID de objeto de 64 bits. Las particiones se crean y eliminan dentro de un OSD, y los objetos se crean y eliminan dentro de las particiones. No hay tamaños fijos asociados con particiones u objetos; se les permite crecer sujetos a limitaciones de tamaño físico del dispositivo o restricciones de cuota lógica en una partición.
Un conjunto extensible de atributos describe objetos. Algunos atributos los implementa directamente el OSD, como el número de bytes de un objeto y el tiempo de modificación de un objeto. Hay un atributo de etiqueta de política especial que forma parte del mecanismo de seguridad. El OSD no interpreta otros atributos. Estos se configuran en objetos mediante sistemas de almacenamiento de nivel superior que utilizan el OSD para almacenamiento persistente. Por ejemplo, los atributos podrían usarse para clasificar objetos o para capturar relaciones entre diferentes objetos almacenados en diferentes OSD.
Un comando de lista devuelve una lista de identificadores de objetos dentro de una partición, opcionalmente filtrados por coincidencias con sus valores de atributos. Un comando de lista también puede devolver atributos seleccionados de los objetos enumerados.
Los comandos de lectura y escritura se pueden combinar o combinar con comandos para obtener y establecer atributos. Esta capacidad reduce la cantidad de veces que un sistema de almacenamiento de alto nivel tiene que cruzar la interfaz con el OSD, lo que puede mejorar la eficiencia general.
Una segunda generación del conjunto de comandos SCSI, "Dispositivos de almacenamiento basados en objetos - 2" (OSD-2), agregó soporte para instantáneas, colecciones de objetos y mejor manejo de errores. [39]
Una instantánea es una copia de un momento determinado de todos los objetos de una partición en una nueva partición. El OSD puede implementar una copia que ahorra espacio utilizando técnicas de copia en escritura para que las dos particiones compartan objetos que no cambian entre las instantáneas, o el OSD podría copiar físicamente los datos a la nueva partición. El estándar define clones, que se pueden escribir, y instantáneas, que son de solo lectura.
Una colección es un tipo especial de objeto que contiene los identificadores de otros objetos. Hay operaciones para agregar y eliminar de colecciones, y hay operaciones para obtener o establecer atributos para todos los objetos de una colección. Las colecciones también se utilizan para informar errores. Si un objeto resulta dañado por un defecto del medio (es decir, un punto defectuoso en el disco) o por un error de software dentro de la implementación OSD, su identificador se coloca en una colección de errores especial. El sistema de almacenamiento de nivel superior que utiliza el OSD puede consultar esta colección y tomar medidas correctivas según sea necesario.
La frontera entre un almacén de objetos y un almacén de valores-clave es borrosa, y a veces se hace referencia a los almacenes de valores-clave como almacenes de objetos.
Una interfaz de almacenamiento de bloques tradicional utiliza una serie de bloques de tamaño fijo que están numerados comenzando en 0. Los datos deben tener ese tamaño fijo exacto y pueden almacenarse en un bloque particular que se identifica por su número de bloque lógico (LBN). Posteriormente, se puede recuperar ese bloque de datos especificando su LBN único.
Con un almacén clave-valor, los datos se identifican mediante una clave en lugar de un LBN. Una clave podría ser "gato", "oliva" o "42". Puede ser una secuencia arbitraria de bytes de longitud arbitraria. Los datos (llamados valor en este lenguaje) no necesitan tener un tamaño fijo y también pueden ser una secuencia arbitraria de bytes de longitud arbitraria. Uno almacena datos presentando la clave y los datos (valor) en el almacén de datos y luego puede recuperar los datos presentando la clave. Este concepto se ve en los lenguajes de programación. Python los llama diccionarios, Perl los llama hashes, Java y C++ los llaman mapas, etc. Varios almacenes de datos también implementan almacenes clave-valor como Memcached, Redis y CouchDB.
Los almacenes de objetos son similares a los almacenes de valores clave en dos aspectos. Primero, el identificador de objeto o URL (el equivalente de la clave) puede ser una cadena arbitraria. [40] En segundo lugar, los datos pueden ser de un tamaño arbitrario.
Sin embargo, existen algunas diferencias clave entre los almacenes de valores-clave y los almacenes de objetos. En primer lugar, los almacenes de objetos también permiten asociar un conjunto limitado de atributos (metadatos) con cada dato. La combinación de una clave, un valor y un conjunto de atributos se denomina objeto. En segundo lugar, los almacenes de objetos están optimizados para grandes cantidades de datos (cientos de megabytes o incluso gigabytes), mientras que para los almacenes clave-valor se espera que el valor sea relativamente pequeño (kilobytes). Por último, los almacenes de objetos suelen ofrecer garantías de coherencia más débiles, como la coherencia eventual , mientras que los almacenes de valores clave ofrecen una coherencia sólida .
El almacenamiento de objetos puede funcionar bien para datos no estructurados en los que los datos se escriben una vez y se leen una vez (o muchas veces).
El contenido estático en línea, las copias de seguridad de datos, los archivos de imágenes, los vídeos, las imágenes y los archivos de música se pueden almacenar como objetos.