Apache Parquet es un formato de almacenamiento de datos en columnas gratuito y de código abierto en el ecosistema Apache Hadoop . Es similar a RCFile y ORC , los otros formatos de archivos de almacenamiento en columnas de Hadoop , y es compatible con la mayoría de los marcos de procesamiento de datos relacionados con Hadoop . Proporciona esquemas de codificación y compresión de datos eficientes con un rendimiento mejorado para manejar datos complejos en masa.
El proyecto de código abierto para crear Apache Parquet comenzó como un esfuerzo conjunto entre Twitter [3] y Cloudera . [4] Parquet fue diseñado como una mejora del formato de almacenamiento en columnas Trevni creado por Doug Cutting , el creador de Hadoop. La primera versión, Apache Parquet 1.0, se lanzó en julio de 2013. Desde el 27 de abril de 2015, Apache Parquet ha sido un proyecto de alto nivel patrocinado por la Apache Software Foundation (ASF). [5] [6]
Apache Parquet se implementa utilizando el algoritmo de ensamblaje y destrucción de registros [7] , que se adapta a las estructuras de datos complejas que se pueden utilizar para almacenar datos. [8] Los valores de cada columna se almacenan en ubicaciones de memoria contiguas, lo que proporciona los siguientes beneficios: [9]
Apache Parquet se implementa utilizando el marco Apache Thrift , lo que aumenta su flexibilidad; puede funcionar con varios lenguajes de programación como C++ , Java , Python , PHP , etc. [10]
A partir de agosto de 2015, [11] Parquet es compatible con los marcos de procesamiento de big data, incluidos Apache Hive , Apache Drill , Apache Impala , Apache Crunch, Apache Pig , Cascading , Presto y Apache Spark . Es uno de los formatos de datos externos utilizados por la biblioteca de análisis y manipulación de datos de Python de Pandas .
En Parquet, la compresión se realiza columna por columna, lo que permite utilizar distintos esquemas de codificación para datos de texto y enteros. Esta estrategia también deja la puerta abierta para que se implementen esquemas de codificación más nuevos y mejores a medida que se inventen.
Parquet tiene una codificación de diccionario automática habilitada dinámicamente para datos con una pequeña cantidad de valores únicos (es decir, por debajo de 10 5 ) que permite una compresión significativa y aumenta la velocidad de procesamiento. [12]
El almacenamiento de números enteros se realiza normalmente con 32 o 64 bits dedicados para cada número entero. En el caso de números enteros pequeños, agrupar varios números enteros en el mismo espacio hace que el almacenamiento sea más eficiente. [12]
Para optimizar el almacenamiento de múltiples ocurrencias del mismo valor, se almacena un único valor una vez junto con el número de ocurrencias. [12]
Parquet implementa un híbrido de empaquetamiento de bits y RLE, en el que la codificación cambia en función de la que produzca los mejores resultados de compresión. Esta estrategia funciona bien para ciertos tipos de datos enteros y se combina bien con la codificación de diccionario. [12]
Apache Parquet es comparable a los formatos de archivo RCFile y ORC (Optimized Row Columnar) : los tres entran en la categoría de almacenamiento de datos en columnas dentro del ecosistema Hadoop. Todos tienen mejor compresión y codificación con un rendimiento de lectura mejorado a costa de escrituras más lentas. Además de estas características, Apache Parquet admite una evolución de esquema limitada [ cita requerida ] , es decir, el esquema se puede modificar de acuerdo con los cambios en los datos. También proporciona la capacidad de agregar nuevas columnas y fusionar esquemas que no entren en conflicto.
Apache Arrow está diseñado como un complemento en memoria para formatos en columnas en disco como Parquet y ORC. Los proyectos Arrow y Parquet incluyen bibliotecas que permiten la lectura y escritura entre los dos formatos. [ cita requerida ]
Las implementaciones conocidas de Parquet son:
.svg/1280px-Free_and_open-source_software_logo_(2009).svg.png){kind=logo}