Apache Pig [1] es una plataforma de alto nivel para crear programas que se ejecutan en Apache Hadoop . El lenguaje para esta plataforma se llama Pig Latin . [1] Pig puede ejecutar sus trabajos de Hadoop en MapReduce , Apache Tez o Apache Spark . [2] Pig Latin abstrae la programación del idioma MapReduce de Java en una notación que hace que la programación de MapReduce sea de alto nivel, similar a la de SQL para sistemas de administración de bases de datos relacionales . Pig Latin se puede ampliar utilizando funciones definidas por el usuario (UDF) que el usuario puede escribir en Java , Python , JavaScript , Ruby o Groovy [3] y luego llamar directamente desde el lenguaje.
Apache Pig fue desarrollado originalmente [4] en Yahoo Research alrededor de 2006 para que los investigadores tuvieran una forma ad hoc de crear y ejecutar trabajos de MapReduce en conjuntos de datos muy grandes. En 2007, [5] se trasladó a la Apache Software Foundation .
En cuanto al nombre del lenguaje de programación Pig, el nombre fue elegido arbitrariamente y se mantuvo porque era memorable, fácil de deletrear y por novedad. [7] [8] [9]
Según cuenta la historia, los investigadores que trabajaban en el proyecto inicialmente se referían a él simplemente como "el lenguaje". Con el tiempo, tuvieron que darle un nombre. De repente, un investigador sugirió Pig, y el nombre se quedó. Es peculiar, pero fácil de recordar y de escribir. Si bien algunos han insinuado que el nombre suena tímido o tonto, nos ha proporcionado una nomenclatura entretenida, como Pig Latin para el lenguaje, Grunt para el shell y PiggyBank para el repositorio compartido similar a CPAN.
— Alan Gates, Daniel Dai, "¿Qué es Pig?", Programming Pig, 2.ª edición (noviembre de 2017)
A continuación se muestra un ejemplo de un programa de " Conteo de palabras " en Pig Latin:
input_lines = LOAD '/tmp/mi-copia-de-todas-las-paginas-en-internet' AS ( linea: chararray ); -- Extrae palabras de cada línea y colócalas en una bolsa -- tipo de datos, luego aplana la bolsa para obtener una palabra en cada fila words = FOREACH input_lines GENERATE FLATTEN ( TOKENIZE ( linea )) AS palabra; -- filtra cualquier palabra que sea solo un espacio en blanco filtered_words = FILTER words BY word MATCHES '\\w+' ; -- crea un grupo para cada palabra word_groups = GROUP filtered_words BY palabra; -- cuenta las entradas en cada grupo word_count = FOREACH word_groups GENERATE COUNT ( filtered_words ) AS count , group AS palabra; -- ordena los registros por conteo ordered_word_count = ORDER word_count BY count DESC ; STORE ordered_word_count INTO '/tmp/numero-de-palabras-en-internet' ; El programa anterior generará tareas ejecutables paralelas que pueden distribuirse entre múltiples máquinas en un clúster Hadoop para contar la cantidad de palabras en un conjunto de datos, como todas las páginas web en Internet.
En comparación con SQL, Pig
Por otra parte, se ha sostenido que los DBMS son sustancialmente más rápidos que el sistema MapReduce una vez cargados los datos, pero que la carga de los datos lleva considerablemente más tiempo en los sistemas de bases de datos. También se ha sostenido que los RDBMS ofrecen soporte listo para usar para el almacenamiento en columnas, el trabajo con datos comprimidos, índices para un acceso aleatorio eficiente a los datos y tolerancia a fallas a nivel de transacción. [10]
Pig Latin es procedimental y encaja de forma muy natural en el paradigma de pipeline, mientras que SQL es, en cambio, declarativo . En SQL, los usuarios pueden especificar que los datos de dos tablas deben unirse, pero no qué implementación de unión utilizar (se puede especificar la implementación de JOIN en SQL, por lo que "... para muchas aplicaciones SQL, el autor de la consulta puede no tener suficiente conocimiento de los datos o la suficiente experiencia para especificar un algoritmo de unión apropiado"). Pig Latin permite a los usuarios especificar una implementación o aspectos de una implementación que se utilizarán en la ejecución de un script de varias formas. [11] En efecto, la programación en Pig Latin es similar a especificar un plan de ejecución de consultas, lo que facilita a los programadores controlar explícitamente el flujo de su tarea de procesamiento de datos. [12]
SQL está orientado a consultas que producen un único resultado. SQL maneja árboles de forma natural, pero no tiene un mecanismo incorporado para dividir un flujo de procesamiento de datos y aplicar operadores diferentes a cada subflujo. La escritura pig latin describe un gráfico acíclico dirigido (DAG) en lugar de una secuencia de comandos. [11]
La capacidad de Pig Latin de incluir código de usuario en cualquier punto del pipeline es útil para el desarrollo del pipeline. Si se utiliza SQL, primero se deben importar los datos a la base de datos y luego puede comenzar el proceso de limpieza y transformación. [11]
{{cite book}}: Mantenimiento de CS1: falta la ubicación del editor ( enlace )