Motor de análisis distribuido de código abierto
Apache Kylin es un motor de análisis distribuido de código abierto diseñado para proporcionar una interfaz SQL y análisis multidimensional (OLAP) en Hadoop y Alluxio compatible con conjuntos de datos extremadamente grandes.
Fue desarrollado originalmente por eBay y ahora es un proyecto de la Apache Software Foundation . [3]
Historia
El proyecto Kylin se inició en 2013 en el centro de investigación y desarrollo de eBay en Shanghái, China. En octubre de 2014, Kylin v0.6 se publicó en código abierto en github.com con el nombre "KylinOLAP". [4]
En noviembre de 2014, Kylin se unió a la incubadora Apache Software Foundation.
En diciembre de 2015, Apache Kylin se graduó como Proyecto de Nivel Superior. [3]
En marzo de 2016, los creadores de Apache Kylin fundaron Kyligence, Inc. [5] [6] Kyligence ofrece una plataforma de análisis comercial basada en Apache Kylin para conjuntos de datos locales y basados en la nube. [7]
Arquitectura
Apache Kylin está construido sobre Apache Hadoop, Apache Hive, Apache HBase, Apache Parquet, Apache Calcite, Apache Spark y otras tecnologías. [8] Estas tecnologías permiten que Kylin escale fácilmente para soportar cargas de datos masivas. [9]
Kylin tiene los siguientes componentes principales: [10] [8]
- Servidor REST: recibe y responde a solicitudes de usuarios o API
- Metadatos: Sistema persistente y de gestión, especialmente los metadatos del cubo;
- Motor de consulta: analiza las consultas SQL en el plan de ejecución y luego habla con el motor de almacenamiento;
- Motor de almacenamiento: Pushdown y escaneo del almacenamiento del cubo subyacente (predeterminado en HBase);
- Motor de trabajo: genere y ejecute un trabajo de MapReduce o Spark para crear datos de origen en un cubo;
Usuarios
Muchas empresas han adoptado Apache Kylin como plataforma OLAP en producción. Entre los usuarios más habituales se encuentran eBay, Meituan, XiaoMi, NetEase, Beike y Yahoo! Japón.
Hoja de ruta
Hoja de ruta de Apache Kylin (del sitio web de Kylin [11] ):
- Compatibilidad con Hadoop 3.0 (codificación de borrado): completada (v2.5)
- Completamente en el motor Spark Cube: completado (v2.5)
- Conectar más fuentes de datos (MySQL, Oracle, SparkSQL, etc.) - completado (v2.6)
- Análisis en tiempo real con Lambda Architecture: versión finalizada (v3.0)
- Almacenamiento nativo en la nube (Parquet): en proceso (v4.0.0-alpha)
- Consultas ad hoc sin Cubing
Referencias
- ^ "Versión anterior". v0.7.1-incubating (primera versión de Apache) . Consultado el 15 de junio de 2019 .
- ^ ab "Apache Kylin - Notas de la versión" . Consultado el 27 de septiembre de 2022 .
- ^ de Apache Software Foundation. "La Apache Software Foundation anuncia a Apache Kylin como un proyecto de alto nivel", 8 de diciembre de 2015
- ^ "Anuncio de Kylin: motor OLAP extremo para Big Data". www.ebayinc.com . 2014-10-20 . Consultado el 2018-11-08 .
- ^ "Apache Kylin a través de los ojos de los fundadores - Primera parte". Kyligence . 2020-06-12 . Consultado el 2020-09-30 .
- ^ "Plataforma de análisis de big data | Obtenga más información sobre Kyligence". Kyligence . Consultado el 30 de septiembre de 2020 .
- ^ "Plataforma de análisis de big data: Apache Kylin frente a Kyligence". Kyligence . Consultado el 30 de septiembre de 2020 .
- ^ ab "Apache Kylin | Almacén de datos analíticos para Big Data". kylin.apache.org . Consultado el 30 de septiembre de 2020 .
- ^ Knorr, Eric (7 de marzo de 2016). "Cómo se ve eBay bajo el capó". InfoWorld . Consultado el 30 de septiembre de 2020 .
- ^ "Apache Kylin agrega OLAP en tiempo real". www.i-programmer.info . Consultado el 30 de septiembre de 2020 .
- ^ Kylin, Apache. "Apache Kylin | Guía rápida de desarrollo". kylin.apache.org . Consultado el 30 de septiembre de 2020 .
