Motor de análisis distribuido de código abierto
Apache Kylin es un motor de análisis distribuido de código abierto diseñado para proporcionar una interfaz SQL y análisis multidimensional (OLAP) en Hadoop y Alluxio que admite conjuntos de datos extremadamente grandes.
Fue desarrollado originalmente por eBay y ahora es un proyecto de Apache Software Foundation . [3]
Historia
El proyecto Kylin se inició en 2013, en el departamento de I+D de eBay en Shanghai, China. En octubre de 2014, Kylin v0.6 se abrió en github.com con el nombre "KylinOLAP". [4]
En noviembre de 2014, Kylin se unió a la incubadora de Apache Software Foundation.
En diciembre de 2015, Apache Kylin se graduó como Proyecto de Nivel Superior. [3]
En marzo de 2016, los creadores de Apache Kylin fundaron Kyligence, Inc.. [5] [6] Kyligence proporciona una plataforma de análisis comercial basada en Apache Kylin para conjuntos de datos locales y basados en la nube. [7]
Arquitectura
Apache Kylin está construido sobre Apache Hadoop, Apache Hive, Apache HBase, Apache Parquet, Apache Calcite, Apache Spark y otras tecnologías. [8] Estas tecnologías permiten a Kylin escalar fácilmente para soportar cargas de datos masivas. [9]
Kylin tiene los siguientes componentes principales: [10] [8]
- Servidor REST: recibe y responde solicitudes de usuarios o API
- Metadatos: sistema persistente y de gestión, especialmente los metadatos del cubo;
- Motor de consultas: analiza las consultas SQL según el plan de ejecución y luego habla con el motor de almacenamiento;
- Motor de almacenamiento: pushdown y escaneo del almacenamiento del cubo subyacente (predeterminado en HBase);
- Motor de trabajo: genere y ejecute trabajos MapReduce o Spark para generar datos de origen en un cubo;
Usuarios
Muchas empresas han adoptado Apache Kylin como plataforma OLAP en producción. Los usuarios típicos incluyen eBay, Meituan, XiaoMi, NetEase, Beike, Yahoo! Japón.
Mapa vial
Hoja de ruta de Apache Kylin (del sitio web de Kylin [11] ):
- Compatibilidad con Hadoop 3.0 (codificación de borrado): completada (v2.5)
- Completamente en el motor Spark Cube - completado (v2.5)
- Conecte más fuentes de datos (MySQL, Oracle, SparkSQL, etc.) - completado (v2.6)
- Análisis en tiempo real con Lambda Architecture: completado (v3.0)
- Almacenamiento nativo en la nube (Parquet) - En progreso (v4.0.0-alfa)
- Consultas ad hoc sin Cubing
Referencias
- ^ "Versión anterior". v0.7.1-incubating (Primera versión de Apache) . Consultado el 15 de junio de 2019 .
- ^ ab "Apache Kylin - Notas de la versión" . Consultado el 27 de septiembre de 2022 .
- ^ ab Fundación de software Apache. "La Apache Software Foundation anuncia Apache Kylin como un proyecto de alto nivel", 8 de diciembre de 2015
- ^ "Anuncio de Kylin: motor OLAP extremo para Big Data". www.ebayinc.com . 2014-10-20 . Consultado el 8 de noviembre de 2018 .
- ^ "Apache Kylin a través de los ojos de los fundadores - Primera parte". Kyligencia . 2020-06-12 . Consultado el 30 de septiembre de 2020 .
- ^ "Plataforma de análisis de big data | Obtenga más información sobre Kyligence". Kyligencia . Consultado el 30 de septiembre de 2020 .
- ^ "Plataforma de análisis de big data: Apache Kylin frente a Kyligence". Kyligencia . Consultado el 30 de septiembre de 2020 .
- ^ ab "Apache Kylin | Almacén de datos analíticos para Big Data". kylin.apache.org . Consultado el 30 de septiembre de 2020 .
- ^ Knorr, Eric (7 de marzo de 2016). "Cómo se ve eBay debajo del capó". InfoMundo . Consultado el 30 de septiembre de 2020 .
- ^ "Apache Kylin agrega OLAP en tiempo real". www.i-programmer.info . Consultado el 30 de septiembre de 2020 .
- ^ Kylin, apache. "Apache Kylin | Guía rápida de desarrollo". kylin.apache.org . Consultado el 30 de septiembre de 2020 .
