Apache IoTDB es un sistema de gestión de bases de datos de series temporales (TSDB) de código abierto y orientado a columnas escrito en Java . [1] Tiene versiones tanto de borde como de nube, proporciona un formato de archivo en columnas optimizado para un almacenamiento eficiente de datos de series temporales y TSDB con alta tasa de ingesta, consultas de baja latencia y soporte de análisis de datos. Está especialmente optimizado para operaciones orientadas a series temporales como consultas de agregaciones , submuestreo y búsqueda de similitud de subsecuencias. El nombre IoTDB proviene de Internet of Things (IoT) Database, lo que significa que fue diseñado como un TSDB nativo de IoT que resuelve los puntos débiles de los escenarios típicos de IoT, incluida la generación masiva de datos, muestreo de alta frecuencia, datos fuera de orden, requisitos de análisis específicos, altos costos de almacenamiento y operación y mantenimiento, baja potencia computacional de los dispositivos IoT. [2]
Apache IoTDB es un proyecto iniciado por el equipo del profesor Jianmin Wang en la Escuela de Software de la Universidad de Tsinghua . [1] En 2011, el equipo decidió utilizar tecnología NoSQL de código abierto en lugar de Oracle para un proyecto de gestión masiva de datos de máquinas y se dio cuenta de la insuficiencia de NoSQL en los escenarios de Internet industrial de las cosas (IIoT). El equipo comenzó a desarrollar un sistema de gestión de datos y propuso formalmente TsFile, [3] un formato de almacenamiento de archivos compactos en columnas optimizado para datos de series temporales, en marzo de 2016. El código fuente se abrió luego en GitHub .
En junio de 2016, basándose en TsFile, el equipo comenzó a desarrollar IoTDB, una base de datos IIoT que admite lectura, escritura y análisis en tiempo real.
En noviembre de 2018, el proyecto IoTDB entró en la incubadora de la Apache Software Foundation (ASF). [4]
El 16 de septiembre de 2020, la ASF emitió oficialmente una resolución para promover Apache IoTDB al Proyecto de Nivel Superior (TLP) global luego de una votación de discusión pública por parte de la comunidad y una votación a mano alzada por parte de la junta. [1] [5]
El sistema de almacenamiento completo de Apache IoTDB sigue una arquitectura cliente-servidor, que incluye el motor IoTDB (servidor) y varios componentes como la suite IoTDB (cliente). La suite IoTDB puede proporcionar una serie de funciones en la situación real, como la recopilación de datos, la escritura de datos, el almacenamiento de datos, la consulta de datos, la visualización de datos y el análisis de datos. Esto permite que los datos recopilados por el sensor persistan constantemente en el servidor, donde los datos pueden usarse para consultas nativas o enviarse a otras plataformas de código abierto para el análisis de datos. En particular, IoTDB proporciona un modo llamado "Cooperación Edge-Cloud", que puede sincronizar los datos recopilados en cada intervalo configurado por el usuario desde una instancia de IoTDB a otra utilizando la herramienta Sync. [6] [7]
Los usuarios pueden usar JDBC para escribir datos de series temporales en una base de datos IoTDB local o remota. Estos datos de series temporales pueden representar datos de estado del sistema (como la carga del servidor y la memoria de la CPU, etc.), datos de colas de mensajes, datos de series temporales de aplicaciones u otros datos de series temporales en la base de datos. Los datos se pueden escribir directamente en TsFile de forma local o en el sistema de archivos distribuido Hadoop (HDFS).
TsFile es un formato de archivo de almacenamiento en columnas desarrollado para acceder, comprimir y almacenar datos de series temporales en Apache IoTDB. Su estructura se basa en LSM-Tree , lo que reduce los recursos computacionales y optimiza el rendimiento de Apache IoTDB. [3] [8]
TsFile podría escribirse en HDFS, implementando así tareas de procesamiento de datos como detección de anomalías y aprendizaje automático en la plataforma de procesamiento de datos Hadoop o Spark.
Para los datos escritos en HDFS o TsFile local, los usuarios pueden utilizar TsFile-Hadoop-Connector o TsFile-Spark-Connector para permitir que Hadoop o Spark procesen los datos. Los resultados del análisis se pueden volver a escribir en TsFile de la misma manera. Además, IoTDB y TsFile proporcionan herramientas de cliente para satisfacer las diversas necesidades de los usuarios en la escritura y visualización de datos en formato SQL , formato de script y formato gráfico. [2] [9] [10] [11] [12] [13]
IoTDB está diseñado para adaptarse a tres escenarios de implementación: 1) almacenamiento basado en archivos o base de datos de series temporales integrada en un dispositivo de borde como Raspberry Pi, 2) TSDB independiente en una PC industrial y 3) TSDB distribuido o clúster Hadoop con TsFile. IoTDB ofrece a los usuarios una herramienta de instalación con un solo clic en la nube, una herramienta de terminal que se utiliza una vez descomprimida y una herramienta de conexión entre las plataformas de la nube y las herramientas de terminal (herramienta de sincronización de datos). [2] [6]
IoTDB puede alcanzar una alta relación de compresión de almacenamiento en disco, lo que significa que IoTDB puede almacenar la misma cantidad de datos con un menor costo de disco de hardware. [2] [3] [14]
IoTDB admite la organización eficiente de estructuras de datos de series temporales complejas de dispositivos de red inteligentes, la organización de datos de series temporales de dispositivos del mismo tipo y una estrategia de búsqueda difusa para directorios masivos y complejos de datos de series temporales. [1] [2] [3]
IoTDB admite el acceso a datos de conexión sólida de millones de dispositivos de bajo consumo, la lectura y escritura de datos a alta velocidad para dispositivos de red inteligentes y dispositivos mixtos mencionados anteriormente. Actualmente, IoTDB admite una tasa de ingesta de hasta 30 millones de puntos de datos por segundo en un solo nodo. [1] [2] [14] [15]
IoTDB admite la alineación temporal de datos de series temporales en todos los dispositivos y sensores, el cálculo en el campo de series temporales (transformación del dominio de frecuencia) y un amplio soporte de funciones de agregación en la dimensión temporal. [2] [14]
IoTDB admite lenguaje similar a SQL, API estándar JDBC y herramientas de importación/exportación que son fáciles de usar. [1] [2] [14]
IoTDB es compatible con los ecosistemas de análisis Hadoop, Spark , etc. y la herramienta de visualización Grafana . [1] [2] [16]
La licencia Apache 2.0 es una licencia de software libre permisiva escrita por la Apache Software Foundation. Permite a los usuarios finales modificar partes del código original siempre que contenga la documentación adecuada que Apache requiere dentro del código redistribuido. [17]