SQLstream es una plataforma distribuida de procesamiento de flujos de datos compatible con los estándares SQL y Java. SQLstream, Inc. tiene su sede en San Francisco , California , y fue fundada en 2009 por Damian Black, Edan Kabatchnik y Julian Hyde, autores del motor de servidor OLAP relacional Mondrian de código abierto .
En 2016, SQLstream anunció que había licenciado un subconjunto de SQLstream Blaze, su suite de productos estrella, a AWS de Amazon para su servicio Kinesis Analytics que proporciona información y transformaciones en tiempo real en streaming para los clientes de Amazon a los flujos de datos de Kinesis. En el mismo año, Forrester ya había publicado su informe Wave sobre Streaming Analytics colocando a SQLstream en el Leadership Circle (su alternativa al Magic Quadrant de Gartner). Ese año, SQLstream también anunció que Kontron, el segundo proveedor de sistemas integrados más grande del mundo , había estandarizado SQLstream Blaze para su adquisición de datos de IoT , análisis y acción y panel de control en tiempo real y está integrado dentro de los IoT Gateways de Kontron. SQLstream fue incluido por cuarto año consecutivo en el DBTA 100 (revista Database Trends and Applications), que es su lista de las 100 empresas que más importan en datos. Ese mismo año, anunciaron Rubicon, una empresa que cotiza en bolsa y es líder en publicidad en tiempo real, para proporcionar información en tiempo real sobre volúmenes masivos de datos, reduciendo la latencia de tres horas con Hadoop a casi tiempo real y reduciendo la cantidad de servidores necesarios para realizar dichos análisis de 180 servidores a 12 servidores.
El rápido aumento del volumen de datos disponibles sobre servicios, dispositivos y sensores ha dado lugar a nuevos segmentos de mercado en tiempo real que amplían los dominios tradicionales de monitorización, inteligencia empresarial y almacenamiento de datos . [1] La Internet de las cosas promete conectar cientos de miles de millones de dispositivos a Internet, todos ellos transmitiendo datos que deben procesarse en conjunto en tiempo real para impulsar servicios inteligentes que puedan reaccionar y responder a su entorno a través de estos sensores. Los sistemas de análisis de datos almacenados, en los que se actualiza continuamente el almacén de datos con los nuevos datos que llegan y se vuelven a recorrer los datos almacenados para realizar análisis sobre ellos, no son escalables para los grandes volúmenes de datos emitidos en la Internet de las cosas. No están diseñados para emitir consultas o análisis para cada uno de los millones de registros por segundo. Aquí es donde entran en juego tecnologías como SQLstream, que procesan los datos de forma incremental y continua, sin almacenarlos primero. Este enfoque se denomina procesamiento de flujo. Toda esta información se publicó en comunicados de prensa públicos.
SQLstream proporciona una plataforma de procesamiento de flujo relacional denominada SQLstream Blaze para analizar grandes volúmenes de datos de servicios, sensores, máquinas y archivos de registro en tiempo real. Realiza la recopilación, agregación, integración, enriquecimiento y análisis en tiempo real de los datos de transmisión. Los flujos de datos se analizan utilizando el lenguaje SQL estándar de la industria , utilizando la función de ventana SQL funcionalmente rica del estándar ANSI para analizar y agregar datos de transmisión en tiempo real en ventanas de tiempo fijas o móviles, que se pueden dividir aún más mediante claves definidas por el usuario. A diferencia de una consulta SQL RDBMS tradicional , que devuelve un resultado y sale, las consultas SQL de transmisión no salen, generando resultados de forma continua tan pronto como hay nuevos datos disponibles. Los patrones y eventos de excepción en los flujos de datos se detectan, analizan y notifican "sobre la marcha" a medida que llegan los datos, es decir, antes de que se almacenen. Al igual que una base de datos o un almacén de datos, SQLstream le permite crear múltiples vistas sobre los datos para que diferentes aplicaciones y usuarios puedan obtener su propia vista personalizada de los datos de transmisión. La partición permite que se calculen de forma incremental muchos análisis diferentes utilizando una única declaración o ventana SQL, lo que permite procesar de forma eficaz millones de flujos con una única declaración. Por ejemplo, la partición por ID de cliente mantendría un cálculo independiente para cada cliente distinto. Esto es extremadamente conciso, pero también permite una ejecución paralela eficiente. SQLstream Blaze también permite realizar cambios en las consultas y vistas sin tener que cerrar y volver a compilar las aplicaciones existentes. Esto es muy importante para muchos servicios de Internet de las cosas y otros servicios inteligentes que deben funcionar las 24 horas del día, los 7 días de la semana, de forma continua en tiempo real, donde se deben realizar cambios en las aplicaciones sin necesidad de cerrar el servicio o reconstruir la aplicación. Como parte de SQLstream Blaze, StreamLab aprovecha esta capacidad para guiar a los usuarios que desean explorar flujos de datos y comprender su estructura mientras los datos siguen fluyendo, generando nuevas consultas SQL sobre la marcha en función de la dirección del usuario y el análisis de los valores de los datos impulsados por reglas. De esta forma, proporciona una plataforma eficaz para realizar inteligencia operativa en tiempo real, que puede verse como inteligencia empresarial en tiempo real sobre la transmisión de datos operativos. SQLstream utiliza tecnología de flujo de datos para ejecutar muchas consultas sobre grandes volúmenes de datos a gran velocidad con un motor SQL compatible con estándares y de paralelismo masivo, en el que las consultas se ejecutan de forma simultánea e incremental. A diferencia de las bases de datos, SQL en SQLstream se convierte en un lenguaje para realizar un procesamiento paralelo continuo, en contraste con un lenguaje para la recuperación de datos, como el que se encuentra comúnmente en las bases de datos relacionales. SQLstream puede ejecutar sus consultas en un flujo de datos multiproceso optimizado de C++. Motor que funciona sin bloqueos . Esto permite crear fácilmente aplicaciones de procesamiento paralelo sin bloqueos , que de otro modo requieren habilidades especializadas y suelen ser difíciles de poner en funcionamiento y propensas a errores.
Las aplicaciones de SQLstream Blaze incluyen la gestión de datos de sensores y servicios en tiempo real (Internet de las cosas), la integración de datos en tiempo real, el análisis de archivos de registro en tiempo real y el almacenamiento de datos en tiempo real. [2] [3] SQLstream Blaze proporciona una forma eficaz de procesar grandes volúmenes de datos en tiempo real, lo que permite que una amplia variedad de servicios inteligentes respondan en tiempo real a la transmisión de datos incluso en volúmenes de datos masivos.
SQLstream lanzó su primer producto al mercado en enero de 2008. Su software de procesamiento de flujo se llama SQLstream Blaze, que incluye s-Server, s-Studio, s-Dashboard, s-Visualizer y StreamLab. También tiene plantillas de aplicaciones de transmisión que los usuarios pueden editar y ampliar y que se conocen como StreamApps. SQLstream tiene una StreamApp de ciudades inteligentes, una StreamApp de telecomunicaciones y una StreamApp de servicios de emergencia. En el sitio web también se ofrecen servicios profesionales de estrategia, certificación y capacitación.