stringtranslate.com

Haz Apache

Apache Beam es un modelo de programación unificado de código abierto para definir y ejecutar pipelines de procesamiento de datos , incluyendo ETL , procesamiento por lotes y de flujo (continuo). [2] Los pipelines de Beam se definen utilizando uno de los SDK proporcionados y se ejecutan en uno de los ejecutores compatibles de Beam ( back-ends de procesamiento distribuido ), incluidos Apache Flink , Apache Samza , Apache Spark y Google Cloud Dataflow . [3]

Historia

Apache Beam [3] es una implementación del modelo Dataflow del documento. [4] El modelo Dataflow se basa en trabajos previos sobre abstracciones de procesamiento distribuido en Google, en particular en FlumeJava [5] y Millwheel. [6] [7]

En 2014, Google lanzó una implementación SDK abierta del modelo Dataflow y un entorno para ejecutar Dataflows localmente (no distribuidos), así como en el servicio Google Cloud Platform .

Cronología

Apache Beam realiza lanzamientos menores cada 6 semanas. [8]

Véase también

Referencias

  1. ^ "Blogs". beam.apache.org . The Apache Software Foundation . Consultado el 6 de agosto de 2024 .
  2. ^ Woodie, Alex (22 de abril de 2016). "El ambicioso objetivo de Apache Beam: unificar el desarrollo de Big Data". Datanami . Consultado el 4 de agosto de 2016 .
  3. ^ ab "Cloud Dataflow - Procesamiento de datos por lotes y en flujo".
  4. ^ Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (1 de agosto de 2015). "El modelo de flujo de datos" (PDF) . Actas de la Fundación VLDB . 8 (12): 1792–1803. doi :10.14778/2824032.2824076 . Consultado el 4 de agosto de 2016 .
  5. ^ Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (1 de enero de 2010). "FlumeJava: canalizaciones de datos en paralelo fáciles y eficientes". Actas de la 31.ª Conferencia SIGPLAN de la ACM sobre diseño e implementación de lenguajes de programación (PDF) . ACM. págs. 363–375. doi :10.1145/1806596.1806638. ISBN . 9781450300193. S2CID  14888571. Archivado desde el original (PDF) el 23 de septiembre de 2016 . Consultado el 4 de agosto de 2016 .
  6. ^ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (27 de agosto de 2013). "MillWheel" (PDF) . Actas de la Fundación VLDB . 6 (11): 1033–1044. doi :10.14778/2536222.2536229. Archivado desde el original (PDF) el 1 de febrero de 2016 . Consultado el 4 de agosto de 2016 .
  7. ^ Pointer, Ian (14 de abril de 2016). "Apache Beam quiere ser una API superrápida para big data". InfoWorld . Consultado el 4 de agosto de 2016 .
  8. ^ "Políticas". beam.apache.org . Consultado el 21 de abril de 2022 .