stringtranslate.com

Malla de datos

La malla de datos es un enfoque sociotécnico para construir una arquitectura de datos descentralizada aprovechando un diseño de autoservicio orientado al dominio (en una perspectiva de desarrollo de software), y toma prestada la teoría de diseño impulsado por el dominio de Eric Evans [1] y la teoría de topologías de equipo de Manuel Pais y Matthew Skelton. [2] La malla de datos se ocupa principalmente de los datos en sí, tomando el lago de datos y las canalizaciones como una preocupación secundaria. [3] La propuesta principal es escalar los datos analíticos mediante la descentralización orientada al dominio. [4] Con la malla de datos, la responsabilidad de los datos analíticos se traslada del equipo de datos central a los equipos de dominio, respaldados por un equipo de plataforma de datos que proporciona una plataforma de datos independiente del dominio. [5] Esto permite una disminución del desorden de datos o la existencia de silos de datos aislados , debido a la presencia de un sistema centralizado que asegura el intercambio consistente de principios fundamentales en varios nodos dentro de la malla de datos y permite el intercambio de datos en diferentes áreas. [6]

Historia

El término malla de datos fue definido por primera vez por Zhamak Dehghani en 2019 [7] mientras trabajaba como consultora principal en la empresa de tecnología Thoughtworks . [8] [9] Dehghani introdujo el término en 2019 y luego proporcionó mayores detalles sobre sus principios y arquitectura lógica a lo largo de 2020. Se predijo que el proceso sería un "gran contendiente" para las empresas en 2022. [10] [11] Las mallas de datos han sido implementadas por empresas como Zalando , [12] Netflix , [13] Intuit , [14] VistaPrint , PayPal [15] y otras.

En 2022, Dehghani dejó Thoughtworks para fundar Nextdata Technologies y centrarse en datos descentralizados. [16]

Principios

La malla de datos se basa en cuatro principios básicos: [17]

Además de estos principios, Dehghani escribe que los productos de datos creados por cada equipo de dominio deben ser detectables, direccionables, confiables, poseer una semántica y una sintaxis autodescriptivas, ser interoperables, seguros y regidos por estándares globales y controles de acceso. [19] En otras palabras, los datos deben tratarse como un producto listo para usar y confiable. [20]

En la práctica

Después de su introducción en 2019 [7], varias empresas comenzaron a implementar una malla de datos [12] [14] [15] y a compartir sus experiencias. Los desafíos (C) y las mejores prácticas (BP) para los profesionales incluyen:

C1. Gobernanza de datos federada
Las empresas informan que tienen dificultades para adoptar una estructura de gobernanza federada para actividades y procesos que antes eran de propiedad central y se aplicaban de manera centralizada. Esto es especialmente cierto en lo que respecta a la seguridad, la privacidad y los temas regulatorios. [21] [22] [23]
C2. Cambio de responsabilidad
En la malla de datos, los individuos dentro de los dominios son responsables de extremo a extremo de los productos de datos. Esta nueva responsabilidad puede ser un desafío, porque rara vez se compensa y generalmente beneficia a otros dominios. [21] [22]
C3. Comprensión
Las investigaciones han demostrado una grave falta de comprensión del paradigma de la malla de datos entre los empleados de las empresas que implementan una malla de datos. [21]
BP1. Unidad interdominio
Para abordar el C1, las organizaciones deben introducir una unidad de dirección interdisciplinaria responsable de la planificación estratégica, la priorización de los casos de uso y la aplicación de reglas de gobernanza específicas, especialmente en lo que respecta a temas relacionados con la seguridad, la normativa y la privacidad. Sin embargo, una unidad de dirección interdisciplinaria solo puede complementar y respaldar la estructura de gobernanza federada y puede volverse obsoleta con la creciente madurez de la malla de datos. [21] [24]
BP2. Seguimiento y observación
Al abordar C2., las organizaciones deben observar y calificar la calidad de los productos de datos, ya que el seguimiento y la clasificación de los productos de datos clave pueden fomentar ofertas de alta calidad, motivar a los propietarios de dominios y respaldar las negociaciones presupuestarias. [21]
BP3. Adopción consciente
Las organizaciones deben evaluar y analizar en profundidad sus sistemas de datos existentes, considerar los factores organizacionales y sopesar los posibles beneficios antes de implementar una malla de datos. Al introducir una malla de datos, se recomienda introducir la terminología de la malla de datos de manera cuidadosa y consciente para garantizar una comprensión clara del concepto (C3). [21]

Comunidad

Scott Hirleman ha iniciado una comunidad de malla de datos que contiene más de 7.500 personas en su canal de Slack. [25]

Véase también

Referencias

  1. ^ Evans, Eric (2004). Diseño orientado al dominio: cómo abordar la complejidad en el corazón del software. Boston: Addison-Wesley. ISBN 0-321-12521-5.OCLC 52134890  .
  2. ^ Skelton, Matthew (2019). Topologías de equipo: organización de equipos empresariales y tecnológicos para un flujo rápido. Manuel Pais. Portland, OR. ISBN 978-1-942788-84-3.OCLC 1108538721  .{{cite book}}: CS1 maint: location missing publisher (link)
  3. ^ Machado, Inês Araújo; Costa, Carlos; Santos, Maribel Yasmina (1 de enero de 2022). "Malla de datos: conceptos y principios de un cambio de paradigma en arquitecturas de datos". Procedia Computer Science . Conferencia internacional sobre sistemas de información empresarial / ProjMAN - Conferencia internacional sobre gestión de proyectos / HCist - Conferencia internacional sobre sistemas y tecnologías de información en salud y asistencia social 2021. 196 : 263–271. doi : 10.1016/j.procs.2021.12.013 . hdl : 1822/78127 . ISSN  1877-0509. S2CID  245864612.
  4. ^ "Arquitectura de malla de datos". datamesh-architecture.com . Consultado el 13 de junio de 2022 .
  5. ^ Dehghani, Zhamak (2022). Malla de datos. Sebastopol, CA. ISBN 978-1-4920-9236-0.OCLC 1260236796  .{{cite book}}: CS1 maint: location missing publisher (link)
  6. ^ Machado, Inês Araújo; Costa, Carlos; Santos, Maribel Yasmina (1 de enero de 2022). "Malla de datos: conceptos y principios de un cambio de paradigma en arquitecturas de datos". Procedia Computer Science . Conferencia internacional sobre sistemas de información empresarial / ProjMAN - Conferencia internacional sobre gestión de proyectos / HCist - Conferencia internacional sobre sistemas y tecnologías de información en salud y asistencia social 2021. 196 : 263–271. doi :10.1016/j.procs.2021.12.013. hdl : 1822/78127 . ISSN  1877-0509.
  7. ^ ab "Cómo pasar de un lago de datos monolítico a una malla de datos distribuida". martinfowler.com . Consultado el 28 de enero de 2022 .
  8. ^ Baer (dbInsight), Tony. "Data Mesh: ¿Deberías probar esto en casa?". ZDNet . Consultado el 10 de febrero de 2022 .
  9. ^ Andy Mott (12 de enero de 2022). "Cómo obtener información más rápidamente con una malla de datos". RTInsights . Consultado el 1 de marzo de 2022 .
  10. ^ "Avances que definirán la gobernanza de datos y la seguridad operativa en 2022". Help Net Security . 2021-12-28 . Consultado el 2022-03-01 .
  11. ^ Bane, Andy. "Council Post: ¿Hacia dónde se dirige la transformación industrial en 2022?". Forbes . Consultado el 1 de marzo de 2022 .
  12. ^ ab Schultze, Max; Más amplio, Arif (2021). Malla de datos en la práctica . ISBN 978-1-09-810849-6.
  13. ^ Netflix Data Mesh: procesamiento de datos componibles - Justin Cunningham , consultado el 29 de abril de 2022
  14. ^ ab Baker, Tristan (22 de febrero de 2021). "Estrategia de malla de datos de Intuit". Intuit Engineering . Consultado el 29 de abril de 2022 .
  15. ^ ab "La próxima generación de plataformas de datos es la malla de datos". 2022-08-03 . Consultado el 2023-02-08 .
  16. ^ "Por qué creamos Nextdata". 16 de enero de 2022. Consultado el 8 de febrero de 2023 .
  17. ^ Dehghani, Zhamak (2022). Malla de datos. Sebastopol, CA. ISBN 978-1-4920-9236-0.OCLC 1260236796  .{{cite book}}: CS1 maint: location missing publisher (link)
  18. ^ "Definición de Data Mesh | Blog de James Serra". 16 de febrero de 2021. Consultado el 28 de enero de 2022 .
  19. ^ "La analítica en 2022 significa dominio de la política de datos distribuidos". The New Stack . 2021-12-29 . Consultado el 2022-03-03 .
  20. ^ "Avances que definirán la gobernanza de datos y la seguridad operativa en 2022". Help Net Security . 2021-12-28 . Consultado el 2022-03-01 .
  21. ^ abcdef Bode, enero; Kühl, Niklas; Kreuzberger, Dominik; Hirschl, Sebastián; Holtmann, Carsten (4 de mayo de 2023). "Data Mesh: factores motivacionales, desafíos y mejores prácticas". arXiv : 2302.01713v2 [cs.AI].
  22. ^ ab Vestues, Kathrine; Hanssen, Geir Kjetil; Mikalsen, Marius; Buan, Thor Aleksander; Conboy, Kieran (2022). "Gestión ágil de datos en NAV: un estudio de caso". Procesos ágiles en ingeniería de software y programación extrema . Apuntes de clase en Business Information Processing 445 LNBIP. Vol. 445. Springer. págs. 220–235. doi :10.1007/978-3-031-08169-9_14. ISBN 978-3-031-08168-2.
  23. ^ Joshi, Divya; Pratik, Sheetal; Rao, Madhu Podila (2021). "Gobernanza de datos en infraestructuras de malla de datos: el caso de estudio de Saxo Bank". Actas de la Conferencia Internacional sobre Comercio Electrónico (ICEB) . Vol. 21. págs. 599–604.
  24. ^ Whyte, Martin; Odenkirchen, Andreas; Bautz, Stephan; Heringer, Agnes; Krukow, Oliver (2022). "Data Mesh: ¿Otra palabra de moda o la plataforma de datos de próxima generación?". Estudio de PwC 2022: Cambios en las plataformas de datos .
  25. ^ "El hogar global de la malla de datos". El hogar global de la malla de datos . Consultado el 24 de abril de 2022 .