Data mesh, una revolución en el mundo de los datos

La “Malla de Datos” puede subsanar las deficiencias de los Data Warehouses y Data Lakes. Ayuda a personalizar los productos o servicios que las empresas ofrecen a cada cliente, pues jerarquiza los niveles de datos y, a su vez, hace los procesos más rápidos para las necesidades digitales que demanda el mercado. 

En mayo de 2019 Zhamak Dehghani presentaba un nuevo concepto, el Data Mesh (DM), y proponía un cambio de paradigma de cómo pensar sobre los datos y que características debería tener una plataforma de datos moderna. Según define el Cloud Leader, Gerardo Vázquez, Data Mesh es una aproximación socio-técnica y descentralizada, de la gestión y acceso en escala de datos análiticos de una compañía u organización.

El DM divide los datos almacenados en dominios de negocio que contarán con un equipo de profesionales encargado de crear productos de datos para hacérselos llegar a diversas áreas de la organización. Así, los productos de datos se unen entre dominios permitiendo el intercambio de datos sin almacén.

Los principios del Data Mesh

• Gestión independiente de datos: más cómoda y barata vía dominios, sin almacén.
• Datos usables y sencillos como productos: los datos analíticos brindados por los dominios deben tratarse como un producto, y sus consumidores como clientes.
• Plataforma de autoservicio de datos: tanto en el consumo como en la creación de nuevos productos de datos; los miembros de cada dominio pueden acceder a usar los datos.
• El dominio como dueño de los datos: la arquitectura descentraliza la propiedad, control y responsabilidad de los datos desde el equipo de plataforma al equipo responsable del dominio.
• Gobernanza federada: si los datos pueden interoperar entre sí, se crean uniones, se encuentran intersecciones, se realizan gráficos y operaciones a gran escala. Las decisiones están más cerca del dominio.
• Control centralizado: incluye un sistema que recolecta información no dependiente de cada dominio, y la gestión de permisos federados e identidades globales.

Además una arquitectura de este tipo debe ofrecer características como interoperabilidad, seguridad y gobierno, auto descriptiva, transversal en equipos y cambio de paradigma. Estos pilares tienen una implicación profunda en cómo una organización gestiona los datos y su plataforma.

Algunas ventajas de DM

• Mejora el gobierno de datos: cada dominio es dueño de sus productos de datos.
• Mayor agilidad: los dominios son autónomos para desarrollar sus productos de datos.
• El equipo de plataforma está enfocado en la plataforma y su evolución.
•  Adopción incremental de estas arquitecturas: iteraciones más rápidas y sin el riesgo de despliegue de grandes plataformas de datos.
•  Nube con mayor capacidad: los datos dejan de archivarse por defecto y se evita almacenar una cantidad ingente e inútil.

El big data es un entorno muy cambiante al que se deben adaptar quienes quieran liderar sus sectores de negocios y la DM es otra prueba, en particular en empresas con dominios ricos, gran número de fuentes y un conjunto diverso de consumidores.

Si bien pueden surgir desafíos técnicos (consultas entre dominios y lenguajes de consulta para que haya interoperabilidad real), la mayoría de los retos son de proceso, gobierno y cultura. Implica un gran cambio en los procesos organizacionales. La necesidad de contar con equipos maduros y comprometidos para tener éxito puede apoyarse en consultores externos para servicios de consultoría y de capacitación, a fin de implementar soluciones incrementales y que doten de eficiencia a los recursos internos.