¿Qué es una malla de datos?

A pesar de que las organizaciones tienen acceso a un volumen de datos cada vez mayor, tienen que clasificar, filtrar, procesar y analizar los datos para lograr beneficios prácticos. Las organizaciones suelen usar un equipo central de ingenieros y científicos para administrar los datos. El equipo usa una plataforma de datos centralizada para los siguientes propósitos:

• Ingerir los datos de todas las diferentes unidades empresariales (o dominios empresariales).
• Transformar los datos en un formato coherente, confiable y útil. Por ejemplo, el equipo puede asegurarse de que todas las fechas de un sistema estén en un formato común o resumir informes diarios.
• Preparar los datos para los consumidores de datos, por ejemplo, generando informes para humanos o preparando archivos XML para aplicaciones. Más información sobre XML »

A medida que crece el volumen de datos, las organizaciones se enfrentan a costos cada vez mayores para mantener la misma agilidad de siempre. El sistema monolítico es difícil de escalar por los siguientes motivos:

Equipo de datos en silos

El equipo de datos central tiene científicos e ingenieros de datos especialistas con conocimientos empresariales y del dominio limitados. Sin embargo, siguen teniendo que ofrecer datos para un conjunto diverso de necesidades analíticas y operativas sin una motivación clara.

Respuesta lenta al cambio

Los ingenieros de datos suelen implementar canalizaciones que ingieren los datos y los transforman a lo largo de varios pasos antes de almacenarlos en un lago de datos central. Cualquier cambio solicitado requiere modificaciones en toda la canalización. El equipo central tiene que hacer estos cambios al mismo tiempo que gestiona prioridades incompatibles y con un conocimiento empresarial y del dominio limitado.  

Precisión reducida

Las unidades empresariales están desconectadas de los consumidores de datos y los equipos de datos centrales. Como resultado, carecen del incentivo para ofrecer datos útiles, correctos y significativos.

Una malla de datos puede respaldar todos los tipos de casos de uso de macrodatos. A continuación, presentamos algunos ejemplos.

Análisis de datos

Diversas funciones empresariales aprovisionan datos de confianza y alta calidad para las cargas de trabajo de análisis de datos. Los equipos pueden usar los datos para crear paneles de inteligencia empresarial personalizados para mostrar el rendimiento del proyecto, los resultados de marketing y los datos operativos. Los científicos de datos pueden acelerar los proyectos de machine learning para aprovechar al máximo la automatización.

Atención al cliente

Una malla de datos ofrece una vista completa de los clientes a los equipos de marketing y atención al cliente. Por ejemplo, los equipos de atención al cliente pueden obtener datos relevantes y reducir el tiempo medio de gestión. Por su parte, los equipos de marketing pueden estar seguros de que segmentan la demografía de clientes adecuada en sus campañas.

Informes normativos

La necesidad de volumen, puntualidad y precisión en datos que cumplen los objetivos normativos supone un desafío tanto para las firmas reguladoras como reguladas. Todas las partes pueden beneficiarse de la aplicación de tecnologías de malla de datos. Por ejemplo, las organizaciones pueden introducir los datos de informes en una malla de datos gobernada centralmente por los cuerpos reguladores.

Datos de terceros

Puede aplicar la tecnología de malla de datos a los casos de uso que requieran conjuntos de datos públicos o de terceros. Puede tratar los datos externos como si fueran un dominio independiente e implementarlos en la malla para garantizar la consistencia con los conjuntos de datos internos.

La malla de datos es un concepto emergente que empezó a ganar terreno tras la pandemia. Las organizaciones están experimentando con diferentes tecnologías a medida que tratan de crear una malla de datos para casos de uso específicos. Sin embargo, que toda la organización adopte la malla de datos empresarial es algo que sigue siendo raro. No hay una ruta clara en lo que respecta a la implementación de la malla de datos, pero le ofrecemos algunas sugerencias a continuación:

Analice sus datos existentes

Antes de crear una malla de datos, debe catalogar sus datos existentes e identificar los dominios empresariales relevantes. Seguir ciertas reglas de armonización es la clave para una correlación efectiva de datos entre dominios. Por ejemplo, tendrá que definir los estándares globales para el formato del tipo de campo, los campos de metadatos y las convenciones para la dirección del producto de datos.

Implemente políticas de gobernanza de datos globales

La gobernanza de datos federados requiere que su equipo central de TI identifique los estándares de elaboración de informes, autenticación y conformidad para la malla de datos. También puede definir controles de acceso detallados que los propietarios de productos de datos apliquen cuando alojen sus conjuntos de datos. Mientras que los productores de datos definen y miden la calidad de sus datos, las políticas de gobernanza centrales ayudan a guiar sus decisiones.

Desarrolle su plataforma de datos de autoservicio

Su plataforma de datos de autoservicio debería ser genérica, así todo el mundo puede crear nuevos productos de datos de dominio en ella. También debería ocultar la complejidad técnica subyacente y ofrecer componentes de infraestructura a modo de autoservicio. A continuación, se muestran algunas capacidades que puede incluir:

• Cifrado de datos
• Esquema de productos de datos
• Control de acceso y gobernanza
• Detección de productos de datos, como la publicación o el registro de catálogos
• Registro y supervisión de productos de datos
• Almacenamiento en memoria caché para un mejor rendimiento

También puede crear automatización, con configuraciones y scripts, por ejemplo, para reducir el tiempo de espera para crear productos de datos.

Elija las tecnologías adecuadas

Sus sistemas de almacenamiento tradicionales existentes, como el almacenamiento de datos y los lagos de datos, también pueden reforzar su malla de datos. Tan solo tiene que cambiar su uso de sistemas monolíticos a varios repositorios de datos descentralizados. Una malla de datos también permite la adopción de plataformas de nube y tecnologías centradas en la nube. La infraestructura de nube reduce los costos operativos y el esfuerzo que requiere desarrollar una malla de datos. Debe elegir un proveedor de nube con servicios de administración de datos enriquecidos para respaldar la arquitectura de malla de datos. También tendrá que tener en cuenta los requisitos de integración de datos con sistemas heredados.

Inicie un cambio cultural en toda la organización

Actualmente, tenemos la tecnología y las herramientas necesarias para desarrollar fácilmente una malla de datos con varios productos de datos. El cambio hacia la unificación de los lotes y los flujos ahora es más fácil que nunca gracias a herramientas como Amazon EMR. Sin embargo, escalar su malla de datos más allá de pequeños proyectos requiere un cambio de paradigma que deje atrás las arquitecturas de datos centralizadas del pasado. Requiere un nuevo lenguaje que enfatice lo siguiente:

• Detección y uso de datos antes que extracción y carga
• Procesamiento de datos en tiempo real antes que procesamiento de lotes de gran volumen más tarde
• Propiedad de los productos de datos distribuidos antes que una arquitectura de plataforma de datos central

Actualmente, la tecnología de datos suele impulsar decisiones de arquitectura. Una malla de datos revierte este flujo y pone los productos de datos de dominio en el centro para que impulsen las decisiones tecnológicas en su lugar.

Un tejido de datos es otra arquitectura moderna que usa el machine learning y la automatización para una integración completa de varios entornos de la nube y canalizaciones de datos. Sería como una capa de tecnología sobre la infraestructura subyacente que integra de forma cohesiva y presenta los datos a usuarios no técnicos. Por ejemplo, los responsables de la toma de decisiones usan el tejido de datos para ver todos sus datos en un único lugar y conectar conjuntos de datos dispares.

Tanto la malla como el tejido de datos tienen objetivos similares: una administración de datos unificada y efectiva. Por ejemplo, digamos que tiene un lago de datos central y usa servicios de AWS para la ingesta de datos. Al mismo tiempo, cuenta con infraestructura heredada para las transformaciones de datos. El tejido de datos integra ambos sistemas y presenta una vista unificada sin cambiar la canalización existente.

Así pues, un tejido de datos usa tecnología para trabajar con su infraestructura existente. Por otro lado, la implementación de una malla de datos requiere que cambie la infraestructura subyacente. Tiene que cambiar el modelo de envío e ingesta de su administración de datos a un modelo de entrega y recepción en todos sus dominios empresariales.