Blog

27 Mayo, 2024

Desafíos actuales para la Arquitectura de integración y governance datos: Catálogo y plataformas de integración.

En el artículo anterior, La brecha que debemos resolver para la IA: Calidad e Integración de Datos, Governance y “Literacy”, dejamos planteado que los issues tradicionales alrededor de los datos para el caso de la IA, pueden tener un mayor impacto debido a la generalización de usuarios, velocidad de adopción, crecimiento y como fuente de datos generativos.

Dábamos este ejemplo:

Un set de datos erróneo en un tablero (Dashboard de KPIs) de un área, impacta en las decisiones para esa empresa, sus clientes / terceros vinculados a ella.
En el caso de un set de datos erróneos que nutre el modelo de IA de una app que se encuentra disponible masivamente para descargar en un celular… ¿a cuántas personas podrá llegar a alcanzar?

¿Cómo estamos hoy parados y que se viene?

Las claves para estar preparados para contar con datos de calidad y atenuar issues como los mencionados anteriormente, se encuentran:

De la mano de las buenas prácticas metodológicas
Bajo la adopción de una arquitectura actualizada, que brinde el soporte adecuado a las necesidades actuales y futuras
IA Literacy

Hoy vamos a enfocarnos en el segundo punto: Arquitectura de integración y governance datos.

Las herramientas de integración de datos están disponibles hace bastante tiempo, así como los diversos mecanismos de conexión entre plataformas y sistemas informáticos. (ETLs, ESB, web services, APIs, MQ Series, etc).

Con los nuevos escenarios y desafíos que vienen de la mano de temas como:

Los cambios en la operación de las organizaciones
El crecimiento en el volumen y tipología de datos
Diversidad en los esquemas de infraestructura (cloud/híbrido/on premise)
Necesidad de focalizar en una metodología de governance para administrar el ciclo de vida de los datos, con mayor complejidad por el volumen de fuentes de datos y el crecimiento de los consumidores de información, de manera de garantizar la eficiencia y calidad.

La lista de aspectos a considerar a la hora de definir la arquitectura de integración y gestión de datos, y elegir los componentes para implementarla, también se ha actualizado.

¿Cuáles son los puntos clave que debe cubrir tu arquitectura de Datos, a través de las plataformas de Integración y de governance?

Fuentes de datos: variedad (datos estructurados, semi y no estructurados) y volumen
Destinatarios: personas y/o plataformas de SW, para usos diversos (análisis, IA/ML, etc)
Linaje de Datos: seguros, confiables (asegurando calidad) y gobernados en todo su ciclo de vida.
Centralización de administración bajo el Catálogo, como un marketplace de datos. Self service de datos.
- Gestión de Metadatos (Origen y destino: identificación de gestores y consumidores).
- Facilidad para usar y compartir datos.
- Validaciones automáticas. Control de calidad aplicando reglas.
- Perfilado de datos

ETL/ELT:
- Extracción de diversas fuentes/tecnologías/tipologías
- Transformación de Datos
- Data streaming y sincronización de datos en tiempo real (CDC: Change Data Capture)
- Requisitos de actualización y recarga, en equilibrio con aspectos de performance y volúmenes de procesamiento. Soporte a migración de datos.

Automatización de Data Warehouse y Creación de Data Lakes, tanto para proyectos de Analytics, IA/ML, entre otros.
Agnóstico a arquitecturas de origen / destino (on premise / cloud / multi cloud / híbrida) con diversidad de vendors (Amazon, databricks, snowflake, etc)

Como conclusión:

Los casos de uso respecto a los datos y a las necesidades de integración van acompañando las costumbres de la actualidad: tiempo real, donde sea, desde cualquier dispositivo, esquivando los riesgos que atentan contra la calidad y seguridad… La clave es diseñar e implementar una Arquitectura de soporte flexible y que sea escalable a los desafíos del mediano y largo plazo.

Y garantizar un esquema de administración que vele por la calidad de los datos en todo su ciclo de vida haciendo de punto de encuentro entre gestores (fuentes) y consumidores y haciéndonos saber en todo momento cuál es el origen de ese dato. La confianza en el dato es fundamental.

Y no sólo ya estamos hablando de los datos que generan los sistemas de negocio, las personas con sus acciones en los procesos... Sino de los nuevos que van sumándose a nuestro set de datos, generados por la IA (datos generativos).