Ingeniería de Datos

Datos confiables, desde la planta hasta el indicador

Unimos los datos de planta (OT) y de los sistemas de negocio (IT) en una arquitectura sobre Azure Fabric, con reglas claras de calidad y acceso. Así los reportes coinciden entre áreas, porque todos salen de la misma fuente.

De la fuente al reporte

Fuentes OT e ITPlanta, ERP y sistemas de negocio
BronzeDato crudo
SilverDepurado y modelado
GoldListo para el negocio
ReportesTableros que se actualizan solos

La señal de que hace falta trabajo de datos casi siempre es la misma: dos áreas llegan a la reunión con cifras distintas para lo mismo. Producción dice una cantidad, comercial dice otra, y cuando se revisa, las dos están bien. Cada una sacó el número de su propia fuente, con su propio corte de hora y su propia definición de qué cuenta como producido.

El origen del problema no es técnico sino de acuerdo. Mientras cada área mantenga su propia extracción, cada reporte va a ser correcto por separado e incompatible con el resto. Por eso la primera parte del trabajo no es construir nada: es dejar por escrito qué significa cada indicador y quién es el dueño de esa definición.

Sobre esa base levantamos una arquitectura por capas en Azure Fabric. Los datos entran crudos y sin transformar, se depuran en una capa intermedia donde se aplican las reglas de calidad, y recién después se modelan para el negocio. Separar las tres capas permite corregir una regla sin volver a pedir los datos al origen, y rastrear cualquier cifra del reporte hasta el registro que la produjo.

La otra mitad del trabajo es de gobierno: cada dato con un responsable, una regla de calidad y un catálogo que diga de dónde viene. Sin eso, una arquitectura correcta vuelve a degradarse a los pocos meses, cuando alguien agrega una fuente nueva sin avisar y el indicador cambia sin que nadie sepa por qué.

01

Integración de datos OT/IT

Planta y negocio conectados en un solo modelo.

Ver detalle
  • Conexión con SCADA, PLCs, ERP y sistemas transaccionales
  • Fuentes dispersas unificadas en un solo modelo
  • Actualización por lotes o casi en tiempo real, según lo necesites
02

Pipelines de datos

Limpieza y trazabilidad automáticas.

Ver detalle
  • Limpieza y transformación automáticas
  • Procesos programados y monitoreados
  • Trazabilidad de cada dato desde su origen
03

Arquitectura Medallion en Azure Fabric

Datos en capas: crudos, depurados y listos.

Ver detalle
  • Datos crudos, depurados y listos para el negocio, en capas separadas
  • Crece con tu operación sin rehacer el modelo
  • Sobre la nube de Microsoft
04

Reportes y tableros

Indicadores que se actualizan solos.

Ver detalle
  • Tableros ejecutivos y operativos
  • Indicadores por área de negocio
  • Reportes que se actualizan solos
05

Gobierno de datos

Cada dato con dueño y regla de calidad.

Ver detalle
  • Cada dato con un dueño y una regla de calidad
  • Catálogo de fuentes para saber de dónde viene cada cifra
  • Acceso según el rol de cada persona

Cómo abordamos un proyecto de datos

1Acordar las definiciones antes de mover un datoQué cuenta como unidad producida, desde qué hora corre el turno, qué se descuenta y qué no. Lo acordamos con las áreas que van a usar el indicador y queda escrito. Es el paso que la mayoría de los proyectos se salta y el que explica por qué después los reportes no cuadran.
2Traer los datos tal como estánLa capa cruda recibe los datos de planta y de los sistemas de negocio sin transformarlos. Guardar el original importa: cuando aparece una diferencia, se puede volver a la fuente y ver qué llegó realmente, en vez de discutir sobre un dato que ya pasó por tres transformaciones.
3Depurar con reglas explícitasEn la capa intermedia se resuelven los duplicados, las unidades, los valores fuera de rango y los registros incompletos. Cada regla queda declarada, no escondida en el código, porque las reglas de calidad cambian y alguien tiene que poder revisarlas sin leer un script.
4Modelar para el negocioLa última capa entrega los indicadores ya construidos y listos para consumir desde los tableros. Aquí es donde los reportes de distintas áreas empiezan a coincidir, porque todos consultan el mismo modelo en vez de armar el cálculo por su cuenta.
5Dejar el gobierno operandoDueño por dato, catálogo de fuentes, acceso según el rol de cada persona y monitoreo de los procesos programados. El objetivo es que el día que un proceso falle, alguien se entere por una alerta y no porque el reporte del lunes salió en blanco.

Preguntas frecuentes sobre ingeniería de datos

¿No basta con conectar la herramienta de reportes directamente a las fuentes?

Funciona mientras haya pocas fuentes y un solo usuario. Se rompe cuando cada área arma su propia conexión: ahí empiezan a convivir varias definiciones del mismo indicador y nadie puede decir cuál es la correcta. Además, consultar directamente los sistemas de producción les agrega carga justo cuando más se usan. La capa intermedia existe para resolver las dos cosas.

¿Hay que llevar todo a la nube?

No necesariamente todo, y no de una vez. Lo habitual es partir por el dominio donde hay un dolor concreto, por ejemplo producción, y dejar el resto donde está hasta que haya una razón para moverlo. Hay datos que conviene mantener en planta por latencia o por política interna, y la arquitectura tiene que poder convivir con eso en vez de exigir una migración completa como condición de entrada.

Los datos de planta llegan cada segundo y los del ERP una vez al día. ¿Cómo se juntan?

No se fuerzan a la misma frecuencia. El dato de proceso se guarda con su detalle y su marca de tiempo original, y se agrega al nivel que el indicador necesita, normalmente por turno o por día, que es el nivel en que el sistema de negocio tiene sentido. El error típico es promediar el dato de planta demasiado temprano: una vez agregado, el detalle no se recupera.

¿Esto reemplaza el ERP o el sistema de planta?

No. Ninguno de los dos se toca. Ambos siguen siendo los sistemas donde se opera; la arquitectura de datos los lee para construir los indicadores. De hecho, conviene que los sistemas de origen no cambien: mientras más estable la fuente, menos mantención necesita todo lo que está aguas abajo.

¿Cuánto demora en verse el primer indicador?

Preferimos entregar un dominio acotado funcionando completo, de la fuente al tablero, antes que toda la arquitectura a medias. Un primer indicador en producción sirve para validar las definiciones con quienes lo van a usar, que es donde aparecen las correcciones. Con el patrón ya probado, los dominios siguientes avanzan bastante más rápido.

¿Qué pasa si los datos de origen vienen mal?

Casi siempre vienen con algún problema, y encontrarlo es parte del valor del proyecto. Las reglas de calidad no lo arreglan en silencio: dejan el registro marcado y visible, para que el área dueña del dato pueda corregirlo en el origen. Tapar el problema en la capa intermedia hace que el reporte se vea bien mientras el dato sigue malo donde se captura.

Sigue explorando

¿Tus reportes no coinciden entre áreas? Conversemos.

Conversemos de tu proyecto →