Una plataforma de datos desde cero, como primera contratación técnica.

Empezar desde cero

Cedar Planters es una empresa canadiense de comercio electrónico que fabrica jardineras modulares. Cuando llegué, en enero de 2024, no había equipo de tecnología. Mi primera tarea fue montar lo básico que necesita cualquier área de ingeniería: CI/CD, prácticas de seguridad y formas de trabajo ágiles. Después me concentré en los datos.

Los datos de la empresa estaban en muchos lugares: la plataforma de comercio electrónico, las herramientas de analítica y marketing, las plataformas de publicidad y otras. Los reportes se armaban con conectores de terceros y hojas de cálculo, cada uno a mano, y un reporte nuevo podía tardar meses.

La decisión: una plataforma en lugar de muchas herramientas

Propuse dejar las herramientas dispersas y construir una plataforma de datos central propia. Nos daría una sola fuente de verdad, reportes estándar, gobierno de datos y menores costos de operación.

No esperar el data warehouse perfecto

Elegir un data warehouse es una decisión grande y merece una evaluación seria. Pero una prueba de concepto larga puede frenar un proyecto durante meses mientras el negocio sigue sin reportes.

Así que separamos los dos problemas. Construí los pipelines de ingesta para cargar los datos de inmediato en una base de datos relacional de staging. Eso nos permitió empezar a guardar historia y producir reportes desde el primer día, y decidir el almacenamiento definitivo más adelante, con datos de rendimiento y sin presión.

Al final no necesitamos un solo gran warehouse. La plataforma quedó con una combinación, donde cada almacén hace lo que mejor sabe hacer: una base de datos relacional para datos estructurados, una base de datos de documentos para datos semiestructurados y almacenamiento de objetos en la nube para archivos crudos e históricos.

La plataforma de datos

Plataforma de comercio electrónicoPedidos y ventas

Herramientas de analítica y marketingTráfico y campañas

Plataformas de publicidad y másResultados de anuncios y otras fuentes

Capa de ingestaConectores de código abierto para cada fuente

OrquestaciónFlujos livianos y de baja latencia

Base de datos relacionalDatos estructurados

Base de datos de documentosDatos semiestructurados

Almacenamiento de objetosArchivos crudos e históricos

Reportes centralizadosPrimero en una herramienta comercial de BI, hoy en nuestra propia herramienta de reportes

Elegir las herramientas del pipeline

Hicimos una fase de investigación para las capas de ingesta y orquestación, comparando herramientas de pipelines y orquestación de código abierto ya establecidas. Son potentes, pero elegimos una pareja más moderna y modular: una herramienta basada en conectores para una ingesta confiable y un orquestador liviano para flujos de baja latencia. La combinación equilibró productividad y escalabilidad de una forma que las herramientas anteriores no lograban.

El cambio de herramienta de ingesta nació dentro del equipo. Nuestro analista de datos cuestionó si nuestra primera herramienta seguía siendo la opción correcta, investigó alternativas y propuso una mejor con evidencia.

Reportes que la gente de verdad usa

Con los datos en un solo lugar, automatizamos la extracción y la transformación, y reemplazamos los conectores de terceros y los reportes en hojas de cálculo por reportes estándar y centralizados. Empezamos con una herramienta comercial de BI y luego pasamos a una herramienta de reportes desarrollada internamente. También rediseñé los modelos de datos detrás de las cargas analíticas y operativas, lo que hizo la consulta y el análisis 20% más rápidos.

El resultado es el número que más me importa: un reporte nuevo que antes tomaba meses ahora toma días. Con desarrollo y análisis asistidos por IA, muchos ahora toman horas.

Liderar un equipo nuevo

• Un equipo de tres. Al ser un equipo pequeño, cada persona fue dueña de partes reales de la plataforma desde el inicio.
• De operar herramientas a construir sistemas. Dejar las herramientas comerciales preocupó a algunos al principio. Lo planteé como una oportunidad de crecer, y le di al equipo la formación y el tiempo para sentirse seguro con el nuevo stack.
• Visibilidad de datos en cada sprint review. Cada dos semanas mostrábamos a los interesados el avance de sus reportes. Sus comentarios decidían qué construir después, así que los reportes más útiles llegaron primero.
• Primero en la operación, después en la gobernanza. Empecé 100% en la ejecución. A medida que el equipo creció, pasé a definir la arquitectura y los estándares, y dejé que el equipo fuera dueño de la implementación.

Resultados

• Una sola fuente de verdad, con reportes estándar y centralizados en lugar de herramientas de terceros y hojas de cálculo.
• El tiempo para un reporte nuevo bajó de meses a días, y a horas con IA.
• Consulta y análisis de datos 20% más rápidos tras el rediseño de los modelos de datos.
• Menores costos de operación al dejar herramientas pagas de terceros.