Liderazgo · Datos
De analista de datos a ingeniero de datos, gracias a una buena pregunta.
Nuestros primeros pipelines de ingesta de datos corrían sobre una herramienta de código abierto ya establecida. En lugar de elegir un reemplazo yo mismo, le pedí a nuestro analista de datos que averiguara si existía algo mejor. Investigó las opciones, defendió con evidencia una herramienta moderna basada en conectores y lideró el cambio. Nuestros pipelines se volvieron más rápidos y él creció hasta convertirse en ingeniero de datos. Este es el enfoque, y cómo los asistentes de IA lo facilitan hoy.
Dale a las personas una decisión real para investigar, un marco para evaluarla, una prueba de concepto con tiempo límite y la autoridad para actuar según el resultado. Obtienes una mejor decisión y un ingeniero más capaz. Los asistentes de IA hoy acortan el camino de analista a ingeniero, siempre que el aprendizaje, y no solo el resultado, se quede con la persona.
La situación
En Cedar Planters estaba construyendo la primera plataforma de datos de la empresa. Nuestros primeros pipelines de ingesta corrían sobre una herramienta de código abierto ya establecida, basada en flujos. Funcionaba, pero quería saber si existían opciones más modernas y rápidas. Yo tenía mis propias opiniones sobre las alternativas, y habría sido más rápido simplemente escoger una.
La pregunta
En cambio, le pregunté a nuestro analista de datos: ¿nuestra herramienta actual sigue siendo la correcta para nosotros?, y si no, ¿cuál lo es? El marco partió de lo que él conocía mejor. Tenía una experiencia profunda y práctica con nuestro proceso actual, así que su primera tarea fue usarla: mapear cómo se movían los datos en ese momento y encontrar dónde eran lentos. A partir de ahí, abrimos un espacio para intercambiar y comparar opciones de arquitectura como equipo, con un objetivo claro: mejorar el rendimiento de ese proceso. Tuvo el tiempo para probar las opciones como correspondía.
El panorama que exploró
Las herramientas de datos hacen trabajos distintos, y parte del aprendizaje fue ver dónde encaja cada tipo:
| Tipo de herramienta | En qué es mejor |
|---|---|
| Herramientas de enrutamiento por flujos | Pipelines visuales que enrutan y transforman datos entre sistemas |
| Orquestadores basados en código | Programar y ejecutar pipelines escritos como código |
| Herramientas de ingesta basadas en conectores | Conectores listos que extraen datos de muchas fuentes y los cargan en una base de datos o un data warehouse |
| Motores de flujos de trabajo livianos | Orquestación rápida de scripts y flujos pequeños |
| Herramientas de transformación dentro del warehouse | Modelar y probar los datos después de que llegan |
Lo que encontró
Probó las opciones con nuestras fuentes reales y volvió con una recomendación clara: una herramienta de ingesta moderna, basada en conectores, con la evidencia para respaldarla. No le di la respuesta. Lo acompañé en la prueba de concepto y en la puesta en marcha, y dejé que liderara la transición. Más adelante la combinamos con un orquestador liviano y construimos los reportes centralizados encima.
Lo que cambió
- El stack. La extracción de datos se volvió más rápida.
- La persona. Pasó de la mentalidad de un analista, que usa los datos, a la de alguien que construye, que diseña cómo se mueven los datos. Hoy trabaja como ingeniero de datos.
- El equipo. Todos vieron que cualquiera, sin importar su cargo, podía cuestionar el stack y ser tomado en serio.
El método de descubrimiento guiado
- Escoge una decisión real, que importe al negocio y que exija a la persona.
- Parte de su experiencia. Pídele que mapee el proceso actual que mejor conoce, y acuerden el objetivo, como el rendimiento, antes de mirar herramientas.
- Limita en tiempo una prueba de concepto con datos reales.
- Pide una recomendación con evidencia, y cuestiónala como lo haría un ingeniero senior.
- Entrega la puesta en marcha. Ser dueño de la implementación es donde ocurre la mayor parte del crecimiento.
- Reflexionen juntos sobre qué funcionó y qué haría distinto.
Dónde encajan los asistentes de IA
El salto de analista a ingeniero solía significar meses aprendiendo Python, APIs, pruebas y despliegues antes de ser productivo. Los asistentes de programación con IA acortaron mucho ese camino. Bien usados, ayudan a un ingeniero en crecimiento a:
- escribir borradores de conectores, transformaciones SQL y pruebas, y aprender al revisarlos y corregirlos;
- recibir en lenguaje sencillo la explicación de un código o de un mensaje de error que no conoce;
- comparar herramientas rápidamente en la etapa de investigación, como punto de partida para sus propias pruebas.
Dos reglas lo mantienen sano. Primero, los resúmenes de herramientas hechos por IA pueden estar desactualizados o equivocados, así que cada afirmación se verifica en la prueba de concepto. Segundo, la persona debe poder explicar cada línea que entrega. Si la IA piensa por ella, obtienes resultados sin crecimiento.
Por qué funciona
Darle a alguien la respuesta le enseña la respuesta. Dejar que la encuentre, con un marco y acompañamiento, le enseña a tomar la próxima decisión sin ti. En un equipo pequeño, así es como crece la capacidad de liderazgo.
Más sobre la plataforma de la que hizo parte: Una plataforma de datos desde cero en Cedar Planters.
Recibe mis próximos casos y artículos en la Búsqueda de Google.