Optimización de procesos / Big Data
Optimización ETL: aproximadamente un 60% menos de tiempo de ejecución
Optimicé pipelines ETL con PySpark y HBase que procesaban cientos de GB en micro-batches. El tiempo total de ejecución se redujo aproximadamente un 60%.
- Mi rol
- Data Engineer · NTT DATA
- Reducción del tiempo de ejecución ETL
- ~60%
- Última actualización
- 01Cientos de GB
- 025–6 pipelines ETL con PySpark / HBase
- 03~60% menos tiempo de ejecución
El contexto
El proyecto para la Junta de Andalucía comprendía 5–6 pipelines ETL masivos con PySpark y HBase. Los procesos trataban cientos de GB en micro-batches, por lo que el tiempo total de procesamiento tenía un impacto directo en la operación.
Mi contribución
Trabajé en la implementación y optimización de estos pipelines en NTT DATA Europe & LATAM, con el objetivo de reducir el tiempo de ejecución de principio a fin.
El resultado
El resultado fue una reducción aproximada del 60% en el tiempo total de ejecución ETL. Como índice relativo, una duración inicial de 100 pasa a aproximadamente 40; esta comparación no representa minutos u horas concretos.
Alcance de la medición
La cifra corresponde al resultado de este proyecto. Las duraciones originales y la configuración de infraestructura no se publican, por lo que no constituyen una comparativa reproducible para otras cargas de trabajo.