Diseñar, construir y optimizar pipelines de datos a gran escala para el ecosistema de Nequi, garantizando el procesamiento optimizado de grandes volúmenes de información tanto en batch como en tiempo real. El ingeniero trabajará en una célula ágil orientada a data, apoyando la toma de decisiones del negocio mediante soluciones robustas y escalables en la nube.
Conocimientos Técnicos Requeridos

2.1 Apache Spark (Excluyente – Nivel Avanzado)
Dominio profundo de PySpark y Spark SQL para transformaciones complejas
Optimización de jobs: particionamiento, caching, broadcast joins, tuning de memoria y paralelismo
Manejo de DataFrames, Datasets y RDDs
Desarrollo y mantenimiento de pipelines batch en entornos distribuidos
Integración de Spark con sistemas de almacenamiento (S3, Delta Lake, Parquet, Hive)

2.2 Procesamiento de Streaming (Excluyente – Nivel Medio-Avanzado)
Apache Kafka: producción, consumo, topics, consumer groups, gestión de offsets
Spark Structured Streaming o Apache Flink para procesamiento en tiempo real
Patrones de diseño: event sourcing, exactamente una vez (exactly-once), ventanas de tiempo
Manejo de datos en movimiento para casos de uso financiero/transaccional





2.3 Amazon Web Services – AWS (Excluyente – Nivel Medio)
AWS Glue para orquestación y catalogación de datos
Amazon S3 como data lake: particionamiento, ciclo de vida, optimización de costos
AWS Lambda para procesamiento serverless complementario
AWS IAM, VPC y gestión de seguridad básica en entornos de datos

2.4 Orquestación y DevOps de Datos
Apache Airflow o AWS Step Functions para orquestación de workflows
CI/CD para pipelines de datos (GitHub Actions, AWS CodePipeline)
Manejo de control de versiones con Git

3.5 Lenguajes y Formatos
Python (nivel avanzado, principal lenguaje de desarrollo)
SQL avanzado para transformaciones y análisis
Experiencia Requerida
Mínimo 3 años de experiencia en ingeniería de datos
Al menos 2 años trabajando con Apache Spark en entornos productivos de alto volumen
Experiencia comprobable en proyectos de streaming de datos en tiempo real
Experiencia en AWS con al menos dos de los servicios mencionados en producción
Deseable: experiencia trabajando en metodologías ágiles (Scrum/SAFe)
J-18808-Ljbffr

📌 Ingeniero De Datos – Big Data & Streaming Girardot (Colombia)
🏢 Zemsania
📍 Colombia