22 oct
|
hiberus
|
Bogotá
? Estamos buscando Senior Data Engineer | AWS / Databricks En hiberus Colombia estamos buscando un/a Senior Data Engineer para formar parte de un proyecto internacional de Inteligencia Artificial, trabajando junto a equipos de Data Science, ML Engineering y GenAI. El reto principal será diseñar, construir y mantener los pipelines de ingesta, transformación y procesamiento de datos que alimentarán un Golden Dataset gobernado, asegurando que la información sea de calidad, trazable, reproducible y esté preparada para el desarrollo de soluciones avanzadas de IA. ? ¿Qué harás? ? Diseñar e implementar pipelines de datos batch y streaming sobre AWS y/o Databricks. ? Construir y mantener arquitecturas Medallion (Bronze / Silver / Gold) sobre Delta Lake. ? Trabajar en la generación y mantenimiento de Golden Datasets. ? Implementar controles de calidad, versionado, trazabilidad y linaje utilizando herramientas como Delta Time Travel y Unity Catalog. ? Desarrollar transformaciones como código versionado en Git, utilizando Python/PySpark, Spark SQL y/o dbt. ? Automatizar despliegues mediante CI/CD y herramientas como GitHub Actions, GitLab CI o Terraform.
? Optimizar rendimiento y costes de procesos en AWS y/o Databricks. ? Trabajar de manera colaborativa con Data Scientists, ML Engineers y GenAI Engineers para crear datasets y features reutilizables. ? Buscamos experiencia en: ✅ 3+ años en Ingeniería de Datos. ✅ Al menos 2 años trabajando con AWS y/o Databricks en entornos productivos. ✅ Experiencia con AWS: S3, IAM, Glue, Lake Formation y CloudWatch. ✅ PySpark / Spark SQL a nivel avanzado. ✅ Python a nivel productivo. ✅ Git, pull requests y buenas prácticas de desarrollo. ✅ CI/CD aplicado a pipelines de datos. ✅ Terraform o CloudFormation. ✅ Modelado de datos, Data Lake y principios de gobierno del dato. ⭐ Será valorable contar con experiencia en Feature Store, dbt, Airflow/Dagster, proyectos de movilidad, flotas o IoT, así como certificaciones AWS o Databricks. Si te interesa trabajar en un proyecto internacional donde Data Engineering es una pieza fundamental para construir soluciones de IA escalables, nos encantará conocerte
📌 Senior Data Engineer – AWS (Bogotá)
🏢 hiberus
📍 Bogotá