06 nov
|
ALIATIC
|
Medellín
Sobre el cargo
Buscamos un/a Ingeniero/a de Datos con mínimo 2 años de experiencia para diseñar, construir y mantener pipelines de datos escalables sobre Azure. Trabajarás con Azure Databricks, PySpark y Azure Data Factory para llevar datos desde múltiples fuentes hasta el lago de datos, garantizando calidad, trazabilidad y rendimiento.
- Cargo: Ingeniero/a de Datos
- Experiencia: mínimo 2 años en ingeniería de datos
- Ubicación / modalidad: Medellín / Híbrido
- Tipo de contrato: Indefinido
Responsabilidades
- Diseñar, desarrollar y mantener pipelines de ingesta y transformación (ETL/ELT) en Azure Databricks con PySpark y SQL.
- Orquestar flujos de datos con Azure Data Factory: integración de fuentes, programación, parametrización y monitoreo.
- Modelar y organizar datos en Azure Data Lake bajo arquitecturas por capas (bronze, silver, gold).
- Optimizar procesos de computación distribuida: particionamiento, manejo de skew, uso eficiente de clusters y costos.
- Implementar controles de calidad, validación y trazabilidad de los datos.
- Versionar código con Git y participar en revisiones de código (pull requests).
- Gestionar tareas y despliegues en Azure DevOps (Boards, Repos y pipelines de CI/CD).
- Documentar soluciones y trabajar con analistas, científicos de datos y áreas de negocio para entender sus necesidades.
Requisitos
- Mínimo 2 años de experiencia como Ingeniero/a de Datos o en un rol equivalente.
- Profesional en Ingeniería de Sistemas, Informática, Electrónica, Industrial, Matemáticas, Estadística o carreras afines.
- Azure Databricks: notebooks, jobs/workflows, clusters y Delta Lake.
- PySpark: transformaciones,
joins, funciones de ventana y optimización de jobs.
- Computación distribuida: fundamentos de Spark (particiones, shuffles, ejecución perezosa, planes de ejecución).
- Azure Data Factory: pipelines, linked services, datasets, triggers y parametrización.
- Azure Data Lake Storage: organización de zonas, formatos (Parquet, Delta) y permisos.
- Python: código limpio, modular y probado.
- SQL: consultas avanzadas (CTE, funciones de ventana, agregaciones) y modelado de datos.
- Git: ramas, merge/rebase, resolución de conflictos y flujo de pull requests.
- Sólidos fundamentos de ingeniería de datos: ETL/ELT, modelado dimensional, calidad y gobierno de datos.
Deseable
- Azure DevOps: Repos, Boards y pipelines de CI/CD.
- Unity Catalog y buenas prácticas de gobierno de datos en Databricks.
- Infraestructura como código (Terraform o Bicep) y Databricks Asset Bundles.
- Pruebas automatizadas de datos y código (pytest, Great Expectations o similares).
- Certificaciones de Databricks (Data Engineer Associate/Professional) o de Microsoft (DP-700; DP-203 vigente también es válida).
- Inglés técnico para lectura de documentación.
Competencias personales
- Pensamiento analítico y orientación a la resolución de problemas.
- Autonomía y capacidad para gestionar tareas de principio a fin.
- Comunicación clara con perfiles técnicos y de negocio.
- Trabajo en equipo bajo metodologías ágiles.
- Atención al detalle y compromiso con la calidad del dato.
Qué ofrecemos
- Proyectos de datos retadores sobre un stack contemporáneo en Azure.
- Crecimiento profesional y apoyo para certificaciones.
📌 Ingeniero/a de Datos (Azure Databricks) (Medellín)
🏢 ALIATIC
📍 Medellín