11 nov
|
Inetum Colombia
|
Bogotá
11 nov
Inetum Colombia
Bogotá
Descripción del empleoBuscamos un Senior AWS Data Engineer / Data Migration & Automation Engineer con experiencia sólida en ingeniería de datos, migración de bases de datos, desarrollo y transformación de procesos ETL/ELT y automatización de soluciones sobre AWS. La persona será responsable de llevar procesos existentes de bases de datos, SQL y ETLs hacia AWS, asegurando que la migración sea técnicamente correcta, automatizada, trazable, escalable y operable en los diferentes ambientes. Un aspecto fundamental del rol es que la solución no quede únicamente desarrollada, sino que todo el ciclo de desarrollo y despliegue quede automatizado mediante GitHub y GitHub Actions, siguiendo buenas prácticas de CI/CD.Requisitos1. Responsabilidades principales:Migración de bases de datos- Analizar bases de datos y plataformas existentes para identificar estructuras, dependencias, volumen, complejidad y riesgos de migración.- Diseñar y ejecutar estrategias de migración hacia AWS.- Configurar y operar AWS Database Migration Service (AWS DMS) para migraciones y replicaciones.- Gestionar cargas iniciales, cargas incrementales y procesos de sincronización.- Participar en actividades de cutover, validación y estabilización de las plataformas migradas.- Realizar troubleshooting de errores de migración, conectividad, rendimiento y consistencia de datos.SQL y bases de datos- Desarrollar y mantener SQL avanzado.- Analizar y adaptar queries, vistas, stored procedures, funciones y procesos SQL existentes.- Identificar diferencias entre motores de bases de datos origen y destino.- Optimizar consultas y procesos para mejorar rendimiento.- Diseñar mecanismos de validación y reconciliación de información entre origen y destino.ETL / ELT y AWS Glue- Analizar procesos ETL existentes y comprender su lógica funcional y técnica.- Migrar y rediseñar procesos ETL/ELT para ejecutarse sobre AWS.- Desarrollar pipelines utilizando AWS Glue.- Crear y administrar Glue Jobs, Crawlers,
Workflows y Glue Data Catalog.- Desarrollar transformaciones utilizando Python y/o PySpark.- Diseñar procesos de ingesta, transformación y carga sobre S3 y otros servicios AWS.- Automatizar la ejecución, dependencia y orquestación de los pipelines.- Implementar controles de calidad y validaciones dentro de los procesos de datos.Automatización y CI/CD- Utilizar GitHub como plataforma de control de versiones y colaboración.- Definir y mantener estrategias de branching, pull requests y code reviews.- Diseñar e implementar pipelines de GitHub Actions.- Automatizar procesos de build, testing, packaging y deployment.- Automatizar despliegues hacia los diferentes ambientes: DEV, QA/UAT y PROD.- Gestionar variables, secrets y configuraciones de forma segura.- Implementar mecanismos de rollback y control de versiones.- Integrar GitHub Actions con AWS para automatizar el despliegue de componentes de datos y ETL.- Reducir al mínimo las actividades manuales en el ciclo de desarrollo y operación.Infraestructura y operación AWS- Implementar infraestructura y configuraciones mediante Infrastructure as Code.- Trabajar preferentemente con Terraform y/o AWS CloudFormation.- Configurar monitorización, logging y alertas utilizando Amazon CloudWatch.- Implementar y operar servicios de AWS orientados a datos, automatización y procesamiento.- Participar en el diseño de soluciones escalables, seguras y mantenibles2.
Requerimientos técnicos:AWSExperiencia práctica y demostrable con:- AWS Glue- AWS DMS- Amazon S3- Amazon CloudWatch- AWS IAM- AWS Lambda- AWS Step Functions y/o herramientas de orquestación equivalentes- EventBridge y/o mecanismos de automatización de eventosData Engineering- ETL / ELT- Data pipelines- Data migration- Data transformation- Data validation y reconciliation- Data quality- Procesamiento de grandes volúmenes de datosSQL y bases de datos- SQL avanzado- Queries complejas- Joins- CTEs- Window functions- Stored procedures- Functions- Views- Optimización de consultas- Experiencia con bases de datos relacionalesLenguajes- Python- PySpark como conocimiento altamente deseable para AWS GlueGitHub y DevOps- Git- GitHub- GitHub Actions- CI/CD- Pull Requests- Branching strategies- Automated testing- Automated deployments- Gestión de secrets y variables- Integración de GitHub con AWSInfrastructure as Code- Terraform y/o CloudFormationInformación adicionalExperiencia con bases de datos- Oracle- Microsoft SQL Server- PostgreSQL- MySQLEl candidato debe ser capaz de entender un entorno de base de datos existente, identificar dependencias y adaptar la solución para el ambiente AWS destino.Competencias profesionales- Capacidad analítica.- Orientación a la automatización.- Atención al detalle.- Orientación a calidad de datos.- Capacidad de troubleshooting.- Pensamiento estructurado.- Buenas prácticas de desarrollo.- Capacidad para documentar soluciones técnicas.- Trabajo colaborativo.- Capacidad para gestionar prioridades y entregas.- Orientación a resultados.Perfil técnico esperadoEl candidato ideal debe ser capaz de trabajar end-to-end en una migración de datos. Como referencia, debería poder participar en un flujo como:Base de datos origen → AWS DMS → Amazon S3 → AWS Glue → Transformaciones SQL / Python / PySpark → Base de datos o Data Warehouse destino → Validación y reconciliación → CI/CD con GitHub Actions → Monitorización con CloudWatchAdemás, debe ser capaz de llevar este flujo desde el desarrollo hasta producción utilizando procesos automatizados y controlados.#J-18808-Ljbffr
📌 Senior Aws Data Engineer – Data Migration & Automation (Bogotá)
🏢 Inetum Colombia
📍 Bogotá