En Improving South America, brindamos servicios de TI para transformar la percepción del profesional de TI. Nos enfocamos en consultoría de TI, desarrollo de software y formación ágil。La empresa promueve una cultura de trabajo excepcional basada en el trabajo en equipo, la excelencia y la diversión, con enfoque en crecimiento personal y recompensas compartidas. Al integrarse, el/la candidato/a formará parte de una comunidad que prioriza la comunicación abierta y relaciones laborales sólidas a largo plazo, respaldada por una estructura de desarrollo profesional y aprendizaje continuo。Responsabilidades del rolBuscamos Senior Data Engineer con experiencia sólida en Entity Resolution / Master Data Management (MDM) para diseñar y evolucionar una plataforma de identidad sobre datos provenientes de múltiples sistemas。El desafío principal será construir procesos de matching y deduplicación de alta precisión, capaces de identificar cuándo distintos registros corresponden a una misma persona, minimizando especialmente los falsos matches。Lo Que HarásDiseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas。Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual。Procesar grandes volúmenes de datos con PySpark y Delta Lake。Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes。Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos。Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse。Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching。Definir y monitorear criterios de calidad, latencia y actualización de los datos。Documentar reglas,



decisiones técnicas y funcionamiento de los pipelines。Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad y casos ambiguos。Participar en la evolución y mantenimiento de una plataforma de datos productiva。Requerimientos indispensables7+ años de experiencia en Data Engineering, con ownership senior sobre plataformas productivas。Inglés avanzado – ObligatorioExperiencia real y profunda en Entity Resolution / Master Data Management。Experiencia práctica con: Matching determinístico y probabilístico, Blocking, Confidence scoring, Survivorship, Human-in-the-loop / revisión manual。PySpark a escala y experiencia sólida con Delta Lake。Experiencia con Microsoft Fabric, especialmente Lakehouse, Warehouse, Notebooks y Pipelines。T-SQL y Azure SQL avanzados, incluyendo operaciones de MERGE / upsert bajo carga concurrente。Experiencia diseñando pipelines configurables, llevando las diferencias entre fuentes a configuración en lugar de hardcodearlas。Experiencia trabajando con datos de múltiples fuentes con estructuras inconsistentes o contratos poco definidos。Experiencia trabajando con PII y datos regulados, considerando seguridad, trazabilidad y auditabilidad。Capacidad para documentar claramente reglas, decisiones técnicas y procesos。Plus relevanteExperiencia profunda en Databricks o Azure Synapse y transición hacia Microsoft Fabric。Experiencia con Splink, Zingg u otras herramientas de Entity Resolution。Experiencia con frameworks internos o configurables de orquestación sobre Spark。Conocimiento de property management / real estate data y modelos de lease, household, co-signer, roommate, etc。Experiencia con datos destinados a procesos operativos o de facturación, más allá de escenarios puramente analíticos o de reporting。Experiencia reduciendo deuda técnica y evolucionando plataformas de datos existentes。Experiencia con Azure DevOps y CI/CD para data engineering。Experiencia con ADLS Gen2, Azure SQL, T-SQL y Power BI。Incentivos que ofrecemosContrato a largo plazo。100% Remoto。Vacaciones y PTOsPosibilidad de recibir 2 bonos al año。2 revisiones salariales al año。Clases de inglés。Equipamiento Apple。Plataforma de cursos en líneaBudget para compra de libros。Budget para compra de materiales de trabajomucho mas..#J-18808-Ljbffr

📌 Data Engineer Senior (Colombia)
🏢 Improving South America
📍 Colombia