En Improving South America, brindamos servicios de TI para transformar la percepción del competente de TI. Nos enfocamos en consultoría de TI, desarrollo de software y formación ágil.
La empresa promueve una cultura de trabajo excepcional basada en el trabajo en equipo, la excelencia y la diversión, con enfoque en crecimiento personal y recompensas compartidas. Al integrarse, el/la candidato/a formará parte de una comunidad que prioriza la comunicación abierta y relaciones laborales sólidas a largo plazo, respaldada por una estructura de desarrollo profesional y aprendizaje continuo.
Responsabilidades del rol
Buscamos Senior Data Engineer con experiencia sólida en Entity Resolution / Master Data Management (MDM) para diseñar y evolucionar una plataforma de identidad sobre datos provenientes de múltiples sistemas.
El desafío principal será construir procesos de matching y deduplicación de alta precisión, capaces de identificar cuándo distintos registros corresponden a una misma persona, minimizando especialmente los falsos matches.
Lo Que Harás
• Diseñar y desarrollar procesos de Entity Resolution / MDM con reglas determinísticas y probabilísticas.
• Construir modelos de matching con blocking, confidence scoring, survivorship y revisión manual.
• Procesar grandes volúmenes de datos con PySpark y Delta Lake.
• Diseñar pipelines configurables para integrar múltiples fuentes con estructuras y comportamientos diferentes.
• Trabajar con payloads de terceros no siempre documentados o consistentes, identificando cambios, faltantes y colisiones de datos.
• Desarrollar procesos de upsert/merge sobre Azure SQL y el Data Warehouse.
• Diseñar mecanismos de trazabilidad, auditoría y reason codes para las decisiones de matching.
• Definir y monitorear criterios de calidad, latencia y actualización de los datos.
• Documentar reglas, decisiones técnicas y funcionamiento de los pipelines.
• Trabajar en conjunto con equipos técnicos y de negocio para validar reglas de identidad
📌 Data Engineer Senior (Colombia)
🏢 Improving South America
📍 Colombia
Postulate a este anuncio
Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.