Data Engineer

Objetivo del puesto

Diseñar, desarrollar, testear, implementar y mantener pipelines de datos eficientes, seguros y escalables en la nube. Será responsable de la ingestión, transformación, procesamiento y disponibilidad de datos mediante procesos ETL/ELT, apoyando proyectos analíticos, de inteligencia artificial y machine learning.

Responsabilidades del puesto

• Diseñar, desarrollar y mantener pipelines de datos batch y/o streaming utilizando AWS, Python, Spark y SQL.
• Implementar procesos ETL/ELT para la ingestión, limpieza, transformación y carga de datos desde múltiples fuentes.
• Desarrollar y orquestar flujos de datos utilizando servicios de AWS como S3, Glue, Lambda, Step Functions y SageMaker.
• Colaborar con equipos de Data Science para preparar datasets y habilitar el entrenamiento y despliegue de modelos de ML.
• Optimizar el rendimiento, la escalabilidad y los costos de los pipelines y la infraestructura de datos.
• Escribir código siguiendo buenas prácticas internacionales de desarrollo y estándares de calidad.
• Considerar y cumplir durante el ciclo de desarrollo todas las políticas de seguridad de la información.
• Documentar adecuadamente las soluciones, pipelines y procesos de datos para facilitar el mantenimiento y la transferencia de conocimientos.
• Identificar, analizar y resolver incidencias, errores o fallas técnicas en los flujos de datos, reportando las acciones tomadas
• Coordinar con otros equipos para facilitar integraciones y mejorar la experiencia del usuario.