¿Cuáles son las funciones del Data Engineer?
Diseñar e implementar soluciones de datos escalables y confiables utilizando Azure Data Factory.
Gestionar y optimizar las canalizaciones de datos dentro de Azure Data Factory.
Desarrollar y mantener soluciones de bases de datos en SQL Server y PostgreSQL.
Asegurar la consistencia arquitectónica y la seguridad de los datos en todos los servicios y plataformas de datos.
Colaborar con científicos de datos y partes interesadas del negocio para comprender las necesidades de datos.
Monitorear el rendimiento y asesorar sobre los cambios necesarios en la infraestructura.
Desarrollar procesos de conjuntos de datos para modelado, minería y producción de datos.
Implementar flujos de trabajo y rutinas automatizadas utilizando herramientas de orquestación de flujos de trabajo.
Documentar todos los procedimientos de ingeniería de datos para referencia futura y cumplimiento.
Trabajar con arquitectos para modelar modelos de datos analíticos y almacenes de datos, incluyendo canalizaciones y ETL.