Data Engineer – Écosystème Databricks

À propos du poste

Devoteam Data Driven, l'équipe spécialiste de la Data du groupe Devoteam (300 personnes en France), recherche un Data Engineer à Levallois-Perret. Vous concevez et industrialisez des architectures de données scalables pour les projets Analytics et IA, à l'intersection du software engineering et du cloud, en exploitant l'écosystème Databricks.

Missions principales

• Concevoir et développer des pipelines ETL/ELT complexes, en batch et en streaming, sur Databricks et le cloud
• Tuner les clusters, partitionner les données et optimiser les requêtes pour maîtriser la facture
• Industrialiser les déploiements, orchestrer les jobs et mettre en place des tests de qualité automatisés
• Surveiller les flux en production, gérer le lignage des données et assurer la cohérence entre sources et cibles

Profil recherché

• Ecole d'ingénieur ou équivalent, avec au moins 4 ans d'expérience en Data Engineering, dont 2 ans sur Databricks
• Excellent relationnel, sens du service, rigueur et aptitude à résoudre des problèmes complexes

Compétences requises

• Maîtrise avancée de SQL et de Python ; Scala appréciée
• Expérience approfondie sur au moins une plateforme cloud (AWS, Azure, GCP) et Databricks
• Frameworks Spark et PySpark
• Gestion de projet logiciel (Git, CI/CD GitHub Actions/GitLab CI) et conteneurisation (Docker, Kubernetes)
• IaC avec Terraform