Data Ingénieur Databricks

À propos du poste

AlgoviA recherche un(e) consultant(e) Data Ingénieur (Databricks, PySpark et SQL) pour renforcer l'équipe Pilotage, chargée de l'intégration et de la représentation des données du métier de la Gestion des Interventions au sein du pôle SI Réseau Électrique. Le poste est basé à Lyon, en CDI, avec un salaire de 35 k à 50 k € par an. Le consultant travaille dans un environnement dynamique et évoluant, en collaboration avec les équipes métiers, les représentants des utilisateurs et les équipes IT du projet, au sein d'une équipe de consultants Data Ingénieur et de spécialistes de la Data Visualisation, dans un contexte orienté Reporting et Business Intelligence.

Missions principales

• Concevoir, développer et maintenir des pipelines de données robustes et scalables sur Databricks (SQL, PySpark)
• Créer et améliorer des applications avec Databricks Apps, en utilisant Streamlit ou Dash
• Assurer la qualité et l'intégrité des données grâce à des processus de validation et de nettoyage
• Participer à la définition des architectures de données et à l'amélioration continue des bonnes pratiques
• Documenter les processus et les solutions développées

Profil recherché

• Expérience de 2 à 4 ans en tant que consultant Data Ingénieur Databricks
• Expérience de 2 à 4 ans en tant que consultant Data Ingénieur en Python (PySpark)
• Expérience appréciée dans la création d'applications avec Streamlit ou Dash ; certification Databricks appréciée
• Capacité à travailler de manière autonome, à collaborer avec l'équipe et à communiquer avec des équipes non techniques

Compétences requises

• Databricks (notebooks, jobs, clusters, workspace)
• SQL et PySpark
• Python Streamlit ou Dash
• Gestion de bases de données relationnelles et intégration de données
• Modélisation de données (Business Intelligence)
• Méthodologie agile et GitLab
• Environnement technique : Power BI Service, AWS, Jira / Confluence