EU remote
Lead Data engineer GCP (H/F)
About this role
Dans le cadre du développement d’une nouvelle plateforme de données dédiée au marketing et à la personnalisation client, nous recherchons un Lead Data Engineer (H/F) spécialisé dans les architectures de streaming temps réel sur Google Cloud Platform (GCP). Vous intégrerez une nouvelle équipe et participerez à la construction d’une plateforme data moderne, évolutive et performante, depuis les premières phases de conception jusqu’à l’industrialisation des pipelines de données.
Vos missions : Concevoir, développer et maintenir des pipelines de données en streaming temps réel sur GCP Participer à la conception et à la construction d’architectures de streaming reposant notamment sur Apache Beam et Google Cloud Dataflow Collecter, transformer, enrichir et fiabiliser des données à grande échelle, notamment les flux issus de Google Tag Manager Concevoir des traitements adaptés aux contraintes du temps réel : gestion des fenêtres temporelles, agrégations continues, watermarks et traitement des événements tardifs Contribuer à la mise en place d’une plateforme data moderne, scalable et résiliente, adaptée aux enjeux de marketing et de personnalisation client Participer aux choix d’architecture et aux premières phases de construction du projet Garantir la qualité, la performance et la fiabilité des pipelines développés Mettre en place les bonnes pratiques de développement, de tests et d’intégration continue Contribuer à l’industrialisation et à l’automatisation des déploiements grâce à des outils CI/CD et Infrastructure as Code Vous avez un diplôme d'ingénieur / Bac+5 en data Vous avez 5 ans d'expérience en Data Engineering dans un environnement cloud GCP Vous maîtrisez notamment : Développement : Java et/ou Python.
Streaming temps réel : Apache Beam, Google Cloud Dataflow, Apache Spark Streaming ou Apache Flink. Concepts de streaming : Event Time vs Processing Time, Windowing, Continuous Aggregation, Watermarks et gestion des événements tardifs. Environnement GCP : BigQuery, Dataflow, Dataproc et services associés. Industrialisation : CI/CD, GitHub Actions, Terraform et Git. Data Engineering : traitement de données à grande échelle, qualité des données, optimisation des performances et fiabilité des pipelines.