Data Engineer / Développeur Big Data - Spark Java & Databricks (F/H) - Freelance

About this role

Taux journalier (TJM): 430 à 450 €/j A LIRE ATTENTIVEMENT AVANT DE POSTULER 2 jours de télétravail / semaine - Lyon (07) - Expérience de 3 ans minimum Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ? Nous recherchons un-e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud.

L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud. Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud Votre mission s'articulera autour de deux grandes étapes. 1/ Migrer progressivement les traitements vers Spark Vous commencerez par vous approprier les flux de données existants et les processus métier associés.

Concrètement, vous allez : - migrer des traitements Informatica et PL/SQL vers Spark en Java - concevoir, développer et maintenir des pipelines de données - optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse - assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL - intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout - veiller à la qualité et à la fiabilité des données produites.

L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques. 2/ Participer à la migration vers Databricks Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks. Vous contribuerez notamment à : - concevoir les futurs pipelines de données sous Databricks - participer aux choix de conception et d'architecture - industrialiser les nouveaux traitements - faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme.