Data Engineer Databricks / Unity Catalog - Admin Big Data Azure & Migration PaaS - Freelance (H/F)

About this role

Taux journalier (TJM): 510-540 € HT Paris (75) Hybride - 2 jours de télétravail/semaine 36 mois CONTEXTE ET ENJEUX Dans le cadre de la modernisation de son écosystème Big Data, la DSI d'un acteur majeur du transport ferroviaire recherche un Consultant Expert Databricks / Unity Catalog pour accompagner l'exploitation, l'administration et l'évolution de sa plateforme de données. Le pôle Big Data développe, au sein d'un projet stratégique, plusieurs cas d'usage exploitant des données et produisant quotidiennement des résultats à destination des métiers.

Ces cas d'usage nécessitent notamment : * La conception et l'exploitation de flux d'ingestion et d'exposition de données, via des Data Gateways ou d'autres mécanismes d'intégration. * La connexion de solutions de Data Visualization. * L'automatisation des traitements et des flux ETL. * L'administration d'une nouvelle plateforme Big Data en environnement PaaS. * La gestion de la gouvernance des données, des habilitations, des clés de sécurité, des Key Vaults et des API Managers.

* La contribution à la migration de l'ancienne plateforme vers la nouvelle architecture. * L'optimisation des performances en lecture et en écriture, aussi bien au niveau du stockage physique que de l'utilisation mémoire. * L'industrialisation des déploiements via GitLab Enterprise (CI/CD). La plateforme étant administrée directement par les équipes internes, la mission exige une expertise approfondie en administration, sécurité, gouvernance et exploitation de Databricks en production.

MISSIONS DÉTAILLÉES 1. ADMINISTRATION ET MAINTIEN EN CONDITIONS OPÉRATIONNELLES * Assurer le MCO de la plateforme Big Data. * Administrer les workspaces Databricks et leurs configurations. * Gérer les clusters, les espaces de stockage, les storages et les blobs. * Superviser le fonctionnement des traitements Big Data, des jobs et des pipelines Databricks. * Créer, configurer et maintenir les traitements nécessaires aux besoins métiers.

* Mettre en place et exploiter des tables de monitoring et des dashboards de supervision. * Garantir la stabilité, la disponibilité et le bon fonctionnement de la plateforme en production. * Assurer le suivi opérationnel et le traitement des demandes via JIRA. 2. GOUVERNANCE DES DONNÉES ET ADMINISTRATION UNITY CATALOG * Assurer la gouvernance de la plateforme via Unity Catalog. * Administrer le metastore France en environnement de PRODUCTION, avec un rôle de coadministrateur.