Post-doctorat en interprétabilité mécaniste et diversité des représentations

About this role

Grande école d’ingénieur généraliste de l’IMT-Institut Mines-Télécom, premier groupe d’écoles d’ingénieurs de France, IMT Atlantique a pour ambition d’accompagner les transitions, de former des ingénieurs responsables et mettre l'excellence scientifique et technique au service de l'enseignement, de la recherche et de l'innovation. Le poste est basé à Brest, au sein de l'équipe BRAIN (BRoader Artificial INtelligence) du Lab-STICC (UMR CNRS 6285).

L'équipe travaille sur les fondements de l'apprentissage automatique (représentations, apprentissage frugal, modèles de fondation, traitement du signal) et sur leurs applications, en particulier en santé. Elle a récemment développé REVE, un modèle de fondation pour l'électroencéphalographie pré-entraîné sur plus de 25 000 sujets (NeurIPS 2025), et s’intéresse aux modèles de langage à diffusion discrète et sur l'interprétabilité mécaniste.

Le projet ENDIVE étudie ce que la diversité peut apporter à l'apprentissage automatique lorsque le budget porte sur le nombre d'exemples annotés plutôt que sur la puissance de calcul. Dans ce régime, ce qu'apporte un nouvel exemple ne dépend plus seulement de sa qualité propre, mais de ce qui le distingue de ceux déjà vus. Le point d'entrée technique du projet est l'échantillonnage à garanties de diversité, et en particulier les processus ponctuels déterminantaux (DPP), dont la matrice de noyau encode à la fois la pertinence des points et leur similarité.

Le projet explore cette question sur deux plans complémentaires : la diversité des données, soit le choix des exemples que l'on annote, conserve ou présente au modèle ; et la diversité des représentations, soit le choix des descripteurs, des contextes et des modèles que l'on exploite ou combine. Les premiers résultats portent sur le décodage diversifié des modèles de langue à diffusion discrète et sur la localisation de l'information dans les représentations des transformers.

Le poste proposé porte sur le second plan, abordé par les outils de l'interprétabilité mécaniste. Page du projet : https://bastienpasdeloup.github.io/endive/ MISSIONS Les missions principales du poste sont les suivantes : Définir et évaluer des critères de diversité dans l'espace des représentations des modèles de fondation, en s'appuyant sur les outils de l'interprétabilité mécaniste. 2. Étudier le lien entre la diversité des données d'entraînement et la diversité des mécanismes internes que les modèles acquièrent.