Stage - Implémentation de modèles d’IA à l’edge - F/HN

About this role

Sujet de stage L'inférence de modèle appliqué à un environnement contraint. Sous-titre Les modèles actuellement utilisés tournent principalement sur plusieurs GPUs dans un avenir proche de nombreux cas d’usages émergeront avec une contrainte forte sur le hardware et son accessibilité. Le WHY L’occasion de travailler sur un cas concret tout en explorant un état de l’art plus proche de la réalité. Mettre ces services à disposition de tous devient nécessaire, mais aussi être capable de fournir ces capacités sans être dépendant des grands acteurs et de leurs APIs.

Les missions Cartographier les techniques d'optimisation pour LLM/VLM embarqués : quantification (int4/int8, GPTQ, AWQ), KV cache quantifié, décodage spéculatif, réduction des tokens visuels Comparer les runtimes et délégués matériels : ExecuTorch (CoreML/ANE, Metal, QNN), llama.cpp, MLX, vLLM, SGLang, Tensor-RT Implémenter un cas d'usage interne à données sensibles sur plusieurs paliers : poste M-series, smartphone, et serveur GPU interne selon disponibilité Mesurer les compromis : TTFT, tokens/s, RAM, énergie, qualité Produire une recommandation d'usage et un article OCTO Le déroulement du stage Étape 1 : Découverte et cadrage Faire de la veille bibliographique.

Choisir un cas d’usage. Définir la roadmap avec les objectifs à réaliser. Étape 2 : Montée en compétences Se former sur les hardwares à disposition. Étape 3 : Exploration Exploration des possibilités existantes en relation avec le cas d’usage. Étape 4 : Réalisation Réalisation de l'implémentation et du déploiement répondant aux cas d’usage. Étape 5 : Partage Partage aux autres Octos pendant et à la fin du stage, rédaction d’un article et démonstration.

Stack technique : Python, Git, Linux, Pytorch Vous préparez un BAC+5 et vous êtes à la recherche d'un stage de fin d'études. Vous avez une appétence pour les sujets de Data Science et pour l’exploration de l’état de l’art. Vous avez déjà exploré des modèles, quelques contributions/projets/articles en open source. Vous souhaitez approfondir vos compétences en déploiement de modèles et en hardware. Vous faîtes preuve de curiosité, d'ambition et d'autonomie OCTO Rewards Et parce que nous savons qu’un job n’est pas “juste” un job, on vous partage aussi quelques petits + qui font notre différence : 7 participations, 7 certifications et surtout 6 podiums au palmarès « Great Place To Work » : le bien-être et la progression des Octos sont vraiment au cœur de nos préoccupations ; “There is always a better way” : nous encourageons et soutenons l’innovation par la R&D.