Consultant.e Senior Test et Recette Agent IA - H/F

About this role

Dans le cadre d’un projet stratégique, notre client développe une application destinée à ses équipes métiers. L'application intégrera 10 à 15 agents IA pour enrichir les usages : préparation automatique de rendez-vous, comptes rendus, planification, Q&A sur les procédures et produits, rédaction d’emails, etc. Des prototypes IA existent déjà et doivent désormais être industrialisés. Nous recherchons un.e Consultant.e QA IA Senior capable de prendre en autonomie la responsabilité de la recette du projet, en lien étroit avec les Product Owners, développeurs, équipes IA/Data et métiers.

💪 Vos missions : Définir la stratégie de tests globale du projet. Construire la stratégie spécifique d’évaluation et de recette des agents IA. Rédiger les scénarios et cas de tests. Réaliser les tests des IHM, API et agents IA. Tester notamment la pertinence et la robustesse des réponses IA : cohérence, hallucinations, reproductibilité, performance, cas limites… Créer ou compléter les jeux de données de test nécessaires.

Identifier, documenter et suivre les anomalies. Piloter et coordonner la recette métier. Travailler quotidiennement avec les équipes PO, DEV, IA, Data et métiers. 🎯 Vos atouts pour nous rejoindre : Solide expérience en QA / recette fonctionnelle et technique . Expérience significative sur les tests API . Maîtrise de JIRA / Xray . Capable de construire une stratégie de tests de bout en bout. À l’aise dans un environnement Agile avec de nombreux interlocuteurs.

Capable de challenger les équipes et de structurer la recette. Une expérience concrète de recette / évaluation de solutions GenAI, LLM ou agents IA est obligatoire . Nous privilégierons les profils ayant déjà travaillé sur des sujets tels que : définition de critères d'évaluation de réponses LLM ; hallucinations et pertinence des réponses ; tests de RAG / agents IA ; jeux de données / golden datasets ; robustesse et cas limites ; comparaison et qualification des réponses IA.

Environnement technique : Front : ReactJS Back : Java API Test management / anomalies : JIRA, Xray Tests API : Bruno Outils de tests automatisés déjà présents Technologies IA / LLM : les technologies sont en cours de décision 🙋‍♂️ Pourquoi nous rejoindre ? Nous sommes une AI-Driven Company, partenaire des plus grands partenaires technologiques (Google, AWS, Microsoft, ServiceNow,…) et composée d'un important collectif d'experts (50 tribus d'expertise).