Offres
Formations
Culture
Equipe
Publications
Recherches
Recrutement
Contact
Formation
Évaluation des produits d'IA Générative
Évaluation des produits d'IA Générative
présentation
CONCEVOIR ET METTRE EN ŒUVRE UN FRAMEWORK D'ÉVALUATION ROBUSTE POUR VOS SYSTÈMES IA EN PRODUCTION
Les LLMs sont flexibles et créatifs, c'est précisément ce qui les rend difficiles à évaluer. Sorties probabilistes, entrées imprévisibles, composants qui dérivent : mettre un produit IA en production exige une stratégie d'évaluation rigoureuse et spécifique.
Cette formation outille les développeurs pour évaluer leurs systèmes de bout en bout : définir les bons critères, choisir les scorers adaptés, construire des datasets représentatifs et monitorer la qualité en continu.
Tarif 2026
* (déjeuner inclus, hors frais de déplacement et hébergement)
Durée
7 heures ( 1 jour )
Modalité
Présentiel
Référence
IA-GEN-EVAL
CETTE FORMATION EST-ELLE FAITE POUR VOUS ?
.png){kind=icon}
Objectifs
- Comprendre les spécificités de l'évaluation des systèmes LLMs par rapport aux approches classiques
- Définir une stratégie d'évaluation adaptée à son produit : périmètre, critères, fréquence
- Construire et maintenir un dataset d'évaluation représentatif
- Choisir et implémenter les bons scorers selon la nature des outputs
- Mettre en place un monitoring continu en production
.png){kind=icon}
Public
- Développeurs
- Tech Leads
- Data Scientists
.png){kind=icon}
Accessibilité
Contactez nous pour toute formation adaptée à certaines conditions de handicap, notre référent handicap répondra à vos questions : matthieu.pedurthe@sciam.fr
Prérequis
- Maîtrise d'un langage de programmation (Python recommandé)
- Expérience d'intégration d'une API LLM
- Notions de base en IA générative
programme
Les spécificités de l'évaluation en IA générative
- Les variables contrôlées, les variables subies et la dérive dans le temps : cartographier l'incertitude de son système
- Le trade-off créativité/contrôle et ses implications pour la mise en production
La définition de la stratégie d'évaluation
- La raison d'être du produit comme boussole : la qualité, la latence, les coûts et la robustesse
- Le quoi, le où et le quand évaluer : le composant par composant ou le end-to-end, le développement comme la production
- Le happy path, le realistic path et l’adverse path : la couverture de l'espace des inputs
La construction du dataset d'évaluation
- La structure, les méthodes de construction et la gestion dans le temps
- La représentativité, l'exhaustivité et la gouvernance
Les scorers et les métriques
- Les outputs structurés vs les outputs libres : les critères et les méthodes adaptés à chaque cas
- L’évaluation humaine, les métriques déterministes, les métriques sémantiques et le LLM-as-a-Judge
- La combinaison des scorers pour couvrir l'ensemble des dimensions du produit
L'évaluation dynamique et le monitoring en production
- L’évaluation unitaire vs l’évaluation dynamique multi-tours
- L’observabilité : les logs, les métriques de latence et de coût et l’alerting
- Les guardrails : la frontière entre l’évaluation et le contrôle en temps réel
MODALITES ET INFORMATIONS
Moyens et supports pédagogiques
Support de cours et cahier de travaux pratique.
Modalités d'évaluation
QCM pour mesurer l'acquisition des compétences théoriques
Taux de recommandation & de satisfaction
Disponible par formation sur demande
.png)
Modalités d'inscription
Les dates de formation sont définies avec vous et planifiées dans un délai maximal de trois mois après validation du besoin. Formulaire à remplir et à nous envoyer par mail à l'adresse formation@sciam.fr
