Toutes les études de cas / Étude de cas 07 / 12
Banque Orvelia
Plateforme d’évaluation des assistants IA
Prouver qu’un assistant IA est fiable avant de le mettre en production
En clair
Avant de confier un assistant IA à ses conseillers, la banque voulait des preuves. La plateforme teste chaque version sur des centaines de questions, mesure la fidélité des réponses aux sources et bloque toute mise en production qui n’atteint pas le seuil.
- Client
- Banque Orvelia
- Secteur
- Banque de détail
- Taille
- 2 000 collaborateurs, 4 assistants IA en préparation
- −82 %de réponses non fondées entre la v1 et la v3
- 600questions de test rejouées à chaque version
- Go / no-goautomatique avant chaque mise en production
Le contexte
Banque Orvelia prépare quatre assistants internes : procédures, crédit, conformité et support. La direction des risques refuse toute mise en production sans mesure objective de la fiabilité : une réponse inventée sur une procédure de crédit peut coûter cher.
Le défi
- 01
Impossible de vérifier à la main des milliers de réponses à chaque modification.
- 02
Une amélioration sur un point peut en dégrader un autre sans qu’on le voie.
- 03
Les risques et l’IT doivent partager les mêmes chiffres.
- 04
Chaque version mise en production doit être justifiée et archivée.
Notre approche
Un jeu de questions de référence, avec les bonnes réponses validées par les métiers, est rejoué automatiquement contre chaque version de l’assistant. Un modèle évaluateur (LLM-as-a-judge) note chaque réponse sur la fidélité aux sources, la pertinence et la précision du contexte retrouvé. Le tableau de bord compare les versions, et un seuil bloque la mise en production tant que la qualité n’est pas atteinte.
La solution, étape par étape
- 01
Les questions de référence
600 questions réelles et leurs réponses validées par les experts métier.
- 02
Rejouées à chaque version
Chaque modification de l’assistant déclenche une évaluation complète, automatiquement.
- 03
Notées par un évaluateur
Fidélité aux sources, pertinence, précision du contexte : chaque réponse est mesurée.
- 04
Comparées version à version
On voit immédiatement ce qui progresse et ce qui régresse.
- 05
Go ou no-go
La mise en production n’est autorisée qu’au-dessus des seuils fixés avec les risques.
Résultats
- −82 %de réponses non fondées entre la v1 et la v3
- 0,94de score de fidélité aux sources en production
- 2 hpour évaluer une version, au lieu de deux semaines
- 100 %des mises en production documentées
Ce que nous livrons
- Jeux de tests construits avec les métiers
- Pipeline d’évaluation automatique (RAGAS, LLM-as-a-judge)
- Tableau de bord de comparaison des versions
- Seuils de qualité intégrés à la CI/CD
- Rapports archivés pour l’audit
Technologies
- RAGAS
- LangSmith
- Python
- FastAPI
- Docker
- GitLab CI
Délai
6 à 8 semaines
Équipe
1 ingénieur IA, 1 ingénieur MLOps
Cas illustratifs : clients et chiffres fictifs, représentatifs des solutions que nous livrons.