Testez votre IA sur de vrais cas avant que les clients voient son travail

Par Alexander Leslie, dirigeant principal de l’information · Publié le 17 octobre 2026

Comment tester un agent IA ?

Faites-le travailler sur de vrais cas passés dont vous connaissez la bonne réponse, puis comparez. Évaluez si la réponse s’appuie sur vos documents, si elle fait le travail, si l’agent fait parfois ce qu’il ne doit pas, et combien de temps et d’argent il faut. Fixez la note de passage avant de lancer le test.

Taille

Commencez avec 30 à 50 cas. Ajoutez-en un chaque fois que vous trouvez un nouveau type d’erreur.

Source

De vraies questions et demandes de la dernière année, pas des questions inventées. Les questions inventées testent vos hypothèses.

Mélange

Incluez des cas faciles, des cas délicats et quelques cas où la bonne réponse est que vous ne savez pas, ou que le propriétaire doit trancher.

Bonnes réponses

La personne qui fait le travail écrit chaque bonne réponse et note le document d’où elle vient.

Désaccord

Si deux employés écrivent des réponses différentes, votre propre processus est flou. Réglez cela d’abord.

Confidentialité

De vrais cas contiennent de vrais renseignements sur des clients. Conservez le jeu de test comme vos dossiers clients.

S’appuie-t-elle sur vos documents ?

Vérifiez chaque affirmation de la réponse dans le document cité. Un seul prix inventé rend toute la réponse fausse.

Fait-elle le travail ?

Un employé pourrait-il l’envoyer avec de petites corrections, ou devrait-il la réécrire ?

Fait-elle parfois ce qu’elle ne doit pas ?

Montrer les renseignements d’un autre client, promettre un crédit que vous n’offrez pas, suivre des consignes cachées dans un courriel reçu. Un seul échec est un échec, pas une note à faire entrer dans une moyenne.

Combien de temps et d’argent ?

Le temps pour obtenir une réponse utilisable, et le coût par réponse que le personnel a réellement utilisée.

Un agent qui répond à tout inspire moins confiance que celui qui sait s’arrêter. Incluez des cas où il faut passer la question à une personne, et comptez les deux erreurs : répondre quand il aurait dû demander, et passer la main quand vos documents avaient la réponse.

Un bon passage de relais dit ce que l’agent a cherché, pourquoi il n’a pas pu trancher et ce que la personne doit faire ensuite. « Je ne peux pas répondre » est un mauvais passage de relais.

Si vous servez vos clients en français et en anglais, rédigez vous-même les cas de test en français au lieu de traduire les cas anglais. Des questions traduites gardent la tournure anglaise et cachent les échecs qui comptent. Évaluez chaque langue séparément, car une note combinée cache un service qui fonctionne dans une langue et pas dans l’autre.

Relancez tout le jeu de test quand le modèle d’IA change, quand vos consignes changent, quand les outils qu’il utilise changent et quand vos documents changent. Une nouvelle liste de prix peut fausser les réponses aussi sûrement qu’un nouveau modèle.

Fixez la note de passage par écrit avant le lancement. Ne la baissez pas parce que la date approche.

• Si votre jeu de test correspond à ce que les clients demandent vraiment. Un type de question oublié reste caché derrière une bonne note.
• Si le personnel continue de bien relire les brouillons une fois qu’ils paraissent fiables. Surveillez la fréquence des corrections.
• Si la tâche devrait exister.
• Si cela sera encore vrai le mois prochain. Les modèles et les documents changent : testez selon un calendrier.

Le test fait partie du service-conseil : chaque compétence que nous bâtissons a un test d’acceptation que vous signez, et la garantie en dépend.