Étape 3 · Exploiter

Exploiter des agents d’IA encadrés sur preuve

Un agent qui a réussi ses tests d’acceptation en juin n’est plus le même système en décembre. Le modèle a changé, les requêtes ont changé, le contenu source a changé et les droits d’accès ont changé. L’exploitation gérée des agents (AgentOps) est la discipline qui garde défendable une décision de mise en production après qu’elle a été prise.

Examiner un modèle d’exploitation AgentOps Voir le projet pilote de six semaines

Définition

Qu’est-ce que l’exploitation gérée des agents ?

L’exploitation gérée des agents est la discipline d’exploitation d’un agent d’IA déjà en production. Nous exécutons la suite d’évaluation selon un calendrier et après chaque changement. Nous contrôlons ce que l’on peut modifier dans le modèle, les requêtes, les outils et la base de connaissances. Nous surveillons la qualité, la sûreté, le temps de latence et le coût par rapport à des seuils convenus. Nous réexaminons qui et quoi l’agent peut atteindre. Nous classons les incidents et y répondons. Chaque mois, nous rendons compte aux personnes imputables du système. Le résultat est la preuve que le système fait toujours ce pour quoi nous l’avons accepté.

Note

La défaillance qu’elle prévient

La dérive silencieuse : l’agent se dégrade sans bruit. Personne ne s’en aperçoit, parce qu’une dégradation ressemble à une réponse plausible accompagnée d’une citation qui ne dit plus ce que la réponse affirme. Sans exécution planifiée d’un test de non-régression sur des cas de référence validés, le premier signal est une plainte. À ce moment-là, l’organisation ne peut dire ni quand cela a commencé, ni combien de sorties ont été touchées.

Le service

Ce que nous exécutons chaque mois

Voir le détail

Tests de non-régression de l’évaluation

Nous réexécutons le jeu de données de référence issu du projet pilote selon un calendrier fixe. Nous le réexécutons aussi après chaque changement de modèle ou de requête, et après tout changement important du contenu source. Nous présentons les résultats par rapport aux seuils que votre responsable a approuvés à l’acceptation, et une baisse sous le seuil déclenche une réponse définie. Nous ajoutons au jeu de données les nouveaux modes de défaillance repérés en production, pour que la suite devienne plus exigeante avec le temps. Le jeu de données lui-même est sous gestion de versions.

Contrôle des changements

Quatre catégories de changements, chacune avec un approbateur désigné, une exigence de test et un chemin de retour arrière. Ce sont le modèle (version, fournisseur, paramètres), la requête (instructions système, gabarits, logique d’aiguillage), l’outil (actions offertes, portées, permissions) et la base de connaissances (sources ajoutées, retirées, reclassifiées ou réindexées). Aucun changement n’atteint les utilisateurs sans une exécution d’évaluation réussie et consignée pour lui.

Surveillance

Nous instrumentons en continu la qualité, la sûreté, le temps de latence et le coût, au lieu de les échantillonner au moment du rapport. Nous vérifions par sondage que les réponses en service correspondent toujours à leurs sources. Nous soumettons aussi au système un ensemble permanent de questions réputées difficiles ou dangereuses, afin de détecter les défaillances avant qu’un utilisateur ne le fasse. Nous suivons le temps de réponse et le coût par tâche accomplie pour chaque flux de travaux, et les anomalies alertent le responsable désigné. La surveillance couvre aussi les refus, les escalades et les questions sans réponse.

Examen des accès

Un examen planifié couvre chaque compte, humain ou machine, qu’utilise l’agent, et chaque système et outil que l’agent a le droit d’atteindre. Chacun doit détenir l’accès le plus restreint qui fonctionne encore, et rester conforme à la conception des accès acceptée au projet pilote. L’examen recherche en particulier les départs, les changements de rôle et les sources reclassifiées. Chaque examen porte une date et un examinateur nommé. Il dresse la liste des mesures prises.

Classification des incidents et intervention

Un barème de gravité défini couvre les franchissements de limites de permission et les citations fabriquées ou mal attribuées. Il couvre aussi les défaillances de sûreté, ainsi que les événements de disponibilité et de coût. Chaque niveau de gravité comporte un délai d’intervention, une liste de notification, une mesure de confinement et une consignation des mesures correctives. Nous détectons, classons et signalons. Votre institution demeure responsable de ses propres obligations de notification réglementaire et publique.

Retour arrière et escalade humaine

Chaque changement est réversible vers une configuration de référence validée, et nous testons le retour arrière. Les chemins d’escalade offerts aux utilisateurs sont actifs et surveillés. Tout ce qui franchit un seuil, une règle de permission ou une règle de sûreté parvient à une personne désignée. Le volume de ces escalades est une mesure qui fait l’objet d’un rapport.

Preuves en matière de protection des renseignements personnels et de sécurité

Une fiche à jour à l’inventaire des modèles : version, fournisseur, finalité, responsable, classification des données, dépendances et date de la dernière validation.
Configuration de la conservation, de la journalisation et de la disposition, vérifiée par rapport à votre calendrier de conservation.
Reprise des essais d’infiltration de requête et d’utilisation abusive à une fréquence définie et après tout changement d’outil ou de source.
La matrice de responsabilité partagée, tenue à jour au fil des changements de plateformes et de contrats.
Un dossier de preuves que vos fonctions de vie privée, de sécurité et de vérification peuvent exploiter pour leurs propres examens. Il est préparé pour leur processus et ne le remplace pas.

Reddition de comptes

Le rapport de gouvernance mensuel

Un seul document, de structure identique chaque mois, rédigé pour le parrain et le comité de risque. C’est le relevé qui établit si le système fonctionne toujours tel qu’il a été accepté.

Voir le détail

Contenu du rapport de gouvernance mensuel, et ce à quoi chaque élément sert à répondre.
Rubrique	La question à laquelle elle répond
Volume d’utilisateurs et de tâches	Qui utilise le système, et pour quoi faire ? L’utilisation croît-elle, stagne-t-elle ou s’est-elle éteinte discrètement ?
Ancrage dans les sources et taux de réussite des citations	Les réponses sont-elles toujours traçables jusqu’aux sources approuvées, et les citations appuient-elles toujours les affirmations ?
Taux de réussite des tests de sûreté critiques	La suite à tolérance zéro a-t-elle été entièrement réussie durant la période et, sinon, qu’a-t-on confiné et quand ?
Taux de correction humaine et d’escalade	À quelle fréquence les personnes corrigent-elles l’agent ou en escaladent-elles les cas, et cette tendance va-t-elle dans le bon sens ?
Temps de latence et coût par tâche accomplie	Le système respecte-t-il toujours l’enveloppe de performance et de budget convenue à l’acceptation ?
Changements mis en service	Qu’est-ce qui a changé dans le modèle, les requêtes, les outils ou la base de connaissances, qui l’a approuvé, et quels tests l’ont précédé ?
Incidents et mesures correctives	Qu’est-ce qui a mal tourné, comment l’a-t-on classé, qu’a-t-on fait, et qu’est-ce qui reste ouvert avec un responsable et une date ?
Tendance des résultats opérationnels	Comment a évolué la mesure d’exploitation convenue à l’acceptation du projet pilote, sur la même requête de référence.
Décisions requises	Ce que le parrain doit décider ce mois-ci : changements de seuils, changements de portée, risques acceptés, financement.

Rapport de gouvernance mensuelExemple, chiffres illustratifs

Ancrage dans les sources / taux de réussite des citations

98,1 %Au-dessus du seuil

Taux de réussite des tests de sûreté critiques

100 %Seuil atteint

Taux d’escalade humaine

6,4 %À surveiller

Coût unitaire par tâche accomplie

0,11 $Dans le budget

Temps de latence médian

3,9 sDans la cible

Mesures correctives ouvertes

1Intervention requise

Changements mis en service : 4 · Retours arrière : 0 · Incidents : 1 (gravité 3, résolu) · Examens des accès réalisés : 1 sur 1

Illustration du format du rapport de gouvernance mensuel. Les rapports réels portent des seuils nommés, convenus à l’acceptation du projet pilote, et sont signés par le responsable de l’exploitation.

Nous mesurons l’adoption et la valeur sur la même base de référence, établie dans le sprint de gouvernance et confirmée à l’acceptation du projet pilote. La requête, les exclusions et les réserves restent les mêmes. Lorsqu’une mesure ne se sépare pas des autres changements survenus dans l’organisation, nous le disons dans le rapport et ne nous en attribuons pas le mérite. Un chiffre n’est publiable que si une personne nommée peut désigner une pièce justificative datée qui l’étaye.

Secteurs réglementés

Comment AgentOps s’arrime à la ligne directrice E-23 du Bureau du surintendant des institutions financières (BSIF)

La ligne directrice E-23, Gestion du risque de modélisation, entre en vigueur le 1er mai 2027 et s’applique à toutes les institutions financières fédérales. Elle est fondée sur des principes et sur le risque, et elle couvre explicitement les modèles d’intelligence artificielle et d’apprentissage automatique ainsi que les modèles de tiers. Un agent d’IA générative dans une banque ou chez un assureur relève de ces deux catégories.

Voir le détail

Attentes de la ligne directrice E-23 et activité AgentOps qui en produit la preuve. White Glove Labs produit la preuve ; la fonction de gestion du risque de modélisation de l’institution demeure responsable de la conformité.
Attente de la E-23	Ce que produit AgentOps
Actualité de l’inventaire des modèles	Une fiche d’inventaire tenue à jour par agent et par modèle dépendant. Elle couvre la version, le fournisseur, la finalité, le responsable, la classification des données, les outils, l’utilisation en aval et la date de la dernière validation. Nous la mettons à jour dans le cadre du contrôle des changements, de sorte qu’elle est à jour avant toute vérification.
Surveillance continue	Surveillance continue de la qualité, de la sûreté, du temps de latence et du coût par rapport aux seuils. Chaque dépassement a des déclencheurs définis, des alertes et une intervention documentée.
Preuves de validation	Jeux de données d’évaluation versionnés, résultats datés des tests de non-régression et couverture des suites portant sur la sûreté critique et les limites de permission. Modes de défaillance caractérisés, et risques résiduels assortis de contrôles compensatoires.
Gestion des changements	Changements classés avec approbateurs désignés, résultats d’évaluation avant mise en service, relevés de mise en service, chemins de retour arrière testés et historique complet des changements par agent.
Risque lié aux modèles de tiers	Fournisseur, version et hébergement consignés par modèle, avec la matrice de responsabilité partagée et la position juridictionnelle tenues à jour au fil des changements de contrats et de plateformes.

Avertissement

Ce que ceci n’est pas

White Glove Labs ne fournit ni opinion de vérification, ni opinion d’assurance, ni opinion de validation indépendante, et rien dans un rapport AgentOps ne doit être présenté comme telle. Nous sommes la partie exploitante. L’examen indépendant et la remise en question effective relèvent de votre fonction de gestion du risque de modélisation et de vos propres examinateurs indépendants. Il en va de même de la position de conformité de l’institution à l’égard de la E-23. Nous le déclarerons par écrit à tout examinateur qui en fait la demande.

Source

Source : Ligne directrice E-23 du BSIF, Gestion du risque de modélisation. En vigueur le 1er mai 2027, elle s’applique à toutes les institutions financières fédérales et est fondée sur des principes et sur le risque. Elle inclut explicitement les modèles d’IA et d’apprentissage automatique ainsi que les modèles de tiers. Le contexte sectoriel se trouve dans la ligne directrice E-23 du BSIF et les agents d’IA. Les institutions fédérales devraient plutôt lire quand un assistant d’IA déclenche une évaluation de l’incidence algorithmique (EIA).

Niveaux de service

Ce à quoi nous nous engageons, et ce que cela coûte

Nous fixons les niveaux de service par mandat en fonction de la criticité réelle du flux de travaux. Le tableau ci-dessous en donne la forme type ; nous convenons des chiffres dans l’annexe d’exploitation et nous les joignons au contrat.

Voir le détail

La structure type des niveaux de service AgentOps. Les engagements précis d’intervention et de reddition de comptes sont convenus par mandat dans l’annexe d’exploitation.
Engagement	Forme type
Heures d’exploitation	Heures ouvrables canadiennes par défaut, une couverture prolongée ou sur appel étant offerte en option tarifée
Fréquence des évaluations	Exécution complète et planifiée du test de non-régression à chaque période, plus une exécution obligatoire avant la mise en service de tout changement
Intervention de gravité 1	Franchissement d’une limite de permission, défaillance de sûreté ou indisponibilité. Confinement d’abord, notification au responsable désigné, mesure corrective consignée
Intervention de gravité 2 et 3	Dégradation de la qualité, dépassement du temps de latence ou du coût. Triage dans le délai convenu, correction lors d’une mise en service planifiée
Délai de réalisation des changements	Changements standards selon la fréquence de mise en service convenue ; changements d’urgence permis, avec examen a posteriori et justification consignée
Examen des accès	Planifié à chaque période, plus à tout changement de rôle, de droit d’accès ou de classification d’une source
Rapport de gouvernance	Remis à date fixe chaque mois, avec une séance d’examen avec le parrain
Sortie	Transfert des jeux de données, du banc d’essai, des guides d’exploitation, de l’inventaire et de l’historique à la résiliation. Aucuns frais de sortie ni de transfert une fois la durée minimale écoulée

Modèle tarifaire

Des honoraires mensuels rattachés à une annexe d’exploitation définie, pour une durée minimale de six mois. Nous confirmons par écrit les honoraires définitifs avant tout mandat, et ils varient selon la portée, les accès, les exigences de sécurité et le mode d’approvisionnement. Les frais de consommation de la plateforme, du modèle et de l’infrastructure vous incombent. Nous les déclarons, sans majoration.

Ce qui fait varier les honoraires

Nombre d’agents et de flux de travaux: Combien d’entre eux sont sous gestion.
Volume d’évaluation: Taille du jeu de données, fréquence des exécutions et nombre de dimensions évaluées par un examinateur humain.
Heures d’exploitation: Heures ouvrables, couverture prolongée ou sur appel.
Intégrations: Combien de sources, de systèmes d’identité et de points de contact doivent être surveillés et soumis au contrôle des changements.
Sensibilité des données: Classification, filtrage de sécurité, restrictions d’environnement et lieux où notre personnel peut travailler.
Couverture des incidents: Engagements d’intervention, et participation ou non de notre part à votre processus de gestion des incidents majeurs.
Obligations de reddition de comptes: Dossiers de preuves additionnels destinés aux organismes de réglementation, aux vérificateurs ou à un comité du conseil.

Vos responsabilités

Un responsable de l’exploitation désigné qui reçoit le rapport et prend les décisions qu’il appelle.
Des approbateurs pour chaque catégorie de changements, disponibles dans le délai convenu.
Un expert du domaine pour l’arbitrage des évaluations et l’enrichissement du jeu de données.
La tenue à jour de l’ensemble des sources approuvées. L’actualité, l’exactitude et la classification demeurent les vôtres.
L’administration de l’annuaire et des droits d’accès, et la notification des changements de rôle.
Les contrats de plateforme et de modèle, les licences et les budgets de consommation.
Vos propres obligations de notification réglementaire, de vie privée et de notification publique après un incident.
Le renouvellement des accès en temps utile. Des identifiants expirés interrompent le calendrier d’évaluation alors que la durée du contrat continue de courir.

Non compris

Le centre d’assistance aux utilisateurs finaux ou le soutien de premier niveau.
Le développement de nouvelles fonctionnalités, de nouveaux flux de travaux ou de nouvelles intégrations, qui font l’objet d’une portée distincte.
Le déploiement en production à grande échelle d’un flux de travaux supplémentaire.
La rédaction, le nettoyage, la migration ou la reclassification du contenu source.
Les avis juridiques formels, la certification, l’accréditation ou l’autorisation d’exploitation.
Les tests d’intrusion complets de votre parc.
Les opinions de vérification, d’assurance ou de validation indépendante des modèles.
La gestion de modèles ou d’agents construits par des tiers et dépourvus de suite d’évaluation. Ceux-là exigent d’abord un mandat d’établissement de la base de référence.

Prochaine étape

Apportez-nous un agent que personne ne teste

Un point d’entrée possible est l’acceptation d’un projet pilote que nous avons mené. L’autre est un agent construit par quelqu’un d’autre, en production, sans jeu de données de référence et sans relevé des changements.

Source

Les montants en dollars de cette page sont ceux des sources ou des montants consignés, pas nos prix. Nos prix sont en dollars canadiens (CAD), TPS/TVH en sus.

Dans ce second cas, nous menons d’abord un court mandat d’établissement de la base de référence. Il s’agit de constituer le jeu de données d’évaluation, d’établir la performance actuelle, de documenter la position en matière de contrôle et d’accès, et de convenir des seuils. C’est seulement à ce moment qu’un modèle d’exploitation mensuel prend un sens. On ne peut pas surveiller une dérive à partir d’un point de départ inconnu.

Lectures connexes : comment évaluer un agent de connaissance, pour la méthode derrière le jeu de données de référence. Le Guide pratique 2026 du déploiement d’agents souverains au Canada couvre l’ensemble du parcours de mise en œuvre. Le modèle de contrôle se trouve dans sécurité et gouvernance. Le flux de travaux le mieux adapté à un premier recours à AgentOps est l’agent de connaissance pour centre d’assistance. Son volume rend en effet la dérive visible tôt. De la démonstration au service en exploitation énonce les six lignes que tout agent en service doit pouvoir remplir.

Examiner un modèle d’exploitation AgentOps Comparer les trois mandats