Risque de modélisation
Les banques, les assureurs et les autres institutions sous réglementation fédérale pratiquent déjà la gestion du risque de modélisation. Un agent d’IA n’a pas besoin d’un régime de gouvernance parallèle installé à côté. Il doit produire la même catégorie de preuves que le régime en place exige, sous une forme qu’un valideur, un auditeur interne et l’autorité de surveillance accepteront.
L’exigence de référence
La ligne directrice E-23 entre en vigueur le 1er mai 2027 et s’applique à toutes les institutions financières fédérales. Elle est fondée sur des principes et sur le risque, et s’applique avec proportionnalité à la taille et au profil de risque de l’institution comme de chaque modèle. Elle vise explicitement les modèles d’intelligence artificielle et d’apprentissage automatique, de même que les modèles fournis par des tiers. Pour une charge de travail confiée à un agent, cela signifie la même discipline que pour tout autre modèle. L’institution recense la charge de travail et la cote selon son risque. Elle l’inscrit à l’inventaire, puis l’élabore et la valide avec preuves à l’appui. L’approbation précède le déploiement. Ensuite, on surveille la charge de travail en production, on la soumet au contrôle des changements et on la rattache à un responsable nommé pour tout son cycle de vie.
Ce n’est pas une réglementation sur l’IA. La ligne directrice E-23 régit le risque de modélisation à l’échelle de l’entreprise. Ses attentes ont été écrites pour les modèles de capital, de tarification, d’actuariat et de crédit. C’était bien avant qu’un agent ne figure à la feuille de route de qui que ce soit. Les institutions disposent déjà de politiques sur le risque de modélisation, de fonctions de validation et d’inventaires, ainsi que d’une contestation indépendante. Les grands cabinets-conseils et les firmes spécialisées en validation de modèles servent déjà bien ce marché.
L’écart est plus étroit et plus précis. Un agent de recherche documentaire ne se comporte pas comme une grille de pointage. Ses entrées sont des documents plutôt que des variables, et sa sortie est du langage. Son rendement change dès qu’un fournisseur livre une nouvelle version de modèle, et son pire mode de défaillance est une réponse fluide que la source n’appuie pas. À elles seules, les techniques de validation classiques ne produisent pas de preuve à ce sujet. Nous construisons la charge de travail de l’agent de façon qu’elle émette les preuves de validation, de surveillance et d’inventaire comme sous-produit de son fonctionnement. Ces preuves vont à votre fonction de gestion du risque de modélisation, qui conserve la contestation et la décision.
Source
Source : Ligne directrice E-23 du BSIF, Gestion du risque de modélisation : en vigueur le 1er mai 2027 et applicable à toutes les institutions financières fédérales. Elle est fondée sur des principes et sur le risque, et vise explicitement les modèles d’IA et d’apprentissage automatique ainsi que les modèles de tiers. À lire en parallèle avec votre propre politique interne sur le risque de modélisation : la ligne directrice fixe les attentes, votre politique fixe la norme à laquelle vous serez tenu.
Correspondance
Voici ce qu’un valideur demande, et ce que chaque étape du mandat produit. Rien ici ne remplace votre cadre de gestion du risque de modélisation : tout vient l’alimenter.
| Attente de la ligne directrice E-23 | Ce qu’elle exige | Sprint de cadrage et de gouvernance | Projet pilote de six semaines | Exploitation gérée des agents (AgentOps) |
|---|---|---|---|---|
| Définition du modèle et inventaire | Déterminer si le système répond à la définition de modèle de l’institution, et produire une fiche d’inventaire complète | Ébauche de fiche : finalité, entrées, sources approuvées, responsable, dépendances | Fiche complétée avec la provenance du modèle, les versions, les requêtes et la configuration de récupération | Fiche tenue à jour avec l’historique des versions à chaque changement |
| Cote de risque et proportionnalité | Une cote de risque qui détermine la profondeur de la validation et de la surveillance appliquées | Cote proposée, avec les facteurs et le raisonnement consignés | Cote confrontée au comportement mesuré et révisée s’il y a lieu | Cote réexaminée selon le calendrier et après tout changement important |
| Élaboration et validation | Une élaboration documentée, la traçabilité des données et la preuve que le modèle se comporte comme prévu | Plan d’évaluation, seuils d’acceptation et conception du jeu de données de référence | Jeu de données de référence constitué et exécuté : ancrage dans les sources, exactitude des citations, sûreté, temps de latence, coût | Série de tests de non-régression réexécutée chaque mois, avec rapport sur la dérive et la dégradation |
| Approbation du déploiement | Une approbation avant l’utilisation en production, par une personne autre que le constructeur | Parcours d’approbation et droits de décision rattachés à des rôles nommés | Dossier d’acceptation constitué à l’intention de l’approbateur, y compris ce qui a échoué | Déclencheurs de réapprobation définis et appliqués en cas de changement important |
| Surveillance continue | Un rendement en production surveillé par rapport aux attentes, avec seuils et escalade | Indicateurs, seuils et voies d’escalade proposés | Instrumentation construite et base de référence d’exploitation établie | Rapport de gouvernance mensuel, escalade en cas de dépassement de seuil, suivi des mesures correctives |
| Gestion des changements | Un changement maîtrisé du modèle, des données et de la configuration, assorti d’essais préalables et d’un retour arrière | Catégories de changements et niveaux d’autorisation définis | Contrôle des changements exercé de la demande à la mise en service, y compris un retour arrière éprouvé | Chaque changement de modèle, de requête, de connecteur et de corpus, consigné et éprouvé, et réversible |
| Modèles de tiers et de fournisseurs | Les mêmes attentes lorsque le modèle provient de l’extérieur et que son fonctionnement interne est opaque | Carte des dépendances envers les fournisseurs, avec les lacunes de transparence consignées | Essais de résultats compensatoires là où le fonctionnement interne du fournisseur ne peut être inspecté | Veille sur les versions du fournisseur, avec reprise des essais à tout changement de version de modèle |
| Gouvernance du cycle de vie et responsabilité | Une responsabilité nommée, de l’élaboration à l’utilisation jusqu’au retrait | Matrice de responsabilité partagée et attribution contrôle par contrôle | Responsables nommés pour chaque contrôle et mis à contribution en exploitation, pas sur papier | Responsable d’exploitation nommé de part et d’autre ; plan de retrait et de sortie tenu à jour |
La preuve en exploitation
Le mois qui suit la mise en production est celui où les charges de travail d’agent échouent en silence. Un fournisseur livre une nouvelle version de modèle, quelqu’un réorganise un dépôt de sources, quelqu’un modifie une requête pour régler une plainte, et personne ne réexécute quoi que ce soit. L’évaluation continue est le contrôle qui détecte ces trois cas.
Rapport de gouvernance mensuelExemple ; les chiffres sont illustratifs
Taux de réussite : ancrage dans les sources et citations
98,1 %Au-dessus du seuil
Taux de réussite des tests de sûreté critiques
100 %Seuil atteint
Taux d’escalade vers un humain
6,4 %À surveiller
Coût unitaire par tâche achevée
0,11 $Dans le budget
Temps de latence médian
3,9 sDans la cible de service
Mesures correctives ouvertes
1Intervention requise
Changements mis en service : 4 · Retours arrière : 0 · Incidents : 1 (P3, résolu) · Revues d’accès effectuées : 1 sur 1
Parce que c’est le même dossier chaque mois, produit par la même chaîne instrumentée, au regard de seuils que l’institution a approuvés avant la mise en production. Il est daté, versionné et reproductible, et il rend compte des échecs aussi visiblement que des réussites. Rien dans ce dossier ne repose sur notre appréciation du comportement du système.
Le modèle de contrôle qui le sous-tend est documenté sous sécurité et gouvernance, et les travaux livrés à ce titre se trouvent sous ce que nous avons construit.
Limites
Avertissement
White Glove Labs ne fournit ni opinion d’audit, ni certification, ni mission de certification indépendante au titre d’une norme professionnelle quelconque. Nous sommes une firme de mise en œuvre et d’exploitation. Nous concevons les contrôles, construisons la charge de travail, menons l’évaluation et produisons les preuves. Cela fait de nous la première ligne, pas la deuxième ni la troisième.
Là où l’indépendance est une exigence, une partie qualifiée distincte exerce la contestation. Ce peut être votre fonction de validation interne, l’audit interne ou une firme externe mandatée à cette fin. Nous appuyons cet examen en fournissant les pièces justificatives, ainsi que les données et les accès dont il a besoin. Nous acceptons que l’on conteste nos propres travaux. Une firme qui construit le système ne peut pas aussi en fournir la certification indépendante.
La même séparation vaut pour les questions juridiques et de compétence. Les affirmations sur les lois qui lient un fournisseur, son infrastructure et son organisation de soutien relèvent de vos conseillers juridiques. Nous documentons l’architecture, les flux de données, les voies d’accès administrateur et la position de sortie. Nous exposons les compromis sous IA souveraine pour que le service juridique et la fonction de risque tirent leurs propres conclusions, pièces à l’appui.
Autres acheteurs réglementés
Hors du secteur financier sous réglementation fédérale, la pression exercée pour encadrer un agent vient d’ailleurs. Le travail de contrôle est en grande partie le même ; l’examinateur, le vocabulaire et l’échéancier, non.
Par où commencer
Nous avons retenu ces deux flux pour trois raisons. Une personne examine déjà le résultat. La base de référence est déjà mesurée quelque part dans un rapport d’exploitation. Les modes de défaillance sont observables plutôt que théoriques.
La classification et l’extraction de champs selon une taxonomie documentée, avec des seuils de confiance et une file d’exceptions. Les bases de référence existent déjà sous forme d’âge de la file et de taux de reprise. Les preuves de valeur et les preuves de rendement du modèle proviennent donc de la même instrumentation.
Une récupération sensible à l’identité, qui ne renvoie que ce que le demandeur a le droit de consulter, l’agent rédigeant et une personne envoyant. Le taux de résolution sans intervention humaine, le temps de traitement et les motifs d’escalade font déjà l’objet de rapports, et l’application des droits d’accès est directement vérifiable.
C’est votre politique sur le risque de modélisation qui tranche, à partir de sa propre définition de modèle. Les institutions élargissent cette définition pour viser les systèmes d’IA qui éclairent des décisions, même lorsqu’ils produisent du texte plutôt qu’un nombre. Le critère pratique est de savoir si le résultat influence une décision dont l’institution est responsable. Si oui, traitez le système comme visé et cotez-le proportionnellement. Lorsqu’il s’agit d’un outil de productivité sans influence sur une décision, consignez ce raisonnement plutôt que de laisser la question sans réponse.
Pas nous. Nous produisons la documentation d’élaboration, la conception de l’évaluation, le jeu de données de référence, les résultats et la fiche d’inventaire. Votre fonction de validation ou un tiers indépendant examine ensuite ce dossier, éprouve nos affirmations et se forme sa propre opinion. Nous planifions le mandat pour que la validation ne soit pas une surprise de fin de parcours. Nous communiquons le plan d’évaluation pendant le sprint. Nous invitons les valideurs à contester les seuils d’acceptation avant le début du projet pilote plutôt qu’une fois les résultats connus.
Davantage qu’un nom de modèle. La finalité et le contexte décisionnel, le corpus de sources approuvé et ses modalités d’actualisation. Le modèle de base et sa version, avec le fournisseur et le lieu d’hébergement. La configuration de récupération, les requêtes et les définitions d’outils sous gestion de versions, la série d’évaluations et les seuils, et le point d’approbation humaine. Les limites connues et les usages exclus, le responsable nommé et l’historique des changements. Ce dernier élément est celui dont un valideur a besoin en premier, car il montre ce qui a changé depuis le dernier examen.
Le 1er mai 2027 est la date de conformité, pas la date de départ. Construire une charge de travail d’agent sans inventaire, sans cotes, sans preuves de validation ni contrôle des changements ne fait que reporter le travail. Il faudra ensuite le reconstituer à partir des journaux et de la mémoire des gens, souvent sous pression. Constituer les preuves pendant la construction du système ne coûte presque rien de plus. Les reconstituer après coup coûte cher. Ce qui ne peut pas l’être devient une observation d’audit.
L’autre horloge
Huit semaines : c’est le délai de mise en œuvre auquel nous sommes tenus, compté à partir du jour où le mandat commence. Dans une entreprise réglementée, c’est rarement l’étape contractuelle qui retarde les choses. Ce sont les examens : risque lié aux tiers, sécurité de l’information et, pour une institution financière fédérale, l’examen du risque de modélisation qu’exige la ligne directrice E-23.
Pas le contrat. Un énoncé des travaux rattaché à une entente-cadre de services existante ou un bon de commande est une courte étape. Ce qui prend du temps, c’est l’accueil du fournisseur et les examens internes. Ceux-ci se déroulent souvent en série avant que quoi que ce soit ne commence. L’ordre est alors le suivant : accueil, puis examen de sécurité, puis risque lié aux tiers, puis risque de modélisation, puis le mandat.
Menée en série, cette séquence peut durer plus longtemps que la mise en œuvre qu’elle précède. Rien n’oblige à procéder ainsi.
L’accueil du fournisseur, l’examen de sécurité de l’information et l’évaluation du risque lié aux tiers peuvent tous se dérouler en même temps que le sprint de dix jours ouvrables. Aucun d’eux ne dépend des constats du sprint. Ils exigent de nous le dossier de preuves du fournisseur, disponible dans les deux jours ouvrables suivant la demande et sans appel préalable.
L’examen du risque de modélisation, lui, est différent, et l’ordre compte. Sous le régime de la ligne directrice E-23, une évaluation du risque de modélisation exige quatre éléments. Ce sont la fiche d’inventaire des modèles, l’utilisation prévue, la traçabilité des données et la conception de l’évaluation. Trois sont des livrables du sprint. Lancer l’examen du risque de modélisation avant le sprint revient à faire évaluer une description par vos examinateurs. Le lancer à la fin du sprint leur fait évaluer des pièces justificatives documentées. La seconde façon prend moins de leur temps et produit un dossier défendable.
Note
Vos fonctions de risque sont maîtresses de leurs propres échéanciers et de leurs propres conclusions. Il s’agit d’une proposition de séquence, non d’un engagement sur la durée d’un examen quelconque.
Prochaine étape
Une séance de travail structurée de 30 minutes sur une seule charge de travail candidate. Nous déterminons ce que votre cadre de gestion du risque de modélisation exigerait d’elle, quelles preuves n’existent pas encore, et si elle mérite un sprint.
Source
Les montants en dollars de cette page sont ceux des sources ou des montants consignés, pas nos prix. Nos prix sont en dollars canadiens (CAD), TPS/TVH en sus.
