Ce qui doit être en place avant l’entrée en vigueur de la ligne directrice E-23 du BSIF

La ligne directrice définit un modèle comme l’application d’hypothèses théoriques, empiriques ou fondées sur le jugement, ou de techniques statistiques, qui traite des données d’entrée pour produire des résultats. Les méthodes d’intelligence artificielle et d’apprentissage automatique (IA/AA) entrent dans cette définition. Le risque de modélisation est le risque de répercussions financières défavorables qui découle de la conception d’un modèle et de son utilisation.

Lues ensemble, ces deux phrases changent la question de planification. Il n’existe aucun seuil à partir duquel un système d’IA devient assujetti à la gestion du risque de modélisation, ni de ligne directrice distincte sur l’IA qui arriverait plus tard. L’institution qui traite ses travaux d’IA comme une initiative technologique plutôt que comme des modèles a un problème de définition avant d’avoir un problème de conformité.

La ligne directrice énonce trois résultats attendus. Le risque de modélisation est bien compris et géré à l’échelle de l’entreprise, selon une approche fondée sur le risque. La gouvernance des modèles couvre l’ensemble du cycle de vie du modèle.

L’annexe 1 de la ligne directrice énumère les renseignements à suivre. Le premier groupe vise tous les modèles de l’inventaire. Le second vise les modèles cotés comme présentant un risque non négligeable.

Deux détails déterminent l’ampleur du travail. Les modèles de fournisseurs et de tiers font partie de l’inventaire, et les modèles élaborés à l’externe font l’objet d’une cote de risque évaluée de façon autonome. De plus, les modèles mis hors service demeurent dans l’inventaire pendant une période que l’institution juge raisonnable : la mise hors service est donc un événement consigné et non une suppression.

Les modèles de crédit et de capital sont ceux que la fonction de gestion du risque de modélisation suit déjà. La liste plus difficile à produire est celle qui inclut le modèle d’apprentissage automatique qu’une unité opérationnelle a acheté comme fonctionnalité intégrée à un produit logiciel. C’est cet écart qui constitue le point de départ concret.

La ligne directrice exige des critères clairs et mesurables, sur les plans quantitatif et qualitatif. Parmi les facteurs quantitatifs, elle nomme l’importance du portefeuille que couvre un modèle, sa taille et sa croissance. Elle ajoute les répercussions potentielles sur les plans opérationnel, de la sécurité ou financier. Les facteurs qualitatifs : l’utilisation ou la finalité opérationnelle ; la complexité du modèle ou son degré d’autonomie ; la fiabilité des données d’entrée. Les clients et le risque réglementaire comptent aussi.

Il existe une soupape. Les institutions peuvent prévoir une catégorie de cote correspondant à un risque de modélisation inhérent négligeable. Les modèles qui y sont classés échappent à l’ensemble des exigences de gouvernance du cycle de vie. C’est dans cette catégorie que se contient l’effort de tout le cadre, et la définir de façon défendable vaut plus que n’importe quelle autre décision d’un programme E-23.

Un événement déclencheur entraîne la révision de la cote. La ligne directrice cite en exemple une baisse de rendement ou un changement important dans l’utilisation d’un modèle, dans ses données ou dans son infrastructure. Lorsque le risque de modélisation dépasse la propension à prendre des risques de l’institution, elle établit des mesures correctives.

L’indépendance signifie ici une séparation fonctionnelle d’avec les personnes qui ont construit le modèle. Elle n’exige pas une entité juridique distincte, ni un service de validation dédié. Un examinateur interne qui n’a pas élaboré le modèle y satisfait. Un spécialiste externe aussi. Ce qui n’y satisfait pas, c’est un concepteur qui approuve son propre travail, aussi haut placé soit-il.

Qu’est-ce qui déclenche l’examen d’un modèle ?

La ligne directrice nomme cinq déclencheurs. Le premier est l’élaboration de nouveaux modèles. Le deuxième est la modification d’un modèle, y compris les changements apportés aux algorithmes, aux paramètres ou aux composants opérationnels de soutien. Le troisième est un manquement au rendement du modèle : erreurs importantes et dérive, ou dépassement de seuil. Le quatrième est un changement de données significatif, par exemple une nouvelle source, une définition modifiée ou une variation de qualité. Le cinquième est l’examen périodique planifié en fonction du risque.

Un système de surveillance détecte trois de ces cinq déclencheurs. Aucun calendrier ne les annonce. Une institution qui n’a pas instrumenté sa surveillance ignore quand ils se produisent. C’est pourquoi la surveillance et l’examen forment un seul programme plutôt que deux.

Pour les modèles d’IA et d’apprentissage automatique en particulier, l’examen étudie les méthodologies, les algorithmes et les outils nouveaux. Il évalue aussi dans quelle mesure on peut expliquer le fonctionnement du modèle au regard de l’utilisation prévue.

Les critères d’évaluation doivent être à la fois quantitatifs et qualitatifs. D’un côté, des indicateurs de rendement. De l’autre, une évaluation qui détermine si le modèle reste dans les limites de la portée approuvée. Les facteurs opérationnels suivis vont au-delà de l’exactitude. Ils couvrent les changements dans le rendement du modèle et dans l’intensité de son utilisation, ainsi que dans les données d’entrée. Ils couvrent aussi les dépendances externes, y compris les mises à jour de version, et les caractéristiques de ce que le modèle représente.

Il faut ensuite consigner deux choses à l’avance : les seuils qui définissent un manquement, et les critères qui qualifient une modification importante du modèle. Lorsqu’un seuil est franchi, l’équipe communique rapidement le problème aux parties prenantes concernées, selon des procédures d’escalade convenues avant le manquement. Un plan d’urgence couvre l’indisponibilité du modèle, la détérioration du rendement et la défaillance complète. Chacun a sa propre voie d’escalade.

La ligne directrice le dit sans détour. Les modèles d’IA et d’apprentissage automatique posent des défis de surveillance qui leur sont propres. Elle nomme la prise de décision autonome, le reparamétrage autonome et un potentiel accru de dérive du modèle. Une conception de surveillance reprise d’un modèle statistique statique ne détectera pas un modèle qui a changé tout seul.

La ligne directrice nomme cinq rôles. Le propriétaire du modèle coordonne l’élaboration, la mise en œuvre et le déploiement, ainsi que la surveillance continue et l’administration. Le concepteur conçoit et évalue le modèle, puis documente la méthodologie. L’examinateur vérifie le bien-fondé conceptuel et les intrants, puis la méthodologie, les hypothèses retenues et le rendement. L’approbateur détient le pouvoir d’approuver l’utilisation d’un modèle. L’utilisateur s’appuie sur les résultats pour éclairer les décisions opérationnelles.

La haute direction définit ces rôles et les applique à l’échelle de l’entreprise. Elle veille aussi à ce que le personnel voulu soit en place avec les compétences et l’expérience requises, en particulier pour les technologies nouvelles comme l’IA. Enfin, elle s’assure que le risque de modélisation parvient au conseil d’administration.

Cette obligation du milieu est une exigence de dotation assortie d’une date, et c’est celle qui prend le plus de temps à satisfaire. Examiner un modèle d’IA exige une personne capable d’évaluer un modèle d’IA, et cette personne ne peut pas être celle qui l’a construit.

1. Trouvez les modèles, y compris ceux que personne n’appelle des modèles : les fonctionnalités de fournisseurs, l’apprentissage automatique intégré à une plateforme achetée et tout ce qu’une unité opérationnelle a construit. Tant que l’inventaire n’est pas complet, on ne peut pas lui attribuer de cotes de risque.
2. Définissez la catégorie de risque négligeable et défendez-la par écrit. Cette décision fixe l’ampleur de tout ce qui suit, et c’est le jugement que le BSIF est le plus susceptible de mettre à l’épreuve.
3. Attribuez une cote à ce qui reste, avec des critères que vous pouvez montrer, à la fois quantitatifs et qualitatifs, conformément à la ligne directrice.
4. Réglez le problème d’indépendance avant de vous attaquer à l’arriéré d’examens. Établissez qui examine, distinctement de qui élabore, et confirmez que ces personnes ont les compétences propres aux modèles d’IA.
5. Instrumenter la surveillance, parce que trois des cinq déclencheurs d’examen sont détectés plutôt que planifiés. Des seuils, une escalade et un plan d’urgence en cas de défaillance.
6. Traiter ensuite l’arriéré selon la cote, en commençant par la plus élevée, et consigner les dates d’examen dans l’inventaire au fur et à mesure.

• Cette page est une lecture de la ligne directrice, non un avis de conformité. La proportionnalité fait que deux institutions peuvent arriver à des réponses différentes et également défendables. Seul compte le point de vue de votre propre autorité de surveillance sur votre cadre.
• Nous n’avons pas publié si la ligne directrice E-23 remplace la version antérieure portant le même numéro. Nous n’avons pas pu vérifier l’existence d’une mention de remplacement dans le texte définitif.
• Les régimes de retraite sous réglementation fédérale ne figurent pas parmi les secteurs visés et la ligne directrice ne les mentionne pas. Ce silence n’équivaut pas à une exclusion explicite. Consultez vos conseillers juridiques plutôt que de trancher dans un sens ou dans l’autre à partir de cette page.
• Nous ne sommes pas un examinateur indépendant pour les modèles que nous construisons. L’indépendance à l’égard de l’élaboration est le critère de la ligne directrice, et livrer un modèle nous disqualifie pour l’examiner.

Voir l’exploitation gérée des agents