Schémas d’approbation humaine pour les agents d’IA gouvernementaux

La question a l’air d’un problème de politique. C’est en fait un problème de conception, et dès qu’on la traite comme tel, elle devient soluble.

Le Secrétariat du Conseil du Trésor du Canada (SCT) a publié son Guide sur l’utilisation de l’intelligence artificielle agentive le 22 mai 2026. Sa phrase clé sur l’approbation mérite une lecture lente :

« Lorsque l’opération exécutée par un agent d’IA modifie l’état d’un système (envoi, publication, autorisation, dépense, mise à jour de dossiers), intégrez un processus de vérification/confirmation à la conception ». L’exception suit : « sauf si les effets attendus sont manifestement minimes et que l’opération est facilement réversible ».

Deux éléments de cette phrase se lisent facilement de travers.

Le premier est le déclencheur. Le point de contrôle se rattache à une action qui modifie un état, et non à un jugement sur l’importance ressentie de la tâche. Un agent qui rédige une note de breffage et un agent qui l’envoie obéissent à des contrôles différents, même si le modèle et le contenu sous-jacents ne diffèrent en rien. Le guide énumère le côté modificateur : envoi, publication, autorisation, dépense, mise à jour de dossiers. Il n’énumère pas le complément. Tracez donc vous-même cette limite et consignez-la. Rappelez-vous qu’un appel de récupération qui écrit dans une antémémoire ou dans une piste de vérification a lui aussi modifié quelque chose.

Le second est l’exemption. Elle est conjonctive. Pour sauter l’étape d’examen, il faut à la fois que l’incidence attendue soit manifestement faible et que l’action soit trivialement réversible. La réversibilité seule ne vous dispense pas du point de contrôle. Cette phrase n’autorise pas à automatiser tout ce que l’on peut défaire.

L’approbation n’est pas un contrôle unique. C’est une famille de contrôles, et une conception solide en combine trois ou quatre.

L’approbation avant l’action. L’agent propose, une personne confirme, l’action s’exécute. Le contrôle le plus fort, et le plus coûteux en attention humaine.

L’intervention humaine à l’intérieur de la décision. L’agent produit une évaluation et une personne rend la décision. C’est la forme qu’impose la Directive sur la prise de décisions automatisée à ses deux niveaux d’incidence les plus élevés.

La surveillance a posteriori. Échantillonnage, contrôles ponctuels et examen périodique. Le guide demande aux institutions : « Demandez occasionnellement à des spécialistes d’effectuer manuellement les tâches de l’IA agentive afin de comparer leur rendement à celui de l’agent ».

L’interruption d’un processus en cours. La capacité d’arrêter en pleine exécution, et non seulement aux frontières.

La neutralisation d’une sortie. Une personne ne tient pas compte de ce que le système a produit, ou l’inverse.

La responsabilité nommée. Le guide est sans ambiguïté. Il demande qu’un rôle défini soit attribué à la personne responsable des résultats et de la surveillance de l’agent d’IA. Il demande aussi une procédure de renvoi aux niveaux supérieurs documentée et un remplaçant désigné en cas d’absence ou de mutation. Un délégué n’est pas un raffinement superflu. Un agent qui fonctionne pendant que son responsable est en congé n’a pas de responsable.

L’avis à la personne touchée. Informer quelqu’un qu’un système automatisé est intervenu.

L’explication a posteriori. Pouvoir dire pourquoi, après coup, sur demande.

L’examen indépendant par les pairs. Un second intervenant examine le système avant sa mise en production.

La journalisation se trouve sous ces neuf schémas. Sans elle, aucun d’eux n’est possible. Le guide demande aux institutions : « Conservez les journaux des outils utilisés, des opérations exécutées, des autorisations accordées et des données d’entrée et de sortie clé ». Pour les appels d’outils, il ajoute : « consignez le nom de l’outil, l’heure, le résultat et le type de paramètres transmis ». Chacun de ces champs est peu coûteux à capter au moment de la construction et pratiquement impossible à reconstituer par la suite.

La Directive est entrée en vigueur le 1er avril 2019 et s’applique aux systèmes élaborés ou acquis après le 1er avril 2020. Le registre d’annonces du Secrétariat lui-même confirme sa modification la plus récente, entrée en vigueur le 25 avril 2023. Elle en a étendu la portée aux services internes, dont l’embauche, la gestion du rendement et le filtrage de sécurité des employés.

Son évaluation de l’incidence algorithmique (EIA) produit quatre niveaux d’incidence : niveau I, incidence faible ou nulle ; niveau II, modérée ; niveau III, élevée ; niveau IV, la plus élevée. Son annexe sur l’intervention humaine est binaire, et non graduée. Aux niveaux I et II, l’institution peut rendre des décisions sans intervention humaine directe. Aux niveaux III et IV, le processus exige des points d’intervention humaine précis, et un être humain doit prendre la décision finale.

La Directive l’exige avant la mise en production. Les orientations distinctes du Secrétariat sur l’Outil d’évaluation de l’incidence algorithmique vont plus loin. Elles recommandent de remplir l’évaluation au début de la phase de conception, puis de nouveau avant la mise en production. Il s’agit de valider que les résultats reflètent le système construit. Elles décrivent aussi la publication dans les deux langues officielles sur le Portail du gouvernement ouvert.

Le déclencheur de tout cela est le critère de la décision administrative, et non la frontière entre l’interne et l’externe. Un système est visé lorsqu’il prend une décision qui touche les droits, les privilèges ou les intérêts d’une personne, ou qu’il aide un agent de traitement à la prendre. Le Secrétariat a lui-même produit un Guide sur la portée de la Directive.

Ce guide place hors de cette limite les « actions qui n’ont pas d’incidence sur les privilèges, les intérêts ou les garanties juridiques des personnes ou des employés ».

Il cite en exemple « la recherche, l’évaluation de programmes, les séances de remue-méninges et la rédaction de documents ».

Hors portée ne veut pas dire hors réglementation. Le même guide traite des systèmes utilisés uniquement à des fins de recherche et d’expérimentation. Il note que d’autres exigences s’appliquent tout de même. Il vise notamment celles « qui ont trait à la protection de la vie privée, à la sécurité, à la gestion de l’information, aux valeurs et à l’éthique ». Le même raisonnement s’applique à tout flux de travaux que vous placez hors portée.

Le guide sur l’IA agentive recommande ce qui suit : « Maintenez un mécanisme de suspension et de désactivation (“interrupteur d’urgence”) indépendant de l’agent d’IA ou du système d’IA agentive ». Il ajoute « un plan de récupération approprié pour les opérations imprévues ». « Indépendant » est le mot déterminant, et il vient du guide canadien lui-même. Un contrôle d’arrêt mis en œuvre à l’intérieur de l’agent est une demande, non une garantie.

L’Union européenne recourt au même contrôle sans exiger qu’il se situe à l’extérieur du système. L’article 14, paragraphe 4, du règlement (UE) 2024/1689 vise les personnes chargées du contrôle. Il prévoit qu’elles soient en mesure, « dans la mesure où cela est approprié et proportionné », de décider, dans une situation particulière, de ne pas utiliser le système. Elles peuvent aussi « ignorer, remplacer ou inverser la sortie ». Elles peuvent enfin intervenir dans son fonctionnement. Elles peuvent « interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée ».

Une correction s’impose ici pour quiconque planifie en fonction des anciennes dates. Les obligations visant les systèmes à haut risque devaient à l’origine s’appliquer à compter du 2 août 2026 pour l’annexe III. Pour l’annexe I, la date était le 2 août 2027. Le règlement (UE) 2026/1744, publié au Journal officiel le 24 juillet 2026, les a reportées respectivement au 2 décembre 2027 et au 2 août 2028. Le 2 août 2026 demeure en vigueur pour le reste du règlement ; la date n’a donc pas disparu. Elle ne régit plus les obligations visant les systèmes à haut risque.

Prenez le flux de travaux que vous planifiez. Notez chaque action que l’agent peut effectuer et indiquez, pour chacune, si elle modifie un état ou non. Cette seule colonne réglera l’essentiel du débat, parce qu’elle transforme « quel est le risque ? » en « est-ce que cela change quelque chose ? ».

Ensuite, pour chaque action qui modifie un état, nommez le schéma, le rôle responsable, le délégué et les champs de journal. Ils vous permettraient de prouver après coup ce qui s’est passé. Quatre colonnes. Cela tient sur une page. Remplie avant la construction, elle donne à un comité d’examen ce qu’il doit voir.

La raison de le faire tôt n’est pas la conformité. C’est que greffer après coup un modèle d’approbation sur un agent en fonctionnement oblige à reconstruire l’agent.

Prochain article de la série : cinq flux de travaux du savoir que les institutions publiques canadiennes peuvent mettre à l’essai en toute sécurité.