Schéma de flux de travaux
Un assistant de recherche encadré pour les équipes de politiques et de programmes
Les analystes peuvent consacrer plus de temps à repérer la preuve qu’à la juger. Ce flux de travaux fait reposer la récupération et la première synthèse sur un corpus approuvé, et il rattache chaque citation au passage dont elle provient. Le jugement reste là où il doit rester. Huit semaines entre le flux de travaux candidat et une décision de mise en production.
La friction
Les mêmes instruments, relus par une autre personne, chaque fois
Les équipes de politiques et de programmes manquent rarement d’information. Il leur manque un chemin citable pour revenir à de l’information que l’organisation a déjà lue.
Une demande arrive : que dit l’instrument, qu’est-ce qui a changé au dernier examen, qu’avons-nous dit au ministre la dernière fois. Un analyste ouvre la loi, le règlement, la directive, trois documents d’orientation et deux notes d’information antérieures. Cette lecture est une relecture. Un collègue l’a faite auparavant, pour une question presque identique. Personne n’a jamais consigné ce qui en importait sous une forme réutilisable.
Le coût se manifeste dans les délais : une question qui représente une heure de jugement devient des jours de temps écoulé. Il se manifeste aussi par l’incohérence. Deux analystes travaillant à partir de sous-ensembles différents du même corpus produisent des réponses différentes, et personne ne peut reconstituer quels passages expliquent l’écart.
Les outils d’IA à usage général aggravent la situation. Un modèle qui répond à partir de ses données d’entraînement produit une prose qui se lit comme une note d’information et qui ne remonte à rien. En travail de politiques, une réponse non citable est inutilisable, et une réponse persuasive porte un risque supplémentaire.
Note
Ce qui détermine si l’IA peut servir à la recherche en politiques
Le corpus, les citations, l’approbateur et le traitement des divergences déterminent si une institution peut employer l’IA pour la recherche en politiques. Le choix de l’outil, non.
Sources
La récupération à sources approuvées commence par un corpus dont quelqu’un est responsable
Avant toute construction de la récupération, le corpus est défini, classifié et approuvé. C’est l’étape de conception la plus lourde de conséquences, et c’est une décision du client que nous documentons, non une décision technique que nous prenons.
Nous travaillons avec le responsable opérationnel imputable et la fonction de gestion de l’information pour produire un registre des sources. Chaque source porte cinq attributs : ce qu’elle est, qui en est responsable, sa classification, son statut faisant autorité, et comment nous savons que la version est toujours en vigueur. Toute source à laquelle il manque l’un des cinq est exclue jusqu’à résolution.
- Instruments faisant autorité
- Lois, règlements, directives et orientations publiées, tirés de la version que l’institution considère comme faisant autorité plutôt que d’une copie instantanée.
- Interprétation institutionnelle
- Notes d’interprétation approuvées, orientations de programme et notes d’information antérieures, attribuées à l’unité responsable de chacune.
- Un seul niveau de classification
- Un seul niveau pour la première version. Mêler des niveaux dans un même index est un problème de contrôle d’accès déguisé en problème de récupération.
- Exclusions, par écrit
- Ébauches, fichiers personnels, wikis non approuvés, tout ce dont la conservation reste en suspens. La liste d’exclusions est un livrable.
- Règles d’actualité
- Comment les versions remplacées sont signalées, comment les nouvelles versions entrent dans l’index, et combien de temps un document périmé peut demeurer récupérable.
Le registre permet à un examinateur de la sécurité, à un agent de la protection des renseignements personnels et à un responsable des documents de répondre en une seule séance. Chacun a sa propre question. Le modèle de contrôle qui l’entoure se trouve dans sécurité et gouvernance.
Ancrage
Les citations vont jusqu’au passage, et les divergences vont jusqu’au lecteur
Deux comportements distinguent un assistant de recherche qu’une institution peut défendre de celui qu’elle ne peut pas défendre. Il montre d’où vient chaque énoncé. Il refuse de trancher en silence un désaccord entre des sources approuvées.
Source approuvée
Réponse de l’assistant
Les systèmes de niveau d’incidence III exigent un examen par les pairs mené par au moins un spécialiste qualifié. Un humain doit prendre la décision administrative finale, et non le système.
- Directive sur la prise de décisions automatisée, art. 6.3
- Guide sur l’examen par les pairs des systèmes décisionnels automatisés, art. 2
Orientation contradictoire détectée dans une troisième source. Renvoyée à un examinateur humain plutôt que tranchée automatiquement.
Conservation exacte des citations
L’assistant rattache chaque énoncé au passage qui l’appuie : document, version, article et étendue du texte elle-même, plutôt qu’un lien au niveau du document. L’analyste peut l’ouvrir sur place. Lorsqu’il ne peut pas rattacher un énoncé à un passage, il ne le rédige pas. Il signale que le corpus ne répond pas à la question. Nous testons l’intégrité des citations plutôt que de la présumer, car pointer le bon document tout en paraphrasant ce qu’il ne dit pas est le mode de défaillance qui compte.
Sources contradictoires et remplacées
Les sources approuvées peuvent diverger : un instrument et son orientation s’écartent l’un de l’autre, une directive est mise à jour et une note d’interprétation ne l’est pas. Un système réglé pour produire une seule réponse assurée en fait la moyenne, de façon invisible. Le nôtre fait l’inverse. Lorsque les passages récupérés se contredisent, l’ébauche le dit, présente chaque position avec sa propre citation et sa date, et renvoie la question à l’examinateur comme point en suspens. Lorsqu’une source est remplacée, l’assistant fait ressortir la version courante et signale la précédente. L’écart entre les versions est souvent l’objet même de la demande.
Obligations
Documents, conservation et ce que la Directive vise
Un assistant de recherche crée des documents. Les requêtes, les passages récupérés, les ébauches et les modifications des examinateurs sont de l’information relevant du contrôle de l’institution. Ils héritent des mêmes obligations de conservation et de disposition, ainsi que d’accès, que le reste de vos fonds documentaires. Cela se conçoit dès le départ, cela ne se découvre pas après la mise en production.
Gestion de l’information
- Journaux de requêtes et de sorties rattachés à une catégorie de documents existante. Le délai de conservation est fixé par le bureau des documents, et non par un réglage par défaut de la plateforme.
- Disposition appliquée selon le calendrier, y compris pour les artefacts dérivés comme les plongements et les caches, que l’on oublie facilement.
- Journaux interrogeables pour les demandes d’accès à l’information et de protection des renseignements personnels, car ils y seront assujettis.
- Une décision documentée sur la question de savoir si les ébauches sont des documents à valeur opérationnelle, prise avec le bureau des documents avant la fin du projet pilote.
La Directive sur la prise de décisions automatisée
La Directive s’applique aux systèmes en production qui prennent ou appuient des décisions administratives ou des évaluations connexes concernant des clients ; les systèmes d’essai et de recherche en sont exclus. Un assistant qui récupère et rédige pour un analyste se situe habituellement hors de cette portée. Le filtre d’applicabilité tranche la question, et il s’exécute dans le sprint de gouvernance avant tout début de construction. Lorsque la Directive s’applique, le niveau d’incidence détermine les obligations d’examen par les pairs.
Source
Sources : la Directive du Conseil du Trésor sur la prise de décisions automatisée, modifiée le 24 juin 2025. Le Guide sur l’examen par les pairs des systèmes décisionnels automatisés, 2025, en vertu duquel les niveaux d’incidence II à IV exigent un examen par les pairs.
Limites
Ce que cet assistant n’est pas
Nous faisons respecter la limite dans les requêtes, les permissions d’outils, les cas d’évaluation et l’interface elle-même, plutôt que de l’affirmer dans un avis de non-responsabilité.
Avertissement
Trois choses qu’il ne doit jamais faire
- Il ne conseille pas. Il rapporte ce que disent les sources approuvées. Il ne recommande ni position de politique, ni ligne de conduite, ni interprétation, et il ne qualifie pas la force d’un argument.
- Il ne décide pas. Rien de ce qu’il produit n’est une évaluation concernant une personne, un droit ou un dossier. Il n’a aucun pouvoir et aucun accès en écriture à un système officiel de référence.
- Il ne fait pas disparaître une divergence dans un résumé. Trancher un désaccord entre des sources approuvées est un travail d’analyse assorti d’une imputabilité. L’assistant fait ressortir la divergence et s’arrête.
Il ne remplace pas un conseiller juridique, et il n’est pas une source de quoi que ce soit hors du corpus approuvé. Interrogé sur un sujet que le corpus ne couvre pas, le comportement correct est un refus qui explique la limite. Nous évaluons ce comportement de refus comme tout autre.
Le point d’approbation humaine
Un rôle nommé approuve avant que quoi que ce soit ne sorte du flux de travaux : l’analyste responsable du produit. L’ébauche arrive avec ses citations rattachées, les divergences ouvertes énumérées et les sections à faible confiance signalées. L’analyste modifie, rejette ou approuve. Le geste est consigné pour cette version de l’ébauche. Rien n’atteint un décideur ou une partie externe sans franchir ce point.
Preuve
Comment nous démontrons que cela fonctionne avant que quiconque en dépende
Les assistants de recherche s’évaluent sur des dimensions que les évaluations génériques de modèles ne couvrent pas. Nous constituons un jeu de données de référence à partir de notes d’information antérieures et des réponses approuvées qu’ont produites vos analystes. Nous évaluons chaque version par rapport à ce jeu.
| Dimension | Ce qui est mesuré | Défaillance détectée |
|---|---|---|
| Exactitude des citations | Si chaque citation renvoie à un passage qui appuie l’énoncé, au niveau de l’article. | Une prose assurée rattachée à un document réel qui ne dit pas cela. |
| Ancrage dans les sources | Part des réponses entièrement étayées par les sources citées, les affirmations non étayées étant comptées comme des défauts. | Des connaissances du modèle qui s’infiltrent comme s’il s’agissait de connaissances de l’institution. |
| Exhaustivité | Couverture par rapport à un jeu de données de référence de notes d’information antérieures : l’ébauche a-t-elle trouvé les instruments sur lesquels reposait la réponse approuvée. | Des ébauches plausibles et bien citées qui passent discrètement à côté de la disposition applicable. |
| Détection des divergences | Rappel sur des cas semés où deux sources approuvées divergent ou l’une est remplacée. | Faire la moyenne d’un désaccord pour en tirer une seule réponse assurée. |
| Comportement de refus | Taux de refus correct sur les questions hors corpus, et taux de refus injustifié sur les questions auxquelles le corpus répond. | Répondre hors des limites, ou devenir inutile en refusant tout. |
| Actualité | Si la version récupérée est la version en vigueur à la date de la requête. | Des citations exactes vers un instrument remplacé au trimestre précédent. |
Travail bilingue
Dans les contextes fédéral et provincial, le corpus est souvent bilingue et la sortie doit l’être aussi. Lorsque les deux versions linguistiques d’un instrument font autorité, traduire automatiquement une réponse anglaise n’est pas une conception acceptable : une question en français doit récupérer et citer le passage français. Nous testons le français et l’anglais comme des ensembles distincts, avec leurs propres seuils, et nous signalons l’écart, plutôt qu’une moyenne qui le masque. Alexander Leslie, de langue maternelle française et anglaise, dirige les mandats en français. Nous concevons l’évaluation en français avec le client, et des réviseurs qualifiés et indépendants la réalisent. Le client nomme ces réviseurs, ou nous les engageons, et le dossier d’acceptation les nomme.
Mesures d’exploitation
- Délai jusqu’à la première ébauche défendable, par rapport à la base de référence mesurée avant le projet pilote.
- Exactitude des citations et ancrage dans les sources, déclarés chaque mois avec le seuil à côté du résultat.
- Distance d’édition de l’analyste : la part de l’ébauche qui survit à la révision, suivie dans le temps.
- Divergences relevées et manière dont elles ont été résolues, montrant où le corpus demande de l’attention.
- Refus et questions hors corpus, qui vous indiquent ce qu’il faut approuver ensuite dans le corpus.
Ces mesures se poursuivent en régime permanent au moyen de l’exploitation gérée des agents (AgentOps). La même suite s’y exécute comme test de non-régression à chaque changement de modèle, de requête ou de corpus.
Réponses directes
Les questions que les examinateurs posent en premier
Comment les équipes gouvernementales peuvent-elles employer l’IA pour la recherche en politiques ?
Employez-la pour la récupération et la première synthèse sur un corpus approuvé et classifié, jamais pour conseiller ou décider. Définissez les sources et leurs responsables, conservez des citations exactes jusqu’au passage, faites ressortir les divergences au lieu de les trancher, et exigez qu’un analyste nommé approuve chaque sortie. Effectuez d’abord un filtre d’applicabilité de l’évaluation de l’incidence algorithmique (EIA). Un assistant de recherche qui appuie un analyste se situe habituellement hors de la Directive sur la prise de décisions automatisée, mais c’est le filtre qui l’établit. Il doit figurer au dossier avant le début de la construction.
Comment un assistant d’IA peut-il citer des sources approuvées ?
En récupérant uniquement à partir d’un index approuvé, et en rattachant chaque énoncé au passage récupéré qui l’appuie : document, version, article et étendue de texte. Un examinateur peut alors ouvrir la source sur place. Le système ne produit aucun énoncé qu’il ne peut rattacher à un passage. Nous testons ensuite l’intégrité des citations directement : une citation qui renvoie au bon document mais n’appuie pas la phrase compte comme un défaut. Nous testons aussi l’actualité, pour que la version citée soit la version en vigueur.
Comment évaluez-vous l’hallucination dans un assistant de recherche ?
Au moyen d’un jeu de données de référence constitué de vos propres notes d’information antérieures et de leurs réponses approuvées, évalué sur quatre points. L’ancrage dans les sources est la part des réponses que les sources citées étayent entièrement. Nous mesurons l’exactitude des citations au niveau du passage. L’exhaustivité demande si les instruments applicables ont été trouvés, et le comportement de refus couvre les questions auxquelles le corpus ne peut répondre. Nous convenons des seuils à l’acceptation et les refaisons à chaque changement de modèle, de requête ou de corpus. Un système qui a réussi en mars n’est pas une preuve au sujet du système qui fonctionne en septembre.
Prochaine étape
Apportez une question de recherche récurrente
Si votre équipe répond chaque mois à une version de la même question, c’est le candidat. Trente minutes, évaluées selon les sept dimensions du sprint, et une réponse franche.
Le contexte pour les acheteurs du secteur public se trouve dans l’IA encadrée pour le gouvernement. Pour les institutions financières fédérales, voyez la ligne directrice E-23 et les agents d’IA du Bureau du surintendant des institutions financières (BSIF). La mise en œuvre passe par le Sprint de cadrage et de gouvernance et le Projet pilote d’agent de connaissance souverain de six semaines. Elle repose sur le modèle de contrôle décrit dans sécurité et gouvernance.