L’analyse de rentabilisation d’un projet pilote d’agent de connaissance de six semaines

Une entrée en matière inconfortable pour une analyse de rentabilisation, et la seule honnête. Elle donne à un détenteur de budget plus de prise que l’assurance d’un fournisseur.

Au Canada, la productivité du travail du secteur des entreprises a reculé de 0,5 % au premier trimestre de 2026. Elle avait déjà baissé de 0,3 % au quatrième trimestre de 2025. Source : Statistique Canada, 3 juin 2026. Le coût unitaire de main-d’œuvre a augmenté pour un quatrième trimestre consécutif.

Le portrait de long terme est pire. Une étude de Statistique Canada publiée le 22 décembre 2025 situe la productivité du travail au Canada à environ 83 % du niveau des États-Unis en 2002. Elle la situe à 73 % en 2019. La croissance annuelle s’établit à 0,84 % contre 1,56 %.

L’adoption progresse rapidement sur cette toile de fond. Statistique Canada publie des analyses annuelles sur l’utilisation de l’intelligence artificielle tirées de l’Enquête canadienne sur la situation des entreprises. La proportion d’entreprises déclarant avoir utilisé l’intelligence artificielle pour produire des biens ou fournir des services durant les douze derniers mois y est passée de 12,2 % à 19,2 %. Le premier chiffre provient d’une collecte menée du 1er avril au 5 mai 2025 (article d’analyse publié le 16 juin 2025, 9 103 répondants). Le second provient d’une collecte menée du 1er avril au 6 mai 2026 (article d’analyse publié le 11 juin 2026, 9 251 répondants). Le chiffre principal avait paru dans Le Quotidien le 27 mai 2026. Même enquête, même question, base comparable : sept points de pourcentage en un an.

Quatre études contrôlées, toutes publiées, toutes assorties d’un échantillon déclaré, et elles ne concordent pas.

Le National Bureau of Economic Research (NBER) a rapporté le déploiement d’un assistant conversationnel auprès de 5 179 agents de soutien à la clientèle. Il s’agit du document de travail 31161 (avril 2023, révisé en novembre 2023). L’étude relève une hausse de 14 % en moyenne du nombre de problèmes résolus par heure, et de 34 % chez les novices. L’effet était minime chez les personnes expérimentées les plus performantes.

Organization Science a publié un essai randomisé préenregistré mené auprès de 758 travailleurs du savoir. Pour des tâches dans la frontière de capacité du modèle, les participants accomplissaient 12,2 % de tâches de plus, 25,1 % plus rapidement, avec une qualité nettement meilleure. Pour une tâche délibérément placée au-delà de cette frontière, les participants qui utilisaient l’outil avaient 19 % moins de chances de produire une solution correcte. Divulguez ceci lorsque vous citez cette étude : trois des neuf auteurs sont affiliés à la firme-conseil qui a fourni l’ensemble des participants. Cette firme vend des services-conseils en intelligence artificielle.

Une expérience avec incitatifs menée auprès de 453 professionnels titulaires d’un diplôme postsecondaire a été publiée dans Science en juillet 2023. Le temps moyen consacré à des travaux de rédaction professionnelle de niveau intermédiaire a diminué de 40 %, tandis que la qualité évaluée des produits a augmenté de 18 %.

Et un essai randomisé réalisé par l’organisme de recherche sans but lucratif METR (Model Evaluation and Threat Research) a été publié le 10 juillet 2025. Auprès de 16 développeurs expérimentés en logiciel libre et sur 246 problèmes réglés, les développeurs qui utilisaient des outils d’intelligence artificielle ont mis 19 % plus de temps. Ils s’attendaient à une amélioration de 24 %, et, après coup, croyaient toujours l’avoir obtenue. Petit échantillon, et les auteurs le disent. C’est l’écart de perception qui constitue le résultat.

Viennent ensuite les données canadiennes au niveau des entreprises, l’élément le plus important de cette liste. Une étude de Statistique Canada publiée le 22 avril 2026 s’appuie sur l’Enquête sur la technologie numérique et l’utilisation d’Internet, regroupée pour 2019 et 2021. Elle couple l’enquête à des microdonnées administratives d’entreprises. Elle a constaté que les entreprises adoptantes affichaient un niveau de productivité supérieur de 16,8 % au départ, et de 10,2 % après contrôle de la productivité initiale. Une fois les capacités complémentaires prises en compte, l’écart tombait à 5,1 %, un résultat statistiquement non significatif. Les auteurs concluent : « il n’existe aucune association directe statistiquement significative entre l’adoption de l’IA et la productivité ». L’écart favorable observé auparavant « reflète le rôle déterminant des investissements complémentaires ».

Notez le millésime. Ces données datent de 2019 et de 2021, soit avant la génération actuelle d’outils. Elles ne tranchent donc pas la question pour aujourd’hui. Elles établissent que les organisations qui ont obtenu un résultat de productivité avaient déjà bâti la capacité complémentaire. Celles qui ont acheté la technologie seule n’ont rien obtenu.

Aucune lecture ne vous dira lequel de ces résultats décrit votre organisation. Vous ne pouvez que le mesurer.

Ni Statistique Canada ni le Secrétariat du Conseil du Trésor du Canada (SCT) ne publient de chiffre sur la durée type d’un projet pilote. Nous n’en avons trouvé aucun provenant d’un organisme de recherche nommé, assorti d’une méthode déclarée. Quiconque cite une norme cite une habitude. La durée de six semaines doit donc se justifier par la conception, et elle le peut.

Six semaines, c’est assez long pour établir une base de référence, traiter une charge de travail réelle et observer un changement. C’est assez court pour que la base de référence reste valable à la fin. La période tient aussi dans un seul cycle budgétaire et une seule affectation du personnel.

Le mode de défaillance à prévenir dans la reddition de compte des projets pilotes n’est pas technique. C’est l’absence d’un état antérieur documenté. Un projet pilote incapable de dire ce que le travail exigeait, coûtait ou ratait avant l’arrivée de l’outil produit une démonstration que les gens ont appréciée. Personne ne peut fonder un financement là-dessus. Une base de référence coûte peu la première semaine et ne peut pas se reconstituer après coup la sixième.

Le Guide sur l’utilisation de l’intelligence artificielle agentive du SCT, modifié le 22 mai 2026, va dans le même sens. Il dit : « Commencez vos essais dans un environnement contrôlé et élargissez-les progressivement pour mieux comprendre le fonctionnement des agents ». Il prévoit aussi une exécution manuelle périodique par des experts humains, à des fins de comparaison. Il ajoute des vérifications régulières. Il ajoute enfin des contrôles ponctuels « pour déceler rapidement tout écart ».

Le Guide d’analyse de rentabilisation du Secrétariat, qui ne porte aucune date de publication, énonce son applicabilité sans seuil :

Le document s’applique « indépendamment de la complexité et du risque de l’investissement proposé, et peu importe si on cherche à faire approuver le projet par le Conseil du Trésor ». Il « devrait servir à orienter la préparation de l’analyse de rentabilisation de l’investissement ».

Il n’existe aucune taille en deçà de laquelle la structure cesse de s’appliquer. Ses trois phases et ses cinq étapes constituent, fort commodément, un mandat exploitable pour un projet pilote de six semaines. La première étape porte sur le contexte stratégique et le besoin opérationnel, et la deuxième sur l’analyse préliminaire des options. La troisième couvre les options viables avec leurs coûts, l’analyse coûts-avantages et le risque. La quatrième porte sur la justification et la recommandation. La cinquième porte sur la gestion de l’investissement, y compris la gouvernance, la gestion des résultats, le risque, la gestion du changement et la mesure du rendement.

L’analyse coûts-avantages de la troisième étape et la stratégie de mesure du rendement de la cinquième étape sont précisément ce que le projet pilote a pour raison d’être de remplir. Rédigez d’abord le squelette de l’analyse de rentabilisation et laissez le projet pilote le garnir. Évitez de reconstituer après coup une analyse à partir de ce qui a été mesuré.

Un seuil est à surveiller pendant la définition de la portée. Les directives du Secrétariat à l’intention des rédacteurs de présentations au Conseil du Trésor, modifiées le 1er avril 2026, fixent la règle. Une proposition qui comporte plus de 10 nouveaux équivalents temps plein (ETP) exige une annexe à la présentation.

Le Registre de l’IA du gouvernement du Canada compte 412 enregistrements, selon un dénombrement effectué directement auprès du service de données ouvertes. Il a été diffusé le 28 novembre 2025 et mis à jour le 28 avril 2026. Il se décrit lui-même comme « un produit minimum viable ». Il signale que « toutes les entrées ne sont pas complètes ». Il exclut l’intelligence artificielle intégrée à des produits commerciaux à faible risque. Ses auteurs l’ont constitué à partir d’enregistrements déjà existants plutôt que d’une nouvelle enquête.

L’Université Western tient un inventaire distinct, le registre Tracking Automated Government. Au 1er février 2024, il constatait que seulement 4 % des 303 outils fédéraux automatisés faisaient l’objet d’évaluations gouvernementales accessibles au public. Ce chiffre précède le Registre de l’IA. Il décrit un autre inventaire. C’est tout de même la mesure publiée la plus proche de la part de cette activité qu’on ait documentée. Des chercheurs de l’Université de Toronto la citent dans leur analyse du registre publiée en 2026.

Cela fait trois raisons indépendantes de lire le registre comme un plancher, et une présomption raisonnable que votre propre inventaire sous-estime ce que votre personnel utilise.

Quatre pièces justificatives. Un projet pilote qui ne produit que la première est une démonstration.

Une base de référence documentée, consignée avant tout déploiement : volume, temps, coût et taux d’erreur du flux de travaux visé.

Un jeu d’évaluation assorti de la vérité de terrain, construit par les personnes qui font le travail. Il survit à tous les modèles que vous choisirez un jour et constitue l’élément le plus durable que produisent ces six semaines.

Un résultat mesuré par rapport à cette base de référence, rapporté avec ses limites, y compris les cas où l’outil a dégradé la situation. Un projet pilote qui ne rapporte aucun échec n’a pas cherché.

Une note de décision qui indique de poursuivre, d’arrêter ou de prolonger. Elle présente les preuves à l’appui de chaque option. Une personne responsable du résultat, plutôt que du projet pilote, la rédige.

La valeur ne vient pas ici de la meilleure technologie. Elle vient d’une décision prise la première semaine : ce qui comptera comme preuve. Elle vient ensuite du respect de cette décision la sixième semaine, y compris lorsque la preuve dit non.

Précédemment : les modèles à poids ouverts ou les modèles propriétaires, un modèle de coûts canadien. Ceci conclut la série. L’ensemble du parcours est répertorié dans Analyses.