White Glove LabsEnglishRéserver un appel

Outil gratuit

Évaluez un flux de travaux d’IA candidat avant tout achat

Voici l’instrument de notation qu’applique le Sprint de cadrage et de gouvernance, publié intégralement, avec ses pondérations et ses repères. Vingt minutes, un flux de travaux, un chiffre que vous pouvez défendre devant un parrain. Imprimez-le, appliquez-le avec votre propre équipe, et servez-vous-en pour évaluer n’importe quel fournisseur, y compris nous.

Aller à la grilleNous la remplissons avec vous

Comment l’appliquer

Vingt minutes, trois personnes, un flux de travaux

L’instrument répond à une seule question : ce flux de travaux mérite-t-il d’être encadré et mis en service ? On y répond délibérément avant toute conception de contrôles, toute architecture et tout choix de fournisseur, parce que chacune de ces décisions coûte cher à défaire.

  1. Choisissez un seul flux de travaux, décrit tel qu’il se déroule. Pas une capacité, pas une direction, pas « l’IA pour les politiques ». Un flux de travaux a un déclencheur, une suite d’étapes, une personne qui les exécute et un résultat que quelqu’un attend.
  2. Réunissez trois personnes dans une salle. Il vous faut la personne qui fait le travail, celle qui répond du résultat et celle qui sait où résident les données et qui a le droit de les voir. Sans la troisième personne, la note de la dimension Données est devinée plutôt que connue.
  3. Notez chaque dimension de un à cinq à l’aide des repères ci-dessous, et inscrivez la preuve dans la colonne suivante. Une note sans preuve à côté d’elle ne pourra pas être défendue devant un parrain plus tard.
  4. Multipliez chaque note par sa pondération, puis faites le total. Les pondérations sont fixes, de sorte que deux flux de travaux notés par deux personnes différentes restent comparables.
  5. Appliquez les trois points de contrôle stricts avant de regarder le total, parce qu’ils l’emportent sur lui.

Note

Notez ce qui est vrai aujourd’hui, pas ce que vous prévoyez

Le seul mode de défaillance de cette grille est de noter l’état visé. Si vous prévoyez le ménage des droits d’accès pour le trimestre prochain, notez la dimension Données telle qu’elle se présente maintenant : ce ménage devient un préalable assorti d’une date. Un flux de travaux qui n’obtient une bonne note que par rapport à un état prévu s’enlisera si le plan glisse.

Évaluer maintenant

Évaluez votre flux de travaux en cinq rangées

La forme rapide de la grille ci-dessous : cinq dimensions, cinq lignes décrites dans chacune, un total sur 25. Notez la ligne la plus proche de la réalité d’aujourd’hui, non celle que vous espérez.

Choisissez une ligne par rangée. 1 est la description la plus faible, 5 la plus forte.

ValeurExiste-t-il aujourd’hui une base de référence mesurable, et un résultat sur lequel quelqu’un a accepté d’être jugé ?
ResponsabilitéY a-t-il un parrain capable de financer une décision, et un responsable de l’exploitation qui en assumera la charge après la mise en production ?
DonnéesExiste-t-il des sources approuvées, à jour et assorties de droits d’accès, et l’accès peut-il être accordé à l’intérieur de la fenêtre du projet pilote ?
RisqueLa décision est-elle révisable par une personne qui faisait déjà partie du processus, et l’incidence est-elle circonscrite ?
ÉvaluationPouvez-vous réunir des cas représentatifs dont la bonne réponse est connue, et convenir d’un seuil avant de construire ?

Vos réponses restent dans votre navigateur jusqu’à ce que vous remplissiez les cinq rangées. Nous recevons alors les cinq chiffres et un code de session aléatoire, rien d’autre.

0 sur 25

0 rangées sur 5 remplies

Choisissez une ligne dans chaque rangée pour voir votre verdict.

0 rangées sur 5 remplies

Sur chaque carte, 1 est la description la plus faible et 5 la plus forte. Notez le chiffre de la ligne la plus proche de la réalité d’aujourd’hui, puis additionnez les cinq notes pour un total sur 25.

Valeur

Existe-t-il aujourd’hui une base de référence mesurable, et un résultat sur lequel quelqu’un a accepté d’être jugé ?

  1. L’avantage n’est décrit qu’en termes généraux. Personne ne peut dire ce que coûte le flux de travaux aujourd’hui, et aucun système officiel de référence ne ferait voir de changement s’il s’améliorait.
  2. Une base de référence est devinée plutôt qu’estimée, et personne n’a convenu d’un résultat.
  3. Une base de référence existe, mais elle est estimée plutôt que mesurée, et le résultat visé fait l’objet d’une entente informelle.
  4. La base de référence provient d’un système officiel de référence et l’équipe a convenu d’une cible, mais personne n’a encore accepté d’être jugé à son aune.
  5. Un système officiel de référence mesure le volume, le temps de cycle et les reprises. Une personne désignée a accepté d’être jugée au regard d’une cible, et la mesure résisterait à une vérification.
Responsabilité

Y a-t-il un parrain capable de financer une décision, et un responsable de l’exploitation qui en assumera la charge après la mise en production ?

  1. L’intérêt vient d’une fonction d’innovation ou de transformation, sans responsable de l’exploitation derrière elle.
  2. Un parrain s’intéresse au projet, mais ne peut pas encore financer un projet pilote, et personne n’a été pressenti pour l’exploiter.
  3. Un parrain peut financer un projet pilote, mais la question de savoir qui l’exploitera après la mise en production reste en suspens.
  4. Le parrain détient le budget et un responsable de l’exploitation est désigné, mais ni l’un ni l’autre n’a confirmé que cela deviendra une activité normale.
  5. Le parrain détient le budget, le responsable de l’exploitation est désigné, et les deux ont confirmé que cela deviendra une activité normale de l’unité.
Données

Existe-t-il des sources approuvées, à jour et assorties de droits d’accès, et l’accès peut-il être accordé à l’intérieur de la fenêtre du projet pilote ?

  1. Le contenu faisant autorité est éparpillé dans des dépôts que personne n’a classifiés, et les droits d’accès n’existent que dans la tête des gens.
  2. On connaît les sources, mais la plupart ont vieilli ou restent sans classification, et personne n’a demandé qui peut les consulter.
  3. Les sources sont répertoriées et pour l’essentiel à jour, mais l’accès pour un projet pilote exige une décision que personne n’a encore prise.
  4. L’équipe a nommé et classifié des sources à jour et convenu de l’accès en principe, mais personne ne l’a encore accordé.
  5. Les sources sont nommées, classifiées, à jour, confiées à une personne qui peut approuver l’accès, et les droits d’accès se résolvent au moyen d’un annuaire.
Risque

La décision est-elle révisable par une personne qui faisait déjà partie du processus, et l’incidence est-elle circonscrite ?

  1. Le résultat touche directement les droits, les prestations ou l’admissibilité d’une personne, et il n’existe aucun point naturel où un humain le vérifie déjà.
  2. Une étape de révision est évoquée, mais personne n’en est responsable, et une erreur pourrait atteindre la personne visée.
  3. Une étape de révision existe, mais il faudrait la créer ou la doter de ressources pour le volume en cause.
  4. Une personne qualifiée révise déjà ce résultat, mais la révision n’est pas consignée et une erreur pourrait être repérée tard.
  5. Une personne qualifiée révise déjà ce résultat dans le cadre de son travail, la révision est consignée, et une erreur est récupérable avant d’atteindre qui que ce soit à l’extérieur.
Évaluation

Pouvez-vous réunir des cas représentatifs dont la bonne réponse est connue, et convenir d’un seuil avant de construire ?

  1. Il n’y a pas de source de vérité, et un seul expert peut trancher l’exactitude, sans avoir consigné son jugement nulle part.
  2. Des cas antérieurs existent, éparpillés, sans bonnes réponses convenues ni personne pour les trancher.
  3. Des cas antérieurs existent et pourraient, moyennant un effort, former un ensemble d’essai, mais personne n’a discuté d’un seuil.
  4. L’équipe peut réunir des cas représentatifs dont la bonne réponse est connue, mais elle n’a pas encore convenu du seuil de réussite avec la personne qui l’approuve.
  5. Vous pouvez extraire ce mois-ci un ensemble de cas représentatifs dont la bonne réponse est connue, et vous savez qui approuverait un seuil de réussite.

Lire le total

À construire en premier
Chaque rangée de contrôle tient et le total atteint 20. Le travail à venir est la conception des contrôles et l’évaluation, non la persuasion.
Corriger d’abord les données
Le total est sous 20, ou la valeur, la responsabilité ou le risque est sous 3. Commencez par les rangées les plus basses, puis évaluez de nouveau.

La grille

Les sept dimensions

Imprimez cette section, ou copiez le tableau dans l’outil que vous utilisez déjà. La note pondérée est la note sur cinq multipliée par la pondération. Un cinq à la dimension Valeur contribue donc pour 1,00, et le total maximal est de 5,00.

Voir le détail

Grille d’évaluation des flux de travaux. Notez chaque dimension de un à cinq au regard des repères, consignez la preuve, puis multipliez par la pondération pour obtenir la note pondérée.
DimensionPondérationLa question à laquelle vous répondezNotede 1 à 5Preuve
Valeur20 %Existe-t-il aujourd’hui une base de référence mesurable, et un résultat sur lequel quelqu’un a accepté d’être jugé ?Note, à remplir par vousPreuve, à remplir par vous
Responsabilité15 %Y a-t-il un parrain capable de financer une décision, et un responsable de l’exploitation qui en assumera la charge après la mise en production ?Note, à remplir par vousPreuve, à remplir par vous
Données15 %Existe-t-il des sources approuvées, à jour et assorties de droits d’accès, et l’accès peut-il être accordé à l’intérieur de la fenêtre du projet pilote ?Note, à remplir par vousPreuve, à remplir par vous
Risque15 %La décision est-elle révisable par une personne qui faisait déjà partie du processus, et l’incidence est-elle circonscrite ?Note, à remplir par vousPreuve, à remplir par vous
Évaluation15 %Pouvez-vous réunir des cas représentatifs dont la bonne réponse est connue, et convenir d’un seuil avant de construire ?Note, à remplir par vousPreuve, à remplir par vous
Intégration10 %Cela peut-il rejoindre les sources et les interfaces dans lesquelles les gens travaillent déjà, sans lancer un nouveau programme de travaux ?Note, à remplir par vousPreuve, à remplir par vous
Adoption10 %Les personnes qui font le travail s’en serviront-elles, et y a-t-il un responsable du changement désigné et une boucle de rétroaction ?Note, à remplir par vousPreuve, à remplir par vous
Total pondéré100 %Somme des notes multipliées par leur pondération. Maximum de 5,00.Total, à remplir par vousNotes, à remplir par vous

La grille s’imprime sur une seule page depuis votre navigateur. Elle ne transmet rien et ne conserve rien.

Repères

À quoi ressemble un un, et à quoi ressemble un cinq

Les repères maintiennent la cohérence de la notation d’une personne à l’autre. Notez au regard de la situation décrite, et non de l’impression prometteuse que dégage le flux de travaux.

Voir le détail

Valeur · 20 %

Base de référence mesurable et résultat convenu

Note de 1
L’avantage n’est décrit qu’en termes généraux. Personne ne peut dire ce que coûte le flux de travaux aujourd’hui, et aucun système officiel de référence ne ferait voir de changement s’il s’améliorait.
Note de 3
Une base de référence existe, mais elle est estimée plutôt que mesurée, et le résultat visé fait l’objet d’une entente informelle.
Note de 5
Un système officiel de référence mesure le volume, le temps de cycle et les reprises. Une personne désignée a accepté d’être jugée au regard d’une cible, et la mesure résisterait à une vérification.
Responsabilité · 15 %

Un parrain capable de financer et un responsable qui en assumera la charge

Note de 1
L’intérêt vient d’une fonction d’innovation ou de transformation, sans responsable de l’exploitation derrière elle.
Note de 3
Un parrain peut financer un projet pilote, mais la question de savoir qui l’exploitera après la mise en production reste en suspens.
Note de 5
Le parrain détient le budget, le responsable de l’exploitation est désigné, et les deux ont confirmé que cela deviendra une activité normale de l’unité.
Données · 15 %

Des sources approuvées, à jour et assorties de droits d’accès

Note de 1
Le contenu faisant autorité est éparpillé dans des dépôts que personne n’a classifiés, et les droits d’accès n’existent que dans la tête des gens.
Note de 3
Les sources sont répertoriées et pour l’essentiel à jour, mais l’accès pour un projet pilote exige une décision que personne n’a encore prise.
Note de 5
Les sources sont nommées, classifiées, à jour, confiées à une personne qui peut approuver l’accès, et les droits d’accès se résolvent au moyen d’un annuaire.
Risque · 15 %

Une étape de révision humaine qui existe déjà

Note de 1
Le résultat touche directement les droits, les prestations ou l’admissibilité d’une personne, et il n’existe aucun point naturel où un humain le vérifie déjà.
Note de 3
Une étape de révision existe, mais il faudrait la créer ou la doter de ressources pour le volume en cause.
Note de 5
Une personne qualifiée révise déjà ce résultat dans le cadre de son travail, la révision est consignée, et une erreur est récupérable avant d’atteindre qui que ce soit à l’extérieur.
Évaluation · 15 %

Des bonnes réponses connues et un seuil convenu

Note de 1
Il n’y a pas de source de vérité, et un seul expert peut trancher l’exactitude, sans avoir consigné son jugement nulle part.
Note de 3
Des cas antérieurs existent et pourraient, moyennant un effort, former un ensemble d’essai, mais personne n’a discuté d’un seuil.
Note de 5
Vous pouvez extraire ce mois-ci un ensemble de cas représentatifs dont la bonne réponse est connue, et vous savez qui approuverait un seuil de réussite.
Intégration · 10 %

Des sources accessibles, des interfaces familières

Note de 1
Cela exige une écriture en retour dans un système officiel de référence, ou dépend de la feuille de route d’une autre équipe, qui doit aboutir d’abord.
Note de 3
L’accès en lecture est réalisable, mais les utilisateurs travailleraient dans un nouvel endroit plutôt que là où ils se trouvent aujourd’hui.
Note de 5
L’accès en lecture aux sources approuvées est disponible dès maintenant, et le résultat aboutit dans une interface que les gens ont déjà ouverte.
Adoption · 10 %

Un responsable du changement désigné et une boucle de rétroaction

Note de 1
Le groupe d’utilisateurs n’a pas été consulté avant la décision, et personne n’est responsable du changement.
Note de 3
Les utilisateurs appuient l’idée en principe, et la gestion du changement est présumée plutôt qu’attribuée.
Note de 5
Un responsable du changement est désigné et les utilisateurs ont contribué à définir la portée. Il existe une voie par laquelle une plainte parvient à quelqu’un qui peut y donner suite.

Note

D’où vient l’instrument

Les sept dimensions et leurs pondérations constituent l’instrument propre à White Glove Labs : ce n’est ni une norme publiée ni une exigence réglementaire. Elles expriment notre position sur ce qui détermine si un flux de travaux du savoir peut être encadré et mis en œuvre. Nous publions les pondérations pour qu’on puisse les adapter ou les contester.

Comment la lire

Ce que signifie votre total, et les trois points de contrôle qui l’emportent sur lui

Lisez d’abord les points de contrôle. Un flux de travaux peut obtenir un bon total et être quand même un flux que nous refuserions, et c’est le point de contrôle qui en donne la raison.

Voir le détail

Avertissement

Les trois points de contrôle stricts

Une note inférieure à trois en Valeur, en Responsabilité ou en Risque arrête le flux de travaux, quel que soit le total pondéré. Sans base de référence mesurable, vous ne pouvez pas dire après coup si cela a fonctionné. Sans responsable de l’exploitation, le flux n’a pas de port d’attache une fois l’équipe du projet pilote partie. Sans étape de révision humaine déjà en place sur une décision qui touche quelqu’un, le problème de contrôle est plus grand que le problème de mise en œuvre. Ce problème-là devrait être réglé avant qu’un agent entre en jeu.

4,0 et plus
Un candidat solide. Le travail à venir porte sur la conception des contrôles et sur l’évaluation, pas sur la persuasion. C’est un flux de travaux dont la portée peut raisonnablement être ramenée à un projet pilote délimité, assorti d’un seuil d’acceptation.
De 3,0 à 3,9
Un candidat assorti de préalables nommés. Une ou deux dimensions tirent le total vers le bas, et elles sont corrigibles selon un échéancier connu. Corrigez-les d’abord, puis notez de nouveau ; n’entreprenez pas une réalisation sur la foi de l’intention de les corriger.
De 2,0 à 2,9
Pas encore. Il manque quelque chose de structurel, par exemple la classification des données ou un responsable. La correction est un vrai travail et mérite sa propre décision, distincte de toute décision en matière d’IA.
Sous 2,0
Choisissez un autre flux de travaux. L’exercice a écarté une réalisation qui aurait échoué plus tard, et les dimensions montrent à quoi ressemblerait un premier candidat plus solide.

Si deux flux de travaux candidats sont proches l’un de l’autre, notez-les tous les deux et comparez les dimensions plutôt que les totaux. Le flux de travaux qui obtient un cinq en Données et un deux en Adoption est un projet bien différent de son image inversée, même à total égal.

De l’autre côté de la table

Appliquez la même grille à quiconque vous vend quelque chose

Les dimensions constituent aussi une épreuve pour le fournisseur. Un fournisseur qui ne peut pas y répondre au sujet de votre flux de travaux propose une réalisation sans savoir si elle devrait exister.

Voir le détail

Les mêmes sept dimensions, posées en questions au fournisseur, avec un exemple de réponse faible.
DimensionDemandez-leurÀ quoi ressemble une réponse faible
ValeurPar rapport à quelle base de référence mesureriez-vous, et d’où vient ce chiffre ?Un pourcentage d’amélioration provenant d’un autre client, cité sans méthode ni date.
ResponsabilitéÀ qui appartient le système le jour où votre mandat prend fin, et quelle est la pièce justificative de transfert ?Une entente de soutien en honoraires forfaitaires, sans qu’aucune pièce justificative de transfert ne soit nommée.
DonnéesComment les droits d’accès sont-ils appliqués au moment de l’interrogation, et que se passe-t-il lorsqu’un accès est révoqué ? Décrivez l’essai qui prouve qu’un document à accès restreint ne peut pas apparaître dans une citation.L’assurance que le modèle « ne voit que ce qu’on lui donne », sans qu’aucun essai soit nommé.
RisqueQuelles décisions demeurent à un humain, et comment cela est-il imposé dans le système plutôt que dans la formation ? La Directive sur la prise de décisions automatisée s’applique-t-elle ici ?Des paroles rassurantes tenant lieu de raisonnement, ou une réponse qui traite la Directive comme une question juridique relevant de quelqu’un d’autre.
ÉvaluationQuel est le seuil d’acceptation, qui l’approuve, et que fait le système lorsqu’il n’est pas atteint après la mise en production ?Rien de précis, ce qui signifie qu’on vous demande d’accepter le résultat sur parole.
IntégrationQue doit-il être vrai dans notre environnement avant la première semaine ? Par écrit.Un « nous travaillerons avec ce que vous avez » donné de vive voix. Aucun préalable nommé par écrit.
AdoptionQue se passe-t-il si les utilisateurs ne s’en servent pas, et est-ce une raison d’arrêter ?Aucune condition d’arrêt : le mandat est donc un déploiement, et non un projet pilote.

Note

Nous y compris

Posez-nous les mêmes sept questions. Nos réponses se trouvent sur le site plutôt que dans une réunion. Nous publions les livrables et la méthode de notation du sprint, ainsi que la façon dont nous acceptons ou refusons un projet pilote au regard d’un seuil. Nous publions aussi les domaines de contrôle que suit la conception. Le dossier de preuves du fournisseur expose ce que nous pouvons ou non étayer à ce jour, et nous le transmettons à une autorité contractante sur demande. Là où nous ne détenons aucune certification ni autorisation de sécurité, ce dossier le dit.

Prochaine étape

Si vous voulez un second avis sur votre note

Vous n’avez pas besoin de nous pour utiliser cette grille. Si vous voulez mettre votre note à l’épreuve, l’appel dure trente minutes, et les notes vous appartiennent dans tous les cas.

Apportez la grille remplie à un appel. Nous noterons le même flux de travaux de façon indépendante. Nous vous montrerons où notre note diffère de la vôtre et pourquoi, puis nous vous dirons franchement si le flux mérite d’être encadré.

Collez vos notes dans le champ « flux de travaux » du formulaire, ou indiquez que vous avez une grille d’évaluation remplie et nous vous la demanderons. Ce n’est pas un préalable : un flux de travaux décrit suffit.

Réserver un appel de 30 minutesVoir le sprint complet de dix jours

Si vous n’avez pas encore choisi de flux de travaux, lisez cinq flux de travaux du savoir que les institutions publiques canadiennes peuvent mettre à l’essai en toute sécurité. Ce texte part de l’endroit où la Directive trace sa ligne, plutôt que de ce que la technologie permet.