Changement et adoption
- Leçon 13
- 25 min
- Module 4 : Concevoir pour les personnes
Où nous en sommes
Dans les deux leçons précédentes, nous avons fixé le niveau de révision et conçu pour la bonne confiance. Maintenant, la première équipe doit commencer à utiliser l'assistant. Mais un produit que personne n'utilise n'a aucune valeur, et un produit que tout le monde utilise peut quand même empirer le travail. Dans cette leçon, nous planifions l'adoption et nous mesurons le résultat, pas l'utilisation, comme un abonnement au gym qui compte les passages, mais pas la forme physique.
Leçon 13 sur 22 · Diriger des produits et des équipes d'IAChangement et adoption
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Planifiez comment les gens commenceront à utiliser l’assistant, et mesurez si leur travail s’améliore. Un produit que personne n’utilise n’a aucune valeur. Un produit que tout le monde utilise peut quand même nuire au travail.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le niveau d’autonomie et le coût de révision, dans Prévoir la révision humaine dès la conception.
- La confiance ajustée, la boucle de traitement des erreurs et les signes à surveiller, dans Gagner la confiance des utilisateurs.
- L’estimation de la valeur et sa principale hypothèse, les minutes pour rédiger une réponse à la main, dans Estimer la valeur et le rendement.
Ce que vous devez avoir sous les yeux
- Le modèle de plan d’adoption, copié dans votre outil de rédaction. Vous utilisez aussi votre canevas de révision humaine dans l’exercice du module, à la fin.
Un abonnement au gym pour tout le monde
Section intitulée « Un abonnement au gym pour tout le monde »Imaginez une entreprise qui paie un abonnement au gym pour chaque employé. Après trois mois, le rapport compte les passages de carte à l’entrée. Beaucoup de gens ont passé leur carte en janvier. Est-ce que quelqu’un est en meilleure forme?
Les passages mesurent l’utilisation : les gens sont entrés. Ils ne montrent pas si les gens se sont entraînés utilement, ni si leur forme s’est améliorée. C’était pourtant la raison de payer. Certains ont passé leur carte et se sont assis au café. D’autres ne sont jamais venus, parce que personne ne leur a montré comment fonctionnent les appareils. Un bon plan montre les appareils aux gens et change leur semaine pour laisser du temps à l’entraînement. Il vérifie leur forme, pas les passages.
Le problème : le tableau de bord était au vert
Section intitulée « Le problème : le tableau de bord était au vert »Larkfield a vécu cette situation. Le cours MLOps et LLMOps : exploiter l’IA en production propose un scénario d’exercice appelé « la semaine dernière ». C’est une situation construite, avec des réponses enregistrées. Quelqu’un y a activé la requête v3 pour tous les billets de soutien. Le service a accepté 100,00 % des billets. 89,1 % des billets ont reçu un brouillon. D’après le compte d’utilisation, l’assistant était occupé.
Mais 186 billets sur 1 798 n’ont reçu aucune réponse, et 10 billets qui exigeaient une personne n’ont rejoint personne. Des clients avec des problèmes de sécurité attendaient. Rien sur le tableau de bord d’utilisation ne le montrait.
Une utilisation accrue ne crée pas toujours plus de valeur non plus. Le modèle de valeur de Estimer la valeur et le rendement le montre. Le graphique donne la valeur nette annuelle pour chaque taux d’adoption : la part des brouillons que les agents utilisent.
- Haute
- De base
- Basse
Description textuelle du graphique
Un graphique à trois courbes, de 0 % à 100 % d’adoption. La courbe haute monte d’environ −5 000 $ US à environ 1 188 000 $ US par année. La courbe de base monte d’environ −15 000 $ US à environ 417 000 $ US. Elle passe par zéro à 3,4 % d’adoption. À 70 %, l’hypothèse de base, elle atteint 287 661 $ US. La courbe basse descend lentement d’environ −48 000 $ US à environ −60 000 $ US. Dans le cas bas, chaque brouillon utilisé fait perdre de l’argent.
Dans le cas bas, chaque brouillon utilisé économise seulement 0,91 minute. Cette économie vaut moins que le coût attendu d’une réponse nuisible qui passe inaperçue. Une utilisation accrue fait donc perdre plus d’argent. L’utilisation multiplie la valeur de chaque utilisation, bonne ou mauvaise.
L’idée : utilisation, adoption et résultat
Section intitulée « L’idée : utilisation, adoption et résultat »Un leader mesure donc trois choses. La dernière compte le plus :
- Utilisation : les gens l’utilisent-ils, tout simplement? Par exemple, les brouillons ouverts.
- Adoption : l’utilisent-ils là où il aide, comme nouvelle façon de travailler? Par exemple, les brouillons utilisés pour les billets que l’assistant prépare.
- Résultat : ce que nous voulions améliorer s’est-il amélioré? Par exemple, les minutes de travail par billet et les billets de sécurité qui rejoignent une personne.
Une quatrième mesure, la qualité, vérifie que les erreurs sont toujours détectées. Le modèle de plan d’adoption le dit en une ligne : « L’utilisation n’est pas la réussite. Écrivez le résultat en premier. »
Description textuelle du diagramme
Le schéma montre une chaîne de trois cases. L’utilisation demande si les gens utilisent l’assistant, mesurée par les brouillons ouverts par agent. L’adoption demande s’ils l’utilisent là où il aide, mesurée par les brouillons utilisés pour les billets que l’assistant prépare. Le résultat a une bordure épaisse, parce qu’il est la raison d’être du produit. Il demande si le travail s’est amélioré : minutes par billet et billets de sécurité qui rejoignent une personne. Une case distincte, la qualité, pointe vers le résultat avec une flèche pointillée. Elle demande si les erreurs sont détectées, mesurées par les révisions ultérieures qui concordent avec l’assistant.
Passer de l’utilisation au résultat exige un changement dans la façon de travailler. La gestion du changement est le plan de ce changement : formation, nouveau flux de travail écrit, ambassadeurs, rétroaction et soutien aux personnes qui ne veulent pas changer.
Un petit exemple : deux équipes avec la même utilisation
Section intitulée « Un petit exemple : deux équipes avec la même utilisation »Voici deux équipes dans leur première semaine avec les brouillons (chiffres construits). Chaque équipe reçoit 450 brouillons.
| Mesure | Équipe A | Équipe B |
|---|---|---|
| Utilisation : brouillons ouverts | 441 sur 450 (98 %) | 441 sur 450 (98 %) |
| Adoption : brouillons utilisés, avec ou sans modifications | 315 sur 450 (70 %) | 45 sur 450 (10 %) |
| Résultat : minutes par billet avec brouillon (échantillon chronométré) | 2,4 | 5,9 |
| Heures de travail économisées dans la semaine, par rapport à 6 minutes à la main | 450 × (6 − 2,4) ÷ 60 = 27 | 450 × (6 − 5,9) ÷ 60 = 0,75 |
L’utilisation est la même, et le résultat diffère d’un facteur de 36. L’équipe B ouvre chaque brouillon, puis le réécrit. C’est un manque de confiance, comme dans la leçon précédente, et seul le résultat le montre. Les 6 minutes à la main sont une hypothèse. La première tâche d’un plan d’adoption consiste donc à les mesurer.
Le plan d’adoption de Larkfield
Section intitulée « Le plan d’adoption de Larkfield »Le plan de Nadia pour la première équipe d’agents après le projet pilote est construit pour ce cours. Ses chiffres viennent du dossier de preuves.
| Partie | Ce que fait Larkfield |
|---|---|
| Formation | Une heure sur de vrais brouillons, avec les exemples d’erreurs 1 à 3. Ils montrent une défaillance de sécurité silencieuse, une étape inventée et une réponse fluide mais fausse. |
| Nouveau flux de travail | Écrit sur une page : modifier le brouillon, puis envoyer. Un billet sans réponse va à une personne. « Signaler ce brouillon » pour chaque mauvais brouillon. |
| Ambassadeurs | Deux agents respectés de l’équipe du projet pilote répondent aux questions pendant deux semaines. |
| Rétroaction | La boucle de traitement des erreurs de la leçon précédente, sous la responsabilité de Grace. |
| Personnes qui ne veulent pas l’utiliser | Elles peuvent rédiger à la main. Leurs raisons sont examinées au bilan de six semaines. |
Les mesures placent le résultat en premier. Deux chiffres viennent de la semaine d’exercice du cours MLOps et LLMOps : exploiter l’IA en production (relecture enregistrée). 320 billets de sécurité sur 320 ont rejoint une personne. Les révisions ultérieures des agents concordaient avec l’assistant dans 94,3 % des cas.
| Type | Mesure | Cible |
|---|---|---|
| Résultat | Minutes par billet, sur un échantillon chronométré de 50 billets, avant et après | Moins qu’à la main, selon une marge convenue par l’équipe |
| Résultat | Billets de sécurité qui rejoignent une personne | Tous |
| Qualité | Révisions ultérieures qui concordent avec l’assistant | 90 % ou plus (le choix du cours) |
| Adoption | Brouillons utilisés | Suivis, sans cible |
| Utilisation | Brouillons ouverts | Suivis, sans cible |
Description textuelle du diagramme
Le déploiement comporte cinq étapes. Avant le lancement, l’équipe chronomètre 50 billets rédigés à la main, pour donner au résultat une référence de base. Vient ensuite une heure de formation sur de vrais brouillons, avec les exemples d’erreurs. Aux semaines 1 et 2, la première équipe utilise les brouillons, et deux ambassadeurs l’aident. À deux semaines, l’équipe chronomètre 50 billets avec brouillons. À six semaines, l’équipe examine le résultat, la qualité et les signes de confiance. Elle décide : l’équipe suivante, un changement ou l’arrêt. Les deux bilans ont des bordures épaisses, parce que chacun se termine par une décision.
Discussion : tout le monde lundi, avec une cible d’utilisation?
Section intitulée « Discussion : tout le monde lundi, avec une cible d’utilisation? »- Omar : « Donnez les brouillons à tous les agents lundi. Cible : 90 % des agents utilisent les brouillons chaque jour. »
- Grace : « Une équipe à la fois. Si quelque chose va mal, je veux que ça touche une seule équipe. »
- Kwame : « La requête v2 a déjà franchi la barrière de mise en production. Le logiciel est prêt pour tout le monde. »
- Priya (scientifique des données) : « Personne n’a encore chronométré un agent. On ne sait pas si les brouillons font gagner du temps. »
Avant de poursuivre, répondez à ces questions :
- Que feraient les agents pour atteindre la cible d’Omar?
- Quel chiffre détermine la plus grande part de la valeur de l’assistant, et a-t-il été mesuré?
- Que coûte « une équipe à la fois », et qu’est-ce que cela apporte?
La réponse du cours. Déployez équipe par équipe, sans cible d’utilisation. La première équipe passe par les deux bilans du schéma de déploiement. Après un bon bilan à six semaines, les autres équipes suivent, une par semaine. Une cible d’utilisation récompense l’ouverture des brouillons et le clic sur « envoyer ». Cela pousse les agents vers un excès de confiance, le signe le plus coûteux de la leçon précédente.
Le modèle de valeur montre ce qui compte. L’adoption atteint le seuil de rentabilité à 3,4 % dans le cas de base. Ici, obtenir assez d’utilisation n’est donc pas la partie difficile. La principale hypothèse est le nombre de minutes pour rédiger une réponse à la main. Elle fait varier la valeur de 291 624 $ US par année, et personne ne l’a mesurée. Priya a raison : chronométrez 50 billets avant le lancement. Kwame a raison de dire que le logiciel est prêt, mais les gens ne le sont pas. La barrière a mesuré l’assistant, pas le flux de travail.
Une équipe à la fois retarde de quelques semaines la pleine valeur. Cela apporte un résultat mesuré avant que les autres agents changent leur façon de travailler. Si quelque chose va mal, cela touche une seule équipe.
Ce qui changerait la réponse : le chronométrage. Si le chronométrage à deux semaines montre que les brouillons ne font pas gagner de temps, arrêtez. Trouvez pourquoi avant de passer à l’équipe suivante. Si les premières équipes montrent un gain de temps clair et une qualité stable, des étapes plus grandes sont raisonnables.
Quand planifier l’adoption, et combien cela coûte
Section intitulée « Quand planifier l’adoption, et combien cela coûte »Planifiez-la chaque fois qu’un produit d’IA change la façon de travailler, ce qui arrive presque toujours. Un outil dont personne ne dépend au quotidien peut n’exiger qu’une courte note.
Cela coûte du temps. L’estimation de la valeur suppose 60 heures pour la formation et le nouveau flux de travail (30 à 120). Elles font partie du coût initial. Il faut aussi le temps des ambassadeurs et quelques semaines de délai. Un plan sans mesure du résultat coûte plus cher : personne ne peut montrer la valeur, ni voir quand elle disparaît.
Erreur courante
La réussite mesurée par l'utilisation
Symptôme : le rapport mensuel dit « 98 % des agents utilisent l’assistant ». En même temps, les clients se plaignent de réponses fausses, et le temps par billet n’a pas changé.
Cause : le plan a mesuré seulement l’utilisation. Personne n’a chronométré le travail, et personne n’a examiné la qualité.
Correction : ajoutez la mesure du résultat (minutes par billet sur un échantillon chronométré) et la mesure de qualité (révisions ultérieures qui concordent). Revenez au dernier point de décision avec ces chiffres.
Exercice du module : une conception de la révision et un plan d’adoption
Section intitulée « Exercice du module : une conception de la révision et un plan d’adoption »Un petit exemple détaillé. L’équipe des finances de Larkfield veut un lecteur de reçus par IA. Le cours IA documentaire et multimodale a enregistré deux conceptions sur les mêmes 54 reçus. Elles diffèrent dans leur façon de lire un reçu et de décider quels documents un commis vérifie. Le volume et les coûts sont des hypothèses tirées des fourchettes de coûts de la deuxième étude de cas.
| Conception 1 : la confiance du modèle décide | Conception 2 : les contrôles décident | |
|---|---|---|
| Ce qui va à un commis | valeurs avec une confiance inférieure à 0,95 | totaux qui ne concordent pas, valeurs manquantes, commerces inconnus |
| Documents vérifiés (enregistrés) | 0 sur 54 | 11 sur 54 (20,4 %) |
| Documents avec des valeurs fausses ou manquantes qui arrivent aux livres comptables (enregistrés) | 3 sur 54 | 0 sur 54 |
| Coût mensuel de révision (calculé) | 0 $ US | 9 000 × 20,4 % = 1 836 documents × 3 minutes = 91,8 heures × 38 $ US = 3 488 $ US |
| Coût mensuel des erreurs (calculé) | 9 000 × 3 ÷ 54 = 500 documents × 25 $ US = 12 500 $ US | 0 $ US dans l’essai |
La responsable des finances choisit la conception 2. Elle fonctionne à deux niveaux en même temps. Les documents qui passent tous les contrôles vont seuls aux livres comptables. Les documents signalés attendent l’approbation d’un commis. Sa révision coûte moins du tiers des erreurs de la conception 1. Le canevas précise ensuite qui révise : deux commis des finances. Ils voient la page avec la valeur marquée, et toute valeur corrigée conserve l’original. Il nomme une limite. L’essai utilisait des reçus, pas des factures de fournisseurs. La première étape est donc un essai sur les propres factures de Larkfield.
La mesure du résultat du plan d’adoption comprend les minutes par document, chronométrées avant et après, et les valeurs fausses trouvées en fin de mois. L’utilisation, la part des documents qui passent par le lecteur, est suivie sans cible.
Votre tâche. Pour l’assistant de réponse au soutien, remplissez :
- le canevas de conception de la révision humaine, les 11 cases;
- le plan d’adoption pour sa première équipe après le projet pilote, avec la mesure du résultat en premier.
Afficher une solution détaillée
Canevas. Niveau : brouillon (requête v2).
| Case | Conception |
|---|---|
| 1. Qui révise | Chaque agent de la première équipe, après la formation d’une heure |
| 2. Ce qu’ils révisent | Chaque brouillon : ils modifient, puis envoient |
| 3. Toujours à une personne | Billets qui exigent une personne (24 sur 24 détectés dans les données réservées); billets sans réponse |
| 4. Ce qu’ils voient | Le billet, le brouillon, la section de politique utilisée, une marque quand la politique n’a pas de réponse |
| 5. Ce qu’ils peuvent faire | Modifier et envoyer, rejeter et rédiger à la main, transmettre à une personne, signaler |
| 6. Erreurs | « Signaler ce brouillon » : l’équipe de Grace le trie dans un délai d’un jour ouvrable; le billet rejoint le jeu d’évaluation; l’agent apprend ce qui a changé |
| 7. Ce qu’on dit aux utilisateurs | Agents : ce qu’il fait, ses faiblesses (la politique n’a pas de réponse : 70 %). Clients : un agent lit chaque réponse avant l’envoi |
| 8. Trop de confiance | Secondes par brouillon; aucune modification; mauvais brouillons connus non détectés |
| 9. Trop peu de confiance | Chaque brouillon réécrit; temps par billet proche des 6 minutes à la main |
| 10. Coût de révision | Environ 1 253 $ US par 1 000 billets avec brouillon (calculé, de base) |
| 11. Aucune réponse ou incertitude | Le billet va à une personne |
Plan d’adoption. Première équipe : une équipe d’agents après le projet pilote. Responsable : Grace.
| Type | Mesure | Aujourd’hui | Cible |
|---|---|---|---|
| Résultat | Minutes par billet, échantillon chronométré de 50 billets | Non mesuré : chronométrer avant le lancement | Moins qu’à la main |
| Résultat | Billets de sécurité qui rejoignent une personne | 320 sur 320 (semaine d’exercice) | Tous |
| Qualité | Révisions ultérieures qui concordent | 94,3 % (semaine d’exercice) | 90 % ou plus |
| Adoption | Brouillons utilisés | — | Suivis |
| Utilisation | Brouillons ouverts | — | Suivis |
Bilan à deux semaines (le chronométrage) et à six semaines (équipe suivante, changement ou arrêt).
Votre plan peut différer. Vérifiez trois choses : le résultat vient en premier et possède une référence de base, chaque signe a un chiffre, et chaque case nomme un responsable ou une règle.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez la différence entre utilisation, adoption et résultat pour l'assistant de Larkfield, avec une mesure pour chacun.
Afficher la réponse
Utilisation : les agents l’utilisent-ils? Mesurez les brouillons ouverts. Adoption : l’utilisent-ils là où il aide, dans leur façon de travailler? Mesurez les brouillons utilisés pour les billets que l’assistant traite. Résultat : le travail s’est-il amélioré? Mesurez les minutes par billet dans un échantillon chronométré, et les billets liés à la sécurité qui parviennent à une personne. L’utilisation et l’adoption peuvent être élevées malgré un mauvais résultat. C’est le cas d’un agent qui ouvre chaque brouillon et le réécrit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : dans le scénario bas du modèle de valeur, que devient la valeur nette quand l'adoption passe de 40 % à 90 %? Pourquoi?
Afficher la réponse
Elle baisse, passant d’environ −52 905 $ US à environ −58 944 $ US par année (valeurs calculées). Dans le scénario bas, chaque brouillon utilisé économise seulement 0,91 minute. Cette économie vaut moins que le coût attendu d’une réponse nuisible qui passe inaperçue. Une utilisation accrue multiplie une perte. Un plan qui pousse l’adoption sans vérifier le résultat peut donc aggraver les choses. La solution est d’obtenir plus de preuves sur les réponses nuisibles et le temps économisé, pas d’augmenter l’utilisation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification de fin de module : justifiez le niveau d'autonomie de l'assistant de réponse au soutien de Larkfield (requête v2). Tenez compte du coût d'une erreur et du coût de la révision.
Afficher la réponse
Choisissez le niveau brouillon. Coût de la révision : environ 1 253 $ US par 1 000 billets avec brouillon (calcul : proportions enregistrées par les évaluateurs × minutes supposées). Coût d’une erreur : environ 1,5 réponse incorrecte par 1 000 parvient à un client.
Le niveau supérieur, approbation, économise environ 640 $ US par 1 000 billets. Mais il envoie environ 4,5 réponses incorrectes, soit 3 de plus. Ce choix est rentable seulement si une réponse incorrecte coûte moins d’environ 213 $ US, ce que personne ne sait. Le temps d’approbation et la proportion de 30 % d’erreurs manquées sont aussi des hypothèses. Agir seul enverrait environ 15 réponses incorrectes par 1 000 billets.
Le niveau inférieur, suggestion, coûte 2 667 $ US par 1 000 billets et apporte peu de sécurité supplémentaire. Le niveau brouillon permet déjà de détecter la plupart des erreurs. À chaque niveau, les billets qui nécessitent une personne et ceux sans réponse sont confiés à une personne. Pour passer au niveau supérieur : des temps d’approbation mesurés et une proportion mesurée d’erreurs manquées sur des brouillons contenant des erreurs connues. Il faut aussi environ 600 brouillons révisés sans aucun brouillon nuisible.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Mesurez dans cet ordre d’importance : résultat (le travail s’est-il amélioré?), qualité (détecte-t-on les erreurs?), puis adoption et utilisation. L’utilisation n’est pas une réussite.
- Le tableau de bord de la « semaine dernière » affichait 100,00 % de billets acceptés. Pourtant, 10 billets nécessitant une personne n’étaient parvenus à personne.
- Une utilisation accrue multiplie la valeur de chaque utilisation : dans le scénario bas, la valeur baisse quand l’adoption augmente.
- Un plan d’adoption comprend une formation sur des exemples réels (avec les erreurs), un processus écrit, des personnes ambassadrices et une boucle de rétroaction. Il laisse une place aux personnes qui disent non, et ses dates de révision mènent à des décisions.
- Larkfield déploie l’assistant équipe par équipe, chronomètre 50 billets avant le lancement et ne fixe aucune cible d’utilisation.
Le module 4 en un paragraphe. Vous avez choisi ce que l’assistant fait seul en tenant compte de deux coûts. Au niveau brouillon, la révision coûte 1 253 $ US par 1 000 billets avec brouillon. Et 1,5 réponse incorrecte par 1 000 passe inaperçue. Vous avez vu pourquoi le niveau approbation n’est pas encore justifié. Vous avez aussi vu comment la fatigue des réviseurs transforme une révision en simple clic. Vous avez conçu l’assistant pour une confiance bien calibrée : la politique à côté du brouillon et une marque aux endroits faibles. Vous avez aussi prévu une boucle de rétroaction sur les erreurs et des indications chiffrées. Enfin, vous avez planifié l’adoption en donnant la priorité au résultat. L’utilisation peut sembler parfaite pendant que les clients attendent.
Ensuite, le module 5 bâtit l’équipe qui exploite l’assistant. Il montre aussi comment examiner un travail que vous ne savez pas produire.
Leçon suivante : Les rôles de l'équipe à chaque étape