Gagner la confiance des utilisateurs
- Leçon 12
- 25 min
- Module 4 : Concevoir pour les personnes
Où nous en sommes
Dans la leçon précédente, nous avons choisi ce que l'assistant fait sans aide, et les agents révisent chaque brouillon. Mais la révision fonctionne seulement si les gens font confiance à l'assistant autant qu'il le mérite. Trop de confiance envoie de mauvaises réponses aux clients; trop peu gaspille le temps gagné. Dans cette leçon, nous concevons pour la bonne confiance, comme celle que vous apprenez à accorder à un GPS.
Leçon 12 sur 22 · Diriger des produits et des équipes d'IAGagner la confiance des utilisateurs
1. Décider où l'IA aide
2. Décider comment l'obtenir
3. Planifier dans l'incertitude
4. Concevoir pour les personnes
5. Bâtir et diriger une équipe d'IA
6. Gérer les risques, la gouvernance et un lancement responsable
Ce que vous saurez faire
Amenez les gens à faire confiance à l’assistant autant qu’il le mérite : ni plus ni moins. Trop de confiance fait envoyer de mauvaises réponses aux clients. Trop peu de confiance annule le temps que l’assistant fait gagner.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’échelle d’autonomie et la fatigue des réviseurs, dans Prévoir la révision humaine dès la conception.
- Les exemples d’erreurs du dossier de preuves, surtout les exemples 2 et 3.
Ce que vous devez avoir sous les yeux
- Le canevas de conception de la révision humaine, copié dans votre outil de rédaction. Vous remplirez les cases 4 à 9 et 11 dans cette leçon.
Un GPS auquel vous apprenez à faire confiance
Section intitulée « Un GPS auquel vous apprenez à faire confiance »Pensez à votre première semaine avec un nouveau GPS dans votre voiture. Vous vérifiez chaque virage avec les panneaux routiers. Le GPS ne vous fait donc rien gagner. Un mois plus tard, vous le suivez sans lever les yeux. Puis, un jour, il vous dirige vers une route fermée depuis des semaines. Vous le suivez jusqu’à la barrière.
Dans les deux cas, la confiance était mal dosée. La première semaine, vous lui faisiez trop peu confiance; plus tard, trop. Un bon GPS vous aide à trouver le juste milieu. Il montre tout le trajet, pour que vous puissiez repérer un virage étrange. Il vous avertit quand sa carte est vieille. Et il permet de signaler une route fermée, pour éviter la même barrière au prochain conducteur.
Le problème : des réponses fluides inspirent une confiance qu’elles ne méritent pas
Section intitulée « Le problème : des réponses fluides inspirent une confiance qu’elles ne méritent pas »L’assistant de Larkfield a deux types d’utilisateurs. Les agents de soutien lisent ses brouillons. Les clients reçoivent les réponses que les agents envoient. Plusieurs fois par heure, les agents décident à quel point ils peuvent faire confiance à un brouillon.
Un texte fluide incite les gens à faire confiance. Le cours Évaluer et tester les systèmes d’IA en a consigné un exemple frappant. Un modèle juge a comparé côte à côte les réponses des requêtes v2 et v3, sans la politique de Grace. Il a préféré les réponses de la requête v3 126 fois contre 48, parce qu’elles sont plus chaleureuses et longues. Avec la politique sous les yeux, le même juge a donné une note plus basse à la requête v3 : 3,87 contre 4,48 sur 5. Beaucoup de réponses chaleureuses inventent une étape.
L’exemple d’erreur 3 en montre une. Un client voulait changer une adresse et une carte enregistrées. La requête v3 lui a dit de « se connecter à son compte Larkfield et d’y mettre à jour ses renseignements enregistrés ». La politique ne prévoit pas cette étape. Le juge a préféré cette réponse dans les deux ordres de présentation. Si un modèle performant se laisse convaincre par un texte chaleureux, un agent fatigué aussi.
Trop peu de confiance a aussi un coût. Selon l’estimation de la valeur, chaque brouillon utilisé par un agent fait gagner environ 3,65 minutes (calcul, hypothèses de base). Un agent qui réécrit tous les brouillons ne gagne aucune de ces minutes. La valeur de l’assistant disparaît avec elles.
L’idée : une confiance calibrée
Section intitulée « L’idée : une confiance calibrée »Une confiance calibrée correspond à la fréquence réelle des bonnes réponses de l’IA, selon le cas. La personne vérifie davantage là où l’IA se trompe souvent, et moins là où elle répond correctement de façon fiable. « Calibré » décrit un instrument de mesure qui indique la vraie valeur, comme une balance de cuisine bien réglée.
Description textuelle du diagramme
L’image comporte trois cases de gauche à droite (de haut en bas sur un téléphone). À gauche, trop peu de confiance : l’agent réécrit tous les brouillons ou cesse de les ouvrir. Le gain de temps disparaît. Au milieu, avec une bordure épaisse, la confiance calibrée : l’agent vérifie davantage là où l’IA se trompe souvent. Il signale les mauvais brouillons. À droite, trop de confiance : l’agent envoie les brouillons sans les lire ou les approuve en quelques secondes. Les clients reçoivent de mauvaises réponses.
Un leader ne peut pas ordonner aux gens d’avoir le bon degré de confiance. Vous le favorisez par la conception, de quatre façons :
- Fixez des attentes claires. Dites ce que l’assistant fait, ce qu’il ne fait pas et où il est faible.
- Montrez les sources et les limites. Placez les preuves à côté du brouillon et marquez les cas où il se trompe souvent.
- Facilitez le signalement et la correction des erreurs, et dites aux gens ce qui a changé.
- Surveillez les signes de confiance excessive ou insuffisante.
Un petit exemple : deux écrans pour le même brouillon
Section intitulée « Un petit exemple : deux écrans pour le même brouillon »Voici le brouillon de la requête v3 concernant une carte enregistrée (billet de soutien T-65350), sur deux écrans de révision possibles. Les deux écrans sont construits pour cette leçon; le brouillon est consigné.
| Écran A | Écran B | |
|---|---|---|
| Le brouillon | « …remplacez la carte expirée dans la section des cartes enregistrées de votre compte Larkfield… » | le même |
| À côté | un indicateur : « confiance de 92 % » | la section de la politique utilisée : les questions sur les cartes enregistrées vont à l’équipe des comptes |
| Ce que fait l’agent | voit un nombre élevé, lit rapidement, envoie | voit « équipe des comptes » à côté de « section des cartes enregistrées », s’arrête, modifie |
| Temps | quelques secondes | quelques secondes de plus |
L’écran A donne un nombre qui ressemble à une preuve. L’écran B donne la preuve elle-même, ce qui rend l’écart visible. Le nombre sur l’écran A serait-il juste? Le cours IA documentaire et multimodale a mesuré la confiance d’un modèle pour 486 valeurs lues sur des reçus (résultats consignés).
Description textuelle du graphique
Un diagramme à colonnes avec deux colonnes. Parmi les 10 valeurs erronées du modèle, 9 avaient une confiance de 1,0, le maximum possible. Une seule avait une confiance plus faible. La confiance la plus faible parmi les 486 valeurs du modèle était de 0,96.
Le modèle se disait « tout à fait sûr » pour 9 de ses 10 erreurs. Sa confiance n’est jamais descendue sous 0,96. Un nombre de confiance peut donc orienter dans la mauvaise direction : il est maximal là où se trouvent les erreurs. C’était une autre tâche : c’est un avertissement, pas une preuve concernant l’assistant de soutien. Mais personne n’a non plus testé la confiance de cet assistant.
La conception de Larkfield
Section intitulée « La conception de Larkfield »Attentes. Les agents reçoivent une note d’une page avant de commencer (construite à partir de résultats consignés). L’assistant choisit l’équipe et rédige un brouillon de réponse. Il a transmis à une personne les 24 billets réservés aux tests qui nécessitaient une intervention humaine, sur 24. Il voit seulement le billet et la politique : il ne peut pas consulter une commande ou un paiement. Il ne change rien dans un compte. Il est le plus faible quand la politique n’a pas de réponse, comme le montre ce tableau des résultats d’évaluation. « Deux décisions correctes » signifie la bonne équipe et la bonne décision sur la nécessité d’une intervention humaine.
| Groupe de billets (requête v2, développement et tests réservés) | Deux décisions correctes (résultats consignés) |
|---|---|
| Normal | 96 % |
| Cas limite (proche d’une autre équipe) | 93 % |
| Difficile (long, deux sujets, fautes de frappe) | 92 % |
| Français | 100 % |
| Nécessite une intervention humaine | 100 % |
| La politique n’a pas de réponse | 70 % |
Sources et limites. Chaque brouillon montre la section de la politique utilisée, comme sur l’écran B. Quand l’assistant indique que la politique n’a pas de réponse, le brouillon reçoit une marque visible. L’agente rédige elle-même cette partie.
Signalements. Un bouton « Signaler ce brouillon », avec quatre raisons : étape inventée, mauvaise équipe, dangereux, autre. Chaque signalement suit la boucle illustrée.
Description textuelle du diagramme
La boucle comporte cinq étapes. D’abord, l’agent clique sur « Signaler ce brouillon » et choisit une raison. Ensuite, l’équipe de Grace lit le signalement dans un délai d’un jour ouvrable. Puis, quelqu’un corrige la cause : Grace pour une lacune de la politique, Tomás pour un problème de requête, Priya pour une mauvaise étiquette. Quatrièmement, le billet rejoint les données d’évaluation, pour tester chaque version suivante sur ce cas. Cinquièmement, l’agent apprend ce qui a changé. Une flèche pointillée revient au début : les agents qui voient des résultats signalent de nouveau.
Signes à surveiller. Chaque signe nécessite un nombre et une personne qui le regarde chaque semaine.
| Signe | Trop de confiance | Trop peu de confiance |
|---|---|---|
| Temps consacré à un brouillon | tombe à quelques secondes | proche de la rédaction manuelle (6 minutes, hypothèse) |
| Modifications | cessent, même sur les brouillons marqués | tous les brouillons sont réécrits |
| Brouillons connus comme mauvais ajoutés aux autres | non détectés | détectés, mais les bons brouillons sont aussi réécrits |
| Signalements | aucun pendant des semaines | nombreux, pour des brouillons corrects |
Un autre nombre vous renseigne sur l’assistant lui-même. Le cours MLOps et LLMOps : exploiter l’IA en production a rejoué une semaine d’exercice. Les révisions ultérieures des agents concordaient avec l’assistant dans 94,3 % des cas (rejeu consigné). Quand quelqu’un a activé la requête v3 pour tout le monde, la concordance est tombée à 83,7 %. Si la concordance baisse, l’assistant s’est dégradé. Les agents doivent vérifier davantage, pas moins.
Discussion : un indicateur de confiance sur chaque brouillon?
Section intitulée « Discussion : un indicateur de confiance sur chaque brouillon? »Tomás propose d’afficher un pourcentage de « confiance » provenant du modèle sur chaque brouillon.
- Tomás : « Les agents peuvent éviter les vérifications au-dessus de 90 % et se concentrer sur le reste. Ça fait gagner du temps. »
- Omar : « Les agents aiment les nombres. Un indicateur est facile à créer. »
- Grace : « Je préférerais montrer la section de la politique. Mes agents connaissent la politique. »
- Sam : « Qu’est-ce que 90 % veut dire? 90 % de quoi? »
Avant de poursuivre, répondez à ces questions :
- Que feront les agents avec un brouillon marqué 95 %?
- Quelles preuves montrent que le nombre est juste?
- Qu’est-ce qui pourrait montrer la même chose à l’agent de façon plus fiable?
La réponse du cours. Aucun indicateur avant de l’avoir testé. Les agents liront rapidement les brouillons aux nombres élevés. Le nombre décide donc où les gens portent leur attention. Sur les reçus, la confiance consignée était de 1,0 pour 9 des 10 valeurs erronées. Une équipe a aiguillé les reçus selon cette confiance, avec un seuil de 0,95. Parmi 54 documents contenant des valeurs erronées ou manquantes, 3 sont passés sans vérification. Personne n’a mesuré la confiance de l’assistant de soutien. Sam pose la bonne question : un nombre sans test ne veut rien dire.
La conception de Grace donne à l’agent les preuves, pas un résumé de celles-ci. Ajoutez la marque « la politique n’a pas de réponse », le groupe le plus faible à 70 %. Ajoutez aussi les brouillons connus comme mauvais pour maintenir des vérifications sérieuses.
Ce qui changerait la réponse : un test sur les billets de Larkfield montrant que la confiance est calibrée. Les brouillons marqués 90 % devraient être corrects environ 90 % du temps, dans chaque groupe. Cela vaut aussi quand la politique n’a pas de réponse. Un indicateur pourrait alors aider les agents à choisir où regarder.
Quand le faire et ce que cela coûte
Section intitulée « Quand le faire et ce que cela coûte »Faites-le quand des gens agissent sur des sorties d’IA qu’ils ne pourront pas vérifier entièrement plus tard. Faites-le aussi quand une erreur touche quelqu’un d’autre. Faites-en moins pour un outil à faible enjeu que seul l’utilisateur voit, comme la recherche dans ses propres notes.
Cela prend de la place à l’écran, quelques secondes par brouillon et du temps pour répondre aux signalements. Une boucle de signalement sans personne pour répondre est pire que son absence, comme le montre ce cas d’échec.
Erreur courante
Des signalements sans suite
Symptôme : le premier mois, les agents signalent beaucoup de brouillons. Au troisième mois, ils n’en signalent aucun, mais les révisions ultérieures concordent moins souvent avec l’assistant.
Cause : personne n’a répondu aux signalements. Les agents ont appris que signaler ne change rien. Ils ont donc arrêté et ont plutôt corrigé ou envoyé les brouillons sans rien dire.
Correction : donnez à la boucle un responsable et un délai. Dites à chaque personne ayant fait un signalement ce qui a changé. Ajoutez chaque billet signalé aux données d’évaluation.
Exercice guidé : cases 4 à 9 et 11 du canevas
Section intitulée « Exercice guidé : cases 4 à 9 et 11 du canevas »- Ouvrez votre copie du canevas de conception de la révision humaine. Écrivez le produit et le niveau d’autonomie choisis dans la leçon précédente.
- Case 4, ce que voit le réviseur : le billet, le brouillon, la section de la politique utilisée et la marque « la politique n’a pas de réponse ».
- Case 5, ce que peut faire le réviseur : modifier et envoyer, rejeter et rédiger manuellement, transmettre à une personne, signaler.
- Case 6, comment une erreur est signalée et corrigée : les cinq étapes de la boucle, avec un responsable et un délai.
- Case 7, ce qu’on dit à l’utilisateur : écrivez une phrase pour les agents et une pour les clients.
- Cases 8 et 9 : écrivez deux signes de confiance excessive et deux de confiance insuffisante, chacun avec un nombre à surveiller.
- Case 11 : un billet sans réponse va à une personne, à chaque niveau.
Vérification : chaque case nomme une personne ou un nombre. « Les agents doivent faire attention » n’est pas une conception. « Un brouillon connu comme mauvais sur 50, détecté par au moins 9 agents sur 10 » en est une (valeurs d’exemple : choisissez les vôtres).
À vous de jouer : deux nouveaux agents
Section intitulée « À vous de jouer : deux nouveaux agents »Après un mois, deux nouveaux agents montrent des signes opposés (cas construit). Ana approuve ses brouillons en 8 secondes en moyenne et n’a rien modifié depuis deux semaines. Ben réécrit tous les brouillons et prend 7 minutes par billet. Que faites-vous pour chacun? Écrivez deux actions par agent.
Afficher une réponse possible
Ana fait trop confiance. D’abord, vérifiez ses brouillons connus comme mauvais : les a-t-elle détectés? Sinon, jumelez-la une journée avec une personne ambassadrice qui révise bien. Montrez-lui les exemples d’erreurs, surtout le brouillon sur la carte enregistrée. Ensuite, limitez ses révisions par heure. Faites-lui rédiger manuellement pendant une partie de la journée, pour qu’elle recommence à lire.
Ben fait trop peu confiance. D’abord, demandez-lui pourquoi. Ses billets appartiennent peut-être au groupe faible, où la politique n’a pas de réponse. Ses réécritures sont peut-être justifiées. Regardez ses signalements. Si ses brouillons sont surtout utilisables, montrez-lui les parties qui n’ont généralement pas besoin de modification. Montrez-lui aussi les marques qui indiquent où regarder. Ensuite, comparez son temps avec l’échantillon de chronométrage. À 7 minutes, il est plus lent que la rédaction manuelle (6 minutes, hypothèse). Le brouillon lui coûte donc du temps.
Les deux cas nécessitent des nombres par agent et une conversation, pas une règle. Le cas d’Ana est plus urgent, parce que ses erreurs touchent les clients.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Sans la politique, un modèle juge a préféré les réponses de la requête v3 126 fois contre 48. Qu'est-ce que cela indique à un leader sur la confiance des agents envers les brouillons?
Afficher la réponse
Les réponses chaleureuses et fluides inspirent confiance, même quand elles sont fausses. Les réponses préférées inventaient souvent une étape absente de la politique. Avec la politique sous les yeux, le juge a moins bien noté la requête v3 (3,87 contre 4,48). Les agents subissent la même influence, surtout quand ils sont fatigués. L’écran de révision devrait donc afficher la preuve, soit la section de la politique, à côté du brouillon. La personne juge alors le texte selon les règles, et non selon le ton.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : Larkfield affiche un pourcentage de confiance sur chaque brouillon, et personne ne le teste. Qu'arrive-t-il aux brouillons avec les chiffres les plus élevés, et pourquoi est-ce un risque?
Afficher la réponse
Les agents les vérifient moins, car le chiffre leur indique que le brouillon est sûr. Si ce chiffre n’est pas calibré, les brouillons aux scores les plus élevés peuvent contenir des erreurs. Sur les reçus, le modèle a attribué une confiance de 1,0 à 9 de ses 10 valeurs erronées. Un chiffre non testé détourne donc l’attention de certaines erreurs. Testez-le d’abord sur vos propres cas, groupe par groupe.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nommez deux signes que les agents font trop confiance aux brouillons, et un chiffre qui indique que l'assistant s'est dégradé.
Afficher la réponse
Confiance excessive : le temps par brouillon tombe à quelques secondes, ou les modifications cessent même sur les brouillons signalés. Les brouillons dont les erreurs sont connues passent inaperçus, ou les signalements cessent pendant des semaines. Dégradation de l’assistant : l’accord entre les révisions ultérieures des agents et l’assistant diminue. Il était de 94,3 % pendant la semaine de pratique et de 83,7 % après la généralisation de la requête v3. Les signes de confiance concernent les personnes; l’accord concerne l’assistant. Les deux demandent des correctifs différents.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Confiance calibrée : les personnes vérifient davantage là où l’IA se trompe souvent. Trop de confiance mène à l’envoi de réponses erronées. Trop peu fait perdre le temps économisé (environ 3,65 minutes par brouillon utilisé, selon l’estimation de base).
- Un texte fluide inspire confiance : sans la politique, un juge a préféré les réponses plus chaleureuses de la requête v3, 126 contre 48. Beaucoup inventaient des étapes.
- Concevez pour la confiance de quatre façons. Fixez les attentes : ce que l’assistant fait et ses faiblesses. Montrez les sources et les limites : la section de la politique et un indicateur quand elle n’a pas de réponse. Mettez en place une boucle de correction des erreurs avec une personne responsable. Surveillez les signes à l’aide de chiffres.
- Un chiffre de confiance non testé peut induire en erreur : sur les reçus, 9 valeurs erronées sur 10 avaient une confiance de 1,0.
Ensuite, vous planifierez comment la première équipe commencera à utiliser l’assistant et comment vous saurez qu’il fonctionne.
Leçon suivante : Changement et adoption