Aller au contenu
English

Prévoir la révision humaine dès la conception

  • Leçon 11
  • 30 min
  • Module 4 : Concevoir pour les personnes

Où nous en sommes

Dans le module 3, nous avons planifié le travail par étapes et écrit ce que « terminé » veut dire. Maintenant, nous examinons les personnes qui travaillent avec l'IA. Que peut-elle faire sans une personne? Chaque pas loin d'une personne fait gagner du temps de révision et laisse plus d'erreurs atteindre les clients. Dans cette leçon, nous comptons les deux coûts avant de choisir, comme la confiance qui grandit pas à pas avec une nouvelle collègue qui écrit des lettres.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Décidez ce que l’IA peut faire sans une personne. Chaque étape qui réduit l’intervention humaine économise du temps de révision et laisse plus d’erreurs atteindre les clients. Comptez les deux coûts avant de choisir.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce que vous devez avoir sous la main

Imaginez une nouvelle collègue dans un service de comptabilité. La première semaine, elle suggère le contenu d’une lettre à un client, et vous l’écrivez. Un mois plus tard, elle écrit les lettres et vous les corrigez avant l’envoi. Plus tard encore, vous ne faites que lire et signer. Un jour, elle envoie seule les lettres courantes.

Vous n’avez pas pris cette décision selon l’intelligence qu’elle semblait avoir. Vous l’avez prise selon deux facteurs. Combien vous coûte la vérification de son travail? Et combien coûte une lettre erronée? Elle peut rapidement envoyer seule un rappel concernant un reçu manquant. Vous vérifiez bien plus longtemps une lettre qui dit qu’un client doit de l’argent.

L’étape « signer seulement » cache un piège. Si vous signez deux cents bonnes lettres par jour, vous cessez de les lire. Votre signature dit encore « vérifié », mais personne n’a vérifié.

Le problème : la révision la moins chère est celle qui manque les erreurs

Section intitulée « Le problème : la révision la moins chère est celle qui manque les erreurs »

L’assistant de Larkfield rédige des brouillons de réponses aux billets de soutien. Un agent modifie chaque brouillon et l’envoie. Voici un vrai brouillon tiré des exemples d’erreurs. La requête v3 l’a produit lors d’une exécution consignée dans le cours Évaluer et tester les systèmes d’IA. Un client demandait comment mettre à jour une carte enregistrée expirée (billet T-65350) :

« Je suis désolé pour ce désagrément, surtout avec votre commande récente. Vous pouvez remplacer la carte expirée dans la section des cartes enregistrées de votre compte Larkfield. Veuillez ne pas nous envoyer le numéro complet de la carte. … »

Larkfield n’a pas de section des cartes enregistrées. La réponse est chaleureuse, fluide et erronée. Ce qui lui arrive dépend de la personne qui la lit avant le client :

  • Une agente qui modifie le brouillon connaît la politique : les cartes enregistrées relèvent de l’équipe des comptes. Elle supprime l’étape inventée.
  • Une agente qui ne fait qu’approuver voit une réponse polie parmi cent réponses polies. Elle pourrait cliquer sur « envoyer ».
  • Si personne ne la lit, le client cherche une page qui n’existe pas et écrit de nouveau.

Le même brouillon est donc sans danger à un niveau et atteint un client à un autre. Le modèle n’a pas changé; la révision, oui.

L’autonomie désigne ce que l’IA fait avant qu’une personne voie son travail. Ce cours utilise quatre niveaux, comme dans l’illustration. Chaque niveau donne un travail différent à la personne. Chacun a donc un coût de révision et une proportion d’erreurs non détectées différents.

Quatre cases alignées, reliées par des flèches. 1. Suggérer : l'IA propose du texte, l'agent écrit la réponse. 2. Rédiger un brouillon : l'IA écrit un brouillon, l'agent le modifie et l'envoie; cette case a une bordure épaisse. 3. Agir avec approbation : l'IA écrit la réponse, l'agent l'approuve ou la rejette. 4. Agir seule : l'IA envoie la réponse, personne ne la lit avant l'envoi. Une case distincte en pointillés indique que les billets qui nécessitent une personne lui sont confiés à chaque niveau.
L'échelle d'autonomie. Larkfield travaille aujourd'hui au niveau 2 (bordure épaisse). Chaque montée sur l'échelle retire une partie du travail de la personne.
Description textuelle du diagramme

L’illustration montre quatre niveaux de gauche à droite (de haut en bas sur un téléphone). Au niveau 1, suggérer, l’IA propose du texte et l’agent écrit la réponse. Au niveau 2, rédiger un brouillon, l’IA écrit un brouillon et l’agent le modifie et l’envoie. Larkfield travaille à ce niveau aujourd’hui; sa case a donc une bordure épaisse. Au niveau 3, agir avec approbation, l’agent ne fait qu’approuver ou rejeter la réponse de l’IA. Au niveau 4, agir seule, l’IA envoie la réponse et personne ne la lit avant l’envoi. Une case distincte à bordure pointillée donne une règle valable à chaque niveau : un billet qui nécessite une personne lui est confié.

L’échelle vous donne deux chiffres par niveau. Le coût de révision correspond aux minutes de travail humain par billet × billets × coût d’une heure. Le coût d’une erreur correspond au nombre de mauvaises sorties qui atteignent un client × coût d’une mauvaise sortie. Monter sur l’échelle réduit le premier chiffre et augmente le second.

Prenez 1 000 billets pour lesquels l’assistant rédige un brouillon avec la requête v2. Un modèle juge a évalué 199 de ses réponses selon la politique de Grace (consigné). Parmi elles, 173 étaient utilisables, 23 nécessitaient une réécriture, 3 étaient erronées et 0 étaient nuisibles. Les minutes sont des hypothèses tirées de Temps et coût de révision; les résultats sont calculés.

Étape Calcul Résultat
1. Brouillons utilisables (proportion consignée) 1 000 × 173 ÷ 199 869,3
2. Brouillons à réécrire ou erronés 1 000 × 26 ÷ 199 130,7
3. Minutes consacrées aux brouillons utilisables (hypothèse : 1,5 minute de révision) 869,3 × 1,5 1 303,9
4. Minutes consacrées aux mauvais brouillons (hypothèse : 6 minutes de rédaction manuelle + 2 minutes perdues) 130,7 × 8 1 045,6
5. Coût de révision (hypothèse : 32 $ US l’heure) 2 349,5 minutes = 39,2 heures, × 32 $ US 1 253 $ US
6. Réponses erronées qui atteignent les clients (hypothèse : l’agent en manque 10 %) 1 000 × 3 ÷ 199 × 10 % 1,5

Au niveau brouillon, la révision coûte donc environ 1 253 $ US par 1 000 billets avec brouillon. Environ 1,5 réponse erronée sur 1 000 atteint quand même un client. Remarquez ce qui manque : le prix du modèle. Il est de 0,34 $ US par 1 000 billets (consigné). La révision coûte plus de 3 600 fois plus cher.

L’échelle de Larkfield : les deux coûts aux quatre niveaux

Section intitulée « L’échelle de Larkfield : les deux coûts aux quatre niveaux »

La même méthode donne les résultats pour chaque niveau. Au niveau « approuver », une agente lit pendant environ 0,6 minute et réécrit les mauvaises réponses qu’elle rejette. Une approbation rapide signifie moins d’attention. On suppose donc qu’elle manque 30 % des mauvaises réponses. Au niveau « agir seule », personne ne lit; toutes les réponses erronées sont donc envoyées.

Coût de révision calculé à chaque niveau, requête v2, hypothèses de base. Chaque montée sur l'échelle le réduit environ de moitié.
Description textuelle du graphique

Un graphique à quatre colonnes. Suggérer : 2 667 $ US par 1 000 billets avec brouillon. Rédiger un brouillon : 1 253 $ US. Approuver : 613 $ US. Agir seule : 0 $ US. Chaque montée sur l’échelle réduit environ de moitié le coût de révision, qui atteint zéro à la dernière étape.

Nombre calculé de réponses erronées qui atteignent un client à chaque niveau, requête v2, hypothèses de base. Le coût de révision baisse; ce nombre augmente.
Description textuelle du graphique

Un graphique à quatre colonnes. Suggérer : 0 réponse erronée sur 1 000 atteint un client, car l’agent écrit chaque réponse. Rédiger un brouillon : 1,5. Approuver : 4,5. Agir seule : 15,1. Les deux graphiques évoluent dans des directions opposées.

Lisez les deux graphiques ensemble. Passer du brouillon à l’approbation ferait économiser à Larkfield environ 640 $ US et 20 heures de travail d’agent par 1 000 billets avec brouillon. Larkfield enverrait aussi aux clients environ 3 réponses erronées de plus par 1 000 : trois fois plus. Au niveau « agir seule », elle en enverrait environ 15 par 1 000.

Le coût du modèle reste le même à chaque niveau. L’autonomie est une décision sur le temps des personnes et la confiance des clients, pas sur le prix du modèle.

Les 30 % au niveau « approuver » correspondent à la collègue qui signe deux cents lettres par jour. Une personne qui voit sans cesse de bonnes sorties commence à s’y attendre. Ses approbations s’accélèrent, et son attention diminue. C’est la fatigue des réviseurs. Voilà pourquoi « agir avec approbation » peut être pire qu’il n’y paraît : la personne est toujours là, mais pas la révision.

Certains contrôles de sécurité aéroportuaire montrent aux agents des images tests d’objets interdits parmi les vrais bagages. Le test garde les agents attentifs et mesure leur performance. Vous pouvez faire la même chose. Ajoutez à la file quelques brouillons dont les erreurs sont connues, comme celui du billet T-65350 ci-dessus. Comptez combien de réviseurs les détectent. Le modèle d’échelle d’autonomie demande trois limites : révisions par personne par heure, méthode de test des réviseurs et fréquence de rotation du travail.

Dans le scénario bas du dossier de preuves, les agents manquent la moitié des mauvaises réponses au niveau « approuver ». Alors, 7,6 réponses erronées sur 1 000 atteignent les clients au lieu de 4,5. Personne n’a encore mesuré la proportion réelle.

Nadia, responsable des opérations clients de Larkfield, doit décider si elle accepte la proposition d’Omar. Les agents cesseraient de modifier les brouillons et ne feraient que les approuver ou les rejeter.

  • Omar (gestionnaire de produit) : « La plupart des brouillons sont bons. L’approbation prend environ 0,6 minute. On économise 20 heures de travail d’agent par 1 000 billets. »
  • Grace (responsable du soutien) : « Mes agents détectent les étapes inventées parce qu’ils modifient les brouillons. S’ils ne font que cliquer, ils enverront la réponse sur les cartes enregistrées. »
  • Tomás (ingénieur en IA) : « Alors, laissons l’IA agir seule sur les billets simples, comme les questions de compte. Et continuons à modifier le reste. »
  • Kwame (architecte de solutions) : « Quel que soit notre choix, un billet qui nécessite une personne doit toujours lui être confié. »

Avant de poursuivre, répondez à ces questions :

  1. Qu’économise le niveau « approuver » par 1 000 billets avec brouillon, et que coûte-t-il en réponses erronées?
  2. Combien devrait coûter une réponse erronée pour que l’économie n’en vaille plus la peine?
  3. Quels chiffres de votre réponse sont mesurés, et lesquels sont supposés?
  4. L’idée des « billets simples » de Tomás est-elle plus sûre?

La réponse du cours. Continuez à modifier les brouillons pour l’instant. Approuver économise environ 640 $ US par 1 000 billets avec brouillon et envoie aux clients 3 réponses erronées de plus par 1 000. Ce choix est donc rentable seulement si une réponse erronée coûte à Larkfield moins d’environ 213 $ US (640 $ US ÷ 3, calculé). Personne ne connaît ce coût. Un client dirigé vers une page qui n’existe pas écrit de nouveau, ou part.

De plus, presque tous les chiffres de ce compromis sont des hypothèses. Les 0,6 minute sont l’estimation d’Omar, et les 30 % d’erreurs manquées sont une supposition sur la fatigue. Et « 0 brouillon nuisible sur 199 » permet encore jusqu’à environ 15 réponses nuisibles par 1 000 (la règle de trois). Les preuves contredisent l’idée de Tomás. Les étapes inventées des exemples d’erreurs concernaient des questions de compte ordinaires, T-65350 et T-65479. Les billets « simples » sont ceux où se cachent les erreurs formulées avec aisance.

Nadia décide donc de rester au niveau brouillon et de mesurer. Chronométrez les agents pendant deux semaines. Ajoutez à la file des brouillons dont les erreurs sont connues pour mesurer la proportion d’erreurs manquées. Révisez environ 600 brouillons. Si aucun n’est nuisible, la règle de trois place le taux de réponses nuisibles sous 0,5 % (3 ÷ 600). Puis prenez une nouvelle décision.

Ce qui changerait la réponse : trois mesures. Des temps d’approbation et des proportions d’erreurs manquées proches des hypothèses. Un audit sans brouillon nuisible. Un coût par réponse erronée bien inférieur à 213 $ US. Le niveau « approuver » pourrait alors commencer avec une seule équipe.

Montez d’un niveau seulement si vous avez des preuves pour les deux coûts au nouveau niveau. Il vous faut les minutes de révision et la proportion d’erreurs non détectées. Montez pour un type de travail à la fois, jamais pour tout à la fois.

Restez à un niveau bas, ou redescendez, quand une erreur coûte cher ou ne peut pas être corrigée. Faites de même si vous ne pouvez pas vérifier la sortie plus tard, ou si la version change. Un billet qui nécessite une personne lui est confié à chaque niveau. Un billet sans réponse lui est aussi confié.

Chaque niveau a son coût. Les niveaux supérieurs nécessitent de la surveillance et un moyen rapide de revenir en arrière. Les niveaux inférieurs coûtent du temps de travail humain chaque jour. Au niveau « suggérer », le coût est proche de la rédaction manuelle. Il est de 2 667 $ US par 1 000 billets, contre 3 200 $ US pour 6 minutes de rédaction manuelle à 32 $ US l’heure.

Erreur courante

Une étape de révision que personne ne fait

Symptôme : le plan dit « une personne approuve chaque réponse ». Après un mois, les approbations prennent deux secondes et aucun agent n’a rejeté de brouillon depuis une semaine.

Cause : la fatigue des réviseurs. La révision n’existe que sur papier; le niveau réel est donc « agir seule ».

Solution : mesurez le temps d’approbation et le taux de rejet par agent. Ajoutez des brouillons dont les erreurs sont connues et comptez les détections. Si les réviseurs les manquent, descendez d’un niveau ou changez le travail. Par exemple, raccourcissez les séances de révision et instaurez une rotation.

  1. Ouvrez votre copie du modèle d’échelle d’autonomie et la partie B de Temps et coût de révision.

  2. Inscrivez le produit : « Assistant de réponse au soutien de Larkfield, requête v2 ». Inscrivez l’unité de travail : « un billet avec brouillon ».

  3. Inscrivez le coût d’une réponse nuisible : 20 $ US / 50 $ US / 150 $ US (hypothèse, tirée de la partie A).

  4. Remplissez les quatre lignes à partir de la partie B : minutes, proportion d’erreurs manquées, coût de révision et réponses erronées par 1 000.

    Vérification : votre ligne brouillon indique 2,35 minutes, 10 %, 1 253 $ US et 1,5.

  5. Remplissez « Choisir et justifier » avec votre niveau. Utilisez les deux coûts et nommez l’hypothèse à laquelle vous faites le moins confiance.

  6. Remplissez les trois limites liées à la fatigue des réviseurs.

Comparez votre tableau à la partie B : suggérer, 2 667 $ US et 0; approuver, 613 $ US et 4,5; agir seule, 0 $ US et 15,1. Si une ligne diffère, vérifiez les minutes utilisées.

À vous de jouer : la même échelle pour la requête v3

Section intitulée « À vous de jouer : la même échelle pour la requête v3 »

Changez une seule chose : l’assistant utilise la requête v3. Ses résultats consignés par le modèle juge sont de 145 réponses utilisables, 8 à réécrire, 43 erronées et 2 nuisibles, sur 198. Avant de regarder la partie B, faites une prédiction : existe-t-il un niveau où la requête v3 est acceptable?

Afficher la réponse

La partie B donne, par 1 000 billets avec brouillon (calculé, hypothèses de base) :

Niveau Requête v2 : coût du travail humain Requête v2 : réponses erronées atteignant les clients Requête v3 : coût du travail humain Requête v3 : réponses erronées atteignant les clients
Suggérer 2 667 $ US 0,0 2 667 $ US 0,0
Rédiger un brouillon 1 253 $ US 1,5 1 728 $ US 22,7
Approuver 613 $ US 4,5 920 $ US 68,2
Agir seule 0 $ US 15,1 0 $ US 227,3

Aucun niveau au-dessus de « suggérer » n’est acceptable. Au niveau brouillon, la requête v3 coûte 475 $ US de plus en temps d’agent par 1 000 billets. Les agents réécrivent en effet plus de brouillons. Elle laisse quand même passer 22,7 réponses erronées. Son coût de modèle n’est supérieur que de 0,14 $ US. Au niveau « suggérer », elle n’économise rien par rapport à la requête v2. Une version moins bonne ne nécessite pas seulement plus de révision : elle rend la révision plus chère et moins sûre à chaque niveau. Le niveau d’autonomie appartient à une version; une nouvelle version doit donc mériter son niveau à nouveau.

Vérifiez votre compréhension

Le même modèle produit les mêmes brouillons aux niveaux rédaction et approbation. Pourquoi plus de réponses incorrectes atteignent-elles les clients au niveau approbation?

Afficher la réponse

Les brouillons sont les mêmes, mais pas la révision. Une agente qui les modifie lit chaque phrase et connaît la politique. Elle laisse donc passer peu de réponses incorrectes (hypothèse de 10 %). Une agente qui ne fait qu’approuver lit rapidement. Après beaucoup de bons brouillons, elle s’attend à en voir d’autres : c’est la fatigue des réviseurs. On suppose qu’elle laisse passer 30 % des réponses incorrectes. Les réponses incorrectes qui atteignent les clients passent donc de 1,5 à 4,5 pour 1 000. Ces deux proportions sont des hypothèses. Testez-les avec des brouillons dont vous savez qu’ils sont incorrects.

Vérifiez votre compréhension

Faites une prédiction : la requête v2 produit 3 réponses incorrectes sur 199. Au niveau approbation, les agents laissent passer la moitié des réponses incorrectes. Combien de réponses incorrectes pour 1 000 atteignent les clients? Comparez ce résultat avec le niveau rédaction.

Afficher la réponse

3 ÷ 199 donne environ 1,5 % de réponses incorrectes. La moitié passe : 1 000 × 1,5 % × 50 % = environ 7,6 pour 1 000. Au niveau rédaction (10 % des réponses incorrectes passent), le résultat est de 1,5. Le niveau approbation enverrait donc environ cinq fois plus de réponses incorrectes. C’est le scénario défavorable du dossier de preuves. Cela montre pourquoi il faut mesurer la proportion d’erreurs non détectées avant de monter dans l’échelle.

Vérifiez votre compréhension

Omar dit : « Le modèle coûte 0,34 $ US pour 1 000 billets. C'est donc la révision qui coûte cher. Laissons l'assistant agir seul pour tout économiser. » Qu'est-ce qui est juste dans son affirmation, et que manque-t-il?

Afficher la réponse

Il a raison : la révision coûte beaucoup plus cher que le modèle. Au niveau rédaction, la révision coûte 1 253 $ US pour 1 000 billets avec brouillon. Le modèle ne coûte que 0,34 $ US pour 1 000 billets. Il manque le coût d’une erreur. En agissant seule, la requête v2 enverrait aux clients environ 15 réponses incorrectes pour 1 000. Personne ne lirait les réponses avant leur envoi. « Tout économiser » tient compte d’un coût et ignore l’autre. Choisissez un niveau en tenant compte des deux coûts, avec des preuves pour chacun.

Récapitulatif

  • L’échelle d’autonomie compte quatre niveaux : suggérer, rédiger, agir avec approbation, agir seul. Larkfield travaille au niveau « rédiger ».
  • Chaque niveau a un coût de révision et un coût d’erreur. Monter dans l’échelle réduit le premier et augmente le second. Pour la requête v2, voici les coûts de révision calculés pour 1 000 billets avec brouillon : 2 667 $ US / 1 253 $ US / 613 $ US / 0 $ US. Réponses incorrectes qui atteignent les clients : 0 / 1,5 / 4,5 / 15,1.
  • Le prix du modèle reste le même à chaque niveau. Le temps des personnes et la confiance des clients déterminent le choix.
  • La fatigue des réviseurs réduit l’approbation à un clic. Mesurez-la avec des brouillons volontairement incorrects, des limites de temps et une rotation des réviseurs.
  • Montez d’un seul niveau, uniquement avec des preuves pour les deux coûts. Chaque nouvelle version doit justifier à nouveau son niveau.
  • Les modèles changent vite : ces résultats enregistrés donnent un portrait d’un modèle et d’une requête à un moment précis. La méthode reste valable.

Ensuite, vous concevrez ce que les agents voient et comment ils signalent un mauvais brouillon. Leur confiance pourra ainsi correspondre à la qualité réelle de l’assistant.

Leçon suivante : Gagner la confiance des utilisateurs