Aller au contenu
English

Apprendre des corrections

  • Leçon 34
  • 30 min
  • Module 8 : La confiance et les personnes dans la boucle

Où nous en sommes

Des personnes révisent maintenant les messages incertains et en transfèrent certains vers une autre file d'attente. Chaque transfert est une nouvelle étiquette. Dans cette leçon, nous enregistrons les corrections comme étiquettes et les vérifions avant de les utiliser pour l'entraînement. Un transfert rapide n'est pas toujours correct.

Leçon 34 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitApprendre des corrections
Aperçu du cours

Ce que vous saurez faire

Transformez les transferts des agents entre les files en nouvelles étiquettes. Vérifiez-les avant que le modèle en apprenne quelque chose. Un transfert fait en quelques secondes reçoit d’abord une deuxième vérification. Même chose si le modèle juge la nouvelle destination très improbable.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit les 300 transferts entre files et donne la probabilité du modèle pour chaque nouvelle destination. Il applique les deux vérifications et conserve comme étiquettes les transferts qui les réussissent, avec des contrôles. Il installe pandas, scikit-learn et matplotlib, puis télécharge les données. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Votre projet larkroute avec les fichiers des deux dernières leçons (27 tests réussis), ou le carnet ci-dessus.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows n’ont pas été testées.

Retournons au bureau de poste. La commis au comptoir de vérification transfère parfois une lettre vers un autre casier. Elle note ensuite dans un registre la lettre, l’ancien casier et le nouveau. À la fin du mois, le gestionnaire utilise le registre pour former les nouveaux commis au tri. « Regardez : les lettres comme celle-ci vont dans le casier 4, pas dans le casier 2. »

Ce registre est précieux. Personne n’a eu à étiqueter ces lettres exprès. Mais une commis débordée transfère des lettres après un coup d’œil de deux secondes. Certains de ses transferts sont incorrects. Si les nouveaux commis apprennent à partir de ses lignes dans le registre, ils apprennent aussi ses erreurs. Ils les répètent ensuite chaque jour.

Le gestionnaire relit donc certaines lignes avant de former les commis. Pas toutes : seulement celles qui semblent précipitées ou étranges.

Le problème : une étiquette gratuite peut être incorrecte

Section intitulée « Le problème : une étiquette gratuite peut être incorrecte »

À Larkfield, les agents transfèrent des messages entre les files toute la journée. Durant le mois du lancement, ils ont fait 300 transferts entre files. Chaque transfert dit : « La bonne destination pour ce message est la nouvelle file. » C’est une correction : une étiquette issue du travail lui-même.

Voici l’un de ces transferts. Un client a écrit :

Where is my refund? I returned the rug weeks ago. Also, can I return the throw if I don’t like the colour?

Un agent l’a transféré de billing à orders, en 3 secondes. Selon le guide, un remboursement après un retour appartient à returns_refunds. Le modèle donne à orders une probabilité de 0,005 pour ce message, et à returns_refunds, 0,823. Si ce transfert devient une étiquette d’entraînement, le prochain modèle apprend qu’une question de remboursement peut correspondre à orders.

Les transferts de cette leçon sont un exercice que nous avons créé exprès. Nous avons inséré des transferts incorrects et nous savons lesquels. Ce corrigé reste séparé des données, comme dans un vrai contexte de travail. La leçon vous indique ce qu’il contient.

L’idée : enregistrer chaque transfert, en vérifier certains avant l’entraînement

Section intitulée « L’idée : enregistrer chaque transfert, en vérifier certains avant l’entraînement »

Deux étapes, dans cet ordre.

  1. Enregistrez chaque transfert comme étiquette, avec sa source. Gardez le message, l’ancienne destination, la nouvelle destination, l’agent et le temps consacré. Enregistrer le temps ne coûte rien, et cette information s’avère importante. Gardez aussi la source (« transfert par un agent ») pour pouvoir compter, comparer et supprimer ces étiquettes plus tard.
  2. Vérifiez les transferts qui semblent risqués avant leur ajout aux données d’entraînement. Le projet utilise deux signaux peu coûteux :
    • rapide : l’agent a consacré moins de 10 secondes au message. C’est trop court pour lire la plupart des messages.
    • improbable : le modèle donne à la nouvelle destination une probabilité inférieure à 0,05. Le modèle et l’agent sont fortement en désaccord.

Une deuxième personne examine un transfert signalé. Un transfert qui réussit les deux vérifications devient immédiatement une étiquette.

Une boucle de sept étapes. 1. Le modèle achemine le message. 2. Un agent le transfère vers une autre file. 3. Enregistrer le transfert : origine, destination, agent, secondes. 4. Vérifier : rapide (moins de 10 secondes)? Improbable pour le modèle (moins de 0,05)? Cette étape est mise en évidence. Oui, 87 transferts : 5. Une deuxième personne vérifie le transfert. 6. Les transferts vérifiés deviennent des étiquettes. Non, 213 sur 300 : directement à l'étape 6. 7. Entraîner, tester et mettre en production la prochaine version, puis revenir à l'étape 1.
La boucle de correction. Chaque transfert est enregistré; les transferts risqués sont revérifiés avant de devenir des étiquettes. Les nombres correspondent aux 300 transferts de Larkfield durant le mois du lancement.
Description textuelle du diagramme

Une boucle de sept cases. Étape 1 : le modèle achemine le message. Étape 2 : un agent le transfère vers une autre file. Étape 3 : enregistrer le transfert, avec l’ancienne file, la nouvelle file, l’agent et le nombre de secondes consacrées. Étape 4, mise en évidence : vérifier le transfert. Était-il rapide, à moins de 10 secondes? Est-il improbable pour le modèle, à moins de 0,05? Une flèche portant l’étiquette oui, 87, mène à l’étape 5 : une deuxième personne vérifie le transfert. Une flèche pointillée portant l’étiquette non, 213 sur 300, mène directement à l’étape 6 : les transferts vérifiés deviennent des étiquettes. Étape 7 : entraîner, tester et mettre en production la prochaine version. Une flèche ramène de l’étape 7 à l’étape 1.

L’étape 7 fait partie du travail du module 9. Une nouvelle étiquette ne va jamais directement dans le modèle en service. Elle va dans la prochaine version, qui doit réussir les mêmes tests que l’ancienne.

Cinq transferts tirés des données d’exercice, avec la probabilité du modèle pour la nouvelle destination. La dernière colonne provient du corrigé caché.

Message (abrégé) Transfert Secondes Probabilité du modèle pour la nouvelle destination Signalé? Corrigé
“Where is my refund? I returned the rug weeks ago…” billing → orders 3 0,005 oui : rapide et improbable incorrect
“I’m following up about the issue with my gas grill…” delivery → returns_refunds 6 0,721 oui : rapide correct
“Could you please cancel order LK-438326?” billing → account 23 0,000 oui : improbable incorrect
“…see my last email. You received the return on Nov 09…” billing → returns_refunds 22 0,982 non correct
“Could you please update my phone number…” needs_person → account 25 0,995 non correct

Trois transferts sont signalés. Deux sont incorrects, et les vérifications repèrent les deux. Le deuxième transfert est correct, et une deuxième personne le vérifie pour rien. C’est le prix de la vérification de rapidité. Le troisième transfert a pris 23 secondes : l’agent a donc bien lu le message. Seul le doute du modèle le repère : une demande d’annulation de commande n’est pas une question pour account.

Exécuter la vérification sur les transferts de Larkfield

Section intitulée « Exécuter la vérification sur les transferts de Larkfield »
  1. Dans le dossier de votre projet, avec l’environnement virtuel activé, copiez les derniers fichiers de l’étape depuis l’instantané end-of-m08. Ce sont la commande, son test et le README. Sur macOS et Linux :

    Fenêtre de terminal
    S=../nextia-learning-labs/C36/snapshots/end-of-m08
    cp $S/larkroute/commands/corrections.py larkroute/commands/
    cp $S/tests/test_corrections.py tests/
    cp $S/README.md .

    Sur Windows (PowerShell) :

    Fenêtre de terminal
    $S = "..\nextia-learning-labs\C36\snapshots\end-of-m08"
    Copy-Item $S\larkroute\commands\corrections.py larkroute\commands\
    Copy-Item $S\tests\test_corrections.py tests\
    Copy-Item $S\README.md .
  2. Exécutez les tests. Vous voyez 28 passed (28 tests réussis). Votre projet correspond maintenant à l’instantané end-of-m08.

    Fenêtre de terminal
    python -m pytest -q
  3. Exécutez la vérification. Elle entraîne le modèle, lit data/corrections.csv et les messages du mois du lancement, et prend environ 3 secondes.

    Fenêtre de terminal
    route corrections
300 queue moves by 12 agents; 76 made in less than 10 seconds. To check before training: 87 (29%).
to_route
account 47
billing 35
delivery 68
needs_person 17
orders 50
product 42
returns_refunds 41

Sur les 300 transferts, 87 sont envoyés à une deuxième personne. C’est 29 %, soit environ 3 sur 10. Les 213 autres peuvent devenir des étiquettes maintenant. Le tableau compte les transferts selon leur nouvelle destination.

Pour obtenir la liste des transferts à vérifier, ajoutez --write :

Fenêtre de terminal
route corrections --write

La sortie est identique, avec une ligne de plus : Written: queue/corrections_to_check.csv (fichier écrit). Le fichier contient une ligne par transfert signalé, dans les colonnes de corrections.csv :

message_id,from_route,to_route,agent,seconds
M-200042,delivery,returns_refunds,A-07,6
M-200047,delivery,product,A-03,5
M-200070,returns_refunds,orders,A-02,7

route reset supprime le dossier queue/, comme il supprime models/ et runs/. Gardez une copie ailleurs si vous en avez besoin.

Le corrigé des données d’exercice indique quels transferts sont incorrects : 39 sur les 300. Voici leur répartition selon les deux vérifications.

Une grille de deux lignes et deux colonnes pour les 300 transferts. Colonnes : faits en moins de 10 secondes, ou en 10 secondes ou plus. Lignes : le modèle donne à la nouvelle destination moins de 0,05, ou il la juge probable. Rapides et improbables : 26 transferts, 26 incorrects. Improbables seulement (lents) : 11 transferts, 11 incorrects. Rapides seulement : 50 transferts, 2 incorrects. Ni l'un ni l'autre : 213 transferts, 0 incorrect. Les trois premières cellules sont signalées : 87 transferts, 39 incorrects et 48 corrects. Les 39 transferts incorrects sont tous signalés.
Les 300 transferts construits entre files selon les deux vérifications. Les résultats corrects et incorrects proviennent du corrigé caché.
Description textuelle du diagramme

Une grille de quatre cellules. Les colonnes représentent le temps : moins de 10 secondes, ou 10 secondes ou plus. Les lignes représentent l’avis du modèle : il donne à la nouvelle destination une probabilité inférieure à 0,05, ou il la juge probable. Rapides et improbables : 26 transferts, tous incorrects. Lents mais improbables : 11 transferts, tous incorrects. Rapides mais probables : 50 transferts, 2 incorrects. Ni rapides ni improbables : 213 transferts, 0 incorrect. Les trois cellules signalées ont une bordure bleue. Une note indique : signalés, 87 transferts, 39 incorrects et 48 corrects; non signalés, 213 transferts, 0 incorrect; les 39 transferts incorrects sont tous signalés.

La proportion de transferts incorrects parmi les 76 transferts rapides et les 224 plus lents (transferts construits, comparés au corrigé caché).
Description textuelle du graphique

Un graphique à deux colonnes, sur un axe allant de 0 % à 50 %. Transferts faits en moins de 10 secondes : 36,8 % incorrects, soit 28 sur 76. Transferts faits en 10 secondes ou plus : 4,9 % incorrects, soit 11 sur 224. Le temps au milieu des transferts incorrects (la médiane) était de 7 secondes; celui des transferts corrects, de 24 secondes.

Trois constats :

  • La vitesse compte. Parmi les 76 transferts rapides, 36,8 % sont incorrects (28). Parmi les 224 transferts plus lents, seulement 4,9 % le sont (11). Le temps médian d’un transfert incorrect était de 7 secondes; celui d’un transfert correct, de 24.
  • Ensemble, les deux vérifications trouvent les 39 transferts incorrects. La vérification signale 87 transferts, donc une deuxième personne lit 48 transferts corrects pour rien. Ici, c’est le prix à payer pour trouver tous les transferts incorrects.
  • Aucune vérification ne suffit seule. La vérification de rapidité manque les 11 transferts incorrects lents. Celle du modèle manque 2 transferts incorrects rapides qu’il juge probables.

Ce résultat est meilleur que ce que vous devriez attendre sur des données réelles. Dans les données d’exercice, un transfert incorrect mène à une destination sans lien avec le message. Par exemple, une demande d’annulation a été transférée à account. Le modèle le voit facilement : 37 des 39 transferts incorrects sont « improbables » pour lui. Dans une vraie boîte de réception, beaucoup de transferts incorrects mènent à une destination voisine. Par exemple, billing plutôt que returns_refunds pour un remboursement. Le modèle leur donne une probabilité assez élevée, donc sa vérification en repère moins. La vérification de rapidité ne dépend pas du modèle, donc elle reste utile.

De plus, la vérification du modèle utilise le modèle que vous voulez améliorer. S’il se trompe sur un nouveau type de message, il signale les transferts corrects des agents. Vous risquez alors de conserver sa propre erreur. C’est pourquoi un transfert signalé va à une personne, pas à la corbeille. Dans le module 9, le mois du lancement apporte un tout nouveau sujet. Le doute du modèle en est le premier signe.

Quatre règles pour toute équipe qui apprend des transferts de ses agents :

  • Enregistrez le transfert, pas seulement le résultat. Ancienne destination, nouvelle destination, agent, secondes. Sans les secondes, la vérification de rapidité est impossible.
  • Gardez la source de chaque étiquette. Un transfert qui réussit les vérifications n’équivaut pas à une étiquette créée par Chloé avec le guide ouvert. Vous pouvez ensuite comparer les deux, ou supprimer un type s’il pose problème.
  • Ne testez pas le modèle uniquement sur les corrections. Les transferts concernent seulement les messages qu’une personne a examinés et dont elle a contesté la destination. C’est un échantillon particulier : surtout des décisions incertaines ou incorrectes. Gardez les données de test de Découvrir la boîte de réception pour calculer les scores.
  • Utilisez les vérifications pour aider les agents, pas pour les blâmer. Une forte proportion de transferts rapides et incorrects indique souvent une charge de travail excessive ou une consigne peu claire. Grace corrige ces problèmes; le modèle ne peut pas le faire.

La section 4 du carnet vous demande de conserver les transferts non signalés dans un tableau labels. Il contient trois colonnes : message_id, text et route (la nouvelle destination choisie par l’agent). Faites d’abord une prédiction : combien de lignes?

Afficher la réponse
labels = (moves.loc[~moves["to_check"], ["message_id", "text", "to_route"]]
.rename(columns={"to_route": "route"}).reset_index(drop=True))

La cellule de vérification affiche Check passed: the number of rows in labels is 213. (vérification réussie : le tableau labels contient 213 lignes). C’est 300 transferts moins les 87 signalés. Selon le corrigé, aucun des 213 n’est incorrect. La section 5 ajoute ensuite une colonne source avec la valeur agent move, not flagged (transfert par un agent, non signalé).

Erreur courante

Chaque transfert devient une étiquette

Symptôme : Tomás écrit une tâche exécutée chaque nuit : « Chaque transfert entre files va dans les données d’entraînement. Les agents sont les experts, donc leurs transferts sont la vérité. » La question de remboursement ci-dessus, transférée à orders en 3 secondes, est maintenant une étiquette d’entraînement.

Cause : 39 des 300 transferts sont incorrects, et 28 d’entre eux ont été faits en moins de 10 secondes. La tâche traite un coup d’œil de 3 secondes comme une révision attentive. Les étiquettes issues des transferts rapides sont incorrectes dans 36,8 % des cas. C’est pire que l’ancienne file du module 2, où 11,2 % des étiquettes étaient incorrectes.

Solution : enregistrez les secondes et l’agent avec chaque transfert. Signalez les transferts rapides et ceux que le modèle juge très improbables, comme le fait route corrections. Faites-les vérifier par une deuxième personne. Gardez la source de chaque étiquette.

Conséquence dans le travail en IA : un modèle qui apprend d’une rétroaction non vérifiée répète les habitudes de l’agent le plus rapide. Ses erreurs reviennent sous forme de nouveaux transferts, et la boucle les renforce à chaque version.

Vérifiez votre compréhension

Nommez les deux vérifications utilisées par route corrections. Quels transferts incorrects chacune manque-t-elle parmi les 300 transferts de Larkfield?

Afficher la réponse

Rapide : l’agent a consacré moins de 10 secondes au message. Improbable : le modèle donne à la nouvelle destination une probabilité inférieure à 0,05. La vérification de rapidité manque les 11 transferts incorrects qui ont pris 10 secondes ou plus. Celle du modèle manque 2 transferts incorrects rapides qu’il juge probables. Ensemble, elles signalent 87 transferts et trouvent les 39 incorrects. Les transferts sont construits, donc une vraie boîte de réception sera plus difficile.

Vérifiez votre compréhension

La vérification signale 87 transferts et trouve les 39 incorrects. Pourquoi ne devriez-vous pas attendre le même résultat sur des données réelles?

Afficher la réponse

Dans les données d’exercice, un transfert incorrect mène à une destination sans lien avec le message. Le modèle juge donc 37 des 39 transferts incorrects « improbables ». Les vrais transferts incorrects mènent souvent à une destination voisine, comme billing plutôt que returns_refunds, que le modèle juge assez probable. La vérification du modèle dépend aussi du modèle que vous voulez améliorer : elle peut signaler des transferts corrects sur un nouveau sujet. La vérification de rapidité ne dépend pas du modèle, donc elle reste utile.

Vérifiez votre compréhension

Pourquoi envoyer un transfert signalé à une deuxième personne plutôt que le supprimer? Pourquoi garder la source de chaque étiquette?

Afficher la réponse

Un signalement est un doute, pas un verdict : 48 des 87 transferts signalés sont corrects. Certains apprennent quelque chose de nouveau au modèle, par exemple un sujet qu’il ne connaît pas encore. Les supprimer ferait perdre précisément ces étiquettes. La source permet de compter et de comparer les étiquettes issues des transferts des agents avec celles issues d’une révision attentive. Elle permet aussi de supprimer un type plus tard s’il pose problème.

Récapitulatif

  • Une correction est un transfert entre files fait par un agent. C’est une étiquette gratuite, qui peut être incorrecte.
  • Enregistrez le message, l’ancienne et la nouvelle destination, l’agent et les secondes. Gardez la source de chaque étiquette.
  • Vérifiez avant l’entraînement : une deuxième personne vérifie un transfert fait en moins de 10 secondes. Même chose pour un transfert vers une destination que le modèle juge très improbable (moins de 0,05).
  • Sur les 300 transferts construits de Larkfield, route corrections en signale 87 (29 %). Selon le corrigé, 39 transferts sont incorrects. Parmi les 76 transferts rapides, 36,8 % sont incorrects; parmi les plus lents, 4,9 %. La vérification trouve les 39.
  • Ce dernier résultat est plus facile à obtenir que sur des données réelles : les transferts incorrects insérés mènent à des destinations sans lien. Une vraie boîte de réception contient des transferts incorrects vers des destinations voisines.
  • Le projet correspond maintenant à l’instantané end-of-m08 : route calibration, route zones et route corrections, avec 28 tests.

Vous pouvez maintenant vous fier à la confiance, choisir les zones et ajouter des étiquettes issues du travail de l’équipe. Ensuite, Amira transforme le routeur en petit service qui répond toute la journée. Il comprend une version du modèle, une file de révision et un journal.

Leçon suivante : Un service de routage