Apprendre des corrections
- Leçon 34
- 30 min
- Module 8 : La confiance et les personnes dans la boucle
Où nous en sommes
Des personnes révisent maintenant les messages incertains et en transfèrent certains vers une autre file d'attente. Chaque transfert est une nouvelle étiquette. Dans cette leçon, nous enregistrons les corrections comme étiquettes et les vérifions avant de les utiliser pour l'entraînement. Un transfert rapide n'est pas toujours correct.
Leçon 34 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitApprendre des corrections
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Transformez les transferts des agents entre les files en nouvelles étiquettes. Vérifiez-les avant que le modèle en apprenne quelque chose. Un transfert fait en quelques secondes reçoit d’abord une deuxième vérification. Même chose si le modèle juge la nouvelle destination très improbable.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter lit les 300 transferts entre files et donne la probabilité du modèle pour chaque nouvelle destination. Il applique les deux vérifications et conserve comme étiquettes les transferts qui les réussissent, avec des contrôles. Il installe pandas, scikit-learn et matplotlib, puis télécharge les données. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les trois zones et le travail de révision, présentés dans Décider, faire réviser ou transférer à une personne.
- Pourquoi les mauvaises étiquettes nuisent au modèle et comment un modèle peut les repérer, dans Trouver les étiquettes bruitées.
Ce qu’il vous faut sur votre ordinateur
Votre projet larkroute avec les fichiers des deux dernières leçons (27 tests réussis), ou le carnet ci-dessus.
Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows n’ont pas été testées.
Le registre au comptoir de vérification
Section intitulée « Le registre au comptoir de vérification »Retournons au bureau de poste. La commis au comptoir de vérification transfère parfois une lettre vers un autre casier. Elle note ensuite dans un registre la lettre, l’ancien casier et le nouveau. À la fin du mois, le gestionnaire utilise le registre pour former les nouveaux commis au tri. « Regardez : les lettres comme celle-ci vont dans le casier 4, pas dans le casier 2. »
Ce registre est précieux. Personne n’a eu à étiqueter ces lettres exprès. Mais une commis débordée transfère des lettres après un coup d’œil de deux secondes. Certains de ses transferts sont incorrects. Si les nouveaux commis apprennent à partir de ses lignes dans le registre, ils apprennent aussi ses erreurs. Ils les répètent ensuite chaque jour.
Le gestionnaire relit donc certaines lignes avant de former les commis. Pas toutes : seulement celles qui semblent précipitées ou étranges.
Le problème : une étiquette gratuite peut être incorrecte
Section intitulée « Le problème : une étiquette gratuite peut être incorrecte »À Larkfield, les agents transfèrent des messages entre les files toute la journée. Durant le mois du lancement, ils ont fait 300 transferts entre files. Chaque transfert dit : « La bonne destination pour ce message est la nouvelle file. » C’est une correction : une étiquette issue du travail lui-même.
Voici l’un de ces transferts. Un client a écrit :
Where is my refund? I returned the rug weeks ago. Also, can I return the throw if I don’t like the colour?
Un agent l’a transféré de billing à orders, en 3 secondes. Selon le guide, un remboursement après un retour appartient à returns_refunds. Le modèle donne à orders une probabilité de 0,005 pour ce message, et à returns_refunds, 0,823. Si ce transfert devient une étiquette d’entraînement, le prochain modèle apprend qu’une question de remboursement peut correspondre à orders.
Les transferts de cette leçon sont un exercice que nous avons créé exprès. Nous avons inséré des transferts incorrects et nous savons lesquels. Ce corrigé reste séparé des données, comme dans un vrai contexte de travail. La leçon vous indique ce qu’il contient.
L’idée : enregistrer chaque transfert, en vérifier certains avant l’entraînement
Section intitulée « L’idée : enregistrer chaque transfert, en vérifier certains avant l’entraînement »Deux étapes, dans cet ordre.
- Enregistrez chaque transfert comme étiquette, avec sa source. Gardez le message, l’ancienne destination, la nouvelle destination, l’agent et le temps consacré. Enregistrer le temps ne coûte rien, et cette information s’avère importante. Gardez aussi la source (« transfert par un agent ») pour pouvoir compter, comparer et supprimer ces étiquettes plus tard.
- Vérifiez les transferts qui semblent risqués avant leur ajout aux données d’entraînement. Le projet utilise deux signaux peu coûteux :
- rapide : l’agent a consacré moins de 10 secondes au message. C’est trop court pour lire la plupart des messages.
- improbable : le modèle donne à la nouvelle destination une probabilité inférieure à 0,05. Le modèle et l’agent sont fortement en désaccord.
Une deuxième personne examine un transfert signalé. Un transfert qui réussit les deux vérifications devient immédiatement une étiquette.
Description textuelle du diagramme
Une boucle de sept cases. Étape 1 : le modèle achemine le message. Étape 2 : un agent le transfère vers une autre file. Étape 3 : enregistrer le transfert, avec l’ancienne file, la nouvelle file, l’agent et le nombre de secondes consacrées. Étape 4, mise en évidence : vérifier le transfert. Était-il rapide, à moins de 10 secondes? Est-il improbable pour le modèle, à moins de 0,05? Une flèche portant l’étiquette oui, 87, mène à l’étape 5 : une deuxième personne vérifie le transfert. Une flèche pointillée portant l’étiquette non, 213 sur 300, mène directement à l’étape 6 : les transferts vérifiés deviennent des étiquettes. Étape 7 : entraîner, tester et mettre en production la prochaine version. Une flèche ramène de l’étape 7 à l’étape 1.
L’étape 7 fait partie du travail du module 9. Une nouvelle étiquette ne va jamais directement dans le modèle en service. Elle va dans la prochaine version, qui doit réussir les mêmes tests que l’ancienne.
Exemple détaillé : cinq transferts
Section intitulée « Exemple détaillé : cinq transferts »Cinq transferts tirés des données d’exercice, avec la probabilité du modèle pour la nouvelle destination. La dernière colonne provient du corrigé caché.
| Message (abrégé) | Transfert | Secondes | Probabilité du modèle pour la nouvelle destination | Signalé? | Corrigé |
|---|---|---|---|---|---|
| “Where is my refund? I returned the rug weeks ago…” | billing → orders | 3 | 0,005 | oui : rapide et improbable | incorrect |
| “I’m following up about the issue with my gas grill…” | delivery → returns_refunds | 6 | 0,721 | oui : rapide | correct |
| “Could you please cancel order LK-438326?” | billing → account | 23 | 0,000 | oui : improbable | incorrect |
| “…see my last email. You received the return on Nov 09…” | billing → returns_refunds | 22 | 0,982 | non | correct |
| “Could you please update my phone number…” | needs_person → account | 25 | 0,995 | non | correct |
Trois transferts sont signalés. Deux sont incorrects, et les vérifications repèrent les deux. Le deuxième transfert est correct, et une deuxième personne le vérifie pour rien. C’est le prix de la vérification de rapidité. Le troisième transfert a pris 23 secondes : l’agent a donc bien lu le message. Seul le doute du modèle le repère : une demande d’annulation de commande n’est pas une question pour account.
Exécuter la vérification sur les transferts de Larkfield
Section intitulée « Exécuter la vérification sur les transferts de Larkfield »-
Dans le dossier de votre projet, avec l’environnement virtuel activé, copiez les derniers fichiers de l’étape depuis l’instantané
end-of-m08. Ce sont la commande, son test et le README. Sur macOS et Linux :Fenêtre de terminal S=../nextia-learning-labs/C36/snapshots/end-of-m08cp $S/larkroute/commands/corrections.py larkroute/commands/cp $S/tests/test_corrections.py tests/cp $S/README.md .Sur Windows (PowerShell) :
Fenêtre de terminal $S = "..\nextia-learning-labs\C36\snapshots\end-of-m08"Copy-Item $S\larkroute\commands\corrections.py larkroute\commands\Copy-Item $S\tests\test_corrections.py tests\Copy-Item $S\README.md . -
Exécutez les tests. Vous voyez
28 passed(28 tests réussis). Votre projet correspond maintenant à l’instantanéend-of-m08.Fenêtre de terminal python -m pytest -q -
Exécutez la vérification. Elle entraîne le modèle, lit
data/corrections.csvet les messages du mois du lancement, et prend environ 3 secondes.Fenêtre de terminal route corrections
300 queue moves by 12 agents; 76 made in less than 10 seconds. To check before training: 87 (29%).to_routeaccount 47billing 35delivery 68needs_person 17orders 50product 42returns_refunds 41Sur les 300 transferts, 87 sont envoyés à une deuxième personne. C’est 29 %, soit environ 3 sur 10. Les 213 autres peuvent devenir des étiquettes maintenant. Le tableau compte les transferts selon leur nouvelle destination.
Pour obtenir la liste des transferts à vérifier, ajoutez --write :
route corrections --writeLa sortie est identique, avec une ligne de plus : Written: queue/corrections_to_check.csv (fichier écrit). Le fichier contient une ligne par transfert signalé, dans les colonnes de corrections.csv :
message_id,from_route,to_route,agent,secondsM-200042,delivery,returns_refunds,A-07,6M-200047,delivery,product,A-03,5M-200070,returns_refunds,orders,A-02,7route reset supprime le dossier queue/, comme il supprime models/ et runs/. Gardez une copie ailleurs si vous en avez besoin.
Ce que la vérification trouve
Section intitulée « Ce que la vérification trouve »Le corrigé des données d’exercice indique quels transferts sont incorrects : 39 sur les 300. Voici leur répartition selon les deux vérifications.
Description textuelle du diagramme
Une grille de quatre cellules. Les colonnes représentent le temps : moins de 10 secondes, ou 10 secondes ou plus. Les lignes représentent l’avis du modèle : il donne à la nouvelle destination une probabilité inférieure à 0,05, ou il la juge probable. Rapides et improbables : 26 transferts, tous incorrects. Lents mais improbables : 11 transferts, tous incorrects. Rapides mais probables : 50 transferts, 2 incorrects. Ni rapides ni improbables : 213 transferts, 0 incorrect. Les trois cellules signalées ont une bordure bleue. Une note indique : signalés, 87 transferts, 39 incorrects et 48 corrects; non signalés, 213 transferts, 0 incorrect; les 39 transferts incorrects sont tous signalés.
Description textuelle du graphique
Un graphique à deux colonnes, sur un axe allant de 0 % à 50 %. Transferts faits en moins de 10 secondes : 36,8 % incorrects, soit 28 sur 76. Transferts faits en 10 secondes ou plus : 4,9 % incorrects, soit 11 sur 224. Le temps au milieu des transferts incorrects (la médiane) était de 7 secondes; celui des transferts corrects, de 24 secondes.
Trois constats :
- La vitesse compte. Parmi les 76 transferts rapides, 36,8 % sont incorrects (28). Parmi les 224 transferts plus lents, seulement 4,9 % le sont (11). Le temps médian d’un transfert incorrect était de 7 secondes; celui d’un transfert correct, de 24.
- Ensemble, les deux vérifications trouvent les 39 transferts incorrects. La vérification signale 87 transferts, donc une deuxième personne lit 48 transferts corrects pour rien. Ici, c’est le prix à payer pour trouver tous les transferts incorrects.
- Aucune vérification ne suffit seule. La vérification de rapidité manque les 11 transferts incorrects lents. Celle du modèle manque 2 transferts incorrects rapides qu’il juge probables.
Attention au résultat « trouve les 39 »
Section intitulée « Attention au résultat « trouve les 39 » »Ce résultat est meilleur que ce que vous devriez attendre sur des données réelles. Dans les données d’exercice, un transfert incorrect mène à une destination sans lien avec le message. Par exemple, une demande d’annulation a été transférée à account. Le modèle le voit facilement : 37 des 39 transferts incorrects sont « improbables » pour lui. Dans une vraie boîte de réception, beaucoup de transferts incorrects mènent à une destination voisine. Par exemple, billing plutôt que returns_refunds pour un remboursement. Le modèle leur donne une probabilité assez élevée, donc sa vérification en repère moins. La vérification de rapidité ne dépend pas du modèle, donc elle reste utile.
De plus, la vérification du modèle utilise le modèle que vous voulez améliorer. S’il se trompe sur un nouveau type de message, il signale les transferts corrects des agents. Vous risquez alors de conserver sa propre erreur. C’est pourquoi un transfert signalé va à une personne, pas à la corbeille. Dans le module 9, le mois du lancement apporte un tout nouveau sujet. Le doute du modèle en est le premier signe.
Bien utiliser les corrections
Section intitulée « Bien utiliser les corrections »Quatre règles pour toute équipe qui apprend des transferts de ses agents :
- Enregistrez le transfert, pas seulement le résultat. Ancienne destination, nouvelle destination, agent, secondes. Sans les secondes, la vérification de rapidité est impossible.
- Gardez la source de chaque étiquette. Un transfert qui réussit les vérifications n’équivaut pas à une étiquette créée par Chloé avec le guide ouvert. Vous pouvez ensuite comparer les deux, ou supprimer un type s’il pose problème.
- Ne testez pas le modèle uniquement sur les corrections. Les transferts concernent seulement les messages qu’une personne a examinés et dont elle a contesté la destination. C’est un échantillon particulier : surtout des décisions incertaines ou incorrectes. Gardez les données de test de Découvrir la boîte de réception pour calculer les scores.
- Utilisez les vérifications pour aider les agents, pas pour les blâmer. Une forte proportion de transferts rapides et incorrects indique souvent une charge de travail excessive ou une consigne peu claire. Grace corrige ces problèmes; le modèle ne peut pas le faire.
À vous de jouer
Section intitulée « À vous de jouer »La section 4 du carnet vous demande de conserver les transferts non signalés dans un tableau labels. Il contient trois colonnes : message_id, text et route (la nouvelle destination choisie par l’agent). Faites d’abord une prédiction : combien de lignes?
Afficher la réponse
labels = (moves.loc[~moves["to_check"], ["message_id", "text", "to_route"]] .rename(columns={"to_route": "route"}).reset_index(drop=True))La cellule de vérification affiche Check passed: the number of rows in labels is 213. (vérification réussie : le tableau labels contient 213 lignes). C’est 300 transferts moins les 87 signalés. Selon le corrigé, aucun des 213 n’est incorrect. La section 5 ajoute ensuite une colonne source avec la valeur agent move, not flagged (transfert par un agent, non signalé).
Erreur courante
Chaque transfert devient une étiquette
Symptôme : Tomás écrit une tâche exécutée chaque nuit : « Chaque transfert entre files va dans les données d’entraînement. Les agents sont les experts, donc leurs transferts sont la vérité. » La question de remboursement ci-dessus, transférée à orders en 3 secondes, est maintenant une étiquette d’entraînement.
Cause : 39 des 300 transferts sont incorrects, et 28 d’entre eux ont été faits en moins de 10 secondes. La tâche traite un coup d’œil de 3 secondes comme une révision attentive. Les étiquettes issues des transferts rapides sont incorrectes dans 36,8 % des cas. C’est pire que l’ancienne file du module 2, où 11,2 % des étiquettes étaient incorrectes.
Solution : enregistrez les secondes et l’agent avec chaque transfert. Signalez les transferts rapides et ceux que le modèle juge très improbables, comme le fait route corrections. Faites-les vérifier par une deuxième personne. Gardez la source de chaque étiquette.
Conséquence dans le travail en IA : un modèle qui apprend d’une rétroaction non vérifiée répète les habitudes de l’agent le plus rapide. Ses erreurs reviennent sous forme de nouveaux transferts, et la boucle les renforce à chaque version.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les deux vérifications utilisées par route corrections. Quels transferts incorrects chacune manque-t-elle parmi les 300 transferts de Larkfield?
Afficher la réponse
Rapide : l’agent a consacré moins de 10 secondes au message. Improbable : le modèle donne à la nouvelle destination une probabilité inférieure à 0,05. La vérification de rapidité manque les 11 transferts incorrects qui ont pris 10 secondes ou plus. Celle du modèle manque 2 transferts incorrects rapides qu’il juge probables. Ensemble, elles signalent 87 transferts et trouvent les 39 incorrects. Les transferts sont construits, donc une vraie boîte de réception sera plus difficile.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La vérification signale 87 transferts et trouve les 39 incorrects. Pourquoi ne devriez-vous pas attendre le même résultat sur des données réelles?
Afficher la réponse
Dans les données d’exercice, un transfert incorrect mène à une destination sans lien avec le message. Le modèle juge donc 37 des 39 transferts incorrects « improbables ». Les vrais transferts incorrects mènent souvent à une destination voisine, comme billing plutôt que returns_refunds, que le modèle juge assez probable. La vérification du modèle dépend aussi du modèle que vous voulez améliorer : elle peut signaler des transferts corrects sur un nouveau sujet. La vérification de rapidité ne dépend pas du modèle, donc elle reste utile.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi envoyer un transfert signalé à une deuxième personne plutôt que le supprimer? Pourquoi garder la source de chaque étiquette?
Afficher la réponse
Un signalement est un doute, pas un verdict : 48 des 87 transferts signalés sont corrects. Certains apprennent quelque chose de nouveau au modèle, par exemple un sujet qu’il ne connaît pas encore. Les supprimer ferait perdre précisément ces étiquettes. La source permet de compter et de comparer les étiquettes issues des transferts des agents avec celles issues d’une révision attentive. Elle permet aussi de supprimer un type plus tard s’il pose problème.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une correction est un transfert entre files fait par un agent. C’est une étiquette gratuite, qui peut être incorrecte.
- Enregistrez le message, l’ancienne et la nouvelle destination, l’agent et les secondes. Gardez la source de chaque étiquette.
- Vérifiez avant l’entraînement : une deuxième personne vérifie un transfert fait en moins de 10 secondes. Même chose pour un transfert vers une destination que le modèle juge très improbable (moins de 0,05).
- Sur les 300 transferts construits de Larkfield,
route correctionsen signale 87 (29 %). Selon le corrigé, 39 transferts sont incorrects. Parmi les 76 transferts rapides, 36,8 % sont incorrects; parmi les plus lents, 4,9 %. La vérification trouve les 39. - Ce dernier résultat est plus facile à obtenir que sur des données réelles : les transferts incorrects insérés mènent à des destinations sans lien. Une vraie boîte de réception contient des transferts incorrects vers des destinations voisines.
- Le projet correspond maintenant à l’instantané
end-of-m08:route calibration,route zonesetroute corrections, avec 28 tests.
Vous pouvez maintenant vous fier à la confiance, choisir les zones et ajouter des étiquettes issues du travail de l’équipe. Ensuite, Amira transforme le routeur en petit service qui répond toute la journée. Il comprend une version du modèle, une file de révision et un journal.
Leçon suivante : Un service de routage