Trouver les étiquettes bruitées
- Leçon 7
- 35 min
- Module 2 : Des étiquettes fiables
Où nous en sommes
Nous savons à quel point deux personnes attentives s'entendent. Les étiquettes de l'ancien système de billets de soutien sont moins fiables. Certains messages sont arrivés dans la mauvaise file d'attente et y sont restés. Dans cette leçon, nous trouvons les étiquettes probablement erronées avec l'apprentissage confiant. Nous les révisons au lieu de les supprimer. Une bibliothécaire qui cherche des livres sur la mauvaise tablette fait la même chose.
Leçon 7 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitTrouver les étiquettes bruitées
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Trouvez les étiquettes d’entraînement probablement erronées, sans corrigé. Une personne pourra ainsi réviser une courte liste plutôt que 6 000 messages. Mesurez ensuite la valeur des corrections.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Vous y trouverez les anciennes étiquettes et leur coût, les probabilités par validation croisée et le classement de cleanlab. Il comprend aussi votre correction des 30 premières étiquettes et le cas d’échec. Les cellules de préparation installent pandas, scikit-learn et cleanlab, puis téléchargent les données d’exercice. Prévoyez environ 25 minutes; les cellules du modèle prennent environ une minute au total.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’accord et le kappa de Cohen, dans Mesurer l’accord.
- Le tableau comparatif et son coût des erreurs par 1 000 messages, dans Le coût de chaque erreur.
- La validation croisée : entraîner sur certaines parties des données et évaluer la partie que le modèle n’a pas vue. Elle est présentée dans Données d’entraînement, de validation et de test, dans le cours d’apprentissage automatique. Cette leçon explique ce dont vous avez besoin ici.
Ce qu’il vous faut sur votre ordinateur
- Votre projet à l’étape de la dernière leçon (
python -m pytest -qaffiche12 passed, soit 12 tests réussis). Il servira à exécuter une commanderoute compare. - Le reste de la leçon se fait dans le carnet : cleanlab ne fait pas partie du projet.
Des livres sur la mauvaise tablette
Section intitulée « Des livres sur la mauvaise tablette »Imaginez une bibliothèque de 6 000 livres. Au fil des années, certains livres ont été remis sur la mauvaise tablette. La bibliothécaire ne peut pas ouvrir les 6 000 livres pour vérifier. Elle parcourt donc les tablettes et cherche les livres qui semblent mal placés. Un livre de recettes entre deux livres d’histoire, un livre pour enfants parmi les livres de droit.
Elle a une bonne méthode. Elle ne demande pas « où est ce livre maintenant? » Elle demande « si je n’avais jamais vu cette tablette, où placerais-je ce livre? » Quand sa réponse diffère beaucoup de la tablette actuelle, elle retire le livre et le vérifie. La plupart des livres qu’elle retire sont sur la mauvaise tablette. Quelques-uns sont finalement au bon endroit : une histoire de la cuisine, par exemple. Elle vérifie donc chaque livre; elle ne les jette pas.
Le problème : les étiquettes de l’ancienne file
Section intitulée « Le problème : les étiquettes de l’ancienne file »Les 6 000 messages d’entraînement de Larkfield ont deux étiquettes. L’étiquette révisée indique la bonne destination, que nous avons intégrée à cette boîte de réception simulée. L’ancienne étiquette indique la file où l’ancien système de billets a placé chaque message. En pratique, une entreprise dispose souvent de ces anciennes étiquettes. Elles viennent d’années de classement dans des files, par un système et des agents occupés.
L’ancien système a fait des erreurs, et personne n’a replacé les messages. Cette boîte de réception est simulée, alors nous pouvons les compter exactement : 674 des 6 000 anciennes étiquettes sont erronées (11,2 %). En pratique, vous n’avez pas ce corrigé. Vous ne savez pas quelles étiquettes sont erronées, ni même combien.
Quel est le coût des étiquettes erronées? Le projet peut entraîner le même modèle sur l’un ou l’autre jeu d’étiquettes. Exécutez-le dans le dossier de votre projet :
route compare --quick --labels oldScoring 3 methods on the test messages (trained on the old labels)... everything to a person: done rules or a person: done TF-IDF + logistic regression: done method accuracy macro-F1 takeover needs person EN FR mistakes $/1k run $/1k total $/1k ms/msgTF-IDF + logistic regression 0.913 0.909 0.750 0.768 0.920 0.896 1206.0 0.0 1206.0 0.14 everything to a person 0.000 0.000 0.000 0.000 0.000 0.000 1500.0 0.0 1500.0 0.00 rules or a person 0.555 0.625 0.833 0.818 0.577 0.503 1757.8 0.0 1757.8 0.04Votre valeur ms/msg sera différente. Comparez la première ligne au même modèle entraîné sur les étiquettes révisées, avec route compare --quick. L’exactitude est de 0,913 contre 0,962, et le coût de 1 206 $ US contre 296 $ US par 1 000 messages. L’exactitude baisse de 5 points, mais le coût des erreurs est quatre fois plus élevé. L’ancienne file a envoyé 42 messages needs_person vers delivery. Le modèle a donc appris qu’un problème de sécurité avec un colis est une question de livraison. Son rappel pour needs_person est passé de 1,000 à 0,768. Chacune de ces erreurs coûte 40 $ US dans le tableau des coûts.
Ici, les anciennes étiquettes rendent le modèle à peine moins coûteux que « tout transférer à une personne » (1 500 $ US). C’est le problème que cette leçon résout.
L’idée : l’apprentissage confiant
Section intitulée « L’idée : l’apprentissage confiant »Faites comme la bibliothécaire. Pour chaque message, demandez à un modèle qui n’a jamais vu l’étiquette de ce message quelle destination il choisirait. Quand le modèle donne une très faible probabilité à l’étiquette du message, cette étiquette est suspecte. Signalez-la et laissez une personne la vérifier.
Cette idée s’appelle l’apprentissage confiant (confident learning). Son nom vient de sa méthode. Elle utilise la confiance du modèle dans chaque étiquette pour estimer combien d’étiquettes de chaque type sont erronées. Elle signale ensuite les moins probables. Le paquet à code source ouvert cleanlab la met en œuvre.
Pourquoi le modèle ne doit-il pas avoir vu l’étiquette? Parce qu’un modèle croit ce qu’il a appris. Un modèle entraîné sur les 6 000 anciennes étiquettes a aussi appris les étiquettes erronées. Il serait donc d’accord avec elles. La solution est la validation croisée : divisez les 6 000 messages en 5 parties. Entraînez sur 4 parties et évaluez la cinquième. Répétez 5 fois. Chaque message est ainsi évalué une fois par un modèle qui n’a pas appris à partir de lui.
Description textuelle du diagramme
Le flux commence avec les 6 000 messages d’entraînement et leurs anciennes étiquettes. La case suivante indique : divisez-les en 5 parties, entraînez un modèle sur 4 parties et évaluez la cinquième; répétez 5 fois. Chaque message reçoit donc des probabilités d’un modèle qui ne l’a pas vu. Puis une question : la probabilité de la propre étiquette du message est-elle très faible? Si non, l’étiquette reste. Si oui, le message est signalé. cleanlab signale ici 622 messages, en commençant par la plus faible probabilité. La dernière case indique qu’une personne révise les messages signalés. Elle corrige l’étiquette, la garde ou demande à quelqu’un.
Un petit exemple : cinq messages
Section intitulée « Un petit exemple : cinq messages »Voici cinq vrais messages d’entraînement avec leur ancienne étiquette. Les probabilités viennent du modèle par validation croisée, qui n’a donc pas vu ces étiquettes.
| Message (raccourci) | Ancienne étiquette | Probabilité du modèle pour l’ancienne étiquette | Choix du modèle | Signalement? |
|---|---|---|---|---|
| “Could you help me with order LK-152123? The colour isn’t what I expected, and I’d like to sort out a return.” | account |
0,000 | returns_refunds (0,999) |
Oui, rang 1 |
| “Ma commande LK-687451 devait arriver le 24/10 et je ne l’ai toujours pas reçue.” | account |
0,000 | delivery (0,996) |
Oui, rang 2 |
| “My card was charged $204.52, more than the order total. Please fix this. I’d also like to return the sun lounger.” | billing |
0,012 | returns_refunds (0,978) |
Oui, rang 148 |
| “Is the grill cover waterproof, and can it stay outside in winter?” | product |
1,000 | product |
Non |
| “Mon paiement est refusé chaque fois, mais ma carte fonctionne ailleurs.” | billing |
0,997 | billing |
Non |
Les deux premiers sont clairs : un retour étiqueté account, un colis en retard étiqueté account. Le modèle donne une probabilité presque nulle à l’ancienne étiquette. Leurs étiquettes révisées sont returns_refunds et delivery, comme le modèle l’indiquait.
Le troisième signalement est intéressant. L’ancienne étiquette billing est correcte : le message contient deux demandes. Le guide dit d’étiqueter la première, soit le montant facturé par erreur. Le modèle se laisse influencer par « return the sun lounger ». C’est un signalement erroné : une étiquette correcte sur un message difficile. C’est le premier signalement erroné dans la liste de cleanlab, au rang 148.
Les deux derniers messages reçoivent une forte probabilité pour leur étiquette, alors cleanlab les laisse tels quels.
cleanlab sur les étiquettes de Larkfield
Section intitulée « cleanlab sur les étiquettes de Larkfield »Dans le carnet, la section 3 calcule les probabilités par validation croisée, et la section 4 appelle cleanlab :
from cleanlab.filter import find_label_issues
ranked = find_label_issues(labels=given, pred_probs=probs, return_indices_ranked_by="self_confidence", n_jobs=1)flagged = tr.iloc[ranked]print(len(ranked), "labels flagged")# Only possible because this inbox is simulated: check the flags against the reviewed labels.print(f"wrong among the flagged: {(flagged['old_queue'] != flagged['route']).mean():.3f}")for k in (30, 100, 300): print(f"top {k}: {(flagged.head(k)['old_queue'] != flagged.head(k)['route']).sum()} wrong")622 labels flaggedwrong among the flagged: 0.797top 30: 30 wrongtop 100: 100 wrongtop 300: 287 wronglabels est l’ancienne étiquette de chaque message, sous forme de nombre. pred_probs est le tableau des probabilités : une ligne par message, une colonne par destination. return_indices_ranked_by="self_confidence" trie les signalements selon la probabilité de la propre étiquette du message, la plus faible en premier. n_jobs=1 garde cleanlab dans un seul processus.
cleanlab signale 622 messages. La vérification avec les étiquettes révisées est possible uniquement parce que cette boîte de réception est simulée. Elle montre que 0,797 des signalements sont de vraies erreurs : 496 étiquettes erronées et 126 étiquettes correctes. Les signalements trouvent 496 des 674 étiquettes erronées (un rappel de 0,736). Les 178 autres étiquettes erronées semblent normales au modèle. Aucune méthode qui part du modèle ne peut donc les trouver.
Le classement, avec les signalements corrects et erronés
Section intitulée « Le classement, avec les signalements corrects et erronés »L’ordre compte plus que le total. Une personne révise en commençant par le haut. Le début de la liste doit donc contenir presque uniquement des erreurs :
- Classement de cleanlab
- Chaque signalement est une vraie erreur
- Messages choisis au hasard (11,2 %)
Description textuelle du graphique
L’axe horizontal montre le nombre de messages signalés révisés, de 0 à 622. L’axe vertical montre le nombre d’étiquettes erronées trouvées. Une ligne pointillée montre une liste parfaite, où chaque signalement est une vraie erreur : elle monte directement jusqu’à 622. Une deuxième ligne pointillée représente une personne qui vérifie les messages au hasard. Elle trouve environ 11,2 % d’étiquettes erronées, soit environ 70 après 622 messages. La ligne de cleanlab suit exactement la ligne parfaite jusqu’à 147 : le premier signalement erroné est au rang 148. Elle trouve 287 étiquettes erronées dans les 300 premiers signalements. Elle monte ensuite plus lentement, jusqu’à 496 pour 622 signalements. Par bloc de 100 signalements, les vraies erreurs sont au nombre de 100, 95, 92, 73, 57 et 64. Puis il y en a 15 parmi les 22 derniers.
Les 147 premiers signalements sont tous de vraies erreurs. Par bloc de 100 signalements, les vraies erreurs sont au nombre de 100, 95, 92, 73, 57 et 64. Une personne qui vérifie les messages au hasard trouve une étiquette erronée seulement une fois sur 9 messages (11,2 %). Le classement évite donc la majeure partie du travail de révision.
Quels sont les signalements erronés, ces étiquettes correctes que cleanlab signale? Les plus fréquents sont des paires parmi les cas difficiles du guide. L’ancienne étiquette returns_refunds avec un modèle qui choisit billing apparaît 25 fois, et l’inverse 17 fois. needs_person avec un modèle qui choisit returns_refunds apparaît 11 fois. Beaucoup sont des messages avec deux demandes, comme celui de la chaise longue ci-dessus. Une personne qui connaît le guide voit en quelques secondes que l’étiquette est correcte.
Exercice guidé : corriger les 30 premières étiquettes
Section intitulée « Exercice guidé : corriger les 30 premières étiquettes »Chloé a le temps de réviser 30 messages aujourd’hui. Elle révise les 30 premiers signalements et écrit la bonne destination pour chacun. Dans le carnet, l’étiquette révisée représente sa révision.
- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter et exécutez les cellules de préparation.
- Dans la section 1, estimez la proportion d’anciennes étiquettes erronées. Exécutez ensuite la cellule. Vous voyez
674 of 6000 old labels are wrong (11.2%)(674 des 6 000 anciennes étiquettes sont erronées, soit 11,2 %). - Dans la section 2, exécutez les deux modèles. Vous voyez 0,913 et 1 206,0 $ US pour les anciennes étiquettes, 0,962 et 296,0 $ US pour les étiquettes révisées.
- Dans la section 3, exécutez la cellule de validation croisée. Elle prend environ 30 secondes et affiche
(6000, 7). - Lisez les cinq messages ayant la plus faible probabilité pour leur ancienne étiquette. Décidez pour chacun si l’ancienne étiquette est erronée.
- Dans la section 4, exécutez cleanlab. Vous voyez
622 labels flagged(622 étiquettes signalées) etwrong among the flagged: 0.797(proportion erronée parmi les signalements : 0,797). - Dans la section 5, faites la tâche À vous de jouer : corrigez les 30 premières étiquettes, réentraînez et évaluez.
- Exécutez la cellule de vérification. Elle affiche
Check passed(vérification réussie).
Afficher la réponse à l’étape 7
fixed = tr.copy()top30 = fixed.index[ranked[:30]]fixed.loc[top30, "old_queue"] = fixed.loc[top30, "route"]row = rt.score("old labels, top 30 fixed", test, tfidf_model().fit(fixed["text"], fixed["old_queue"]).predict(test["text"]))fixed_cost = row["total_per_1000"]print(row["accuracy"], fixed_cost)0.914 1138.0Trente étiquettes corrigées, soit 0,5 % des données d’entraînement, font passer l’exactitude de seulement 0,913 à 0,914. Mais le coût baisse de 1 206 $ US à 1 138 $ US par 1 000 messages. Les étiquettes corrigées étaient des erreurs coûteuses.
La valeur d’une révision complète
Section intitulée « La valeur d’une révision complète »Trente corrections aident un peu. Et si une personne révisait les 622 signalements? Le graphique compare les choix sur les mêmes messages de test, avec le même tableau des coûts :
Description textuelle du graphique
Un graphique à colonnes du coût des erreurs par 1 000 messages de test. Anciennes étiquettes : 1 206 $ US, exactitude de 0,913. Corriger les 30 premières : 1 138 $ US, exactitude de 0,914. Supprimer les 622 messages signalés : 693 $ US, exactitude de 0,942. Réviser et corriger les 622 signalements : 503 $ US, exactitude de 0,950. Toutes les étiquettes révisées : 296 $ US, exactitude de 0,962.
Réviser et corriger les 622 signalements donne 0,950 et 503 $ US par 1 000 messages. Cela couvre la majeure partie de l’écart entre les anciennes étiquettes (1 206 $ US) et les étiquettes révisées (296 $ US). L’écart restant vient surtout des 178 étiquettes erronées que cleanlab n’a pas signalées.
La révision vaut-elle son coût? À 1,50 $ US par révision (l’hypothèse du cours), 622 révisions coûtent environ 933 $ US, une seule fois. La correction économise 1 206 $ US − 503 $ US = 703 $ US par 1 000 messages. Avec environ 65 messages par jour, cela représente environ 46 $ US par jour. La révision se rembourse donc en environ 20 jours, et les économies continuent ensuite.
Grace ajoute un point pratique : la liste des signalements révèle aussi les points faibles du guide. Quand la même paire revient souvent dans les signalements erronés, le cas difficile nécessite une règle plus claire.
Quand utiliser l’apprentissage confiant, et ce qu’il coûte
Section intitulée « Quand utiliser l’apprentissage confiant, et ce qu’il coûte »Utilisez-le quand vous héritez d’étiquettes que personne n’a vérifiées : une ancienne file, des étiquettes d’un fournisseur ou d’un LLM. Il faut un modèle assez bon pour avoir un avis utile. Ici, TF-IDF atteint 0,913 même avec les étiquettes bruitées, alors ses doutes veulent dire quelque chose. Avec un modèle faible, les signalements sont surtout les erreurs du modèle lui-même.
Cela coûte quelques minutes de calcul (5 entraînements au lieu de 1) et une révision humaine des signalements. La méthode ne trouve pas les étiquettes erronées qui semblent normales : ici, 178 sur 674. Elle signale aussi des étiquettes correctes sur des messages difficiles, alors elle ne remplace jamais la révision.
Dans cette boîte de réception, les erreurs de l’ancien système sont simples et les messages sont réguliers. Les signalements sont donc exceptionnellement fiables. Dans une vraie boîte de réception, attendez-vous à davantage de signalements erronés. L’étude de cas Router des questions bancaires utilise de vraies questions de clients, où les classes sont beaucoup plus proches.
Erreur courante
Supprimer les messages signalés
Symptôme : Tomás dit : « Pourquoi payer pour 622 révisions? cleanlab dit que ces étiquettes sont erronées. Supprimons les messages et entraînons sur le reste. » L’exactitude passe de 0,913 à 0,942, et le coût baisse de 1 206 $ US à 693 $ US par 1 000 messages. Cela semble être un gain gratuit.
Cause : La suppression élimine les 126 étiquettes correctes avec les 496 étiquettes erronées. Les étiquettes correctes concernent surtout des messages difficiles : deux demandes, un remboursement et un montant facturé. Ce sont exactement les messages dont le modèle a besoin pour apprendre. La suppression retire aussi 6 des 44 exemples d’entraînement de prise de contrôle de compte, la destination la plus rare. Un message manqué dans cette destination coûte 200 $ US. La cellule de la section 6 du carnet montre les deux nombres.
Solution : Révisez les signalements, depuis le début de la liste. Une personne corrige chaque étiquette erronée, garde chaque étiquette correcte et demande à un collègue en cas de doute. La révision donne 0,950 et 503 $ US : mieux que la suppression, à un coût connu.
Conséquence dans le travail en IA : Le nettoyage automatique rend les données d’entraînement plus faciles, pas meilleures. Le modèle semble bon sur les messages faciles, mais devient moins bon sur les messages difficiles et les classes rares. Ces échecs sont les plus coûteux, et ils se cachent dans une moyenne plus élevée.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi les probabilités de l'apprentissage confiant doivent-elles venir de la validation croisée, plutôt que d'un modèle entraîné sur toutes les étiquettes?
Afficher la réponse
Un modèle entraîné sur toutes les étiquettes a aussi appris les mauvaises. Il tend donc à les confirmer et leur attribue une probabilité élevée. Avec la validation croisée, un modèle entraîné uniquement sur les autres parties évalue chaque message. Ce modèle n’a jamais vu l’étiquette du message. Sa probabilité donne donc un avis honnête : lorsqu’elle est très faible, l’étiquette est suspecte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
cleanlab signale 622 des 6 000 anciennes étiquettes de Larkfield. Parmi ces signalements, 0,797 correspondent à de vraies erreurs. Un collègue dit : « Donc, 20 % des signalements de cleanlab sont faux : l'outil n'est pas fiable. » Que répondez-vous?
Afficher la réponse
Les signalements forment une liste à faire réviser par une personne, pas une décision. Le début de la liste contient presque uniquement de vraies erreurs. Les 147 premiers signalements sont tous de mauvaises étiquettes, tout comme 287 des 300 premiers. Une vérification au hasard trouve une mauvaise étiquette seulement une fois sur 9 messages (11,2 %). Les faux signalements sont surtout de bonnes étiquettes sur des messages difficiles. Une personne qui connaît le guide les confirme rapidement. Voilà pourquoi la méthode consiste à réviser les étiquettes signalées, pas à les supprimer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Exercice pratique : vous avez corrigé les 30 premières étiquettes signalées et réentraîné le modèle. Indiquez le changement de la mesure pondérée par les coûts. Dites aussi ce qu'une révision complète des 622 signalements apporte et coûte.
Afficher la réponse
Corriger les 30 premières étiquettes fait passer l’exactitude de 0,913 à 0,914. Le coût des erreurs passe de 1 206 $ US à 1 138 $ US par 1 000 messages de test. Réviser les 622 signalements donne une exactitude de 0,950 et un coût de 503 $ US. La révision coûte environ 622 × 1,50 $ US = 933 $ US, une seule fois. Elle économise environ 703 $ US par 1 000 messages. Elle se rentabilise donc en environ 20 jours, à 65 messages par jour.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’ancienne file contient 674 mauvaises étiquettes sur 6 000 (11,2 %). Nous le savons uniquement parce que la boîte de réception est simulée. Entraîné sur ces étiquettes, TF-IDF voit son exactitude passer de 0,962 à 0,913. Le coût des erreurs passe de 296 $ US à 1 206 $ US par 1 000 messages.
- L’apprentissage confiant demande à un modèle qui n’a jamais vu l’étiquette quelle destination il choisirait, grâce à la validation croisée. Une probabilité très faible pour l’étiquette du message indique une étiquette suspecte.
- cleanlab signale 622 étiquettes, en commençant par les moins probables. Les 147 premières sont toutes mauvaises, et 0,797 des signalements correspondent à de mauvaises étiquettes. Les faux signalements sont de bonnes étiquettes sur des messages difficiles.
- Corriger les 30 premières étiquettes réduit le coût à 1 138 $ US. Réviser les 622 le réduit à 503 $ US, pour environ 933 $ US de révision.
- Supprimer les étiquettes signalées donne un coût de 693 $ US. Cela retire 126 bonnes étiquettes et 6 des 44 exemples de prise de contrôle de compte. Révisez-les; ne les supprimez pas.
Vous pouvez maintenant trouver et corriger de mauvaises étiquettes dans un grand ensemble. Mais que faire si vous avez très peu d’étiquettes au départ? Ensuite, nous choisissons quels messages une personne étiquette en premier, et nous vérifions les étiquettes produites par un LLM.
Leçon suivante : Quand vous avez peu d'étiquettes