Quand vous avez peu d'étiquettes
- Leçon 8
- 35 min
- Module 2 : Des étiquettes fiables
Où nous en sommes
Nous savons maintenant trouver et corriger les mauvaises étiquettes. Parfois, le problème est l'inverse : nous avons trop peu d'étiquettes. Dans cette leçon, nous étiquetons d'abord les messages dont le modèle est le moins sûr. Un LLM suggère aussi des étiquettes qu'une personne vérifie avant l'entraînement. Un nouveau commis au tri qui pose des questions seulement sur les lettres difficiles à placer illustre cette idée.
Leçon 8 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitQuand vous avez peu d'étiquettes
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Obtenez un bon modèle avec peu d’étiquettes : laissez le modèle choisir les prochains messages qu’une personne étiquettera. Utilisez les étiquettes d’un LLM seulement après leur vérification par une personne.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon : les 70 premières étiquettes, les choix de chaque stratégie, la boucle d’apprentissage actif, les étiquettes enregistrées du LLM et la comparaison « plus d’étiquettes ou de meilleures étiquettes ». Les cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Aucune clé n’est nécessaire : les réponses du LLM ont été enregistrées une fois. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les mauvaises étiquettes, leur coût et comment les trouver, dans Trouver les étiquettes bruitées.
- La confiance d’un modèle : la plus élevée de ses probabilités pour les destinations. Seuils et calibration, dans le cours d’apprentissage automatique, explique les probabilités prédites; cette leçon utilise seulement l’idée.
Ce qu’il vous faut sur votre ordinateur
- Rien de nouveau : cette leçon se déroule dans le carnet. Le projet ne change pas.
Un nouveau commis au tri pose des questions sur les lettres difficiles
Section intitulée « Un nouveau commis au tri pose des questions sur les lettres difficiles »Imaginez un nouvel employé dans un bureau de poste. Le premier matin, sa superviseure lui montre dix lettres pour chaque ville. Puis il commence le tri. Il peut poser des questions à sa superviseure sur certaines lettres, mais elle est occupée.
Sur quelles lettres devrait-il poser des questions? Pas les lettres claires : « Main Street, Springfield » ne lui apprend rien de nouveau. Il devrait poser des questions sur les lettres qu’il ne peut pas placer : une ancienne adresse, un code postal taché, un nom de rue présent dans deux villes. Chaque réponse lui apprend une règle qu’il ne connaissait pas. Après une semaine, il trie bien. Il a posé beaucoup moins de questions qu’un employé qui choisissait des lettres au hasard.
Le problème : les étiquettes coûtent du temps
Section intitulée « Le problème : les étiquettes coûtent du temps »Les 6 000 messages d’entraînement de Larkfield ont des étiquettes parce que ce cours les a créées. Une entreprise qui lance un nouveau routeur a des messages, mais peu d’étiquettes. Chaque étiquette demande du temps à une personne. Avec le coût de révision supposé dans ce cours, soit 1,50 $ US par message, étiqueter les 6 000 messages coûte environ 9 000 $ US.
Supposons que Chloé étiquette seulement 10 messages par destination : 70 étiquettes. Le modèle TF-IDF entraîné sur ces messages atteint 0,524 sur les données de test. C’est loin du résultat de 0,962 obtenu avec toutes les étiquettes. Elle doit en étiqueter davantage. Mais quels messages? La réponse habituelle est « un échantillon aléatoire ». Cette leçon examine si le modèle peut mieux choisir.
L’idée : l’apprentissage actif
Section intitulée « L’idée : l’apprentissage actif »Laissez le modèle choisir, comme le nouveau commis au tri. Entraînez-le sur les étiquettes que vous avez. Calculez un score pour chaque message qui n’a pas encore d’étiquette. Donnez ensuite à la personne les messages dont le modèle est le moins sûr. Ajoutez leurs étiquettes, entraînez de nouveau le modèle et répétez.
C’est l’apprentissage actif : le modèle participe activement au choix de ses propres données d’entraînement. La règle « les moins sûrs d’abord » s’appelle l’échantillonnage par incertitude. Ici, l’incertitude du modèle repose sur sa confiance : la plus élevée de ses sept probabilités. Une faible confiance signifie que le modèle ne sait pas où placer le message.
Description textuelle du diagramme
La boucle commence avec 70 messages étiquetés, 10 par destination. Le modèle s’entraîne sur ces messages. Il calcule un score pour chaque message qui n’a pas encore d’étiquette. Les 100 messages dont il est le moins sûr vont à Chloé, qui les étiquette. Une flèche portant la mention « ajouter, puis répéter » revient à l’entraînement du modèle. Chaque tour de la boucle ajoute 100 étiquettes.
Un petit exemple : quatre messages
Section intitulée « Un petit exemple : quatre messages »Le modèle entraîné sur 70 étiquettes calcule les scores de quatre messages non étiquetés. Nous avons construit cet exercice exprès.
| Message | Probabilité la plus élevée (destination) | Confiance | L’étiqueter maintenant? |
|---|---|---|---|
| “Where is my parcel? Tracking has not moved for a week.” | 0,92 (delivery) |
0,92 | Non : le modèle sait déjà |
| “Please cancel order LK-1234 before it ships.” | 0,85 (orders) |
0,85 | Non |
| “Can the courier leave it with my neighbour? Also please update my phone number.” | 0,31 (delivery), 0,28 (account) |
0,31 | Oui |
| “See my last message about the other thing, please.” | 0,19 (account) |
0,19 | Oui, en premier |
Avec du temps pour deux étiquettes, Chloé étiquette les deux derniers messages. Les deux premiers ne feraient que confirmer ce que le modèle sait. Les deux derniers lui montrent quelque chose de nouveau : un message avec deux demandes et un message vague.
L’apprentissage actif sur la boîte de réception de Larkfield
Section intitulée « L’apprentissage actif sur la boîte de réception de Larkfield »Le carnet exécute cette boucle sur les vraies données. Il commence avec les mêmes 70 étiquettes. Une version de la boucle ajoute 100 messages aléatoires par tour; l’autre ajoute les 100 messages les moins sûrs. Avant de lancer la boucle, regardez ce que chacune choisit d’abord :
| Destination | 100 messages les moins sûrs | 100 messages aléatoires |
|---|---|---|
| orders | 5 | 18 |
| delivery | 22 | 25 |
| returns_refunds | 28 | 16 |
| billing | 9 | 11 |
| product | 11 | 15 |
| account | 15 | 10 |
| needs_person | 10 | 5 |
Les 100 messages les moins sûrs ont une confiance de 0,203 ou moins; le message médian du groupe a 0,379. Ils viennent plus souvent de returns_refunds, account et needs_person : les destinations avec des cas difficiles et peu d’exemples. Ils viennent rarement de orders, où le modèle place déjà bien les messages. Les trois moins sûrs sont un message sur un colis avec changement d’adresse, un vague « voir mon dernier message » et un problème de mot de passe.
Dix tours font passer chaque version de 70 à 1 070 étiquettes :
- Les moins sûrs d'abord
- Aléatoire
Description textuelle du graphique
Un graphique à courbes de l’exactitude sur les données de test selon le nombre de messages étiquetés, de 70 à 1 070. Les deux courbes commencent à 52,4 % avec 70 étiquettes. Jusqu’à 270 étiquettes, elles sont proches : 69,7 % et 70,5 % à 170, puis 80,5 % et 80,8 % à 270. À partir de 370 étiquettes, la courbe des moins sûrs est plus haute : 85,5 % contre 84,8 % à 370, 90,8 % contre 88,7 % à 670, puis 93,8 % contre 90,7 % à 1 070. La courbe aléatoire dépasse 90 % pour la première fois à 970 étiquettes (90,2 %).
Dans les premiers tours, les deux courbes sont proches : avec 170 étiquettes, le choix aléatoire donne même un résultat légèrement supérieur. Le modèle est encore trop faible pour savoir ce qu’il ne sait pas. À partir de 370 étiquettes, le choix des moins sûrs prend l’avance : 0,855 contre 0,848 à 370, 0,908 contre 0,887 à 670 et 0,938 contre 0,907 à 1 070.
Lisez aussi le graphique horizontalement. Le choix des moins sûrs dépasse 0,90 à 670 étiquettes. Le choix aléatoire en demande 970. Pour la même exactitude ici, Chloé écrit 300 étiquettes de moins, soit environ 450 $ US à 1,50 $ US chacune.
Rappelez-vous que cette boîte de réception est plus facile qu’une vraie. Sur une vraie boîte de réception, les courbes sont plus basses et l’écart peut être plus grand ou plus petit. L’étude de cas Trier des demandes avec peu d’étiquettes essaie peu d’étiquettes sur de vraies demandes en anglais et en français.
Quand utiliser l’apprentissage actif, et quand l’éviter
Section intitulée « Quand utiliser l’apprentissage actif, et quand l’éviter »Utilisez-le quand les étiquettes coûtent cher et que les messages non étiquetés sont nombreux : nouveau routeur, nouvelle destination, nouvelle langue. Il faut un modèle qui s’entraîne en quelques secondes, car la boucle l’entraîne après chaque tour. TF-IDF convient bien.
Cette méthode a trois coûts. D’abord, les messages choisis ne sont pas un échantillon aléatoire : ce sont les messages difficiles. Ne mesurez donc jamais l’exactitude sur ces messages; gardez des données de test aléatoires distinctes, comme dans cette boucle. Ensuite, les choix dépendent du modèle qui les fait. Un autre modèle pourrait vouloir d’autres messages plus tard. Enfin, les messages difficiles le sont aussi pour la personne : Chloé prend plus de temps par étiquette. Elle rencontre aussi plus souvent les lacunes du guide.
Les étiquettes écrites par un LLM
Section intitulée « Les étiquettes écrites par un LLM »Il existe une façon plus rapide d’obtenir des étiquettes : demander à un LLM, un grand modèle de langage. Un petit LLM hébergé a étiqueté 5 000 messages d’entraînement, 20 messages par appel, en 250 appels. Le travail entier a coûté 0,081 $ US. Chaque réponse contient une destination et une confiance que le modèle a écrite dans sa réponse. Les réponses ont été enregistrées une fois; le carnet les rejoue donc sans clé.
Quelle est leur qualité? 91,4 % des étiquettes du LLM correspondent aux étiquettes révisées. Une personne qui vérifie un échantillon aléatoire de 200 obtient 90,5 %, près du résultat global. Ainsi, 429 des 5 000 étiquettes sont mauvaises. Les erreurs les plus fréquentes sont des questions sur les produits étiquetées returns_refunds (64) et des commandes étiquetées product (55). C’est le piège des mots-clés décrit dans Guide d’étiquetage : le LLM étiquette les mots « return » ou « item », pas la demande.
C’est un peu moins que les 91,7 % de Grace sur l’échantillon étiqueté deux fois, et bien moins que les 96,1 % de Chloé. Des étiquettes bon marché avec 429 erreurs sont des étiquettes bruitées, comme celles de l’ancienne file d’attente. Il faut les vérifier avant de les utiliser pour l’entraînement.
La confiance écrite aide-t-elle?
Section intitulée « La confiance écrite aide-t-elle? »Le LLM a écrit une confiance avec chaque étiquette. Une faible confiance signifie-t-elle une mauvaise étiquette?
Description textuelle du graphique
Un graphique à colonnes sur un axe de 0 % à 100 %. Étiquettes avec une confiance écrite inférieure à 0,80 : 336 étiquettes, dont 66,4 % correspondent à celles des personnes. De 0,80 à 0,90 : 333 étiquettes, 75,7 %. De 0,90 à 0,95 : 336 étiquettes, 89,0 %. 0,95 ou plus : 3 995 étiquettes, 95,0 %.
Elle aide. Sous 0,80, seulement 66,4 % des étiquettes sont correctes; à 0,95 ou plus, 95,0 %. Une personne devrait donc réviser d’abord les étiquettes les moins sûres du LLM, comme dans l’apprentissage actif :
| Étiquettes du LLM révisées, les moins sûres d’abord | Erreurs restantes sur 429 | Coût de révision |
|---|---|---|
| 0 | 429 | 0 $ US |
| 250 | 333 | 375 $ US |
| 500 | 267 | 750 $ US |
| 1 000 | 198 | 1 500 $ US |
| 2 000 | 98 | 3 000 $ US |
Mais regardez encore le groupe supérieur. Il contient 3 995 étiquettes, dont 5,0 % sont mauvaises : 198 erreurs écrites avec une confiance de 0,95 ou plus. Une révision par confiance ne les atteint jamais avant d’avoir révisé 1 000 autres étiquettes. C’est aussi pourquoi une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée sur des données étiquetées.
Le plan pour les étiquettes du LLM comporte donc deux parties. Révisez les étiquettes les moins sûres, car les erreurs y sont nombreuses. Vérifiez aussi un échantillon aléatoire, car certaines erreurs se cachent derrière une confiance élevée. L’échantillon aléatoire vous donne le vrai taux d’erreur des étiquettes que vous gardez.
Exercice guidé : exécuter la boucle et vérifier le LLM
Section intitulée « Exercice guidé : exécuter la boucle et vérifier le LLM »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter et exécutez les cellules de préparation.
- Dans la section 1, exécutez la cellule. Vous voyez
70 labels: test accuracy 0.5235(70 étiquettes : exactitude sur les données de test de 0,5235). - Dans la section 2, prédisez les destinations des 100 messages les moins sûrs. Exécutez ensuite la cellule. Vous voyez 28
returns_refundset 5ordersdans la première colonne. - Dans la section 3, exécutez la boucle. Elle entraîne 22 modèles en environ une minute. À 1 070 étiquettes, vous voyez 0,907 pour le choix aléatoire et 0,938 pour le choix des moins sûrs.
- Exécutez la cellule du graphique. Les deux courbes se séparent après environ 370 étiquettes.
- Dans la section 4, faites la tâche Your turn (à vous) : le plus petit nombre d’étiquettes où le choix aléatoire atteint 0,90.
- Dans la section 5, exécutez les cellules du LLM. Vous voyez
agree with people: 91.4%(accord avec les personnes : 91,4 %) et les quatre groupes de confiance. - Dans la section 6, comptez les mauvaises étiquettes du LLM avec une confiance de 0,95 ou plus. La vérification affiche
Check passed(vérification réussie).
Afficher les réponses aux étapes 6 et 8
random_needs = int(table.index[table["random"] >= 0.90].min())print(random_needs)970sure_but_wrong = int((~llm["agree"] & (llm["confidence"] >= 0.95)).sum())print(sure_but_wrong)198Plus d’étiquettes ou de meilleures étiquettes?
Section intitulée « Plus d’étiquettes ou de meilleures étiquettes? »Ce module pose une grande question : si vous pouvez dépenser davantage pour les étiquettes, faut-il plus d’étiquettes ou de meilleures étiquettes? Les données peuvent y répondre. Le même modèle apprend avec un nombre croissant d’anciennes étiquettes bruitées, puis avec les mêmes nombres d’étiquettes révisées :
- Étiquettes révisées
- Étiquettes de l'ancienne file (11,2 % mauvaises)
Description textuelle du graphique
Un graphique à courbes de l’exactitude sur les données de test selon le nombre d’étiquettes d’entraînement, de 500 à 6 000. Étiquettes révisées : 84,5 % avec 500, 91,0 % avec 1 000, 93,4 % avec 2 000, 95,6 % avec 4 000 et 96,2 % avec 6 000. Étiquettes de l’ancienne file : 79,2 % avec 500, 85,2 % avec 1 000, 88,8 % avec 2 000, 90,1 % avec 4 000 et 91,3 % avec 6 000. La courbe révisée est au-dessus de l’ancienne pour chaque nombre d’étiquettes. Le point révisé à 2 000 est au-dessus de l’ancien point à 6 000.
Ici, les meilleures étiquettes gagnent. Avec 6 000 anciennes étiquettes, le modèle atteint 0,913. Avec seulement 2 000 étiquettes révisées, soit trois fois moins, il atteint 0,934. Le coût des erreurs donne la même réponse : 1 206 $ US par 1 000 messages avec les 6 000 anciennes étiquettes, contre 655 $ US avec les 2 000 révisées. Et la courbe des anciennes étiquettes s’aplatit : de 4 000 à 6 000, l’exactitude passe seulement de 0,901 à 0,913. Plus d’étiquettes bruitées apprennent au modèle davantage de bruit.
Cette réponse est propre à cette boîte de réception. L’ancienne file contient ici 11,2 % de mauvaises étiquettes. Avec moins de mauvaises étiquettes, leur nombre gagne plus tôt; avec davantage, leur qualité gagne avec une plus grande avance. Tracez les deux mêmes courbes sur vos propres données avant de décider.
Erreur courante
Entraîner sur les étiquettes du LLM parce qu'il se disait sûr
Symptôme : Tomás veut sauter la révision. « Le LLM a étiqueté 5 000 messages pour 8 cents. Gardons seulement les étiquettes avec une confiance de 0,95 ou plus. Ça fait 3 995 étiquettes, et le LLM est sûr de ces étiquettes. »
Cause : « Sûr » est un mot écrit par le LLM, pas une probabilité mesurée. Les 3 995 étiquettes à 0,95 ou plus comprennent 198 mauvaises étiquettes (5,0 %). Les erreurs ne sont pas aléatoires : les questions sur les retours de produits vont à returns_refunds, les commandes vont à product. Un modèle entraîné sur ces étiquettes apprend ces associations comme des règles.
Correction : Vérifiez avant l’entraînement. Révisez d’abord les étiquettes les moins sûres, où les erreurs sont nombreuses. Vérifiez un échantillon aléatoire du reste pour mesurer le vrai taux d’erreur. Traitez ensuite les étiquettes restantes comme toutes les étiquettes bruitées : appliquez l’apprentissage confiant (confident learning) et révisez les étiquettes signalées.
Conséquence dans le travail en IA : Les étiquettes bon marché déplacent le coût de l’étiquetage vers les erreurs. Le modèle copie les erreurs que le LLM ne détecte pas. Des données de test étiquetées par le même LLM ne les montreraient pas. Seules les étiquettes vérifiées par des personnes révèlent le vrai taux d’erreur.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi l'apprentissage actif choisit-il les messages qui rendent le modèle le moins sûr? Pourquoi ne jamais mesurer l'exactitude sur ces messages?
Afficher la réponse
Un message dont le modèle est déjà sûr lui apprend peu. Un message qu’il ne sait pas classer lui montre quelque chose de nouveau, comme un cas difficile ou une destination rare. C’est pourquoi choisir les moins sûrs d’abord atteint 0,90 avec 670 étiquettes, contre 970 pour le choix aléatoire. Mais les messages choisis sont les plus difficiles, pas un échantillon aléatoire. L’exactitude mesurée sur ces messages est trop faible et ne décrit pas la boîte de réception. Mesurez-la sur des données de test aléatoires distinctes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un LLM étiquette 5 000 messages et indique une confiance pour chaque étiquette. Un collègue propose de réviser seulement les étiquettes dont la confiance est inférieure à 0,95. Que détecte cette révision, que manque-t-elle et que faut-il ajouter?
Afficher la réponse
La révision couvre les 1 005 étiquettes dont la confiance est inférieure à 0,95, où les erreurs sont fréquentes. Sous 0,80, seulement 66,4 % sont correctes. Elle corrige les erreurs dans ce groupe : leur nombre passe de 429 à 198. Elle manque les 198 étiquettes erronées auxquelles le LLM a attribué une confiance de 0,95 ou plus. Ajoutez une vérification d’un échantillon aléatoire des étiquettes conservées pour connaître leur vrai taux d’erreur. Ensuite, appliquez l’apprentissage confiant (confident learning) à ces étiquettes pour repérer les erreurs probables.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification finale : Larkfield a-t-elle besoin de plus d'étiquettes ou de meilleures étiquettes? Donnez les preuves.
Afficher la réponse
De meilleures étiquettes. TF-IDF avec régression logistique apprend à partir des 6 000 anciennes étiquettes de file d’attente, dont 11,2 % sont erronées. Il atteint 0,913 sur les données de test, à un coût de 1 206 $ US par 1 000 messages. Entraîné sur seulement 2 000 étiquettes révisées, il atteint 0,934, à un coût de 655 $ US. La courbe des étiquettes révisées dépasse celle des anciennes étiquettes, quelle que soit la taille. L’ancienne courbe s’aplatit : 0,901 à 4 000 étiquettes, puis 0,913 à 6 000. Il vaut donc mieux financer la révision, par exemple des 622 étiquettes signalées par l’apprentissage confiant, que l’ajout d’étiquettes non vérifiées. Ce résultat vaut pour cette boîte de réception; répétez la comparaison sur d’autres données.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Étiqueter demande du temps à une personne. Avec 70 étiquettes, TF-IDF atteint seulement 0,524.
- L’apprentissage actif laisse le modèle choisir : étiquetez d’abord les messages qui le rendent le moins sûr (échantillonnage par incertitude). Ici, il dépasse 0,90 avec 670 étiquettes; le choix aléatoire en exige 970. Gardez des données de test aléatoires : les messages choisis sont les plus difficiles.
- Un LLM a étiqueté 5 000 messages pour 0,081 $ US, et 91,4 % de ses étiquettes concordent avec celles des personnes. La confiance qu’il indique aide à ordonner la révision, mais 198 étiquettes erronées ont une confiance de 0,95 ou plus. Révisez les étiquettes les moins sûres et vérifiez un échantillon aléatoire.
- Plus d’étiquettes ou de meilleures étiquettes? Ici, de meilleures : 2 000 étiquettes révisées (0,934, 655 $ US) surpassent 6 000 anciennes étiquettes (0,913, 1 206 $ US).
Vous pouvez maintenant vous fier à vos étiquettes : guide d’étiquetage, accord, étiquettes bruitées et peu d’étiquettes. Mais un modèle n’est qu’une façon de les utiliser. Ensuite, nous commençons les références de base avec le routeur le plus simple : des règles par mots-clés lisibles et modifiables.
Leçon suivante : Règles par mots-clés et expressions régulières