Guide d'étiquetage
- Leçon 5
- 30 min
- Module 2 : Des étiquettes fiables
Où nous en sommes
Nous avons fait la première comparaison. Chaque modèle a appris à partir des étiquettes que nous lui avons données. Si deux personnes étiquettent le même message de deux façons, le modèle apprend les deux. Dans cette leçon, nous écrivons un guide d'étiquetage. Il contient une règle et un exemple pour chaque étiquette, et pour les cas difficiles entre deux étiquettes. Un bureau de poste avec deux nouveaux commis illustre le problème.
Leçon 5 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitGuide d'étiquetage
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Notez comment chaque message reçoit son étiquette. Deux personnes donnent alors la même étiquette au même message. Le modèle apprend une règle plutôt que deux.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les sept destinations (six équipes et
needs_person), et pourquoi « besoin d’une personne » est une destination distincte, dans Concevoir les étiquettes. - Le coût de chaque type d’erreur, dans Le coût de chaque erreur.
- Le projet et les données, dans Découvrir la boîte de réception.
Ce qu’il vous faut sur votre ordinateur
- Rien de nouveau. Pour lire le guide complet dans un éditeur de texte, ouvrez
data/guidelines.mddans le dossier de votre projet. Le fichier accompagne les données téléchargées parpython get_data.py.
Cette leçon ne contient pas de code. Vous étiquetez à la main dix vrais messages de la boîte de réception.
Deux nouveaux commis au bureau de poste
Section intitulée « Deux nouveaux commis au bureau de poste »Imaginez un petit bureau de poste. Deux nouveaux commis trient les lettres dans des sacs, un sac par ville. Le premier jour, personne ne leur donne de guide. La plupart des lettres sont faciles à trier : la ville est sur l’enveloppe.
Puis une lettre arrive avec deux adresses : une adresse de domicile dans une ville, et « veuillez réacheminer vers » une autre ville. Le premier commis la met dans le sac de la ville du domicile. Le second met le même type de lettre dans le sac de la ville de réacheminement. Les deux commis font attention. Chacun a une raison. Mais le bureau de poste envoie maintenant le même type de lettre à deux endroits.
La responsable du bureau de poste ne règle pas ce problème en demandant aux commis de faire plus d’efforts. Elle écrit une ligne dans un guide : « Deux adresses : utilisez l’adresse de réacheminement. » Dès le lendemain, les deux commis font la même chose.
Le même problème avec les étiquettes
Section intitulée « Le même problème avec les étiquettes »Les modèles de Larkfield apprennent à partir de messages étiquetés. Une étiquette est la bonne réponse pour un message : ici, sa destination. Un modèle examine des milliers de messages étiquetés et apprend quels mots mènent à quelle destination. Les étiquettes sont donc le seul enseignant du modèle.
Imaginez maintenant que Chloé et Grace étiquettent des messages sans guide. Un client écrit : « I returned the chair two weeks ago. I still see the charge on my card. » Chloé lit « returned » et lui donne l’étiquette returns_refunds. Grace lit « charge » et lui donne l’étiquette billing. En quelques semaines, chacune étiquette des dizaines de messages semblables.
Description textuelle du diagramme
Le schéma montre un message construit en haut : « I returned the chair two weeks ago. I still see the charge on my card. » Deux flèches descendent. L’une mène à Chloé, qui lui donne l’étiquette returns_refunds. L’autre mène à Grace, qui lui donne l’étiquette billing. Les deux étiquettes entrent dans les données d’entraînement. Elles contiennent maintenant le même type de message avec deux étiquettes différentes. La dernière flèche mène au modèle. Il apprend un choix au hasard : environ la moitié de ces messages va à chaque équipe.
Qu’apprend le modèle? Il apprend que ces messages sont parfois returns_refunds et parfois billing. Quand un nouveau message de ce type arrive, il devine. La moitié des clients attendent dans la mauvaise file d’attente. Chaque mauvaise file coûte au moins 4 $ US dans le tableau des coûts du cours (une hypothèse). Aucune modification du modèle ne règle ce problème. La confusion vient des étiquettes. Il faut donc la corriger dans les étiquettes.
Ce cas n’est pas rare. Dans la prochaine leçon, vous le mesurez. Chloé et Grace ont étiqueté les mêmes 800 messages. Elles ont choisi des destinations différentes pour 16 % des messages de facturation. Le désaccord le plus fréquent concernait exactement cette paire : billing et returns_refunds.
L’idée : un guide d’étiquetage
Section intitulée « L’idée : un guide d’étiquetage »Le guide d’étiquetage donne les règles aux personnes qui étiquettent. Pour chaque étiquette, il indique les messages qu’elle couvre, avec un exemple. Surtout, il indique quoi faire dans les cas difficiles : les messages qui correspondent à deux étiquettes.
Un bon guide comporte quatre parties :
- Une règle qui prime sur toutes les autres. Elle indique ce qu’une étiquette signifie. Pour Larkfield, l’étiquette est l’équipe qui doit agir en premier. La première règle est donc : étiquetez la demande, pas les mots. Demandez-vous ce que le client veut que Larkfield fasse.
- Une règle et un exemple pour chaque étiquette. La règle indique ce que l’étiquette couvre. L’exemple est un vrai message. Le lecteur voit ainsi comment la règle s’applique.
- Une règle pour chaque cas difficile entre deux étiquettes. Elle nomme les deux étiquettes, indique laquelle choisir et donne la raison.
- Quoi faire en cas d’incertitude. Sans cette partie, chaque personne invente sa propre habitude, et les habitudes diffèrent.
Un petit exemple : un cas difficile
Section intitulée « Un petit exemple : un cas difficile »Prenez le cas difficile du schéma ci-dessus. Voici trois courts messages. Avant de poursuivre, choisissez une destination pour chacun.
| Message | Mots qui orientent le choix | Ce que le client veut |
|---|---|---|
| A. « I returned the chair two weeks ago. I still see the charge on my card. » | returned, charge | Un remboursement après un retour |
| B. « There are two charges of $89.99 on my card for one order. » | charges | La correction d’un montant facturé à tort |
| C. « Can I return the lamp if the colour is wrong? I have not ordered yet. » | return | De l’information avant d’acheter |
Le message A contient le mot « charge », mais le client veut un remboursement après un retour. L’équipe des retours fait le suivi des articles retournés. La destination est donc returns_refunds. Le message B concerne une erreur de facturation : deux montants facturés pour une seule commande. L’équipe de facturation corrige ces erreurs. La destination est donc billing. Le message C contient le mot « return », mais le client n’a encore rien acheté. C’est une question sur la politique de retour. La destination est donc product.
Les mots orientaient A vers billing et C vers returns_refunds. La règle « étiquetez la demande, pas les mots » a donné une réponse différente pour les deux. Chloé en a fait un court parcours de décision, identique pour tout le monde :
Description textuelle du diagramme
Le parcours commence par une question : la demande principale concerne-t-elle la sécurité, un avocat, la presse ou un gestionnaire? Si oui, la destination est needs_person. Sinon, la deuxième question demande : le client a-t-il retourné un article, ou souhaite-t-il le faire? Si oui, la destination est returns_refunds, par exemple pour un remboursement après un retour. Sinon, la troisième question demande : le montant facturé est-il erroné, par exemple en double ou trop élevé, ou le paiement a-t-il échoué? Si oui, la destination est billing. Sinon, le message appartient à une autre destination, et l’annotateur lit le tableau des destinations.
L’ordre des questions fait partie de la règle. La question needs_person vient en premier. Une réponse d’équipe à un problème de sécurité ou à une menace juridique aggrave la situation. Mais la question porte sur la demande principale, pas sur chaque phrase. La section ci-dessous sur les mentions en passant explique ce choix.
Le guide de Larkfield en une page
Section intitulée « Le guide de Larkfield en une page »Chloé a écrit le guide de Larkfield avec Grace, la responsable du soutien. Grace est responsable des six équipes. Elle sait donc quelle équipe doit agir en premier. Le texte complet se trouve dans data/guidelines.md dans votre projet. Le voici en une page :
Description textuelle du diagramme
La fiche a un titre bleu : Guide d’étiquetage de Larkfield, une destination par message. En dessous, la première règle : étiquetez la demande, pas les mots; que veut le client que Larkfield fasse? Une deuxième ligne indique : deux demandes, étiquetez la principale, généralement la première ou la plus urgente.
Puis sept lignes, une par destination, avec une règle et un exemple. orders : modifier ou annuler une commande avant son expédition; « Cancel LK-123456, I ordered it twice. » delivery : où est un colis, en retard, perdu, livré mais non reçu; « Tracking says delivered, nothing at my door. » returns_refunds : retour, échange, article arrivé endommagé ou incorrect, remboursement après un retour; « I sent the chair back. When do I get my money? » billing : montant facturé en double ou erroné, paiement échoué, facture, code ou carte-cadeau; « Two charges of $89.99 for one order. » product : question sur un produit avant ou après l’achat, et garantie; « Can the bench stay outside in winter? » account : connexion, renseignements, courriels et utilisation du compte par quelqu’un d’autre; « Someone changed my email and placed an order. » needs_person : la demande principale concerne la sécurité, une menace juridique ou médiatique, ou un gestionnaire; « The heater started smoking. »
Puis les cas difficiles entre deux destinations. Un remboursement après un retour va à returns_refunds; un montant facturé à tort va à billing. Un article arrivé endommagé ou incorrect va à returns_refunds; un article non reçu va à delivery. Une question sur la politique de retour avant l’achat va à product; un retour après l’achat va à returns_refunds. Un article brisé après des semaines d’utilisation va à product; un article brisé à l’arrivée va à returns_refunds. Une commande pas encore expédiée va à orders; une commande expédiée va à delivery. Quand la demande principale concerne la sécurité, un avocat, la presse ou un gestionnaire, elle va à needs_person. Quand la demande principale concerne l’utilisation du compte par quelqu’un d’autre, elle va à account. Quand un de ces problèmes est seulement mentionné en passant, le message garde la destination de la demande principale. Il reçoit une priorité plus élevée et une marque pour qu’une personne le lise.
En bas, sur fond orange : vous hésitez? Notez votre meilleur choix et marquez le message pour révision. N’utilisez jamais une destination comme étiquette d’incertitude.
Quatre choix sur cette fiche demandent une explication.
Deux demandes dans un message
Section intitulée « Deux demandes dans un message »Environ un message sur huit dans la boîte de réception demande deux choses. Par exemple : « My card was charged more than the order total. I would also like to return the sun lounger. » Le cours donne à chaque message une destination : l’équipe qui agit en premier. Le guide indique d’étiqueter la demande principale, généralement la première ou la plus urgente. Ce message va donc à billing. La deuxième demande n’est pas perdue : les données la gardent dans la colonne routes. Plus tard, Les messages à plusieurs étiquettes, dans le module 7, achemine certains de ces messages à deux équipes.
Sécurité, menaces juridiques et prises de contrôle mentionnées en passant
Section intitulée « Sécurité, menaces juridiques et prises de contrôle mentionnées en passant »Certains messages mentionnent un problème grave en passant. En voici deux de la boîte de réception :
| Message (abrégé) | Destination dans les données |
|---|---|
| « I’m still waiting for order LK-940779, and it’s been 10 days. If this isn’t resolved, I may need to contact a consumer protection office. » | delivery |
| « Order LK-861033 was due on Nov 14 and still hasn’t arrived. Also, my son got hurt on a sharp edge; and SPRING15 didn’t work on LK-189512. » | delivery |
Les deux mentionnent un élément de la liste needs_person : une menace juridique, un enfant blessé. Mais leur demande principale concerne un colis en retard. L’équipe de Larkfield a pris une décision à ce sujet et l’a écrite sur la fiche :
- La destination suit la demande principale. Une demande principale concernant la sécurité, une menace juridique ou une prise de contrôle du compte va à
needs_personouaccount. - Une mention en passant ne change pas la destination. Elle augmente la priorité du message. L’annotateur le marque pour qu’une personne le lise.
Pourquoi ce choix? Grace veut que chaque équipe soit responsable des demandes qu’elle peut résoudre. L’équipe de livraison peut trouver le colis. La règle garde aussi un seul sens pour chaque étiquette : l’équipe qui agit en premier.
Cette décision comporte un risque, et l’équipe l’a accepté en connaissance de cause. Un modèle entraîné sur ces étiquettes envoie un tel message à une équipe, pas à une personne plus expérimentée. Si la marque ou la priorité plus élevée se perd en chemin, une équipe répond à un message qui mentionne une blessure. Le tableau des coûts attribue 40 $ US à un message needs_person envoyé à une équipe. C’est dix fois le coût habituel d’une mauvaise file. La marque fait donc partie de la règle. Ce n’est pas un ajout facultatif. Plus tard dans le cours, le routeur utilise la priorité et une zone de révision pour repérer ces messages.
L’incertitude n’est pas une destination
Section intitulée « L’incertitude n’est pas une destination »Sans règle, une personne qui hésite choisit souvent la destination avec le plus de messages, ou celle que l’équipe peut changer plus tard. Les deux habitudes enseignent quelque chose de faux au modèle. Le guide indique donc : notez votre meilleur choix et marquez le message pour révision. La marque est distincte de l’étiquette. Les leçons suivantes utilisent ces marques pour voir où le guide manque encore de clarté.
Messages en français
Section intitulée « Messages en français »La boîte de réception contient des messages en anglais et en français. Le guide ne change pas selon la langue : un remboursement après un retour est returns_refunds dans les deux langues. Les noms de produits restent en anglais, car ce sont les noms du catalogue de Larkfield. Chloé est bilingue. Elle étiquette donc les messages dans les deux langues.
Exercice guidé : étiqueter dix messages
Section intitulée « Exercice guidé : étiqueter dix messages »Voici dix messages de la boîte de réception. Ils sont synthétiques : nous les avons créés pour ce cours. Étiquetez chacun avec la fiche ci-dessus. Notez vos dix destinations avant d’ouvrir la réponse.
| # | Message (abrégé) |
|---|---|
| 1 | “My corner sofa broke after 13 days. One part gave way. Would that be covered by the warranty?” |
| 2 | “Which courier delivers large items like the garden hose?” |
| 3 | “The password reset says my email isn’t registered, even though I’ve placed orders before.” |
| 4 | “I’m upset to see a second charge of $232.35 on my statement. Why was I charged twice? I was looking at your return policy before buying.” |
| 5 | “J’ai retourné le produit water bottle il y a 6 jours, mais je n’ai pas encore reçu le remboursement.” |
| 6 | “My son cut his hand on the folding chair because the edge is very sharp. Could you let me know what can be done?” |
| 7 | “My card was charged $204.52, more than the order total. Please fix this. I’d also like to return the sun lounger: it doesn’t fit on my balcony.” |
| 8 | “Can the courier leave my parcel LK-808134 with my neighbour at number 12? Also, please update my phone number and my default address.” |
| 9 | “Ça fait trois courriels et deux clavardages sans réponse. Je veux parler à un superviseur. Aussi, ma commande LK-559315 n’est toujours pas arrivée.” |
| 10 | “Could you please take care of the thing I mentioned in my last email for LK-174207? Also, do you know when that item will be back in stock?” |
Afficher les destinations révisées
| # | Destination révisée | La règle qui tranche |
|---|---|---|
| 1 | product |
Le produit s’est brisé après quelques jours d’utilisation, et la personne pose une question sur la garantie. Un produit brisé à l’arrivée irait dans returns_refunds. |
| 2 | delivery |
Le guide place les frais et les zones de livraison dans delivery. Une question sur le transporteur est du même type, même avant une commande. |
| 3 | account |
Connexion et mot de passe. Rien n’indique qu’une autre personne utilise le compte. Ce n’est donc pas une prise de contrôle, mais la destination reste account. |
| 4 | billing |
Un montant facturé deux fois. Le message mentionne la « politique de retour », mais la personne ne veut pas retourner un produit. |
| 5 | returns_refunds |
Un remboursement après un retour. Les règles sont les mêmes en français. |
| 6 | needs_person |
La demande principale concerne un enfant blessé : un problème de sécurité. |
| 7 | billing |
Deux demandes. La première, un montant facturé incorrect, est la demande principale. Les données conservent la deuxième destination, returns_refunds, dans routes. |
| 8 | delivery |
Deux demandes. La première concerne le colis. La deuxième destination, account, reste dans routes. |
| 9 | needs_person |
La demande principale, écrite en premier, est de parler à un superviseur après plusieurs tentatives. La commande en retard est la deuxième demande. |
| 10 | billing |
C’est l’étiquette révisée, mais rien dans le texte ne renvoie à la facturation. Le message fait référence à un courriel précédent. Un annotateur attentif note sa meilleure estimation et signale le message pour révision. |
Si vous avez obtenu les mêmes destinations pour au moins 8 messages, la fiche fonctionne pour vous. Le message 10 montre une vraie limite : aucun guide ne peut trancher à partir du texte seul. C’est pourquoi le guide indique quoi faire en cas d’incertitude.
Pour chaque désaccord, trouvez la ligne de la fiche qui tranche. Si aucune ligne ne tranche, vous avez trouvé une lacune dans le guide. Les vrais guides évoluent ainsi : chaque désaccord que la fiche ne peut résoudre devient un nouveau cas difficile.
À vous : rédigez un cas difficile
Section intitulée « À vous : rédigez un cas difficile »Le message 8 montre une paire que la fiche ne couvre pas : delivery et account. La personne demande au transporteur de faire quelque chose, puis demande de changer l’adresse par défaut dans son compte.
Rédigez une ligne pour ce cas difficile dans la fiche, selon le même format que les autres. Indiquez les deux destinations, celle à choisir et pourquoi. Utilisez le tableau des coûts pour déterminer quelle erreur coûte le plus cher.
Afficher une réponse possible
« Une demande concernant un colis expédié et un changement à l’adresse enregistrée → delivery. Le colis est en route; le changement au compte peut attendre. Si la personne dit que quelqu’un d’autre a changé l’adresse, c’est une prise de contrôle du compte → account. »
La deuxième phrase compte le plus. Une prise de contrôle du compte non détectée coûte 200 $ US dans le tableau des coûts du cours. C’est le coût le plus élevé. La règle nomme donc le seul signe qui change la réponse.
Quand le guide aide, et ce qu’il coûte
Section intitulée « Quand le guide aide, et ce qu’il coûte »Rédigez le guide avant que quelqu’un commence l’étiquetage. Conservez-le avec les étiquettes dans le même projet. Modifiez-le lorsqu’un désaccord révèle une lacune, et donnez une date ou un numéro à chaque version. Un modèle entraîné sur les étiquettes de la version 1 a appris les règles de cette version.
Le guide demande du temps. Quelqu’un doit rédiger la première version avec les responsables d’équipe. Chaque nouveau cas difficile demande une autre courte discussion. Une règle que personne ne lit coûte autant et n’aide en rien. Gardez donc le guide court : une page, avec le texte complet comme référence.
Le guide ne remplace pas une vérification. Il rend l’accord possible; il ne le prouve pas. La prochaine leçon mesure à quelle fréquence deux personnes qui suivent ce guide sont vraiment d’accord.
Erreur courante
Un guide qui est une règle par mots-clés
Symptôme : Pour gagner du temps, une équipe rédige son guide sous forme de liste de mots. « Si le message contient remboursement ou retour, donnez-lui l’étiquette returns_refunds. » L’étiquetage est rapide, et deux personnes qui suivent ce guide sont d’accord sur presque tout.
Cause : Le guide étiquette les mots, pas la demande. C’est la règle par mots-clés de Tomás dans Un message dans la mauvaise file, écrite pour des personnes. Une question avant une commande, comme « Can I return the lamp if the colour is wrong? » (puis-je retourner la lampe si la couleur ne convient pas?), reçoit returns_refunds. Les personnes qui suivent un guide par mots-clés reproduisent l’erreur dans les étiquettes, et le modèle l’apprend.
Solution : Commencez chaque règle par ce que la personne veut que Larkfield fasse. Utilisez les mots seulement comme exemples. Ajoutez le cas difficile « une question sur la politique de retour avant l’achat → product ».
Conséquence pour le travail en IA : Un accord élevé entre les personnes ne prouve pas que les étiquettes sont justes. Deux personnes peuvent être parfaitement d’accord sur une règle erronée. Ensuite, chaque modèle, des règles par mots-clés à un LLM, apprend la mauvaise règle à partir des étiquettes. Le score mesuré sur ces étiquettes semble bon.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Deux personnes attentives étiquettent le même type de message de deux façons différentes. Pourquoi aucun changement au modèle ne peut-il régler cela, et quelle est la solution?
Afficher la réponse
Le modèle apprend seulement à partir des étiquettes. Si les données d’entraînement donnent deux étiquettes au même type de message, le modèle apprend que les deux sont possibles. Il devine ensuite pour les nouveaux messages. Un modèle plus grand ou plus récent apprend la même confusion. La solution se trouve dans les étiquettes : une règle écrite pour ce cas difficile, afin que les deux personnes choisissent la même destination. Il faut ensuite des étiquettes qui suivent la règle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Étiquetez ce message avec le guide de Larkfield et nommez la règle qui tranche : « Je veux retourner le banc de jardin, il est arrivé avec un pied cassé. Aussi, ma fille s'est égratigné le bras sur une vis desserrée. »
Afficher la réponse
returns_refunds, avec une priorité plus élevée et un signalement. La demande principale est le retour d’un article arrivé brisé : un produit brisé à l’arrivée va dans returns_refunds. La blessure est mentionnée en passant, donc la destination suit la demande principale. Selon le guide de l’équipe, une mention de sécurité en passant augmente la priorité et entraîne un signalement. Une personne lit donc le message. Si la blessure était la demande principale, la destination serait needs_person.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un annotateur hésite devant un message vague et choisit la destination la plus fréquente, la livraison, « parce qu'on peut le déplacer plus tard ». Quel est le problème avec cette habitude, et que dit plutôt le guide?
Afficher la réponse
L’étiquette enseigne au modèle que les messages vagues concernent la livraison, ce qui est faux. Un autre annotateur peut avoir une autre habitude, donc les étiquettes divergent aussi. Le guide dit : notez votre meilleure estimation à partir des faits du message, et signalez le message pour révision. Le signalement est distinct de l’étiquette. Il montre donc où le guide manque encore de clarté.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle apprend seulement à partir de ses étiquettes. Si deux personnes attentives étiquettent le même type de message différemment, le modèle apprend les deux possibilités et devine.
- Le guide d’étiquetage règle ce problème : une règle prioritaire (« étiquetez la demande, pas les mots »), une règle et un exemple par destination, une règle pour chaque cas difficile entre deux destinations, et la marche à suivre en cas d’incertitude.
- Le cas difficile
returns_refundsoubillingdevient trois questions dans un ordre fixe. La première demande si la demande principale nécessite une personne. - La destination suit la demande principale. Un problème de sécurité, une menace juridique ou une prise de contrôle mentionnés en passant augmentent la priorité et entraînent un signalement. C’est une décision d’équipe avec un risque connu.
- Un message avec deux demandes reçoit la destination principale; la deuxième reste dans
routes. « Pas sûr » est un signalement pour révision, jamais une destination. - Un guide rédigé comme une liste de mots est une règle par mots-clés. Les personnes sont d’accord, mais la règle reste erronée.
Vous pouvez maintenant rédiger un guide que deux personnes peuvent suivre. Mais donnent-elles vraiment les mêmes étiquettes? Ensuite, Chloé et Grace étiquettent les mêmes 800 messages, et nous mesurons à quelle fréquence elles sont d’accord.
Leçon suivante : Mesurer l'accord