Concevoir les étiquettes
- Leçon 2
- 30 min
- Module 1 : Le problème du routage et son coût
Où nous en sommes
Nous avons vu le coût d'un message dans la mauvaise file d'attente. Avant qu'un modèle puisse aider, nous devons définir les étiquettes. Dans cette leçon, nous séparons les équipes, les sujets, la priorité et les actions. Nous ajoutons aussi une étiquette pour les messages qu'une personne doit lire en premier.
Leçon 2 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitConcevoir les étiquettes
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Déterminez les questions auxquelles un routeur doit répondre, et donnez à chaque question ses propres étiquettes. Des étiquettes qui mélangent deux questions nuisent à tous les modèles à venir. C’est aussi le cas si aucune étiquette ne signifie « une personne doit lire ceci ».
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les sept destinations de Larkfield et le coût d’un message dans la mauvaise file, présentés dans Un message dans la mauvaise file.
- Une étiquette est la bonne réponse à partir de laquelle un modèle apprend. L’apprentissage supervisé, dans le cours sur l’apprentissage automatique, explique les étiquettes.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code.
Adresse, timbre et casier
Section intitulée « Adresse, timbre et casier »Retournons au bureau de poste. Une lettre porte plusieurs renseignements, et chacun répond à une question différente. L’adresse indique quelle camionnette la transporte. La rue dans ce secteur indique où le conducteur s’arrête. Un timbre rouge express indique qu’elle doit partir en premier. Une étiquette recommandé indique qu’une personne doit signer à la réception.
La commis ne mélange pas ces renseignements. Elle ne crée pas un casier appelé « secteur nord, express, recommandé ». Elle met la lettre dans le casier nord, en haut de la pile à cause du timbre. Un casier pour chaque combinaison remplirait le mur, et la plupart resteraient vides.
Certaines lettres sont différentes. Un colis qui dégage une odeur étrange ne va dans aucun casier de camionnette. On le place volontairement sur le bureau de la superviseure, avant que quelqu’un d’autre y touche.
Quatre questions sur un seul message
Section intitulée « Quatre questions sur un seul message »Voici un vrai message de la boîte de réception de Larkfield, M-100006, envoyé sur les réseaux sociaux :
@Larkfield, tracking for LK-950908 hasn’t moved in 19 days—is my pizza stone lost? Please look into it urgently, and cancel LK-520899 too; I don’t need it anymore.
Ce seul message répond à plusieurs questions, et chaque réponse sert à une personne différente :
| Question | Réponse pour M-100006 | Qui utilise la réponse |
|---|---|---|
| Quelle équipe doit agir en premier? (la destination) | delivery (livraison) |
Le routeur : quelle file reçoit le message |
| Quel est le sujet précis pour cette équipe? (le sujet) | late_delivery (livraison en retard) |
L’équipe : modèles de réponse, rapports, spécialiste approprié |
| À quelle vitesse devons-nous répondre? (la priorité) | urgent (urgent) |
La file : à quoi répondre en premier |
| Quelle langue, quel canal? | Anglais, réseaux sociaux | Grace : un agent francophone; le style de la réponse |
La destination et le sujet se ressemblent, mais ils répondent à des questions différentes. La destination indique qui agit. Le sujet indique ce que l’équipe doit faire. La priorité est une troisième question : un message urgent et un message normal peuvent aller à la même équipe. La langue est une quatrième question : un petit programme peut la détecter, comme le montre le module 7.
La première règle de conception des étiquettes est donc : une question, un ensemble d’étiquettes. Chaque question a sa propre colonne dans les données, puis son propre modèle ou sa propre règle. Dans les données de Larkfield, les colonnes sont route, topic, priority, language et channel.
Les actions ne sont pas des étiquettes
Section intitulée « Les actions ne sont pas des étiquettes »Vous voudrez peut-être aussi savoir ce que l’équipe fera : rembourser, remplacer, envoyer un livreur. C’est une action, et l’équipe la décide après avoir lu le message. Un routeur qui tente de prédire les actions prend des décisions qui reviennent aux personnes. Le routeur de Larkfield s’arrête à la destination, au sujet et à la priorité. L’équipe choisit l’action.
Une étiquette, plusieurs étiquettes ou deux niveaux
Section intitulée « Une étiquette, plusieurs étiquettes ou deux niveaux »Relisez M-100006. Le message demande deux choses : retrouver un colis perdu (delivery) et annuler une autre commande (orders, commandes). Comment un système d’étiquettes devrait-il gérer cela? Il existe trois structures courantes.
Description textuelle du diagramme
En haut se trouve le message M-100006, envoyé sur les réseaux sociaux. Le suivi de la commande LK-950908 n’a pas bougé depuis 19 jours : la pierre à pizza est-elle perdue? Vérifiez cela de toute urgence, et annulez aussi LK-520899. Trois flèches mènent à trois structures côte à côte (l’une sous l’autre sur un téléphone). La première structure utilise une étiquette unique : le message reçoit seulement « delivery ». La note indique : une file, et la deuxième demande attend ou se perd. La deuxième structure utilise plusieurs étiquettes, soit une structure multiétiquette : le message reçoit « delivery » et « orders », avec « orders » en évidence. La note indique : deux files, ou une file qui transmet le message. La troisième structure comporte deux niveaux, soit une hiérarchie : d’abord « delivery », puis une flèche vers le sujet « late_delivery ». La note indique : d’abord l’équipe, puis son sujet.
- À étiquette unique. Chaque message reçoit exactement une destination. C’est la structure la plus simple : un message, une file. Le risque est de manquer facilement une deuxième demande. L’équipe doit la remarquer et la transmettre.
- Multiétiquette. Un message peut recevoir plusieurs destinations en même temps. Cela convient aux messages contenant deux demandes. Mais le routeur doit maintenant décider combien d’étiquettes attribuer. Deux équipes peuvent aussi répondre deux fois au même client.
- Hiérarchie. Les étiquettes ont des niveaux : d’abord l’équipe, puis le sujet au sein de l’équipe. Un modèle peut choisir l’équipe en premier, puis le sujet parmi ceux de cette équipe seulement. Deux niveaux permettent aussi de produire des rapports par équipe ou par sujet.
Le choix de Larkfield
Section intitulée « Le choix de Larkfield »Grace a choisi une seule destination par message : la demande principale. Le guide indique que la demande principale est généralement la première, ou celle qui est urgente. Les données conservent l’ensemble des demandes dans une deuxième colonne, routes. Elle contient une ou deux demandes séparées par |. Pour M-100006, route vaut delivery et routes vaut delivery|orders.
Dans l’historique de 10 000 messages, 1 255 contiennent deux demandes. Dans 106 d’entre eux, les deux demandes concernent la même équipe. Par exemple, M-100979 signale une prise de contrôle de compte et demande sa suppression. Sa valeur de routes est donc account|account. Les 1 149 autres messages nécessitent deux équipes différentes. Le module 7 revient sur ces messages et en achemine certains vers deux files.
Larkfield utilise aussi deux niveaux : 7 destinations et 27 sujets répartis entre elles. Chaque sujet appartient à une seule destination. Les sujets forment donc une hiérarchie sous les destinations. Le module 7 compare un modèle qui choisit l’équipe puis le sujet avec un modèle à plat.
L’arbre des étiquettes de Larkfield
Section intitulée « L’arbre des étiquettes de Larkfield »Voici toutes les étiquettes de Larkfield, avec leur nombre de messages dans l’historique de 10 000 messages.
Description textuelle du diagramme
Le diagramme comporte sept lignes, une par destination, avec la destination à gauche et ses sujets à droite. Commandes, 1 428 messages : modifier une commande 511, annuler une commande 491, autres questions sur les commandes 220, confirmation manquante 206. Livraison, 2 318 : livraison en retard 1 235, livré mais non reçu 448, nouvelle date de livraison 427, autres questions sur la livraison 208. Retours et remboursements, 2 015 : commencer un retour 715, état d’un remboursement 600, article endommagé 509, échange 191. Facturation, 1 329 : double facturation 518, facture 329, paiement échoué 284, code promotionnel 198. Produit, 1 440 : question sur un produit 720, stock 299, aide au montage 284, garantie 137. Compte, 979 : problème de connexion 406, modifier les renseignements personnels 299, supprimer le compte 206, prise de contrôle de compte 68, en évidence. Needs_person, 491, aussi en évidence : plainte transmise à un responsable 241, problème de sécurité 159, menace de poursuite 91.
Trois choses ressortent :
- Les destinations n’ont pas la même taille.
deliverycompte 2 318 messages etneeds_person(besoin d’une personne) en compte 491. Un modèle voit les grandes destinations beaucoup plus souvent. - Un sujet est rare et coûteux.
account_takeover(prise de contrôle de compte) compte 68 messages dans tout l’historique, dont 44 dans les données d’entraînement. Quelqu’un d’autre a utilisé le compte du client. Le message doit parvenir immédiatement à l’équipe des comptes. Le module 7 traite de ce genre de classe rare. - « Autre » reste au sein d’une équipe.
orders_other(autres questions sur les commandes) etdelivery_other(autres questions sur la livraison) regroupent les questions d’une équipe sans sujet précis. L’équipe les reçoit quand même.
« Autre » et « besoin d’une personne », volontairement
Section intitulée « « Autre » et « besoin d’une personne », volontairement »Il est facile de mal définir deux types d’étiquettes.
Une destination « autre » au premier niveau est un piège
Section intitulée « Une destination « autre » au premier niveau est un piège »Il est tentant d’ajouter une destination de premier niveau appelée other (autre) pour tout ce qui est ambigu. Elle devient rapidement la plus grande destination, parce que chaque message difficile y aboutit. Personne n’en est alors responsable, et les messages difficiles attendent. Larkfield n’a pas de destination other au premier niveau. Une question ambiguë sur la livraison reste dans delivery, avec le sujet delivery_other. Quand l’annotateur ne peut pas du tout déterminer la destination, le guide dit : faites votre meilleur choix et demandez une révision. N’utilisez pas une destination comme case « pas sûr ».
needs_person est une décision sur le message
Section intitulée « needs_person est une décision sur le message »needs_person ne signifie pas « autre ». Cette destination a une règle claire : un problème de sécurité, une menace de poursuite ou de recours aux médias, ou une plainte demandant un gestionnaire après plusieurs tentatives. Quand c’est la demande principale, needs_person l’emporte sur toutes les équipes. Une mention en passant conserve la destination de la demande principale, augmente la priorité et reçoit un indicateur. Dans les données, cette destination a trois sujets : complaint_escalation (plainte transmise à un responsable, 241), safety_issue (problème de sécurité, 159) et legal_threat (menace de poursuite, 91).
« Pas sûr » n’est pas une étiquette
Section intitulée « « Pas sûr » n’est pas une étiquette »Ne confondez pas needs_person avec la file de révision des modules suivants. needs_person décrit le message : toute personne attentive le transmettrait à une personne plus expérimentée. La révision décrit la confiance du routeur : le modèle hésite sur ce message, alors une personne le vérifie. Un message clair sur un colis perdu peut aller en révision si le modèle hésite. Une menace de poursuite claire reçoit needs_person, même quand le modèle est sûr. Le module 8 construit la file de révision.
Ce qui fait un bon ensemble d’étiquettes
Section intitulée « Ce qui fait un bon ensemble d’étiquettes »Utilisez cette liste quand vous concevez des étiquettes pour une boîte de réception :
- Chaque étiquette mène à un responsable et à une action.
deliverysignifie « l’équipe de livraison agit ». Une étiquette qui pourrait appartenir à deux équipes entraîne des renvois entre elles. - Une question par ensemble d’étiquettes. La destination, le sujet, la priorité et la langue ont chacun leur propre colonne.
- Une règle claire et un exemple pour chaque étiquette, ainsi qu’une règle pour départager les paires que les gens confondent. Le guide de Larkfield contient un tableau de cas difficiles. Par exemple, un remboursement après un retour relève de
returns_refunds(retours et remboursements). Mais des frais incorrects relèvent debilling(facturation). - Une destination pour les messages qu’une personne doit lire en premier, avec une règle écrite. Celle de Larkfield est
needs_person. - Assez d’exemples par étiquette. Un modèle ne peut pas apprendre une étiquette avec trois exemples. Fusionnez-la avec une étiquette voisine, ou prévoyez de recueillir plus d’exemples.
- Une stabilité dans le temps. Des étiquettes qui changent chaque mois rendent toutes les anciennes étiquettes incorrectes. Lorsqu’un vrai changement survient, ajoutez volontairement une étiquette, comme le fait le module 9 pour un nouveau produit.
Les étiquettes sont une décision de produit, pas un détail technique. Grace en est responsable, parce qu’elles reflètent ses équipes. Priya vérifie qu’un modèle peut les apprendre. Chloé, une agente de soutien bilingue, rédige le guide et étiquette les messages. Le module 2 mesure à quelle fréquence deux annotateurs attentifs sont d’accord.
Erreur courante
Une étiquette pour chaque combinaison de questions
Symptôme : Tomás veut un seul modèle et une seule étiquette : « Créons des étiquettes comme late_delivery_urgent_fr. Une seule prédiction répondra à tout. » Cela semble efficace.
Cause : les étiquettes se multiplient. Larkfield a 27 sujets, 3 priorités et 2 langues, ce qui donne 27 × 3 × 2 = 162 étiquettes. Dans les 6 000 messages d’entraînement, 25 de ces combinaisons n’apparaissent jamais. Et 32 autres apparaissent moins de 10 fois. Un modèle ne peut pas apprendre une étiquette qu’il ne voit jamais. Il ne peut pas non plus apprendre grand-chose d’une étiquette qu’il voit cinq fois. Pire, la combinaison avec la langue est inutile : une livraison en retard nécessite la même équipe en français et en anglais.
Solution : une question, un ensemble d’étiquettes. Gardez route, topic, priority et language dans leurs propres colonnes. Répondez à chacune avec son propre modèle ou sa propre règle.
Conséquence dans le travail en IA : un système d’étiquettes combinées semble complet sur papier. En pratique, il répartit les exemples d’entraînement entre trop d’étiquettes. Le modèle échoue donc surtout sur les messages rares et urgents, ceux qui comptent le plus.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pour le message “Someone changed the email on my account and placed an order I didn’t make: LK-374535”, donnez la destination, un sujet probable et une priorité probable. Expliquez pourquoi ce sont trois étiquettes distinctes.
Afficher la réponse
Destination account, sujet account_takeover, priorité urgent. Il s’agit du message M-100529 dans les données, avec exactement ces étiquettes. Ce sont trois questions qui servent à trois utilisateurs. La destination détermine quelle équipe reçoit le message dans sa file d’attente. Le sujet indique à l’équipe des comptes quoi faire : verrouiller le compte d’abord. La priorité détermine l’ordre dans la file. Un message urgent peut relever de n’importe quelle équipe. La priorité ne fait donc pas partie de la destination.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un message demande de suivre un colis perdu et d'annuler une autre commande. Comparez le traitement par un modèle à étiquette unique, un modèle multiétiquette et une hiérarchie à deux niveaux. Quelle approche Larkfield utilise-t-elle, et où va la deuxième demande?
Afficher la réponse
Un modèle à étiquette unique attribue une seule destination. Une seule file reçoit donc le message, et la deuxième demande peut facilement passer inaperçue. Un modèle multiétiquette attribue à la fois delivery et orders. Deux équipes peuvent alors agir, mais le routeur doit décider combien d’étiquettes attribuer. Une hiérarchie attribue d’abord une équipe, puis un sujet au sein de cette équipe, par exemple delivery, puis late_delivery. Larkfield utilise une destination par message, selon la demande principale (habituellement la première), et deux niveaux : destination et sujet. La deuxième demande reste dans la colonne routes (delivery|orders). Le module 7 achemine certains de ces messages vers deux files.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quelle est la différence entre la destination needs_person et l'envoi d'un message en révision? Donnez un exemple de chaque cas.
Afficher la réponse
needs_person (besoin d’une personne) est une étiquette qui décrit le message. Une personne doit le lire d’abord. Il s’agit d’un problème de sécurité, d’une menace de poursuite ou de médiatisation, ou d’une plainte transmise à un niveau supérieur. “My son cut his hand on the swing seat” reçoit l’étiquette needs_person, peu importe la confiance du modèle. La révision est une décision liée à la confiance du routeur : le modèle hésite, donc une personne vérifie son choix. Une question claire sur un colis en retard peut quand même passer en révision si le modèle lui attribue une faible probabilité.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un message répond à plusieurs questions : la destination (qui agit), le sujet (quoi faire), la priorité (à quelle vitesse) et la langue. Une question, un ensemble d’étiquettes.
- Trois formes : à étiquette unique (une destination), multiétiquette (plusieurs destinations) et une hiérarchie (équipe, puis sujet). Larkfield utilise une destination par message, selon la demande principale, et 27 sujets répartis sous 7 destinations.
- 1 255 messages contiennent deux demandes; la deuxième reste dans la colonne
routes.account_takeoverest rare : 68 messages, dont 44 dans les données d’entraînement. - Aucune destination « autre » au premier niveau.
needs_personest une destination par choix, avec une règle écrite. La révision n’est pas une étiquette : c’est une décision liée à la confiance du routeur. - Mélanger les questions dans une seule étiquette donne 162 étiquettes, dont 25 n’apparaissent jamais dans les données d’entraînement.
Vous pouvez maintenant concevoir un système d’étiquettes. Mais ce système ne dit rien sur les erreurs les plus nuisibles. Une prise de contrôle de compte non détectée et une question de livraison dans la file des commandes comptent chacune pour « une erreur ». Ensuite, vous attribuerez un coût à chaque type d’erreur.
Leçon suivante : Le coût de chaque erreur