Les messages à plusieurs étiquettes
- Leçon 29
- 35 min
- Module 7 : Des formes d'étiquettes plus difficiles
Où nous en sommes
Jusqu'ici, chaque message avait une seule étiquette. Certains clients parlent de deux problèmes à la fois : une livraison en retard et une erreur de facturation. Dans cette leçon, nous entraînons un modèle par étiquette et choisissons un seuil pour chacun. Nous envoyons ensuite un message à deux files d'attente.
Leçon 29 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLes messages à plusieurs étiquettes
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Envoyez un message contenant deux demandes aux deux équipes qui doivent intervenir. Un routeur qui attribue une seule destination par message traite une demande et abandonne l’autre sans le signaler.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il trouve les messages contenant deux demandes et entraîne un modèle oui/non par destination. Il compare ensuite un seuil commun à toutes les destinations avec un seuil par destination. Il examine aussi les messages qui ne franchissent aucun seuil. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Vous n’avez donc rien à configurer localement. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les colonnes
routeetroutes, présentées dans Concevoir les étiquettes.routeindique la demande principale;routesénumère une ou deux demandes, séparées par|. - Les seuils et le score F1 (un nombre qui combine précision et rappel), présentés dans Le compromis entre précision et rappel du cours Apprentissage automatique : du problème à un modèle fiable.
- Le rappel par classe et le choix d’un seuil sur les données de validation, présentés dans Le déséquilibre et les classes rares.
Ce qu’il vous faut sur votre ordinateur : rien pour cette leçon. Le carnet fonctionne dans Colab, Kaggle ou VS Code. Le projet ne change pas dans ce module.
Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1.
Une enveloppe, deux services
Section intitulée « Une enveloppe, deux services »Retournons au bureau de poste. Une cliente envoie une enveloppe à l’hôtel de ville. Elle contient deux documents : un paiement pour une contravention de stationnement et un formulaire de changement d’adresse pour un permis de chien. La commis qui ouvre le courrier doit choisir un casier. Elle place l’enveloppe dans le casier « paiements », car le paiement est sur le dessus.
Le paiement est traité. Le formulaire du permis de chien ne l’est pas. Personne au service des paiements ne s’occupe des permis, et le formulaire reste dans une pile. La cliente a tout fait correctement. Une seule enveloppe nécessitait deux services.
Une bonne commis ferait une copie et enverrait aussi le formulaire au service des permis. Pour cela, elle doit remarquer que l’enveloppe contient deux demandes, et non une seule.
Le problème : une seule destination abandonne la deuxième demande
Section intitulée « Le problème : une seule destination abandonne la deuxième demande »Beaucoup de clients de Larkfield écrivent l’équivalent de cette enveloppe. Dans l’historique de 10 000 messages, 1 255 contiennent deux demandes. Dans les données de test, 258 contiennent deux demandes, et 229 nécessitent deux équipes différentes. Les 29 autres mentionnent deux fois la même équipe. Par exemple, une prise de contrôle de compte et une demande de suppression vont tous deux à account.
Voici l’un des 229 messages, écrit en français sur les réseaux sociaux (M-100007) : « @Larkfield, quand est-ce que le remboursement de 23.94 $ pour la commande LK-199513 va arriver? J’aurais aussi besoin d’un reçu pour l’achat du 23/10. … » Sa colonne routes indique returns_refunds|billing. Un remboursement concerne les retours; un reçu concerne la facturation.
Le routeur des modules précédents attribue une seule destination à chaque message. Ses sept scores totalisent toujours 1, donc les destinations sont en concurrence. Pour M-100007, il attribue 0,889 à returns_refunds et seulement 0,102 à billing. Il envoie le message à l’équipe des retours. L’équipe de facturation ne voit jamais la demande de reçu.
L’idée : une question oui/non par destination
Section intitulée « L’idée : une question oui/non par destination »La meilleure méthode de la commis consiste à poser une question distincte pour chaque service. « Cette enveloppe nécessite-t-elle le service des paiements? Nécessite-t-elle le service des permis? » Chaque question reçoit son propre oui ou non.
Un routeur peut faire la même chose. Au lieu d’un modèle qui choisit parmi sept destinations, nous entraînons sept modèles oui/non, un par destination. Le modèle de facturation répond seulement à « ce message nécessite-t-il la facturation? ». Il n’est pas en concurrence avec le modèle des retours. Cette méthode s’appelle un contre tous (one-vs-rest) : chaque modèle apprend à distinguer une destination de toutes les autres.
Une tâche où un élément peut avoir plusieurs étiquettes à la fois s’appelle la classification multiétiquette. Une tâche où chaque élément a exactement une étiquette, comme dans les modules précédents, s’appelle la classification multiclasse.
Toutes les valeurs d’un message
Section intitulée « Toutes les valeurs d’un message »Chaque modèle oui/non donne un score de 0 à 1. Les sept scores n’ont plus besoin de totaliser 1. Chaque destination a un seuil : elle reçoit un « oui » quand son score atteint son seuil. Pour M-100007, les sept modèles donnent ces scores :
| Destination | Score | Seuil | Oui? |
|---|---|---|---|
| returns_refunds | 0,968 | 0,30 | oui |
| billing | 0,898 | 0,20 | oui |
| orders | 0,012 | 0,35 | non |
| delivery | 0,010 | 0,35 | non |
| product | 0,008 | 0,25 | non |
| needs_person | 0,002 | 0,40 | non |
| account | 0,000 | 0,35 | non |
Comparez avec le routeur à destination unique. Dans celui-ci, la facturation obtenait 0,102, car les retours prenaient la plus grande part. Ici, la facturation obtient 0,898 de son propre modèle. Deux destinations franchissent leurs seuils, donc le message va dans deux files.
Description textuelle du diagramme
À gauche, le message M-100007, en français : « @Larkfield, quand est-ce que le remboursement de 23.94 $ pour la commande LK-199513 va arriver? J’aurais aussi besoin d’un reçu pour l’achat du 23/10. … » Au centre, sept barres horizontales, une par destination. La longueur de chaque barre correspond au score de la destination, de 0 à 1. Une ligne verticale foncée sur chaque barre indique le seuil de la destination. returns_refunds obtient 0,968, au-dessus de son seuil de 0,30. billing obtient 0,898, au-dessus de 0,20 : les deux barres sont vertes. orders à 0,012, delivery à 0,010, product à 0,008, account à 0,000 et needs_person à 0,002 restent bien sous leurs seuils de 0,25 à 0,40. À droite, deux flèches mènent aux files returns_refunds et billing.
Choisir les seuils
Section intitulée « Choisir les seuils »Pourquoi ne pas utiliser 0,5 pour chaque destination? Trois nombres montrent comment une version du routeur traite deux demandes. Nous les rapportons sur les 2 000 messages de test, une fois chaque version fixée :
- Deux destinations trouvées : combien des 229 messages nécessitant deux équipes obtiennent leurs deux destinations?
- Une deuxième destination par erreur : combien des 1 771 messages nécessitant une équipe obtiennent une deuxième destination inutile?
- Aucune destination : combien de messages ne franchissent aucun seuil?
Avec 0,5 partout, 209 des 229 messages obtiennent les deux destinations. Mais 95 messages ne franchissent aucun seuil. Une deuxième demande est souvent courte et écrite à la fin (« aussi, … »). Son modèle peut donc être moins sûr. Chaque destination a aussi son propre mélange de messages faciles et difficiles. Un seul nombre ne convient donc pas nécessairement aux sept.
Priya choisit donc un seuil par destination. Pour chaque destination, elle essaie 0,10, 0,15, … 0,90 sur les messages de validation. Elle garde le seuil qui donne le meilleur score F1 pour cette destination. Résultat : billing à 0,20, product à 0,25, returns_refunds à 0,30, orders, delivery et account à 0,35, et needs_person à 0,40.
Description textuelle du diagramme
Trois paires de barres horizontales. Les barres grises représentent 0,50 pour chaque destination. Les barres bleues représentent un seuil par destination, choisi sur les données de validation. Première paire, messages nécessitant deux équipes dont les deux destinations sont trouvées, sur 229 (plus est mieux) : 209 en gris, 220 en bleu. Deuxième paire, messages nécessitant une équipe mais recevant une deuxième destination, sur 1 771 (moins est mieux) : 11 en gris, 43 en bleu. Troisième paire, messages ne franchissant aucun seuil, sur 2 000 (moins est mieux) : 95 en gris, 45 en bleu.
Quels sont les résultats?
Section intitulée « Quels sont les résultats? »Avec un seuil par destination, sur les messages de test de cette boîte de réception :
- Deuxième destination trouvée : 0,961. 220 des 229 messages nécessitant deux équipes atteignent les deux équipes.
- Correspondance exacte : 0,952. Pour 218 des 229 messages, l’ensemble des destinations est parfaitement correct : les deux équipes, sans troisième. La correspondance exacte est la mesure la plus stricte pour la classification multiétiquette. Une seule étiquette erronée ou manquante rend le message entier incorrect.
- Une deuxième destination par erreur : 2,4 %. 43 des 1 771 messages nécessitant une équipe sont envoyés à une deuxième équipe inutile.
- Aucune destination : 2,2 %. 45 messages ne franchissent aucun seuil. Le cas d’échec ci-dessous montre quoi en faire.
Rappelez-vous que la boîte de réception de Larkfield est plus facile qu’une vraie. Un modèle classique y route déjà correctement 96,2 % des messages. Une vraie boîte de réception peut contenir des deuxièmes demandes plus vagues. L’étude de cas Étiqueter des articles scientifiques avec beaucoup d’étiquettes montre la classification multiétiquette sur des données réelles.
Deux files en pratique
Section intitulée « Deux files en pratique »Grace a une inquiétude. « Si deux équipes reçoivent le message, le client recevra-t-il deux réponses? » Un modèle peut trouver deux destinations. Il ne peut pas décider qui répond. C’est une règle d’équipe, et Larkfield la met par écrit :
- La destination principale (le score le plus élevé) est responsable de la réponse au client.
- La deuxième équipe reçoit une tâche liée au même message pour faire sa part. Ici, la facturation envoie le reçu.
- La réponse indique que les deux demandes sont traitées.
Chaque deuxième destination coûte quelques minutes à une deuxième équipe. Quand c’est une erreur (2,4 % des messages nécessitant une équipe ici), ce temps est perdu. Le tableau des coûts du cours n’attribue pas encore de prix à cela. Grace en ajoute un après l’avoir mesuré. Sans deuxième destination, le coût est différent : un reçu qui n’arrive jamais et un client qui écrit de nouveau.
Quand utiliser le routage multiétiquette
Section intitulée « Quand utiliser le routage multiétiquette »- Utilisez-le quand une part notable des messages contient deux demandes nécessitant deux équipes. Ici, 229 des 2 000 messages de test représentent environ 11 % : le travail en vaut la peine.
- Utilisez-le quand manquer une deuxième demande a un coût réel, comme un remboursement qui n’arrive jamais.
- Ne l’utilisez pas quand deux demandes nécessitent rarement deux équipes, ou qu’une équipe peut transférer la rare deuxième demande. Une seule destination par message est plus simple à entraîner, à mesurer et à expliquer.
- Ce qu’il coûte : sept modèles au lieu d’un (chacun s’entraîne en quelques secondes ici), et sept seuils à choisir et à surveiller. Il faut aussi une règle d’équipe pour déterminer qui répond, et des étiquettes qui énumèrent toutes les demandes.
Exercice guidé : deux destinations dans le carnet
Section intitulée « Exercice guidé : deux destinations dans le carnet »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, prédisez combien de messages de test contiennent deux demandes. Exécutez ensuite les cellules. Vous voyez
history: 1255 of 10000 | test: 258 of 2000(historique : 1 255 sur 10 000; test : 258 sur 2 000) ettest messages that need two teams: 229(messages de test nécessitant deux équipes : 229). - Dans la section 2, exécutez la cellule. M-100007 obtient
returns_refunds 0.968etbilling 0.898. - Dans la section 3, exécutez la cellule. Avec 0,50 partout, vous voyez
209,11et95. - Dans la section 4, écrivez la recherche de seuils. La vérification indique
Check passed: thresholds is right.(vérification réussie : thresholds est correct). - Exécutez la cellule suivante. Vous voyez une correspondance exacte de
0.952, une deuxième destination trouvée de0.961et2.4%.
À vous : un seul seuil bas pour toutes les destinations
Section intitulée « À vous : un seul seuil bas pour toutes les destinations »Tomás demande : « Pourquoi choisir sept nombres? Utilisez 0,30 pour chaque destination. » Dans le carnet, exécutez outcome({r: 0.3 for r in ROUTES}). Avant de l’exécuter, prédisez : mieux ou moins bien que les seuils par destination?
Afficher la réponse
pd.Series(outcome({r: 0.3 for r in ROUTES}))two-team messages with both routes found 222two-team messages exactly right 221one-team messages given a second route 42messages with no route 39dtype: int64Sur ces messages de test, 0,30 partout est un peu mieux que les seuils par destination. Ce seuil trouve les deux destinations pour 222 messages contre 220. Il laisse 39 messages sans destination contre 45. L’essentiel du gain vient du passage sous 0,50, et non de l’ajustement de chaque destination. Sept nombres choisis sur 2 000 messages de validation peuvent s’adapter un peu trop bien à ces messages.
Attention toutefois à ce résultat. Nous avons comparé les deux sur les données de test. Celles-ci ne permettent donc plus de les départager équitablement. Une comparaison équitable choisit les deux sur les données de validation. La leçon reste utile. Commencez par le choix le plus simple. Gardez un seuil par destination seulement si son avantage sur les données de validation dépasse le bruit.
Erreur courante
Un message sans destination
Symptôme : 45 messages de test ne franchissent aucun seuil. Le routeur renvoie une liste vide, et le message ne se trouve dans aucune file. Personne n’y répond.
Cause : chaque modèle oui/non peut dire « non » indépendamment. Dans un routeur à destination unique, la destination au score le plus élevé gagne toujours. Cela ne peut donc pas arriver. Ici, un message vague obtient un score bas partout. Par exemple, M-100173 dit : « @Larkfield, je vous ai écrit à propos de LK-519186 — voir mon dernier courriel. Ça me contrarie un peu 😕 » Son score le plus élevé est delivery à 0,268, sous le seuil de livraison de 0,35.
Solution : n’abandonnez jamais un message. Quand aucune destination ne franchit son seuil, envoyez le message à celle qui a le score le plus élevé. Ou transférez-le à une personne si ce score est bas. Le prochain module construit cette règle : une zone de révision pour les messages incertains. Comptez aussi les réponses vides dans chaque rapport.
Conséquence pour le travail en IA : chaque système multiétiquette doit répondre à deux nouvelles questions. Que faire si rien ne franchit les seuils? Que faire si trop de destinations les franchissent? Le cas inverse arrive aussi ici : M-100027 demande d’ajouter une carte-cadeau à une commande. Il obtient billing à 0,858 et aussi orders à 0,438, au-dessus de 0,35. L’équipe des commandes reçoit donc une copie inutile.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le routeur à destination unique attribue à M-100007 returns_refunds à 0,889 et billing à 0,102. Le modèle oui/non de facturation attribue billing à 0,898. Expliquez pourquoi les deux nombres pour billing sont si différents.
Afficher la réponse
Dans le routeur à destination unique, les sept scores doivent totaliser 1 : les destinations se partagent un même total. Les retours en prennent la plus grande part, donc la facturation n’obtient que 0,102. Avec la méthode un contre tous, le modèle de facturation répond seulement à sa propre question : « ce message nécessite-t-il la facturation? ». Il n’est pas en concurrence avec les retours. Le message demande clairement un reçu, donc le modèle de facturation donne 0,898. Les deux modèles lisent le même message; ils répondent à des questions différentes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : vous abaissez tous les seuils de 0,50 à 0,10. Qu'arrive-t-il aux deuxièmes destinations trouvées, aux deuxièmes destinations attribuées par erreur et aux messages sans destination?
Afficher la réponse
Plus de deuxièmes destinations sont trouvées, car davantage de scores franchissent les seuils. Plus de messages nécessitant une équipe reçoivent aussi une deuxième destination par erreur. Ce nombre augmente vite : beaucoup de scores faibles franchissent 0,10. Moins de messages restent sans destination. Dans cette boîte de réception, passer de 0,50 aux seuils par destination (0,20 à 0,40) a eu trois effets. Le nombre de messages dont les deux destinations sont trouvées est passé de 209 à 220. Les erreurs sont passées de 11 à 43. Les messages sans destination sont passés de 95 à 45. À 0,10, les erreurs augmenteraient encore, et chacune coûte du temps à une équipe. Choisissez les seuils sur les données de validation, en tenant compte des coûts.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
En pratique : votre routeur envoie maintenant 11 % des messages à deux équipes. Nommez deux choses, autres que le modèle, à décider avant de l'activer.
Afficher la réponse
D’abord, qui répond au client. Par exemple, la destination principale est responsable de la réponse, et la deuxième équipe reçoit une tâche liée. Le client ne reçoit donc pas deux réponses. Ensuite, ce qui arrive quand aucune destination ne franchit son seuil. Envoyez le message à la destination au score le plus élevé ou à une personne, sans jamais l’abandonner. Autre point utile : comment rapporter les résultats (correspondance exacte et deuxième destination trouvée, avec les nombres de messages). Il faut aussi des étiquettes qui énumèrent toutes les demandes pour pouvoir mesurer ces résultats.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La classification multiétiquette attribue plusieurs étiquettes à un message. Ici, 258 messages de test contiennent deux demandes, et 229 nécessitent deux équipes.
- La méthode un contre tous entraîne un modèle oui/non par destination, donc les destinations ne sont pas en concurrence. M-100007 obtient returns_refunds à 0,968 et billing à 0,898.
- Chaque destination nécessite un seuil. Avec des seuils choisis sur les données de validation, dans cette boîte de réception : deuxième destination trouvée à 0,961 et correspondance exacte à 0,952. Parmi les messages nécessitant une équipe, 2,4 % reçoivent une deuxième destination par erreur.
- Certains messages ne franchissent aucun seuil : ne les abandonnez jamais. Une règle d’équipe décide qui répond.
Vous pouvez maintenant envoyer un message à deux équipes. Mais les équipes doivent aussi connaître son urgence et la langue dans laquelle répondre. Ensuite, nous prédisons la priorité et la langue en plus de la destination.
Leçon suivante : Priorité, urgence et langue