Aller au contenu
English

Les étiquettes hiérarchiques

  • Leçon 31
  • 30 min
  • Module 7 : Des formes d'étiquettes plus difficiles

Où nous en sommes

Les équipes et les sujets sont deux questions distinctes. Les sujets appartiennent aux équipes. Dans cette leçon, nous prédisons l'équipe, puis son sujet. Nous voyons quand deux étapes valent mieux qu'un modèle à plat.

Leçon 31 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLes étiquettes hiérarchiques
Aperçu du cours

Ce que vous saurez faire

Prédisez un sujet en suivant l’arbre des équipes et des sujets, puis mesurez si cela en vaut la peine. Un modèle en deux étapes n’est pas toujours meilleur qu’un modèle à plat. Ici, il ne l’est pas.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il affiche l’arbre des étiquettes et entraîne un modèle de sujets à plat. Vous construisez ensuite le modèle équipe-puis-sujet et comparez les erreurs des deux modèles. Ses cellules de préparation installent pandas et scikit-learn, puis téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur : rien pour cette leçon. Le carnet fonctionne dans Colab, Kaggle ou VS Code. Le projet ne change pas dans ce module.

Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1.

Un grand bureau de poste ne trie pas chaque lettre directement selon sa rue. Il procède en deux étapes. D’abord, le bureau central place chaque lettre dans le sac de sa ville. Ensuite, le bureau de chaque ville trie son sac par rue. Une employée du bureau local connaît seulement ses 40 rues, et elle les connaît bien.

Cette méthode présente un avantage clair. Chaque étape offre peu de choix : quelques villes, puis quelques rues. Elle présente aussi un risque clair. Si une lettre arrive dans le sac de la mauvaise ville, le bureau local ne peut pas corriger l’erreur. Il peut seulement choisir parmi ses rues, et aucune n’est la bonne.

Les étiquettes de Larkfield ont la même structure. Chaque message a une destination (parmi 7) et un sujet dans cette destination (parmi 27). Chaque sujet appartient à une seule destination. Ces étiquettes forment un arbre, aussi appelé hiérarchie : les destinations sont les branches, et les sujets sont les feuilles.

L'arbre des étiquettes : 7 destinations, chacune avec 3 ou 4 sujets, et le nombre de messages d'entraînement par sujet. Le plus petit sujet, account_takeover dans account, a 44 messages d'entraînement; le plus grand, late_delivery dans delivery, en a 742.
Les étiquettes de Larkfield sous forme d'arbre : 7 destinations, 27 sujets. Les nombres indiquent les messages d'entraînement par sujet.
Description textuelle du diagramme

Sept cases, une par destination, avec leurs sujets en dessous et le nombre de messages d’entraînement. orders (857) : cancel_order 294, change_order 305, missing_confirmation 124, orders_other 134. delivery (1 396) : delivered_not_received 271, delivery_other 127, late_delivery 742, reschedule_delivery 256. returns_refunds (1 208) : damaged_item 305, exchange 116, refund_status 359, start_return 428. billing (795) : double_charge 310, invoice_request 197, payment_failed 170, promo_code 118. product (860) : assembly_help 170, product_question 432, stock_availability 178, warranty 80. account (591) : account_takeover 44, en rouge, le plus petit sujet; change_details 180; delete_account 124; login_problem 243. needs_person (293) : complaint_escalation 142, legal_threat 56, safety_issue 95.

Un modèle à plat ignore l’arbre. Il choisit parmi les 27 sujets à la fois, et le sujet détermine la destination. Un choix parmi 27 est plus difficile qu’un choix parmi 7. Le modèle doit distinguer refund_status de late_delivery (équipes différentes) et de start_return (même équipe) à la même étape. Avec des centaines de feuilles et peu d’exemples par feuille, un modèle à plat peut avoir de la difficulté.

La solution du bureau de poste consiste à suivre l’arbre. Un modèle hiérarchique prédit par étapes, du sommet de l’arbre vers le bas :

  1. Un modèle d’équipe choisit parmi les 7 destinations. Il apprend à partir des 6 000 messages d’entraînement.
  2. Chaque destination a son modèle de sujets, entraîné seulement sur les messages de cette destination. Il choisit parmi 3 ou 4 sujets.
  3. Pour un nouveau message, le modèle d’équipe choisit la destination, puis le modèle de sujets de cette destination choisit le sujet.

Cela fait 8 modèles : 1 modèle d’équipe et 7 modèles de sujets. Chaque étape offre peu de choix. Le sujet appartient toujours à l’équipe choisie, donc les deux réponses ne se contredisent jamais.

Deux façons de prédire un sujet. À plat : un message passe à un modèle de sujets avec 27 sujets; exactitude du sujet 0,954, F1 macro 0,955, mauvaise équipe 80 sur 2 000, 1 modèle. Équipe puis sujet : un modèle d'équipe avec 7 destinations, puis le modèle de sujets de cette équipe avec 3 ou 4 sujets; exactitude du sujet 0,956, F1 macro 0,958, mauvaise équipe 76 sur 2 000, 8 modèles.
Un modèle à plat comparé au modèle équipe-puis-sujet, sur les 2 000 messages de test de cette boîte de réception. Le modèle en deux étapes gagne par 3 messages.
Description textuelle du diagramme

Deux parcours côte à côte. À gauche, à plat : un message passe à un modèle de sujets avec 27 sujets, qui donne le sujet et son équipe. En dessous : exactitude du sujet 0,954, F1 macro 0,955, mauvaise équipe 80 sur 2 000, 1 modèle. À droite, équipe puis sujet : un message passe à un modèle d’équipe avec 7 destinations. Il passe ensuite au modèle de sujets de cette équipe, un parmi sept, avec 3 ou 4 sujets. Ce modèle donne le sujet. En dessous : exactitude du sujet 0,956, F1 macro 0,958, mauvaise équipe 76 sur 2 000, 8 modèles (1 + 7).

Un sujet peut être incorrect de deux façons. Le modèle peut choisir un sujet de la mauvaise équipe, ou un mauvais sujet dans la bonne équipe. Priya compte les deux sur les 2 000 messages de test :

À plat Équipe, puis sujet
Bon sujet 1 908 1 911
Mauvaise équipe 80 76
Bonne équipe, mauvais sujet 12 13
Exactitude du sujet 1 908 ÷ 2 000 = 0,954 1 911 ÷ 2 000 = 0,956
F1 macro 0,955 0,958

Chaque colonne donne un total de 2 000 : 1 908 + 80 + 12, et 1 911 + 76 + 13. Deux constats ressortent. D’abord, presque toutes les erreurs concernent l’équipe, et non le sujet dans cette équipe. Une fois l’équipe correcte, les deux modèles choisissent bien le sujet. Ensuite, le modèle en deux étapes fait 4 erreurs d’équipe de moins et 1 erreur de sujet de plus. Son gain est de 3 messages sur 2 000.

Les deux modèles ne sont pas d’accord sur 63 messages de test. Le modèle à plat a raison sur 21 d’entre eux, le modèle en deux étapes sur 24. Les deux se trompent sur les 18 autres. Le résultat est proche d’un choix au hasard entre les deux.

Sur cette boîte de réception, l’arbre n’apporte donc aucune aide qui compte vraiment. L’écart entre 0,954 et 0,956 reste dans le bruit des 2 000 messages de test : une autre répartition pourrait l’inverser. Tomás s’attendait à une victoire nette du modèle en deux étapes. Priya explique pourquoi ce n’est pas le cas.

Larkfield compte seulement 27 sujets. Chaque sujet a au moins 44 messages d’entraînement, et la plupart en ont plus de 100. Une seule régression logistique à plat gère facilement 27 classes. Les sujets des différentes équipes utilisent aussi des mots différents : « refund » et « parcel » se rencontrent rarement. L’étape difficile est donc celle de l’équipe, et les deux modèles doivent la franchir.

Elle garde le modèle de sujets à plat. C’est un modèle plutôt que huit : un fichier à entraîner, à versionner, à étalonner et à vérifier.

Le résultat ici n’est pas une règle pour toutes les boîtes de réception. Un modèle en deux étapes mérite un essai quand :

  • Il y a beaucoup d’étiquettes. Avec des centaines de sujets, un seul choix à plat est difficile, et de petites étapes aident. L’étude de cas Étiqueter des articles scientifiques avec beaucoup d’étiquettes utilise un arbre d’étiquettes profond tiré de données réelles.
  • Il y a peu d’exemples par étiquette. Le modèle d’équipe apprend de chaque message d’une équipe, même quand chaque sujet n’en a que quelques-uns. Le modèle à plat doit apprendre chaque sujet rare séparément.
  • Une équipe gère ses propres sujets. Si l’équipe de facturation ajoute ou divise un sujet chaque mois, elle peut réentraîner seulement son modèle de sujets. Le modèle d’équipe et les six autres modèles de sujets ne changent pas. C’est souvent la raison la plus forte dans une entreprise.
  • Les réponses doivent être cohérentes. Un modèle en deux étapes ne donne jamais un sujet d’une autre équipe. Deux modèles à plat distincts (un pour les destinations, un pour les sujets) peuvent se contredire. Quelqu’un doit alors trancher.

Le coût augmente : 8 modèles à entraîner et à surveiller, deux étapes de latence et un risque supplémentaire, illustré ci-dessous.

  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données termine par Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic. (Prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques).
  3. Dans la section 1, exécutez la cellule. Vous voyez les 7 destinations avec leurs sujets, et 27 topics (27 sujets).
  4. Dans la section 2, exécutez la cellule. Vous voyez flat: topic accuracy 0.954, macro-F1 0.955 (à plat : exactitude du sujet 0,954, F1 macro 0,955).
  5. Dans la section 3, construisez le modèle en deux étapes (voir ci-dessous). La vérification indique Check passed: two_step_accuracy is 0.956. (Vérification réussie : l’exactitude en deux étapes est de 0,956).
  6. Dans la section 4, exécutez la cellule. Vous voyez wrong team 80 (mauvaise équipe 80) pour le modèle à plat et wrong team 76 (mauvaise équipe 76) pour les deux étapes, ainsi que they differ on 63 messages (ils diffèrent sur 63 messages).

À vous de jouer : construire le modèle en deux étapes

Section intitulée « À vous de jouer : construire le modèle en deux étapes »

Dans la section 3 du carnet, entraînez un modèle d’équipe sur train["route"]. Entraînez aussi un modèle de sujets par destination sur les messages d’entraînement de cette destination. Prédisez ensuite le sujet de chaque message de test avec le modèle de sujets de son équipe prédite. Le carnet fournit model(), qui retourne un nouveau pipeline TF-IDF et régression logistique. Avant de l’exécuter, faites une prédiction : plus ou moins d’erreurs d’équipe que le modèle à plat?

Afficher la réponse
team_model = model().fit(train["text"], train["route"])
topic_models = {r: model().fit(train.loc[train["route"] == r, "text"], train.loc[train["route"] == r, "topic"])
for r in train["route"].unique()}
teams = team_model.predict(test["text"])
two_step_pred = np.array([topic_models[team].predict([text])[0] for team, text in zip(teams, test["text"])])
two steps: topic accuracy 0.956, macro-F1 0.958

Il fait 76 erreurs d’équipe contre 80 pour le modèle à plat. Le modèle d’équipe examine les 6 000 messages pour une seule question, donc il en fait un peu moins. L’étape du sujet ajoute ensuite 13 erreurs dans la bonne équipe. Le gain total est de 3 messages.

Erreur courante

Une erreur d'équipe que l'étape du sujet ne peut pas corriger

Symptôme : M-100115 dit “I’m pretty frustrated about the shelf unit, there’s an issue with it, as I mentioned in my last email.” Son étiquette est returns_refunds, avec le sujet damaged_item. Le modèle d’équipe répond product, puis le modèle de sujets de product répond assembly_help. Le sujet est incorrect, et rien dans la deuxième étape ne l’a détecté.

Cause : dans un modèle en deux étapes, chaque erreur de la première étape passe à la deuxième. Le modèle de sujets de product connaît seulement les sujets de product. Il doit en choisir un, même si le message parle d’un article endommagé. Parmi les messages de test, 76 vont à la mauvaise équipe, et les 76 reçoivent un mauvais sujet. C’est la propagation des erreurs : une erreur initiale descend dans l’arbre.

Correction : mesurez la première étape séparément et améliorez-la d’abord : elle détermine la majeure partie du résultat. Donnez une solution de rechange à la deuxième étape. Quand le modèle de sujets hésite, faites réviser le message plutôt que d’imposer un sujet. Certains systèmes gardent aussi la deuxième équipe la plus probable et interrogent son modèle de sujets.

Conséquence dans le travail en IA : la qualité d’un pipeline de modèles dépend de sa première étape. Quand vous ajoutez des étapes, mesurez chacune et indiquez où les erreurs commencent, pas seulement l’exactitude finale.

Vérifiez votre compréhension

Sur cette boîte de réception, le modèle à plat atteint 0,954 et le modèle équipe-puis-sujet, 0,956. Tomás dit : « Deux étapes, c'est mieux, changeons de modèle. » Que répondez-vous?

Afficher la réponse

La différence est de 3 messages sur 2 000, dans le bruit des données de test. Les deux modèles ne sont pas d’accord sur 63 messages. Chacun a raison sur environ un tiers d’entre eux (21 et 24). La méthode en deux étapes demande aussi 8 modèles plutôt qu’un, chacun à entraîner, à versionner et à vérifier. Ici, le gain ne justifie pas le coût, donc gardez le modèle à plat. La réponse pourrait changer avec beaucoup plus de sujets ou peu d’exemples par sujet. Elle pourrait aussi changer si les équipes modifient souvent leurs propres sujets.

Vérifiez votre compréhension

Prédisez : dans un modèle en deux étapes, l'étape de l'équipe envoie un message à la mauvaise équipe. Quelle est la probabilité que son sujet soit correct?

Afficher la réponse

Zéro. Le modèle de sujets de la mauvaise équipe connaît seulement ses propres sujets. Le bon sujet appartient à une autre équipe. C’est la propagation des erreurs : une erreur à la première étape ne peut pas être corrigée à la deuxième. Sur les messages de test de Larkfield, les 76 messages envoyés à la mauvaise équipe reçoivent tous un mauvais sujet. Mesurez et améliorez donc d’abord la première étape.

Vérifiez votre compréhension

En pratique : la boîte de réception du soutien d'une banque compte 12 équipes et 300 sujets. Beaucoup ont moins de 20 messages étiquetés, et chaque équipe modifie sa liste de sujets chaque trimestre. À plat ou hiérarchique? Donnez deux raisons.

Afficher la réponse

Essayez d’abord un modèle hiérarchique, puis comparez-le à un modèle à plat sur les mêmes données de test. Première raison : choisir parmi 300 sujets avec moins de 20 exemples chacun est difficile pour un modèle à plat. Le modèle d’équipe apprend toutefois de tous les messages de chaque équipe. Deuxième raison : chaque équipe peut réentraîner son modèle de sujets quand elle modifie sa liste, sans toucher aux autres. Mesurez l’étape de l’équipe séparément, car ses erreurs passent à l’étape du sujet.

Récapitulatif

  • Les destinations et les sujets forment un arbre. Un modèle à plat choisit parmi les 27 sujets; un modèle hiérarchique choisit l’équipe, puis le sujet dans cette équipe.
  • Sur cette boîte de réception, le modèle à plat atteint 0,954 contre 0,956 pour équipe-puis-sujet (F1 macro 0,955 / 0,958) : 3 messages sur 2 000, aucun gain réel. Presque toutes les erreurs concernent l’équipe.
  • Une hiérarchie aide avec beaucoup d’étiquettes, peu d’exemples par étiquette, des équipes qui gèrent leurs sujets ou des réponses qui doivent être cohérentes. Elle demande plus de modèles et entraîne une propagation des erreurs.

Vous pouvez maintenant gérer les classes rares, deux demandes, la priorité, la langue et un arbre d’étiquettes. Mais chacune de ces réponses venait avec un score. Nous avons utilisé des seuils comme si ces scores étaient de vraies probabilités. Ensuite, nous vérifions si c’est le cas.

Leçon suivante : La confiance est-elle vraie?