Aller au contenu
English

Le déséquilibre et les classes rares

  • Leçon 28
  • 35 min
  • Module 7 : Des formes d'étiquettes plus difficiles

Où nous en sommes

Jusqu'ici, nous avons lu le tableau selon l'exactitude globale et le coût. Une classe n'a qu'environ 40 exemples d'entraînement : la prise de contrôle de compte. Dans cette leçon, nous voyons comment l'exactitude cache une classe rare. Nous augmentons son rappel avec les poids des classes, le rééchantillonnage et un seuil par classe.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 28 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLe déséquilibre et les classes rares
Aperçu du cours

Ce que vous saurez faire

Trouvez les messages rares qui coûtent le plus cher. Un routeur peut avoir raison 99,4 % du temps et manquer toutes les prises de contrôle de compte. Cette leçon explique pourquoi et présente trois façons de corriger le problème.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il compte les messages de prise de contrôle et compare l’exactitude au F1 macro. Il entraîne aussi un modèle de signalement des prises de contrôle de trois façons. Vous choisissez ensuite son seuil sur les messages de validation. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Aucune préparation locale n’est nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur : rien pour cette leçon. Le carnet fonctionne dans Colab, Kaggle ou VS Code. Le projet ne change pas dans ce module.

Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1.

Revenons au bureau de poste. La plupart des lettres sont des cartes d’anniversaire, des factures et des catalogues. Environ une lettre sur deux cents porte un tampon rouge : urgent, envoyé par un tribunal. Si elle arrive en retard, quelqu’un perd sa cause.

On évalue une nouvelle employée avec un seul nombre : la part des lettres qu’elle place dans le bon casier. Elle apprend vite une astuce. Elle ne cherche jamais le tampon rouge. Elle met chaque lettre dans le casier normal, et son score est de 99,5 %. Sa gestionnaire est contente du nombre. Les personnes qui attendent les lettres du tribunal ne le sont pas.

Le nombre n’était pas faux. Il répondait à la mauvaise question.

Larkfield a le même problème. Un message de prise de contrôle de compte indique qu’une autre personne utilise le compte du client. Exemples : un mot de passe changé ou une commande que le client n’a pas passée. C’est urgent. Le tableau des coûts attribue 200 $ US à une prise de contrôle manquée. C’est cinquante fois le coût d’un envoi dans la mauvaise file d’attente ordinaire.

Cette classe est aussi rare. La boîte de réception contient 68 messages de prise de contrôle sur 10 000 : 44 pour l’entraînement, 12 pour la validation et 12 pour le test. Une classe avec beaucoup moins d’exemples que les autres s’appelle une classe rare. On dit que ces données sont déséquilibrées. Nous avons créé cette classe rare exprès pour l’exercice. Les vraies boîtes de réception ont les leurs : fraude, sécurité, menaces juridiques.

Une grille de 2 000 petits carrés gris, un pour chaque message de test. Douze carrés sont rouges : les prises de contrôle de compte. Ils sont dispersés dans la grille et difficiles à trouver.
Les 2 000 messages de test, dans l'ordre du fichier de test. Seulement 12 sont des prises de contrôle de compte (en rouge).
Description textuelle du diagramme

L’image est une grille de 2 000 petits carrés : 80 colonnes et 25 rangées sur un grand écran. Sur un téléphone, elle compte 40 colonnes et 50 rangées. Chaque carré représente un message de test, dans l’ordre du fichier de test. Les 1 988 carrés gris pâle représentent tous les autres types de messages. Douze carrés sont rouges avec une bordure foncée : les prises de contrôle de compte. Ils sont dispersés dans la grille, un ou deux par rangée, avec de grandes zones grises entre eux.

Un petit exemple : le modèle qui dit toujours « non »

Section intitulée « Un petit exemple : le modèle qui dit toujours « non » »

Prenez 1 000 messages. Six sont des prises de contrôle. Un modèle paresseux répond « pas une prise de contrôle » pour chaque message. Comptez ses bonnes réponses :

Prise de contrôle (6) Pas une prise de contrôle (994)
Le modèle dit « non » 6, toutes incorrectes 994, toutes correctes

Son exactitude est de 994 ÷ 1 000 = 99,4 %. Son rappel des prises de contrôle est de 0 ÷ 6 = 0. Il ne trouve aucune prise de contrôle. À 200 $ US chacune, les six prises de contrôle manquées coûtent 1 200 $ US.

Sur les données de test de Larkfield, ce même modèle aurait raison pour 1 988 messages sur 2 000 : exactitude de 0,994. Un modèle qui manque quelques prises de contrôle perd très peu d’exactitude. L’exactitude ne vous dit donc pas si un modèle les trouve.

La solution consiste à examiner chaque classe séparément. Deux mesures le permettent.

  • Rappel par classe. Pour chaque classe, la part de ses messages que le modèle trouve. Le modèle paresseux a un rappel de 1,000 pour « pas une prise de contrôle » et de 0 pour « prise de contrôle ». Le zéro est maintenant visible.
  • F1 macro. Le score F1 d’une classe combine sa précision et son rappel en un seul nombre. « Macro » signifie qu’on calcule la moyenne des F1 de chaque classe, avec le même poids pour chaque classe. Une classe de 12 messages compte autant qu’une classe de 247.

Calculez-le pour le modèle paresseux. Pour « pas une prise de contrôle », la précision est de 994 ÷ 1 000 = 0,994 et le rappel de 1,000. Son F1 est donc de 0,997. Pour « prise de contrôle », le modèle ne dit jamais « oui », donc son F1 est de 0. Le F1 macro est de (0,997 + 0) ÷ 2 = 0,50. L’exactitude disait 99,4 %; le F1 macro dit « la moitié du travail n’est pas faite ».

Priya vérifie d’abord le routeur. TF-IDF avec régression logistique obtient une exactitude de 0,962 et un F1 macro de 0,965 sur cette boîte de réception. Il envoie 11 des 12 prises de contrôle de test à l’équipe account (comptes) et 1 à billing (facturation).

Elle entraîne ensuite un modèle sur les 27 sujets, dont account_takeover (prise de contrôle de compte). Son exactitude est de 0,954 et son F1 macro de 0,955. Son rappel des prises de contrôle est de 0,833 : 10 sur 12. Ici, le sujet rare n’est pas loin derrière. Mais regardez le nombre : avec 12 messages, un message de plus ou de moins change le rappel de 8 points. Écrivez toujours le nombre à côté du rappel d’une classe rare.

Grace veut plus qu’une destination. Elle veut un signalement des prises de contrôle : un modèle oui/non distinct qui marque une prise de contrôle possible. L’équipe des comptes peut ainsi la lire en premier. Priya l’entraîne sur les mêmes 6 000 messages d’entraînement, avec l’étiquette « prise de contrôle : oui ou non ». Le modèle donne à chaque message un score de 0 à 1. Par défaut, il dit « oui » quand le score atteint au moins 0,5.

Le modèle de signalement trouve seulement 5 des 12 prises de contrôle de test : rappel de 0,417. Sa précision est parfaite, car les 5 messages signalés sont tous des prises de contrôle. Mais il en manque 7, et 7 × 200 $ US = 1 400 $ US.

Pourquoi? Dans les données d’entraînement, 5 956 messages disent « non » et 44 disent « oui ». Le modèle apprend que « non » est presque toujours correct. Il lui faut donc beaucoup d’indices avant de dire « oui ». Ses scores pour les vraies prises de contrôle restent bas. Le graphique montre le score de chacune des 12 prises de contrôle de test.

Un diagramme à points du score du modèle de signalement, de 0 à 1. Douze points rouges représentent les prises de contrôle de test : 7 sont sous le seuil par défaut de 0,50 et 5 au-dessus. Un deuxième seuil à 0,12 a 10 points au-dessus de lui. Un point gris à 0,057 représente le score le plus élevé de tous les autres messages.
Les scores du modèle de signalement par défaut pour les 12 prises de contrôle de test. À 0,50, il en trouve 5. Avec son propre seuil de 0,12, il en trouve 10, et aucun autre message ne dépasse 0,057.
Description textuelle du diagramme

L’axe horizontal représente le score du modèle de signalement, de 0 à 1. Les 12 points rouges sont les scores des 12 prises de contrôle de test : 0,071, 0,106, 0,156, 0,322 deux fois, 0,380, 0,492, 0,717, 0,734, 0,822, 0,854 et 0,944. Une ligne bleue en tirets à 0,50 marque le seuil par défaut : 5 points sont à sa droite. Une ligne verte en tirets à 0,12 marque un seuil plus bas : 10 points sont à sa droite. Un point gris à 0,057 représente le score le plus élevé des 1 988 autres messages de test. Tous les autres messages ont un score sous les deux lignes.

Lisez le graphique. Les prises de contrôle ne sont pas mélangées aux autres messages : le score maximal des autres messages est de 0,057. Le modèle classe les prises de contrôle au-dessus de tout le reste. Seul son seuil de 0,5 est trop élevé pour une classe aussi rare.

Il existe trois solutions courantes. Chacune indique au modèle, d’une façon différente, qu’une prise de contrôle manquée compte davantage.

Poids des classes : chaque prise de contrôle compte davantage

Section intitulée « Poids des classes : chaque prise de contrôle compte davantage »

Pendant l’entraînement, un modèle additionne ses erreurs et réduit leur somme. Un poids de classe multiplie l’erreur de chaque message d’une classe. Avec un poids élevé pour les prises de contrôle, en manquer une coûte au modèle autant que manquer plusieurs messages normaux.

scikit-learn calcule des poids « équilibrés » pour vous : class_weight="balanced". Chaque classe reçoit le poids messages ÷ (classes × messages de cette classe) :

Classe Messages d’entraînement Poids
prise de contrôle 44 6 000 ÷ (2 × 44) = 68,2
pas une prise de contrôle 5 956 6 000 ÷ (2 × 5 956) = 0,504

Une prise de contrôle compte donc environ 135 fois plus qu’un autre message. Les deux classes ont maintenant le même poids total. Avec les poids des classes, le modèle trouve 11 des 12 prises de contrôle de test (rappel de 0,917). Il ne signale aucun autre message.

Rééchantillonnage : montrer les messages rares plus souvent

Section intitulée « Rééchantillonnage : montrer les messages rares plus souvent »

Le rééchantillonnage change les données d’entraînement, pas le modèle. Le suréchantillonnage copie les messages rares. Ici, chaque prise de contrôle apparaît 10 fois, donc le modèle voit 440 lignes de prises de contrôle. Le sous-échantillonnage fait l’inverse : il retire une partie de la classe fréquente. Nous utilisons le suréchantillonnage, car nous avons peu de messages à perdre.

Avec 10 copies, le modèle en trouve 9 sur 12 (rappel de 0,750). Les copies n’ajoutent aucune information. Le modèle revoit les mêmes 44 messages et peut apprendre leurs mots exacts. C’est un risque : il pourrait ne pas reconnaître une prise de contrôle décrite avec de nouveaux mots.

Le graphique ci-dessus suggère la solution la plus simple. Gardez le modèle par défaut et baissez son seuil. Choisissez le seuil sur les messages de validation, jamais sur les messages de test. L’objectif de Grace : trouver au moins 90 % des prises de contrôle.

Priya essaie des seuils de 0,50 à 0,01, par pas de 0,01. Elle garde le plus élevé qui atteint 90 % de rappel sur les 12 prises de contrôle de validation. C’est 0,12 : il en trouve 11 sur 12. Sur les messages de test, le modèle au seuil de 0,12 en trouve 10 sur 12 (rappel de 0,833). Il ne signale aucun autre message.

Notez que l’objectif était de 90 % sur la validation et que le résultat est de 83 % sur le test. Un objectif choisi sur 12 exemples est un espoir, pas une promesse. Dites-le à côté du nombre.

Placez maintenant les quatre versions côte à côte, sur les mêmes 12 prises de contrôle de test. Avant de regarder : laquelle en trouve le plus?

Sur cette boîte de réception, les poids des classes trouvent le plus de prises de contrôle (11 sur 12). Aucune solution ne signale un message qui n'est pas une prise de contrôle.
Description textuelle du graphique

Un graphique à quatre colonnes montre le rappel du modèle de signalement sur les 12 prises de contrôle de test. Par défaut, seuil de 0,50 : 0,417 (5 trouvées). Poids des classes : 0,917 (11). 10 copies, le rééchantillonnage : 0,750 (9). À 0,12, le modèle par défaut avec son propre seuil choisi sur la validation : 0,833 (10).

Le tableau ajoute ce que le graphique omet : les signalements de chaque version et le coût des cas manqués selon le tableau des coûts.

Modèle de signalement Trouvées Signalées Manquées Coût des cas manqués
Par défaut, seuil de 0,50 5 5 7 1 400 $ US
Poids des classes 11 11 1 200 $ US
Rééchantillonnage ×10 9 9 3 600 $ US
Seuil propre de 0,12 10 10 2 400 $ US

Deux remarques pour être honnête. D’abord, aucune version n’a signalé un seul message qui n’était pas une prise de contrôle. Cela tient à cette boîte de réception : un seul modèle de langage a écrit tous ses messages. Les messages de prise de contrôle utilisent des mots très clairs. Dans une vraie boîte de réception, un seuil plus bas signale aussi des questions normales sur les mots de passe. Chaque signalement supplémentaire coûte une minute à une personne. Ensuite, les écarts entre 9, 10 et 11 représentent un ou deux messages. Avec 12 exemples de test, ne déclarez pas de gagnant. Vérifiez de nouveau sur les messages du mois prochain.

  • Regardez d’abord le rappel par classe et le F1 macro. Ils ne coûtent rien et montrent le problème. Présentez-les avec le nombre d’exemples de chaque classe rare.
  • Un seuil propre au modèle est la solution la moins coûteuse. Vous gardez le modèle et changez un nombre. Utilisez-la quand le modèle classe déjà les messages rares en haut, comme ici. Il faut assez d’exemples de validation pour choisir le seuil.
  • Les poids des classes sont un paramètre de la plupart des modèles scikit-learn. Utilisez-les quand la classe rare est mélangée aux autres et que le modèle doit mieux apprendre ses mots. Après ce changement, les scores du modèle ne sont plus de vraies probabilités. Ne les interprétez donc pas ainsi.
  • Le rééchantillonnage fonctionne avec tout modèle, même sans paramètre de poids. Les copies n’ajoutent aucune information. Surveillez donc les modèles qui mémorisent seulement les exemples rares.
  • Aucune solution ne remplace des exemples supplémentaires. 44 exemples d’entraînement, c’est très peu. Une personne qui étiquette 50 prises de contrôle supplémentaires aide souvent plus que n’importe quel paramètre.

L’entraînement de chaque solution prend quelques secondes. Le vrai coût est le temps de révision des signalements supplémentaires.

Exercice guidé : le modèle de signalement dans le carnet

Section intitulée « Exercice guidé : le modèle de signalement dans le carnet »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic. (prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques).
  3. Dans la section 1, exécutez la cellule. Vous voyez train 44 | validation 12 | test 12 (entraînement 44, validation 12, test 12).
  4. Dans la section 2, prédisez le rappel des prises de contrôle du modèle de sujets. Exécutez ensuite la cellule. Vous voyez une exactitude de 0.954, un F1 macro de 0.955 et un rappel des prises de contrôle de 0.833.
  5. Dans la section 3, exécutez la cellule. Le tableau montre un rappel de 0.417 pour le modèle par défaut et de 0.917 pour les poids des classes.
  6. Dans la section 4, écrivez la recherche du seuil. La vérification indique Check passed: threshold is 0.12. (vérification réussie : le seuil est de 0,12).
  7. Exécutez la cellule suivante. Vous voyez un rappel de test de 0.833 (10 sur 12) et aucun autre message signalé.

Grace en demande plus : « Trouvez toutes les prises de contrôle sur la validation. » Changez l’objectif de votre recherche de seuil de 0,9 à 1,0. Avant de l’exécuter, prédisez : le modèle trouvera-t-il plus de prises de contrôle de test?

Afficher la réponse
for threshold in np.round(np.arange(0.50, 0.0, -0.01), 2):
if (p_val >= threshold)[ato(validation)].mean() >= 1.0:
break

La recherche s’arrête à 0,11 : le score minimal d’une prise de contrôle de validation est de 0,111. Sur les messages de test, le modèle au seuil de 0,11 en trouve encore 10 sur 12. Les deux prises de contrôle de test manquées ont des scores de 0,071 et 0,106, eux aussi sous 0,11. Un objectif plus strict sur la validation n’a pas trouvé plus de cas sur le test. Ici, aucun autre message de test ne dépasse 0,057, donc le seuil plus bas ne coûte rien. Dans une vraie boîte de réception, il ajouterait des signalements.

Erreur courante

Un seuil choisi sur les messages de test

Symptôme : Tomás cherche le seuil sur les messages de test et annonce « le modèle trouve 100 % des prises de contrôle ». Le mois suivant, il en manque.

Cause : il a choisi le nombre qui convient le mieux à ces 12 messages de test. Le score de test mesure alors son ajustement aux données de test, pas le fonctionnement du modèle sur de nouveaux messages. Avec 12 exemples, un message chanceux change le résultat de 8 points.

Solution : choisissez chaque seuil sur les messages de validation. Présentez le score de test une seule fois, avec son nombre : « 10 sur 12 au test ». Pour faire un meilleur choix, recueillez plus d’exemples de validation de la classe rare.

Conséquence dans le travail en IA : le rappel d’une classe rare est le nombre le plus facile à embellir par accident. C’est aussi le nombre qui compte le plus quand la classe coûte cher. Choisissez sur la validation, présentez les résultats sur le test et donnez le nombre.

Vérifiez votre compréhension

Un modèle de signalement des prises de contrôle est correct pour 99,4 % des 2 000 messages de test. Expliquez pourquoi ce chiffre ne dit pas à Grace si le modèle de signalement fonctionne. Quels deux chiffres devrait-elle demander plutôt?

Afficher la réponse

Seuls 12 des 2 000 messages de test sont des prises de contrôle. Un modèle de signalement qui ne dit jamais « oui » est correct pour les 1 988 autres. Son exactitude est donc de 0,994, mais il ne trouve aucune prise de contrôle. L’exactitude reste presque identique, que le modèle de signalement trouve 0 ou 12 prises de contrôle. Grace devrait demander le rappel de la classe des prises de contrôle, avec le nombre de cas, par exemple « 10 sur 12 ». Elle devrait aussi demander le nombre de messages signalés. Le F1 macro aide aussi, car il donne à la classe rare le même poids qu’aux autres.

Vérifiez votre compréhension

Faites une prédiction : le modèle de signalement par défaut classe chaque prise de contrôle au-dessus de tous les autres messages de test. Pourtant, il n'en trouve que 5 sur 12 au seuil de 0,5. Quelle correction essaieriez-vous d'abord, et pourquoi?

Afficher la réponse

Un seuil propre à cette classe. Le modèle place déjà les prises de contrôle au-dessus de tous les autres messages. Le score le plus élevé parmi les autres est de 0,057. Seul le seuil est trop élevé pour une classe aussi rare. Un seuil plus bas, choisi sur les données de validation (0,12), trouve 10 cas sur 12 dans les données de test. Il ne signale aucun message supplémentaire. Aucun réentraînement n’est nécessaire. Les poids des classes fonctionnent aussi (11 sur 12), mais ils changent le modèle et ses scores.

Vérifiez votre compréhension

En pratique : vous entraînez un modèle de signalement de la fraude avec 30 messages de fraude pour l'entraînement et 8 pour la validation. Vous choisissez un seuil qui trouve 8 cas sur 8 dans les données de validation. Que présentez-vous comme résultat, et que faites-vous avant de lui faire confiance?

Afficher la réponse

Présentez le résultat sur les messages de test une seule fois, avec les nombres (« 6 sur 8 trouvés, 14 signalés »). Ne présentez pas le résultat de validation. Avec 8 exemples, un message de plus ou de moins change le rappel de 12 points. Précisez donc que ce chiffre est incertain. Avant de lui faire confiance, recueillez plus d’exemples de fraude pour la validation et le test. Vérifiez ensuite le modèle de signalement sur de nouveaux messages. Présentez aussi le nombre de messages signalés, car chaque signalement demande du temps de révision.

Récapitulatif

  • L’exactitude cache une classe rare. Un modèle qui ne trouve jamais de prise de contrôle est correct pour 1 988 des 2 000 messages de test (0,994).
  • Le rappel par classe et le F1 macro rendent la classe rare visible. Donnez toujours le nombre de cas à côté du rappel.
  • Le modèle de signalement des prises de contrôle par défaut trouve 5 cas sur 12 (0,417). Les poids des classes en trouvent 11, le rééchantillonnage ×10 en trouve 9. Un seuil propre à cette classe (0,12, choisi sur les données de validation) en trouve 10. Dans cette boîte de réception, aucune de ces méthodes ne signale d’autre message.
  • Choisissez les seuils sur les données de validation et présentez les résultats de test une seule fois. Avec 12 exemples, un message représente 8 points.

Vous pouvez maintenant trouver un message rare qu’une destination cache. Mais certains messages contiennent deux demandes, et une seule destination ne peut répondre qu’à l’une d’elles. Ensuite, nous donnerons deux destinations à un même message.

Leçon suivante : Les messages à plusieurs étiquettes