Le déséquilibre et les classes rares
- Leçon 28
- 35 min
- Module 7 : Des formes d'étiquettes plus difficiles
Où nous en sommes
Jusqu'ici, nous avons lu le tableau selon l'exactitude globale et le coût. Une classe n'a qu'environ 40 exemples d'entraînement : la prise de contrôle de compte. Dans cette leçon, nous voyons comment l'exactitude cache une classe rare. Nous augmentons son rappel avec les poids des classes, le rééchantillonnage et un seuil par classe.
Leçon 28 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLe déséquilibre et les classes rares
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Trouvez les messages rares qui coûtent le plus cher. Un routeur peut avoir raison 99,4 % du temps et manquer toutes les prises de contrôle de compte. Cette leçon explique pourquoi et présente trois façons de corriger le problème.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il compte les messages de prise de contrôle et compare l’exactitude au F1 macro. Il entraîne aussi un modèle de signalement des prises de contrôle de trois façons. Vous choisissez ensuite son seuil sur les messages de validation. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Aucune préparation locale n’est nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La précision et le rappel, présentés dans Les métriques de classification du cours Apprentissage automatique : du problème à un modèle fiable. Rappel d’une classe : la part de ses messages que le modèle trouve. Précision : la part des réponses « oui » du modèle qui sont correctes.
- Un seuil transforme un score en décision, comme expliqué dans Le compromis entre précision et rappel.
- Le tableau des coûts, présenté dans Le coût de chaque erreur. Une prise de contrôle de compte manquée coûte 200 $ US.
- TF-IDF et la régression logistique, présentés dans Le texte en nombres : sac de mots et TF-IDF.
Ce qu’il vous faut sur votre ordinateur : rien pour cette leçon. Le carnet fonctionne dans Colab, Kaggle ou VS Code. Le projet ne change pas dans ce module.
Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1.
Le tampon rouge au bureau de poste
Section intitulée « Le tampon rouge au bureau de poste »Revenons au bureau de poste. La plupart des lettres sont des cartes d’anniversaire, des factures et des catalogues. Environ une lettre sur deux cents porte un tampon rouge : urgent, envoyé par un tribunal. Si elle arrive en retard, quelqu’un perd sa cause.
On évalue une nouvelle employée avec un seul nombre : la part des lettres qu’elle place dans le bon casier. Elle apprend vite une astuce. Elle ne cherche jamais le tampon rouge. Elle met chaque lettre dans le casier normal, et son score est de 99,5 %. Sa gestionnaire est contente du nombre. Les personnes qui attendent les lettres du tribunal ne le sont pas.
Le nombre n’était pas faux. Il répondait à la mauvaise question.
Le problème : l’exactitude cache une classe rare
Section intitulée « Le problème : l’exactitude cache une classe rare »Larkfield a le même problème. Un message de prise de contrôle de compte indique qu’une autre personne utilise le compte du client. Exemples : un mot de passe changé ou une commande que le client n’a pas passée. C’est urgent. Le tableau des coûts attribue 200 $ US à une prise de contrôle manquée. C’est cinquante fois le coût d’un envoi dans la mauvaise file d’attente ordinaire.
Cette classe est aussi rare. La boîte de réception contient 68 messages de prise de contrôle sur 10 000 : 44 pour l’entraînement, 12 pour la validation et 12 pour le test. Une classe avec beaucoup moins d’exemples que les autres s’appelle une classe rare. On dit que ces données sont déséquilibrées. Nous avons créé cette classe rare exprès pour l’exercice. Les vraies boîtes de réception ont les leurs : fraude, sécurité, menaces juridiques.
Description textuelle du diagramme
L’image est une grille de 2 000 petits carrés : 80 colonnes et 25 rangées sur un grand écran. Sur un téléphone, elle compte 40 colonnes et 50 rangées. Chaque carré représente un message de test, dans l’ordre du fichier de test. Les 1 988 carrés gris pâle représentent tous les autres types de messages. Douze carrés sont rouges avec une bordure foncée : les prises de contrôle de compte. Ils sont dispersés dans la grille, un ou deux par rangée, avec de grandes zones grises entre eux.
Un petit exemple : le modèle qui dit toujours « non »
Section intitulée « Un petit exemple : le modèle qui dit toujours « non » »Prenez 1 000 messages. Six sont des prises de contrôle. Un modèle paresseux répond « pas une prise de contrôle » pour chaque message. Comptez ses bonnes réponses :
| Prise de contrôle (6) | Pas une prise de contrôle (994) | |
|---|---|---|
| Le modèle dit « non » | 6, toutes incorrectes | 994, toutes correctes |
Son exactitude est de 994 ÷ 1 000 = 99,4 %. Son rappel des prises de contrôle est de 0 ÷ 6 = 0. Il ne trouve aucune prise de contrôle. À 200 $ US chacune, les six prises de contrôle manquées coûtent 1 200 $ US.
Sur les données de test de Larkfield, ce même modèle aurait raison pour 1 988 messages sur 2 000 : exactitude de 0,994. Un modèle qui manque quelques prises de contrôle perd très peu d’exactitude. L’exactitude ne vous dit donc pas si un modèle les trouve.
Des mesures qui voient la classe rare
Section intitulée « Des mesures qui voient la classe rare »La solution consiste à examiner chaque classe séparément. Deux mesures le permettent.
- Rappel par classe. Pour chaque classe, la part de ses messages que le modèle trouve. Le modèle paresseux a un rappel de 1,000 pour « pas une prise de contrôle » et de 0 pour « prise de contrôle ». Le zéro est maintenant visible.
- F1 macro. Le score F1 d’une classe combine sa précision et son rappel en un seul nombre. « Macro » signifie qu’on calcule la moyenne des F1 de chaque classe, avec le même poids pour chaque classe. Une classe de 12 messages compte autant qu’une classe de 247.
Calculez-le pour le modèle paresseux. Pour « pas une prise de contrôle », la précision est de 994 ÷ 1 000 = 0,994 et le rappel de 1,000. Son F1 est donc de 0,997. Pour « prise de contrôle », le modèle ne dit jamais « oui », donc son F1 est de 0. Le F1 macro est de (0,997 + 0) ÷ 2 = 0,50. L’exactitude disait 99,4 %; le F1 macro dit « la moitié du travail n’est pas faite ».
Ce que font les modèles de Larkfield
Section intitulée « Ce que font les modèles de Larkfield »Priya vérifie d’abord le routeur. TF-IDF avec régression logistique obtient une exactitude de 0,962 et un F1 macro de 0,965 sur cette boîte de réception. Il envoie 11 des 12 prises de contrôle de test à l’équipe account (comptes) et 1 à billing (facturation).
Elle entraîne ensuite un modèle sur les 27 sujets, dont account_takeover (prise de contrôle de compte). Son exactitude est de 0,954 et son F1 macro de 0,955. Son rappel des prises de contrôle est de 0,833 : 10 sur 12. Ici, le sujet rare n’est pas loin derrière. Mais regardez le nombre : avec 12 messages, un message de plus ou de moins change le rappel de 8 points. Écrivez toujours le nombre à côté du rappel d’une classe rare.
Un signalement des prises de contrôle
Section intitulée « Un signalement des prises de contrôle »Grace veut plus qu’une destination. Elle veut un signalement des prises de contrôle : un modèle oui/non distinct qui marque une prise de contrôle possible. L’équipe des comptes peut ainsi la lire en premier. Priya l’entraîne sur les mêmes 6 000 messages d’entraînement, avec l’étiquette « prise de contrôle : oui ou non ». Le modèle donne à chaque message un score de 0 à 1. Par défaut, il dit « oui » quand le score atteint au moins 0,5.
Le modèle de signalement trouve seulement 5 des 12 prises de contrôle de test : rappel de 0,417. Sa précision est parfaite, car les 5 messages signalés sont tous des prises de contrôle. Mais il en manque 7, et 7 × 200 $ US = 1 400 $ US.
Pourquoi? Dans les données d’entraînement, 5 956 messages disent « non » et 44 disent « oui ». Le modèle apprend que « non » est presque toujours correct. Il lui faut donc beaucoup d’indices avant de dire « oui ». Ses scores pour les vraies prises de contrôle restent bas. Le graphique montre le score de chacune des 12 prises de contrôle de test.
Description textuelle du diagramme
L’axe horizontal représente le score du modèle de signalement, de 0 à 1. Les 12 points rouges sont les scores des 12 prises de contrôle de test : 0,071, 0,106, 0,156, 0,322 deux fois, 0,380, 0,492, 0,717, 0,734, 0,822, 0,854 et 0,944. Une ligne bleue en tirets à 0,50 marque le seuil par défaut : 5 points sont à sa droite. Une ligne verte en tirets à 0,12 marque un seuil plus bas : 10 points sont à sa droite. Un point gris à 0,057 représente le score le plus élevé des 1 988 autres messages de test. Tous les autres messages ont un score sous les deux lignes.
Lisez le graphique. Les prises de contrôle ne sont pas mélangées aux autres messages : le score maximal des autres messages est de 0,057. Le modèle classe les prises de contrôle au-dessus de tout le reste. Seul son seuil de 0,5 est trop élevé pour une classe aussi rare.
Trois façons d’augmenter le rappel
Section intitulée « Trois façons d’augmenter le rappel »Il existe trois solutions courantes. Chacune indique au modèle, d’une façon différente, qu’une prise de contrôle manquée compte davantage.
Poids des classes : chaque prise de contrôle compte davantage
Section intitulée « Poids des classes : chaque prise de contrôle compte davantage »Pendant l’entraînement, un modèle additionne ses erreurs et réduit leur somme. Un poids de classe multiplie l’erreur de chaque message d’une classe. Avec un poids élevé pour les prises de contrôle, en manquer une coûte au modèle autant que manquer plusieurs messages normaux.
scikit-learn calcule des poids « équilibrés » pour vous : class_weight="balanced". Chaque classe reçoit le poids messages ÷ (classes × messages de cette classe) :
| Classe | Messages d’entraînement | Poids |
|---|---|---|
| prise de contrôle | 44 | 6 000 ÷ (2 × 44) = 68,2 |
| pas une prise de contrôle | 5 956 | 6 000 ÷ (2 × 5 956) = 0,504 |
Une prise de contrôle compte donc environ 135 fois plus qu’un autre message. Les deux classes ont maintenant le même poids total. Avec les poids des classes, le modèle trouve 11 des 12 prises de contrôle de test (rappel de 0,917). Il ne signale aucun autre message.
Rééchantillonnage : montrer les messages rares plus souvent
Section intitulée « Rééchantillonnage : montrer les messages rares plus souvent »Le rééchantillonnage change les données d’entraînement, pas le modèle. Le suréchantillonnage copie les messages rares. Ici, chaque prise de contrôle apparaît 10 fois, donc le modèle voit 440 lignes de prises de contrôle. Le sous-échantillonnage fait l’inverse : il retire une partie de la classe fréquente. Nous utilisons le suréchantillonnage, car nous avons peu de messages à perdre.
Avec 10 copies, le modèle en trouve 9 sur 12 (rappel de 0,750). Les copies n’ajoutent aucune information. Le modèle revoit les mêmes 44 messages et peut apprendre leurs mots exacts. C’est un risque : il pourrait ne pas reconnaître une prise de contrôle décrite avec de nouveaux mots.
Un seuil propre au modèle
Section intitulée « Un seuil propre au modèle »Le graphique ci-dessus suggère la solution la plus simple. Gardez le modèle par défaut et baissez son seuil. Choisissez le seuil sur les messages de validation, jamais sur les messages de test. L’objectif de Grace : trouver au moins 90 % des prises de contrôle.
Priya essaie des seuils de 0,50 à 0,01, par pas de 0,01. Elle garde le plus élevé qui atteint 90 % de rappel sur les 12 prises de contrôle de validation. C’est 0,12 : il en trouve 11 sur 12. Sur les messages de test, le modèle au seuil de 0,12 en trouve 10 sur 12 (rappel de 0,833). Il ne signale aucun autre message.
Notez que l’objectif était de 90 % sur la validation et que le résultat est de 83 % sur le test. Un objectif choisi sur 12 exemples est un espoir, pas une promesse. Dites-le à côté du nombre.
Comparer les quatre modèles de signalement
Section intitulée « Comparer les quatre modèles de signalement »Placez maintenant les quatre versions côte à côte, sur les mêmes 12 prises de contrôle de test. Avant de regarder : laquelle en trouve le plus?
Description textuelle du graphique
Un graphique à quatre colonnes montre le rappel du modèle de signalement sur les 12 prises de contrôle de test. Par défaut, seuil de 0,50 : 0,417 (5 trouvées). Poids des classes : 0,917 (11). 10 copies, le rééchantillonnage : 0,750 (9). À 0,12, le modèle par défaut avec son propre seuil choisi sur la validation : 0,833 (10).
Le tableau ajoute ce que le graphique omet : les signalements de chaque version et le coût des cas manqués selon le tableau des coûts.
| Modèle de signalement | Trouvées | Signalées | Manquées | Coût des cas manqués |
|---|---|---|---|---|
| Par défaut, seuil de 0,50 | 5 | 5 | 7 | 1 400 $ US |
| Poids des classes | 11 | 11 | 1 | 200 $ US |
| Rééchantillonnage ×10 | 9 | 9 | 3 | 600 $ US |
| Seuil propre de 0,12 | 10 | 10 | 2 | 400 $ US |
Deux remarques pour être honnête. D’abord, aucune version n’a signalé un seul message qui n’était pas une prise de contrôle. Cela tient à cette boîte de réception : un seul modèle de langage a écrit tous ses messages. Les messages de prise de contrôle utilisent des mots très clairs. Dans une vraie boîte de réception, un seuil plus bas signale aussi des questions normales sur les mots de passe. Chaque signalement supplémentaire coûte une minute à une personne. Ensuite, les écarts entre 9, 10 et 11 représentent un ou deux messages. Avec 12 exemples de test, ne déclarez pas de gagnant. Vérifiez de nouveau sur les messages du mois prochain.
Quand utiliser chaque solution
Section intitulée « Quand utiliser chaque solution »- Regardez d’abord le rappel par classe et le F1 macro. Ils ne coûtent rien et montrent le problème. Présentez-les avec le nombre d’exemples de chaque classe rare.
- Un seuil propre au modèle est la solution la moins coûteuse. Vous gardez le modèle et changez un nombre. Utilisez-la quand le modèle classe déjà les messages rares en haut, comme ici. Il faut assez d’exemples de validation pour choisir le seuil.
- Les poids des classes sont un paramètre de la plupart des modèles scikit-learn. Utilisez-les quand la classe rare est mélangée aux autres et que le modèle doit mieux apprendre ses mots. Après ce changement, les scores du modèle ne sont plus de vraies probabilités. Ne les interprétez donc pas ainsi.
- Le rééchantillonnage fonctionne avec tout modèle, même sans paramètre de poids. Les copies n’ajoutent aucune information. Surveillez donc les modèles qui mémorisent seulement les exemples rares.
- Aucune solution ne remplace des exemples supplémentaires. 44 exemples d’entraînement, c’est très peu. Une personne qui étiquette 50 prises de contrôle supplémentaires aide souvent plus que n’importe quel paramètre.
L’entraînement de chaque solution prend quelques secondes. Le vrai coût est le temps de révision des signalements supplémentaires.
Exercice guidé : le modèle de signalement dans le carnet
Section intitulée « Exercice guidé : le modèle de signalement dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, exécutez la cellule. Vous voyez
train 44 | validation 12 | test 12(entraînement 44, validation 12, test 12). - Dans la section 2, prédisez le rappel des prises de contrôle du modèle de sujets. Exécutez ensuite la cellule. Vous voyez une exactitude de
0.954, un F1 macro de0.955et un rappel des prises de contrôle de0.833. - Dans la section 3, exécutez la cellule. Le tableau montre un rappel de
0.417pour le modèle par défaut et de0.917pour les poids des classes. - Dans la section 4, écrivez la recherche du seuil. La vérification indique
Check passed: threshold is 0.12.(vérification réussie : le seuil est de 0,12). - Exécutez la cellule suivante. Vous voyez un rappel de test de
0.833(10 sur 12) et aucun autre message signalé.
À vous : viser toutes les prises de contrôle
Section intitulée « À vous : viser toutes les prises de contrôle »Grace en demande plus : « Trouvez toutes les prises de contrôle sur la validation. » Changez l’objectif de votre recherche de seuil de 0,9 à 1,0. Avant de l’exécuter, prédisez : le modèle trouvera-t-il plus de prises de contrôle de test?
Afficher la réponse
for threshold in np.round(np.arange(0.50, 0.0, -0.01), 2): if (p_val >= threshold)[ato(validation)].mean() >= 1.0: breakLa recherche s’arrête à 0,11 : le score minimal d’une prise de contrôle de validation est de 0,111. Sur les messages de test, le modèle au seuil de 0,11 en trouve encore 10 sur 12. Les deux prises de contrôle de test manquées ont des scores de 0,071 et 0,106, eux aussi sous 0,11. Un objectif plus strict sur la validation n’a pas trouvé plus de cas sur le test. Ici, aucun autre message de test ne dépasse 0,057, donc le seuil plus bas ne coûte rien. Dans une vraie boîte de réception, il ajouterait des signalements.
Erreur courante
Un seuil choisi sur les messages de test
Symptôme : Tomás cherche le seuil sur les messages de test et annonce « le modèle trouve 100 % des prises de contrôle ». Le mois suivant, il en manque.
Cause : il a choisi le nombre qui convient le mieux à ces 12 messages de test. Le score de test mesure alors son ajustement aux données de test, pas le fonctionnement du modèle sur de nouveaux messages. Avec 12 exemples, un message chanceux change le résultat de 8 points.
Solution : choisissez chaque seuil sur les messages de validation. Présentez le score de test une seule fois, avec son nombre : « 10 sur 12 au test ». Pour faire un meilleur choix, recueillez plus d’exemples de validation de la classe rare.
Conséquence dans le travail en IA : le rappel d’une classe rare est le nombre le plus facile à embellir par accident. C’est aussi le nombre qui compte le plus quand la classe coûte cher. Choisissez sur la validation, présentez les résultats sur le test et donnez le nombre.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un modèle de signalement des prises de contrôle est correct pour 99,4 % des 2 000 messages de test. Expliquez pourquoi ce chiffre ne dit pas à Grace si le modèle de signalement fonctionne. Quels deux chiffres devrait-elle demander plutôt?
Afficher la réponse
Seuls 12 des 2 000 messages de test sont des prises de contrôle. Un modèle de signalement qui ne dit jamais « oui » est correct pour les 1 988 autres. Son exactitude est donc de 0,994, mais il ne trouve aucune prise de contrôle. L’exactitude reste presque identique, que le modèle de signalement trouve 0 ou 12 prises de contrôle. Grace devrait demander le rappel de la classe des prises de contrôle, avec le nombre de cas, par exemple « 10 sur 12 ». Elle devrait aussi demander le nombre de messages signalés. Le F1 macro aide aussi, car il donne à la classe rare le même poids qu’aux autres.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : le modèle de signalement par défaut classe chaque prise de contrôle au-dessus de tous les autres messages de test. Pourtant, il n'en trouve que 5 sur 12 au seuil de 0,5. Quelle correction essaieriez-vous d'abord, et pourquoi?
Afficher la réponse
Un seuil propre à cette classe. Le modèle place déjà les prises de contrôle au-dessus de tous les autres messages. Le score le plus élevé parmi les autres est de 0,057. Seul le seuil est trop élevé pour une classe aussi rare. Un seuil plus bas, choisi sur les données de validation (0,12), trouve 10 cas sur 12 dans les données de test. Il ne signale aucun message supplémentaire. Aucun réentraînement n’est nécessaire. Les poids des classes fonctionnent aussi (11 sur 12), mais ils changent le modèle et ses scores.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
En pratique : vous entraînez un modèle de signalement de la fraude avec 30 messages de fraude pour l'entraînement et 8 pour la validation. Vous choisissez un seuil qui trouve 8 cas sur 8 dans les données de validation. Que présentez-vous comme résultat, et que faites-vous avant de lui faire confiance?
Afficher la réponse
Présentez le résultat sur les messages de test une seule fois, avec les nombres (« 6 sur 8 trouvés, 14 signalés »). Ne présentez pas le résultat de validation. Avec 8 exemples, un message de plus ou de moins change le rappel de 12 points. Précisez donc que ce chiffre est incertain. Avant de lui faire confiance, recueillez plus d’exemples de fraude pour la validation et le test. Vérifiez ensuite le modèle de signalement sur de nouveaux messages. Présentez aussi le nombre de messages signalés, car chaque signalement demande du temps de révision.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’exactitude cache une classe rare. Un modèle qui ne trouve jamais de prise de contrôle est correct pour 1 988 des 2 000 messages de test (0,994).
- Le rappel par classe et le F1 macro rendent la classe rare visible. Donnez toujours le nombre de cas à côté du rappel.
- Le modèle de signalement des prises de contrôle par défaut trouve 5 cas sur 12 (0,417). Les poids des classes en trouvent 11, le rééchantillonnage ×10 en trouve 9. Un seuil propre à cette classe (0,12, choisi sur les données de validation) en trouve 10. Dans cette boîte de réception, aucune de ces méthodes ne signale d’autre message.
- Choisissez les seuils sur les données de validation et présentez les résultats de test une seule fois. Avec 12 exemples, un message représente 8 points.
Vous pouvez maintenant trouver un message rare qu’une destination cache. Mais certains messages contiennent deux demandes, et une seule destination ne peut répondre qu’à l’une d’elles. Ensuite, nous donnerons deux destinations à un même message.
Leçon suivante : Les messages à plusieurs étiquettes