Peu d'étiquettes avec des plongements
- Leçon 14
- 30 min
- Module 4 : Plongements et petits modèles réglés finement
Où nous en sommes
Notre classificateur à plongements a appris à partir de 6 000 messages étiquetés. Une nouvelle équipe ou un nouveau produit en a souvent très peu. Dans cette leçon, nous classons avec les exemples les plus proches et un entraînement de type SetFit. Nous utilisons quelques exemples par classe et voyons quand ces méthodes surpassent TF-IDF.
Leçon 14 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitPeu d'étiquettes avec des plongements
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Routez (acheminez) les messages quand chaque destination n’a que quelques exemples étiquetés. Cela arrive avec une nouvelle équipe, un nouveau produit ou un nouveau client d’un service de routage. Les plongements (embeddings) représentent le sens général. Ils demandent donc beaucoup moins d’étiquettes que TF-IDF, jusqu’à une limite que vous pouvez mesurer.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il calcule l’exemple du centre le plus proche à la main. Il entraîne trois méthodes avec 8 et 32 étiquettes par destination. Il exécute SetFit et montre à quel point un seul tirage aléatoire change le résultat. Ses cellules de préparation installent les paquets et téléchargent les données et le modèle. Aucune préparation locale n’est donc nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les plongements de phrase (sentence embeddings) et la similarité cosinus, dans Plongements de phrases pour la classification.
- TF-IDF avec la régression logistique, dans Bayes naïf, régression logistique et SVM linéaire.
- Le nombre d’étiquettes que Chloé peut créer et l’apprentissage actif, dans Quand vous avez peu d’étiquettes.
Ce qu’il vous faut sur votre ordinateur
- Rien si vous utilisez le carnet. Ce module ne change aucun fichier de votre projet
larkroute.
Testé sur macOS (Apple silicon) avec Python 3.12, sentence-transformers 6.2.0, SetFit 1.2.0, PyTorch 2.15.0 (CPU) et scikit-learn 1.9.1, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.
Un nouveau comptoir avec quelques exemples
Section intitulée « Un nouveau comptoir avec quelques exemples »Le bureau de poste ouvre un nouveau comptoir pour les colis destinés aux îles. Personne n’a encore trié de colis pour les îles. La gestionnaire donne aux commis un petit dossier : huit enveloppes comme exemples pour chaque comptoir.
Le nouveau commis qui cherche les mots exacts ne sait pas quoi faire. Huit enveloppes ne montrent qu’une partie des mots que les clients utilisent. La commis expérimentée, qui comprend le sens, regarde les huit exemples et comprend : « ça parle de bateaux et d’îles ». Elle peut trier une nouvelle enveloppe qui utilise d’autres mots, car elle compare les sens, pas les mots.
Larkfield vit la même situation. Une nouvelle destination apparaît, ou un nouveau client commence à utiliser un service de routage. Il n’y a pas 6 000 messages étiquetés. Il y a les quelques messages que Chloé a étiquetés en un après-midi.
Le problème : TF-IDF a besoin de beaucoup d’étiquettes
Section intitulée « Le problème : TF-IDF a besoin de beaucoup d’étiquettes »TF-IDF apprend un poids par mot et ne peut apprendre que les mots qu’il voit. Avec 8 messages étiquetés par destination (56 au total), la plupart des mots des messages de test sont absents de l’entraînement. Sur la boîte de réception de Larkfield, TF-IDF avec régression logistique route alors correctement environ la moitié des messages de test. Son exactitude est de 0,496, la moyenne de 5 tirages aléatoires. Avec les 6 000 étiquettes, elle atteignait 0,962.
Le modèle de plongement figé sait déjà que « parcel », « colis » et « delivery » sont liés. Il l’a appris à partir de textes généraux, avant de voir un seul message de Larkfield. Il devrait donc avoir besoin de moins d’étiquettes. Combien de moins, et avec quelle méthode?
Trois façons d’apprendre avec peu d’étiquettes
Section intitulée « Trois façons d’apprendre avec peu d’étiquettes »Le centre le plus proche : l’idée la plus simple
Section intitulée « Le centre le plus proche : l’idée la plus simple »Le centre d’une destination est la moyenne des plongements de ses exemples : un point qui résume la destination. Un nouveau message va à la destination dont le centre est le plus similaire. Cette méthode s’appelle aussi centroïde le plus proche (« centroïde » est le terme géométrique pour un centre). Elle ne demande aucun entraînement : seulement des moyennes.
Voici un petit exemple avec deux destinations, deux exemples chacune et deux nombres inventés par message :
| Message | Destination | Nombres |
|---|---|---|
| D1 | delivery | (0,9; 0,1) |
| D2 | delivery | (0,7; 0,3) |
| B1 | billing | (0,2; 0,9) |
| B2 | billing | (0,0; 0,8) |
Le centre de delivery est ((0,9 + 0,7) ÷ 2, (0,1 + 0,3) ÷ 2) = (0,8; 0,2). Le centre de billing est ((0,2 + 0,0) ÷ 2, (0,9 + 0,8) ÷ 2) = (0,1; 0,85).
Un nouveau message N a les nombres (0,8; 0,3). Sa similarité cosinus est de 0,994 avec le centre de delivery et de 0,458 avec celui de billing. Il va donc à delivery.
Description textuelle du graphique
Quatre points d’exemple : D1 à (0,9; 0,1) et D2 à (0,7; 0,3) pour delivery. B1 à (0,2; 0,9) et B2 à (0,0; 0,8) pour billing. Deux flèches partent de (0, 0) et montrent les centres. Celui de delivery est à (0,8; 0,2), entre D1 et D2. Celui de billing est à (0,1; 0,85), entre B1 et B2. Le nouveau message N est un point à (0,8; 0,3), juste au-dessus de la flèche de delivery. L’angle entre N et la flèche de delivery est très petit; l’angle avec la flèche de billing est grand.
La méthode ressemble à la façon dont une personne apprend avec quelques exemples : « ça ressemble à ceux-là ». Elle a une faiblesse : une moyenne par destination donne un résumé approximatif. Une destination peut avoir deux types de messages, comme les livraisons « en retard » et « perdues ». Elle obtient alors un seul centre, quelque part entre les deux.
La régression logistique sur les plongements
Section intitulée « La régression logistique sur les plongements »La deuxième méthode est celle de la dernière leçon : la régression logistique sur les 384 nombres. Elle s’entraîne seulement sur les quelques messages étiquetés. Elle apprend un poids pour chacun des 384 nombres et chaque destination. Avec peu d’exemples, elle a peu de données pour apprendre. Elle peut quand même tracer de meilleures frontières qu’une moyenne par destination.
L’entraînement de type SetFit
Section intitulée « L’entraînement de type SetFit »La troisième méthode change le modèle de plongement lui-même. SetFit (réglage fin d’un transformeur de phrases) crée des paires à partir des quelques messages étiquetés. Deux messages de la même destination forment une paire « similaire ». Deux messages de destinations différentes forment une paire « différente ». Avec 56 messages, il y a 1 540 paires possibles; SetFit en a utilisé 1 120 ici. SetFit entraîne le modèle de plongement à rapprocher les paires similaires et à éloigner les paires différentes. Ensuite, il entraîne une régression logistique sur les nouveaux plongements.
Cela demande du temps d’entraînement : 24,7 secondes sur notre portable pour 8 messages par destination (22 secondes dans le carnet).
Larkfield : de 4 à 64 étiquettes par destination
Section intitulée « Larkfield : de 4 à 64 étiquettes par destination »Priya tire au hasard 4, 8, 16, 32 et 64 messages d’entraînement par destination. Pour chaque taille, elle fait 5 tirages aléatoires différents et entraîne les trois méthodes sur chacun. Elle les évalue sur les 2 000 messages de test. Le graphique montre la moyenne des 5 tirages.
Avant de regarder, faites une prédiction : à quelle taille TF-IDF rattrape-t-il les plongements?
- Plongements + régression logistique
- TF-IDF + régression logistique
- Centre le plus proche (plongements)
Description textuelle du graphique
Trois lignes, de 4 à 64 messages étiquetés par destination; chaque taille est le double de la précédente. Plongements avec régression logistique : 54,4 % avec 4 par destination, 65,5 % avec 8, 72,1 % avec 16, 77,5 % avec 32 et 82,0 % avec 64. TF-IDF avec régression logistique commence beaucoup plus bas : 35,8 %, 49,6 %, 65,0 %, 76,4 % et 84,8 %. Les deux lignes se rejoignent presque à 32 par destination, et TF-IDF est plus haut à 64. Le centre le plus proche (en pointillés) commence à 52,0 %, monte à 59,5 % et à 60,8 %. Il reste ensuite presque plat : 66,2 % à 32 et 67,4 % à 64.
| Étiquettes par destination | TF-IDF + LR | Plongements + LR | Centre le plus proche |
|---|---|---|---|
| 4 (28 au total) | 0,358 | 0,544 | 0,520 |
| 8 (56) | 0,496 | 0,655 | 0,595 |
| 16 (112) | 0,650 | 0,721 | 0,608 |
| 32 (224) | 0,764 | 0,775 | 0,662 |
| 64 (448) | 0,848 | 0,820 | 0,674 |
Trois choses ressortent sur cette boîte de réception :
- Avec peu d’étiquettes, les plongements gagnent largement. Avec 4 étiquettes par destination, la régression logistique sur les plongements obtient 0,544, contre 0,358 pour TF-IDF : 18,6 points.
- TF-IDF rattrape les plongements vers 32 par destination et les dépasse à 64. Une fois qu’il a vu assez de mots, les mots exacts de la boîte de réception valent plus que le sens général. Avec 6 000 étiquettes, l’écart est de 0,962 contre 0,920.
- Le centre le plus proche est bon au tout début (0,520 avec 4 par destination, près de la régression logistique). Mais il cesse de s’améliorer. Une moyenne par destination ne peut pas apprendre des frontières plus fines.
Et SetFit? Sur le tirage avec 8 messages par destination, l’entraînement de type SetFit obtient 0,630. La régression logistique sur les plongements figés obtient 0,632 sur le même tirage, et TF-IDF, 0,510. Sur cette boîte de réception, les 24,7 secondes d’entraînement de SetFit n’apportent rien. Sur d’autres données, il aide souvent. L’étude de cas Trier des demandes avec peu d’étiquettes vous permet de le tester sur de vraies demandes en anglais et en français.
Ce que coûte un résultat avec « peu d’étiquettes »
Section intitulée « Ce que coûte un résultat avec « peu d’étiquettes » »Aucun de ces modèles n’est prêt à router seul les messages de Larkfield. Même le meilleur, avec 8 étiquettes par destination et une exactitude de 0,655, se trompe sur un tiers des messages. Une mauvaise file d’attente coûte 4 $ US, et beaucoup plus pour un message urgent ou une prise de contrôle de compte. Avec si peu d’étiquettes, le modèle a un autre rôle : il suggère une destination, et une personne la vérifie. L’équipe de Grace lit encore chaque message, mais plus vite, et Chloé obtient davantage de messages étiquetés chaque jour. La leçon Quand vous avez peu d’étiquettes montrait comment choisir les prochains messages qu’elle étiquette.
Quand utiliser chaque méthode
Section intitulée « Quand utiliser chaque méthode »- Centre le plus proche pour le premier jour : aucun entraînement, un résultat en quelques secondes et une explication simple (« ce message ressemble le plus à ces exemples »). Il permet aussi de lancer une nouvelle destination avec quelques exemples.
- Plongements + régression logistique avec environ 4 à 32 étiquettes par destination : sur cette boîte de réception, c’est la meilleure méthode dans cet intervalle.
- TF-IDF dès que vous avez plus d’environ 32 à 64 étiquettes par destination, comme dans le module 3. Il est moins cher, plus rapide et, sur cette boîte de réception, plus exact.
- SetFit quand vous pouvez vous permettre un court entraînement et qu’il gagne sur vos messages de validation. Ici, il n’a pas gagné.
La taille à laquelle TF-IDF rattrape les plongements dépend des données. Avec des formulations plus variées ou davantage de langues, cela arrive plus tard. Mesurez-la sur vos propres messages, comme Priya.
Exercice guidé : trois méthodes, peu d’étiquettes
Section intitulée « Exercice guidé : trois méthodes, peu d’étiquettes »- Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation et la cellule SetFit. Elle affiche
setfit 1.2.0. - Dans la section 1, calculez les deux centres sur papier. Exécutez ensuite la cellule. Le nouveau message va à
delivery(livraison). - Dans la section 2, exécutez la cellule qui transforme la boîte de réception en plongements. Elle affiche
(6000, 384) (2000, 384). - Dans la section 3, exécutez les trois méthodes avec 8 étiquettes par destination. Elles affichent
(0.51, 0.632, 0.525). - Dans la section 5, exécutez SetFit. Il affiche environ
0.63. - Dans la section 6, exécutez les 5 tirages avec 4 étiquettes par destination. Comparez le résultat le plus haut et le plus bas.
À vous : 32 étiquettes par destination
Section intitulée « À vous : 32 étiquettes par destination »Dans la section 4 du carnet, tirez 32 messages par destination avec draw(32). Calculez l’exactitude du centre le plus proche sur les messages de test. Faites d’abord une prédiction : sera-t-elle plus près de 0,6 ou de 0,8?
Afficher la réponse
idx32 = draw(32)near32 = round(float((nearest_centre(idx32) == truth).mean()), 3)print(near32, three_methods(idx32))0.665 (0.758, 0.767, 0.665)Le centre le plus proche obtient 0,665 avec 224 étiquettes (la moyenne des 5 tirages du graphique était de 0,662). La régression logistique sur les mêmes plongements fait beaucoup mieux, et TF-IDF l’a presque rattrapée. Une moyenne par destination ne suffit pas quand les destinations se chevauchent, comme les livraisons, les retours et les commandes.
Erreur courante
Le tirage chanceux
Symptôme : Tomás essaie les plongements avec 4 étiquettes par destination et obtient 0,606. Il dit à Grace : « Avec 28 étiquettes, le modèle classe correctement 61 % des messages. » Une semaine plus tard, Chloé étiquette 28 autres messages. La même méthode obtient 0,514.
Cause : avec 4 exemples par destination, le choix de ces 4 exemples compte beaucoup. Un exemple typique aide; un exemple inhabituel induit en erreur. Sur 5 tirages aléatoires, la régression logistique sur les plongements est passée de 0,514 à 0,606. TF-IDF est passé de 0,298 à 0,388. Tomás a rapporté son meilleur tirage.
Correction : avec peu d’étiquettes, faites plusieurs tirages (ici, 5) et rapportez la moyenne et l’étendue : « 0,544, de 0,514 à 0,606 ». Choisissez les méthodes selon la moyenne, pas selon un seul tirage. Pour l’étiquetage, préférez des messages typiques sur l’étiquette desquels les personnes s’accordent.
Conséquence dans le travail en IA : avec peu d’étiquettes, le résultat d’un seul tirage peut être décalé de 10 points. Une équipe planifie son travail de révision selon le résultat chanceux. Elle découvre ensuite que sa nouvelle destination demande beaucoup plus de vérifications qu’elle ne l’avait promis.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans le petit exemple, un nouveau message a les nombres (0,1; 0,7). Quelle destination le centre le plus proche choisit-il? Montrez les deux similarités cosinus.
Afficher la réponse
Les centres sont delivery (0,8; 0,2) et billing (0,1; 0,85). Avec delivery, le produit scalaire est 0,1 × 0,8 + 0,7 × 0,2 = 0,22. Les longueurs sont 0,707 et 0,825, donc le cosinus est 0,22 ÷ 0,583 = 0,377. Avec billing, le produit scalaire est 0,1 × 0,1 + 0,7 × 0,85 = 0,605. Les longueurs sont 0,707 et 0,856, donc le cosinus est 0,605 ÷ 0,605 = 1,000 (arrondi). Le message va à billing.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une nouvelle destination commence avec 8 messages étiquetés par destination. Quelle méthode choisissez-vous aujourd'hui, et quand prévoyez-vous la changer? Utilisez les nombres de cette leçon.
Afficher la réponse
Aujourd’hui : la régression logistique sur les plongements figés. Sur cette boîte de réception, avec 8 par destination, elle obtient 0,655 contre 0,496 pour TF-IDF. Le centre le plus proche obtient 0,595 (moyennes de 5 tirages). À 0,655, elle suggère seulement des destinations; une personne vérifie chaque message. Prévoyez une nouvelle comparaison à mesure que le nombre d’étiquettes augmente. TF-IDF rattrape les plongements vers 32 par destination et les dépasse à 64 (0,848 contre 0,820). Vérifiez ce croisement sur vos propres messages de validation, car il dépend des données.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
SetFit obtient 0,630 avec 8 étiquettes par destination. La régression logistique sur les plongements figés obtient 0,632 sur le même tirage. Tomás veut utiliser SetFit « parce qu'il règle finement le modèle ». Que lui répondez-vous?
Afficher la réponse
Sur cette boîte de réception et ce tirage, SetFit n’apporte rien : 0,630 contre 0,632. Il coûte 24,7 secondes d’entraînement, plus un modèle réglé finement à stocker et à gérer par versions. Une méthode plus complexe n’est pas meilleure en soi. Comparez sur plusieurs tirages et sur des messages de validation. Si SetFit y gagne sur vos données, utilisez-le. L’étude de cas avec peu d’étiquettes est un bon endroit pour le tester sur de vraies demandes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Avec peu d’étiquettes, le sens général aide. Sur cette boîte de réception, avec 4 étiquettes par destination, plongements + régression logistique obtiennent 0,544 et TF-IDF, 0,358.
- Le centre le plus proche calcule la moyenne des plongements de chaque destination et choisit le centre le plus similaire. Il ne demande aucun entraînement, est bon au tout début et cesse rapidement de s’améliorer (0,674 à 64 par destination).
- TF-IDF rattrape les plongements vers 32 étiquettes par destination et les dépasse à 64 (0,848 contre 0,820). Mesurez ce croisement sur vos propres données.
- SetFit règle finement le modèle de plongement avec des paires d’exemples. Ici, avec 8 par destination, il obtient 0,630, comme la simple régression logistique (0,632).
- Avec peu d’étiquettes, un seul tirage aléatoire peut être décalé de 10 points. Rapportez la moyenne et l’étendue de plusieurs tirages.
Jusqu’ici, le modèle de plongement n’a jamais appris à partir des étiquettes de Larkfield. Ensuite, nous faisons apprendre le modèle entier, sur le CPU d’un portable, en environ 6 minutes.
Leçon suivante : Régler finement un petit encodeur sur CPU