Aller au contenu
English

Classification zéro exemple sans LLM

  • Leçon 17
  • 35 min
  • Module 4 : Plongements et petits modèles réglés finement

Où nous en sommes

Tous les modèles jusqu'ici ont appris à partir d'exemples étiquetés. Et si une nouvelle étiquette n'a pas encore d'exemples? Dans cette leçon, nous classons avec les noms d'étiquettes seulement. Un modèle NLI vérifie chaque étiquette séparément. Un modèle GLiClass compare le message à toutes les étiquettes à la fois.

Leçon 17 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitClassification zéro exemple sans LLM
Aperçu du cours

Ce que vous saurez faire

Acheminez les messages avant que quelqu’un en ait étiqueté un seul, par exemple au premier jour d’une nouvelle destination. Les modèles zéro exemple lisent une courte description de chaque destination plutôt que des exemples. Ils sont utiles pour commencer et faire des suggestions. Dans cette boîte de réception, ils sont bien trop faibles pour router seuls.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Il exécute les modèles NLI et GLiClass sur un message, avec tous les scores visibles. Il exécute GLiClass sur les 2 000 messages de test et réexécute le traitement NLI enregistré. Il ajoute aussi la nouvelle destination Grow Hub sans entraînement. Ses cellules de préparation installent les paquets et téléchargent les données et les deux modèles, d’environ 550 Mo et 280 Mo. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Rien si vous utilisez le carnet. Ce module ne modifie aucun fichier de votre projet larkroute.

Testé sur macOS (Apple silicon) avec Python 3.12, Transformers 5.22.2, GLiClass 0.1.22 et PyTorch 2.15.0 (CPU), dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.

Un employé temporaire arrive au bureau de poste un matin chargé. Personne n’a le temps de le former. Il ne reçoit aucune lettre d’exemple, seulement les panneaux au-dessus des comptoirs : « Colis », « Retours », « Paiements », « Plaintes au gestionnaire ». Il lit chaque lettre et la place sous le panneau qui semble convenir.

C’est mieux que rien. Une lettre sur un colis perdu va sous « Colis ». Mais il fait des erreurs étranges. Une lettre qui nomme le produit, « ma chaise de jardin n’est jamais arrivée », peut aller au comptoir des questions sur les produits. C’est parce qu’elle mentionne un produit. Les panneaux sont courts, et il les interprète au sens strict.

Le problème : une nouvelle destination n’a pas d’étiquettes

Section intitulée « Le problème : une nouvelle destination n’a pas d’étiquettes »

Tous les modèles de ce module ont appris à partir de messages étiquetés : 6 000, ou au moins quelques-uns par destination. Pendant le mois de lancement, Larkfield commence à vendre le Grow Hub, un appareil d’arrosage intelligent : un jardin d’intérieur avec un contrôleur Wi-Fi et des capteurs d’humidité du sol. Les clients écrivent au sujet de sa configuration, mais aucune destination n’existe encore pour eux. Au premier jour d’une nouvelle destination, il n’y a aucun message étiqueté.

Les modèles des leçons précédentes ne peuvent pas aider. Un classificateur peut seulement choisir parmi les destinations utilisées pour son entraînement. Il nous faut un modèle capable de lire la description d’une destination et de décider sans exemple.

Zéro exemple (zero-shot) signifie « sans aucun exemple » : le modèle reçoit seulement une description de chaque classe. Nous donnons à chaque destination une courte phrase, qui résume le guide d’étiquetage en quelques mots :

Destination Phrase
orders modifier ou annuler une commande
delivery une livraison en retard ou manquante
returns_refunds un retour, un remboursement ou un article endommagé
billing des frais, un paiement ou une facture
product une question sur un produit
account un compte client ou une connexion
needs_person un problème de sécurité, une menace juridique ou une plainte à un gestionnaire

Deux types de modèles peuvent utiliser ces phrases sans LLM.

L’inférence en langage naturel (NLI) est une tâche : étant donné deux phrases, la première appuie-t-elle la seconde? Un modèle NLI a été entraîné sur de nombreuses paires de ce genre. Pour le routage, la première phrase est le message. La seconde est une hypothèse : « Ce message porte sur une livraison en retard ou manquante. » Le modèle donne un score pour « appuie ». Nous proposons sept hypothèses, une par destination, et la destination ayant le meilleur score gagne.

Le modèle utilisé ici est mDeBERTa-v3-base-xnli-multilingual-nli-2mil7 : multilingue, environ 280 millions de paramètres, licence MIT. Il doit lire le message sept fois, une fois avec chaque hypothèse.

Un modèle GLiClass (classificateur généraliste léger) lit le message et toutes les phrases ensemble, en un passage. Il donne un score à chaque phrase en même temps. Ajouter une destination allonge un peu l’entrée, sans multiplier le travail par sept. Le modèle utilisé ici est gliclass-multilang-edge : multilingue, 143 millions de paramètres, licence Apache-2.0.

Voici un message de test, M-100597, étiqueté delivery :

Great, the tracking for LK-354854 hasn’t moved in 6 days. Have my solar lights been lost?
Deux colonnes. À gauche, NLI : le message, puis sept hypothèses de la forme « Ce message porte sur…? », chacune avec son score. L'hypothèse « une question sur un produit » a le score le plus élevé et est mise en évidence. NLI choisit product. À droite, GLiClass : le message et les sept phrases des destinations lus ensemble, puis sept noms de destinations avec leurs scores. Delivery a le score le plus élevé et est mis en évidence. GLiClass choisit delivery.
Un message, deux modèles zéro exemple. NLI vérifie sept hypothèses, une à la fois. L'hypothèse product gagne parce que le message nomme un produit. GLiClass lit les sept phrases à la fois et choisit delivery, la bonne destination.
Description textuelle du diagramme

La colonne de gauche représente le modèle NLI. Le message est en haut. En dessous se trouvent sept hypothèses, une par destination, chacune de la forme « Ce message porte sur…? », avec son score. Les scores sont : orders 0,06, delivery 0,241, returns_refunds 0,039, billing 0,017, product 0,569, account 0,07, needs_person 0,004. L’hypothèse product a le score le plus élevé, donc NLI choisit product. La colonne de droite représente le modèle GLiClass. Le message et les sept phrases entrent ensemble, en un passage. Ses scores, divisés par leur somme, sont : orders 0,039, delivery 0,471, returns_refunds 0,017, billing 0,002, product 0,243, account 0,02, needs_person 0,208. Delivery a le score le plus élevé, donc GLiClass choisit delivery.

DestinationScore NLIPart GLiClass
orders0,0600,039
delivery0,2410,471
returns_refunds0,0390,017
billing0,0170,002
product0,5690,243
account0,0700,020
needs_person0,0040,208

Le pipeline NLI transforme les sept scores « appuie » en parts dont la somme vaut 1. GLiClass donne à chaque phrase son propre score de 0 à 1. Nous les divisons par leur somme pour pouvoir comparer les deux colonnes. Le modèle NLI a choisi product : le message nomme un produit, « solar lights » (lampes solaires). L’hypothèse « une question sur un produit » convenait donc. GLiClass a choisi delivery, la bonne destination.

Le temps compte aussi. Sur notre portable, NLI a pris environ 0,7 s pour ce message (sept passages), et GLiClass environ 17 ms. Vos temps seront différents.

Larkfield : classification zéro exemple sur les messages de test

Section intitulée « Larkfield : classification zéro exemple sur les messages de test »

Priya exécute les deux modèles sur les 2 000 messages de test, avec les mêmes sept phrases. Aucun modèle n’a jamais vu d’étiquette de Larkfield. Avant de regarder, faites une prédiction : l’un des deux battra-t-il l’option « tout transférer à une personne »? Elle coûte 1 500 $ US par 1 000 messages.

  • Zéro exemple : aucune étiquette de Larkfield
  • Entraînés sur 6 000 étiquettes
Exactitude des deux modèles zéro exemple sur les données de test, à côté de trois modèles entraînés : plongements figés, TF-IDF et encodeur réglé finement. Avec les phrases des destinations seulement, GLiClass classe correctement la moitié des messages, et NLI le tiers.
Description textuelle du graphique

Un graphique à cinq colonnes, sur un axe de 0 à 100 %. Les deux modèles zéro exemple, qui n’ont jamais vu d’étiquette de Larkfield : NLI 32,9 % et GLiClass 51,6 %. Les trois modèles entraînés de ce cours : plongements figés avec régression logistique (Figé) 92,0 %, TF-IDF avec régression logistique 96,2 % et encodeur réglé finement (Réglé finement) 98,0 %.

Méthode (2 000 messages de test) Exactitude Anglais Français Prises de contrôle détectées needs_person détectés Coût par 1 000 Temps par message
GLiClass zéro exemple 0,516 0,519 0,508 9 sur 12 22 sur 99 4 431,0 $ US 21 ms
NLI zéro exemple 0,329 0,334 0,317 8 sur 12 0 sur 99 6 570,0 $ US 0,8 s
Tout transférer à une personne 1 500,0 $ US

Dans cette boîte de réception, les deux modèles zéro exemple coûtent bien plus qu’une personne qui lit chaque message. Une mauvaise destination coûte au moins 4 $ US, et 40 $ US pour un message needs_person envoyé à une équipe. Se tromper sur la moitié des messages est pire que ne faire aucun routage. NLI n’a jamais choisi needs_person. Tous les problèmes de sécurité et toutes les menaces juridiques des données de test sont donc allés à une équipe.

Les destinations prédites montrent la tendance. NLI a choisi product pour 1 082 des 2 000 messages de test, alors que seulement 289 sont des questions sur les produits. Presque tous les messages de Larkfield nomment un produit (« solar lights », « garden chair », « herb kit » : lampes solaires, chaise de jardin, ensemble d’herbes). Donc, « une question sur un produit » convient à presque tout. NLI a choisi returns_refunds seulement 33 fois, pour 404 véritables messages de retour. GLiClass penche dans l’autre sens : il a choisi delivery 797 fois, pour 461 véritables messages de livraison.

Une courte phrase ne peut pas transmettre tout le guide d’étiquetage. « Un retour, un remboursement ou un article endommagé » ne dit pas « une demande de remboursement qui nomme un produit reste un retour ». Les modèles entraînés ont appris ces frontières à partir de 6 000 exemples. Un modèle zéro exemple n’a que les mots de la phrase.

La vitesse est l’autre problème de NLI. Il lit chaque message sept fois. Il lui faut donc environ 0,8 secondes par message dans l’exécution du tableau. Les temps dépendent de l’ordinateur et de ses autres tâches : l’exemple détaillé ci-dessus a pris 0,7 s pour un message. Dans les deux cas, NLI est plusieurs fois plus lent que GLiClass. Avec huit destinations, il lui faudrait huit passages. GLiClass lit toutes les destinations en un passage, en environ 21 ms.

Les modèles zéro exemple ont un véritable atout : une nouvelle destination n’est qu’une phrase de plus. Priya ajoute la destination Grow Hub avec la phrase « configurer un appareil d’arrosage intelligent et son application ». Elle calcule les scores des 250 messages de lancement que Chloé a étiquetés (data/launch_labels_sample.csv). Parmi eux, 80 portent sur la configuration de l’appareil.

Modèle Messages sur l’appareil détectés (sur 80) Rappel Précision Exactitude sur les 170 autres
GLiClass 31 0,388 0,838 0,553
NLI 0 0,000 0,341

Le rappel est la part des 80 messages sur l’appareil qui reçoivent la nouvelle destination. La précision est la part des messages affectés à cette destination qui portent vraiment sur l’appareil. GLiClass trouve 31 messages sur l’appareil. Quand il répond devices, il a raison 84 % du temps. Au premier jour, avant toute étiquette, c’est un signal utile. Il fournit une liste de messages probablement liés au Grow Hub que Chloé peut vérifier et étiqueter en premier. NLI n’en trouve aucun.

Classification zéro exemple avec un LLM, pour comparer

Section intitulée « Classification zéro exemple avec un LLM, pour comparer »

Le module 5 pose la même question à un LLM hébergé : seulement les noms des destinations, sans exemples. Il atteint une exactitude de 0,765 sur les messages de test, bien mieux que les deux modèles ici. Il prend environ 1,2 seconde par message, avec un prix par jeton. Avec des descriptions et 8 exemples similaires dans la requête, il atteint 0,970. La leçon Classification zéro exemple avec un LLM commence là.

  • Utilisez-les au premier jour d’une nouvelle destination ou d’un nouveau projet. Ils peuvent trier des messages non étiquetés pour une personne, suggérer lesquels étiqueter d’abord ou surveiller l’apparition d’un nouveau sujet.
  • Préférez GLiClass à NLI si vous avez plus de quelques destinations : un passage plutôt qu’un passage par destination.
  • Ne les utilisez pas comme routeur quand vous avez des étiquettes. Dans cette boîte de réception, même 8 étiquettes par destination avec des plongements (0,655) battent les deux modèles.
  • Leur coût : un modèle de 280 Mo à 550 Mo. Sur un CPU, chaque message prend des dizaines de millisecondes (GLiClass) à plusieurs secondes (NLI). Ce sont leurs erreurs qui coûtent le plus.
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule GLiClass. Elle affiche gliclass 0.1.22.
  3. Dans la section 1, lisez les sept phrases et le message d’exemple.
  4. Dans la section 2, écrivez votre prédiction. Puis exécutez NLI sur le message. Il place product en premier.
  5. Dans la section 3, exécutez GLiClass sur le message. Il place delivery en premier.
  6. Dans la section 4, exécutez GLiClass sur les 2 000 messages de test et réexécutez NLI. GLiClass obtient 0.516, NLI 0.329.

À vous : une nouvelle destination sans entraînement

Section intitulée « À vous : une nouvelle destination sans entraînement »

Dans la section 5 du carnet, calculez les scores des 250 messages de lancement de Chloé avec GLiClass. Utilisez les sept phrases et la nouvelle phrase devices. Calculez le rappel et la précision de devices. Faites d’abord une prédiction : GLiClass trouvera-t-il plus de la moitié des 80 messages sur l’appareil?

Afficher la réponse
pred = gli_scores(launch["text"], NEW.values()).set_axis(list(NEW), axis=1).idxmax(axis=1).to_numpy()
is_dev = launch["route"].to_numpy() == "devices"
dev_recall = round(float((pred[is_dev] == "devices").mean()), 3)
dev_precision = round(float((is_dev[pred == "devices"]).mean()), 3)
print(dev_recall, dev_precision)
0.388 0.838

GLiClass trouve 31 des 80 messages sur l’appareil, et 31 de ses 37 réponses devices sont correctes. Essayez une autre phrase pour la nouvelle destination. Si vous gardez la phrase qui réussit le mieux sur ces 250 messages, rappelez-vous que vous l’avez choisie sur eux. Testez-la à nouveau sur de nouveaux messages de lancement.

Erreur courante

La phrase qui prend tout

Symptôme : avec les sept phrases, le modèle NLI envoie 1 082 des 2 000 messages de test à product. Les plaintes de livraison, demandes de retour et modifications de commande arrivent toutes dans la file d’attente de l’équipe produit.

Cause : presque tous les messages de Larkfield nomment un produit, et la phrase de cette destination est « une question sur un produit ». Pour le modèle, « ce message porte sur une question sur un produit » est vrai pour « my solar lights have not arrived » (mes lampes solaires ne sont pas arrivées). La phrase est trop large. Elle décrit ce que la plupart des messages contiennent, pas ce qui justifie de les envoyer à l’équipe produit.

Correction : écrivez des phrases qui séparent les destinations, pas des phrases qui les décrivent. Testez chaque phrase sur un petit jeu de données étiquetées, et cherchez la destination qui reçoit trop de messages. Pour la destination produit, une phrase comme « le fonctionnement d’un produit, sa taille ou ses matériaux, avant ou après l’achat » est plus précise. Testez ensuite sur d’autres messages. Une phrase ajustée sur un jeu de données peut être adaptée à ses particularités accidentelles.

Conséquence dans le travail en IA : avec les modèles zéro exemple, les descriptions d’étiquettes sont les seules données d’entraînement du modèle. Une description négligée déplace des centaines de messages vers une équipe sans avertissement. La file de cette équipe est le premier endroit où quelqu’un le remarque.

Vérifiez votre compréhension

Expliquez la différence entre le modèle NLI et le modèle GLiClass pour un message et sept destinations. Pourquoi cela compte-t-il pour la vitesse?

Afficher la réponse

Le modèle NLI lit le message avec une seule hypothèse à la fois, par exemple « Ce message concerne une livraison en retard ou manquante. » Il lit donc le message sept fois, une passe par destination. Le meilleur score d’« appui » l’emporte. GLiClass lit le message et les sept phrases ensemble, en une seule passe, et attribue tous les scores à la fois. Le travail de NLI augmente avec le nombre de destinations. Sur notre ordinateur portable, il prenait près d’une seconde par message, contre environ 21 ms pour GLiClass. Avec plus de destinations, l’écart augmente.

Vérifiez votre compréhension

GLiClass obtient 0,516 sur les messages de test et coûte 4 431,0 $ US par 1 000 messages. Tout transférer à une personne coûte 1 500,0 $ US. Comment un modèle qui réussit une fois sur deux peut-il coûter trois fois plus que de ne rien décider automatiquement?

Afficher la réponse

Une personne coûte 1,50 $ US par message et ne fait aucune erreur de routage. Un modèle qui route mal la moitié des messages paie 4 $ US pour chaque mauvaise file d’attente. Il paie 20 $ US si le message est urgent. Il paie 40 $ US pour chaque message needs_person (besoin d’une personne) envoyé à une équipe. GLiClass n’en trouve que 22 sur 99. Et il paie 200 $ US pour chaque prise de contrôle de compte manquée : il en manque 3 sur 12. Les mauvaises destinations coûtent beaucoup plus cher qu’une révision. Un routeur peu fiable est donc pire que l’absence de routeur.

Vérifiez votre compréhension

La destination Grow Hub n'a pas encore d'étiquettes. Comment utiliseriez-vous GLiClass le premier jour, et à quoi ne l'utiliseriez-vous pas? Utilisez les chiffres du lancement.

Afficher la réponse

Utilisez-le pour dresser une liste de messages probablement liés à Grow Hub pour Chloé. Sur ses 250 messages de lancement, GLiClass trouve 31 des 80 messages concernant les appareils (rappel de 0,388). Et 84 % des messages qu’il classe comme devices (appareils) sont bien classés (précision de 0,838). Elle les vérifie et les étiquette en premier. Un modèle entraîné prend la relève une fois qu’il y a assez d’étiquettes. Ne l’utilisez pas comme routeur : il manque 6 messages sur 10 concernant les appareils. Sur les 170 autres messages de lancement, il réussit seulement 55 % du temps.

Récapitulatif

  • Les modèles zéro exemple classent avec une courte phrase par destination, sans exemple étiqueté.
  • Un modèle NLI vérifie une hypothèse par destination (« Ce message concerne… »). Il fait sept passes, soit près d’une seconde par message sur un ordinateur portable. Un modèle GLiClass lit toutes les phrases en une passe : environ 21 ms.
  • Sur cette boîte de réception, GLiClass atteint 0,516 et NLI, 0,329. Les deux coûtent bien plus cher que de tout transférer à une personne. Leurs coûts sont de 4 431,0 $ US et de 6 570,0 $ US, contre 1 500,0 $ US par 1 000 messages. NLI n’a trouvé aucun des 99 messages needs_person.
  • Les phrases sont les seules données d’entraînement du modèle. « Une question sur un produit » a attiré 1 082 des 2 000 messages, car presque chaque message nomme un produit.
  • Une nouvelle destination ajoute une phrase. GLiClass trouve 31 des 80 messages Grow Hub (précision de 0,838) sans aucune étiquette. C’est un bon début pour l’étiquetage, pas un routeur.

Le tableau comparatif contient maintenant des règles, TF-IDF, des plongements, un encodeur réglé finement et deux modèles zéro exemple. Ensuite, nous plaçons l’exactitude de chaque ligne à côté de tous ses coûts, puis nous choisissons.

Leçon suivante : Ce que coûte le gain d'exactitude