Exemples dans la requête et descriptions d'étiquettes
- Leçon 20
- 35 min
- Module 5 : Les LLM comme classificateurs
Où nous en sommes
Le LLM a classé nos messages à partir des noms d'étiquettes seulement. Les bons annotateurs lisent d'abord le guide et regardent des exemples. Dans cette leçon, nous donnons au LLM les descriptions d'étiquettes et quelques exemples similaires déjà étiquetés. Puis nous mesurons ce qui change.
Leçon 20 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitExemples dans la requête et descriptions d'étiquettes
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Donnez au LLM ce qu’un bon annotateur lit d’abord : une description de chaque destination et quelques messages similaires déjà étiquetés. Mesurez ensuite ce qui change, message par message. Vérifiez aussi si vous pouvez vous fier à la confiance que le modèle écrit.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il trouve les 8 messages d’entraînement les plus similaires à un message. Il réexécute les réponses enregistrées du LLM, avec et sans le contexte supplémentaire. Puis il compte les messages corrigés et ceux devenus incorrects, et vérifie la confiance écrite. Vous n’avez besoin ni de compte ni de clé. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le LLM avec les noms de destinations seulement, son schéma et la vérification de sa réponse, vus dans Classification zéro exemple avec un LLM.
- Le guide d’étiquetage, vu dans Guide d’étiquetage.
- La similarité entre deux textes, vue dans Le texte en nombres : TF-IDF et Peu d’étiquettes avec des plongements.
Ce qu’il vous faut sur votre ordinateur
- Rien si vous utilisez le carnet. Ce module ne modifie aucun fichier de votre projet
larkroute.
Testé sur macOS (Apple silicon) avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.
Le deuxième jour du commis
Section intitulée « Le deuxième jour du commis »Le premier jour, le nouveau commis astucieux a trié les lettres selon son bon sens. Le deuxième jour, le gestionnaire lui donne deux choses. La première est le guide des règles, avec une ligne par casier : « Colis : colis en retard ou perdus, même quand le client est en colère. » La deuxième est une petite pile de lettres semblables à celle qu’il tient, déjà triées par un commis expérimenté.
Il ne devine plus les règles internes. Il les lit et voit comment elles ont servi pour des lettres semblables à celle-ci.
Le problème : le LLM ne connaissait pas les règles
Section intitulée « Le problème : le LLM ne connaissait pas les règles »Dans la dernière leçon, le LLM avait seulement les noms de destinations. Il a envoyé 287 messages destinés aux équipes et 10 des 12 prises de contrôle de compte à needs_person. Il a obtenu 0,765 sur cette boîte de réception, pour un coût de 1 049,0 $ US par 1 000 messages. Il ne connaissait pas les règles de Larkfield, parce que personne ne les lui avait données.
Il y a un deuxième problème, et il nous concerne. Tomás modifie la requête, lit cinq réponses qui étaient incorrectes et voit qu’elles sont maintenant correctes. « C’est beaucoup mieux », dit-il. C’est une impression. Une modification de requête corrige certains messages et en rend d’autres incorrects. Cinq réponses ne peuvent pas montrer les deux. Nous devons les compter sur toutes les données de test.
L’idée : décrire chaque destination et montrer des exemples similaires
Section intitulée « L’idée : décrire chaque destination et montrer des exemples similaires »Nous modifions deux parties de la requête (prompt).
1. Des descriptions de destinations tirées du guide
Section intitulée « 1. Des descriptions de destinations tirées du guide »Chaque destination reçoit une ligne, rédigée à partir du guide d’étiquetage de Chloé. Elle décrit les messages qui lui appartiennent et les cas difficiles à sa frontière. La requête système énonce aussi la règle pour deux demandes :
{l2.prompt}2. Des exemples dans la requête, choisis par similarité
Section intitulée « 2. Des exemples dans la requête, choisis par similarité »L’apprentissage avec peu d’exemples (few-shot) signifie « avec quelques exemples » : des messages étiquetés dans la requête, chacun avec sa destination. Quels exemples? Pas des exemples au hasard. Pour chaque message, nous choisissons les 8 messages d’entraînement les plus similaires. Nous transformons chaque message en nombres TF-IDF de groupes de lettres, de 3 à 5 caractères. Puis nous gardons les 8 messages d’entraînement dont les nombres sont les plus proches. Le texte en nombres : TF-IDF explique ces nombres. Les messages similaires montrent généralement la frontière qui compte pour ce message.
Chaque message reçoit donc sa propre requête : les mêmes descriptions, ses 8 exemples, puis le message.
Un petit exemple détaillé : un message, avant et après
Section intitulée « Un petit exemple détaillé : un message, avant et après »Voici un message de test tiré des cas difficiles du guide. Le diagramme montre la réponse du LLM avec les noms de destinations seulement, puis avec les descriptions et 8 exemples :
Description textuelle du diagramme
La rangée du haut contient trois cases. La première contient les descriptions de destinations, une ligne par destination, rédigées à partir du guide. La deuxième contient les 8 messages d’entraînement les plus similaires. Quatre sont affichés : « Can I return the rug if I don’t like the colour? Just checking the refund policy », « Can I return the storage box if I don’t like the colour? Just need a yes or no », « Can I return the cushion set if I don’t like the colour? » et « Can I return the grill cover if I don’t like the colour? ». Les 8 portent l’étiquette product. La troisième case contient le message M-105011 : « Can I return the rug if I don’t like the colour? » Son étiquette est product : le guide envoie une question sur la politique de retour avant l’achat à l’équipe des produits. En dessous, deux réponses. Avec les noms de destinations seulement, le LLM a répondu returns_refunds avec une confiance écrite de 0,99. Sa justification était « Demande à retourner un tapis à cause de sa couleur ». C’est incorrect. Avec les descriptions et les 8 exemples, il a répondu product avec une confiance écrite de 0,99. Sa justification était « Demande des renseignements sur la politique de retour avant d’entamer un retour ». C’est correct.
Le mot « return » (retourner) a dirigé la première réponse vers returns_refunds. Les exemples montrent que Larkfield envoie cette question à product, et la deuxième réponse les suit. Les deux réponses indiquaient 0,99. Le nombre écrit n’a pas changé; la destination, oui.
Le contexte supplémentaire a un prix. La requête moyenne passe de 186 à 717 jetons (tokens), presque quatre fois plus longue. Le coût par 1 000 messages passe de 0,035 $ US à 0,088 $ US. Le temps médian passe de 1,2 à 1,7 seconde.
Larkfield : mesurer le changement
Section intitulée « Larkfield : mesurer le changement »Priya a enregistré les réponses du LLM avec descriptions et exemples pour les 2 000 messages de test et les 2 000 messages de validation. Voici les deux requêtes sur les messages de test :
| Requête (2 000 messages de test) | Exactitude | Anglais | Français | Prises de contrôle trouvées | needs_person trouvés |
Coût par 1 000 | Temps |
|---|---|---|---|---|---|---|---|
| Noms de destinations seulement | 0,765 | 0,757 | 0,784 | 2 sur 12 | 85 sur 99 | 1 049,0 $ US | 1,2 s |
| Descriptions + 8 exemples | 0,970 | 0,973 | 0,961 | 12 sur 12 | 99 sur 99 | 116,1 $ US | 1,7 s |
Sur cette boîte de réception, les descriptions et les exemples font passer le LLM de 0,765 à 0,970. Il trouve les 12 prises de contrôle et les 99 messages needs_person. Le coût par 1 000 passe de 1 049,0 $ US à 116,1 $ US. C’est le deuxième coût le plus bas jusqu’ici, après l’encodeur réglé finement (103,0 $ US). Sur les messages de validation, il obtient 0,971 : le gain n’est pas un hasard lié aux données de test.
Corrigés et devenus incorrects, pas seulement « mieux »
Section intitulée « Corrigés et devenus incorrects, pas seulement « mieux » »Un score global cache deux mouvements. Comptez-les message par message :
| Avec exemples : correct | Avec exemples : incorrect | |
|---|---|---|
| Zéro exemple : correct | 1 519 | 11 (devenus incorrects) |
| Zéro exemple : incorrect | 420 (corrigés) | 50 |
La nouvelle requête corrige 420 messages et en rend 11 incorrects. Ici, le changement est clairement bon. Mais vous le savez seulement parce que vous avez compté les deux. Un changement qui corrige 30 messages et en rend 40 incorrects « corrige les cinq réponses que j’ai regardées » aussi.
Regardez le rappel de chaque destination : la part de ses messages qui reçoit la bonne destination.
| Destination | Noms de destinations seulement | Descriptions + 8 exemples |
|---|---|---|
orders | 0,712 | 0,975 |
delivery | 0,796 | 0,976 |
returns_refunds | 0,787 | 0,965 |
billing | 0,789 | 0,970 |
product | 0,661 | 0,962 |
account | 0,796 | 0,949 |
needs_person | 0,859 | 1,000 |
Chaque destination s’améliore. Le plus petit gain concerne needs_person, qui trouvait déjà bien ses propres messages. Le problème était les 287 messages destinés aux équipes qu’il avait pris, et ce nombre descend à 22.
Le LLM copie-t-il seulement ses exemples?
Section intitulée « Le LLM copie-t-il seulement ses exemples? »Les 8 exemples sont proches du message. Peut-être que le LLM prend simplement leur destination la plus fréquente. Nous pouvons le tester sans LLM : donnez à chaque message de test la destination majoritaire parmi ses 8 exemples. C’est un vote majoritaire des exemples les plus proches.
Description textuelle du graphique
Un graphique à colonnes de l’exactitude sur les messages de test. Le LLM avec les noms de destinations seulement : 76,5 %. Le vote majoritaire des 8 messages d’entraînement les plus similaires, sans LLM : 90,2 %. Le LLM avec descriptions et 8 exemples : 97,0 %. L’encodeur réglé finement du module 4 : 98,0 %.
Le vote seul atteint 0,902 (747,0 $ US par 1 000). Les messages similaires contiennent une grande partie de la réponse. Mais le LLM fait mieux : il a raison sur 160 messages où le vote se trompe. Il se trompe sur seulement 25 messages où le vote a raison. Il lit le message, les règles et les exemples ensemble. Par exemple, le message à deux demandes M-101535 (« Still waiting on duvet … Also can’t log in … ») a 5 exemples account et 3 exemples delivery. Le vote donne account; le LLM applique la règle de la « demande principale » et répond delivery, l’étiquette.
La confiance écrite est-elle juste maintenant?
Section intitulée « La confiance écrite est-elle juste maintenant? »Les deux requêtes demandaient une confiance de 0 à 1. Une confiance est bien étalonnée quand elle correspond à la fréquence des réponses correctes du modèle. Parmi les réponses où il écrit 0,9, environ 9 sur 10 devraient être correctes. L’erreur d’étalonnage attendue (ECE) résume l’écart en un nombre. Une valeur de 0 signifie que la confiance est juste partout. La confiance écrite du LLM, dans le module 8, trace le graphique et explique le nombre en détail.
Sur les messages de test de Larkfield, l’ECE est de 0,190 avec les noms de destinations seulement. Elle est de 0,008 avec descriptions et exemples. Avec le contexte supplémentaire, 95,9 % des réponses ont une confiance écrite de 0,9 ou plus. Parmi elles, 98,4 % sont correctes. Les 4,1 % restantes sont correctes seulement 62,2 % du temps. Une faible confiance écrite indique donc vraiment une réponse incertaine ici.
Une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée. Ici, elle est proche de la vérité parce que nous l’avons vérifiée sur 2 000 messages étiquetés. Cette vérification vaut pour cette requête, ce modèle et cette boîte de réception. Changez l’un des trois, et vous devez vérifier de nouveau. Les cascades utilise cette confiance, une fois vérifiée, pour décider quels messages transférer à une personne.
Quand utiliser les descriptions et les exemples dans la requête
Section intitulée « Quand utiliser les descriptions et les exemples dans la requête »- Utilisez toujours des descriptions : elles coûtent quelques jetons et contiennent les règles. Rédigez-les à partir de votre guide d’étiquetage, avec les cas difficiles.
- Utilisez des exemples similaires dès que vous avez quelques centaines de messages étiquetés. La similarité fait mieux que le hasard : les exemples montrent la frontière qui compte pour ce message.
- Mesurez chaque modification de requête sur les mêmes données étiquetées : exactitude, coût par 1 000, messages corrigés et devenus incorrects, chaque destination et langue.
- Ce que cela coûte : environ 4 fois plus de jetons (0,088 $ US par 1 000 ici) et 1,7 seconde par message. Chaque appel exige d’abord une recherche de messages similaires, et chaque message quitte toujours Larkfield. Sur cette boîte de réception, l’encodeur réglé finement reste un peu plus exact et moins cher (0,980, 103,0 $ US).
Exercice guidé : réexécuter les deux requêtes
Section intitulée « Exercice guidé : réexécuter les deux requêtes »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule de données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, lisez la requête système. Prédisez les destinations des 8 messages similaires, puis exécutez la cellule. Les 8 sont
product. - Dans la section 2, réexécutez les deux enregistrements. La ligne avec exemples affiche
0.970et116.1. - Dans la section 3, comptez les messages. Vous voyez
420messages corrigés et11devenus incorrects. - Dans la section 5, exécutez les tableaux de fiabilité. L’ECE est de
0.1901et de0.0082.
À vous : le vote des exemples
Section intitulée « À vous : le vote des exemples »Dans la section 4 du carnet, la cellule trouve les 8 messages d’entraînement les plus proches de chaque message de test. Complétez vote : pour chaque message de test, prenez la destination la plus fréquente parmi ses 8 voisins. En cas d’égalité, prenez la première destination dans rt.ROUTES. Prédisez d’abord : le vote fera-t-il mieux que TF-IDF avec régression logistique (0,962)?
Afficher la réponse
vote = [max(rt.ROUTES, key=list(row).count) for row in neigh_routes]Check passed: the accuracy of the vote is 0.902.Messages that the LLM gets right and the vote gets wrong: 160Le vote ne fait pas mieux que TF-IDF : 0,902 contre 0,962. Huit voisins donnent un signal fort, mais un vote ne peut pas lire les règles du message. Le LLM avec les mêmes 8 exemples atteint 0,970.
Erreur courante
La requête suit une ancienne règle, et les étiquettes suivent la nouvelle
Symptôme : la nouvelle requête rend 11 messages incorrects. Tomás les lit et trouve une tendance. Dans 6 des 11, le client mentionne un avocat, par exemple : « my card was charged $92.42, more than the order total. Please correct it. I may need to speak with a lawyer if this isn’t resolved. » L’étiquette est billing. Le LLM avec descriptions répond needs_person et écrit 0,99.
Cause : les descriptions de destinations dans la requête enregistrée viennent de la première version du guide. Cette version envoyait toutes les menaces juridiques à needs_person. L’équipe a ensuite changé la règle, comme le montre Guide d’étiquetage. La destination suit la demande principale. Une menace mentionnée au passage augmente la priorité et reçoit un indicateur. Les étiquettes suivent la nouvelle règle. La requête dit encore « une menace juridique ou de recours à la presse », sans mentionner la demande principale. L’« erreur » du modèle vient donc de la requête qui suit l’ancienne règle.
Correction : lisez les messages devenus incorrects avant de blâmer le modèle. Ici, écrivez la règle actuelle dans la description de needs_person : « seulement quand la demande principale concerne un problème de sécurité, une menace juridique ou de recours à la presse, ou un gestionnaire; une mention au passage conserve la destination de l’équipe ». Puis mesurez de nouveau le score. Gardez l’indicateur dans une étape distincte, avec la priorité, pour qu’une personne lise quand même ces messages. Quand la règle et les étiquettes se contredisent vraiment, Chloé et Grace tranchent et corrigent l’une ou les autres. C’est ce que montre Trouver les étiquettes bruitées.
Conséquence pour le travail en IA : un modèle qui lit les règles révèle tous les désaccords entre la requête, le guide et les étiquettes. Son score mesure alors les trois. Gardez les descriptions de la requête à jour avec le guide, sinon vous adapterez la requête à une ancienne règle.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La requête avec des exemples atteint 0,970 contre 0,765. Pourquoi compter aussi les messages qu'elle corrige et ceux qu'elle classe désormais mal? Quels sont les nombres ici?
Afficher la réponse
Un score global est un résultat net. Une modification de requête corrige certains messages et en classe d’autres mal. Quelques exemples qui semblent meilleurs ne peuvent pas montrer les deux effets. Ici, sur les 2 000 messages de test, la nouvelle requête corrige 420 messages et en classe désormais mal 11. Le changement est donc clairement positif. La lecture des 11 messages désormais mal classés révèle aussi une tendance : 6 mentionnent un avocat seulement au passage. Les étiquettes suivent le guide actuel (la demande principale décide), mais la description dans la requête suit encore l’ancienne règle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le vote majoritaire des 8 exemples similaires atteint 0,902, et le LLM avec les mêmes exemples, 0,970. Qu'est-ce que cela vous apprend sur l'origine du gain du LLM?
Afficher la réponse
Les exemples similaires fournissent une grande partie de la réponse : un vote sans LLM atteint déjà 0,902. Mais le LLM apporte davantage. Il classe correctement 160 messages que le vote classe mal. Il en classe mal seulement 25 que le vote classe correctement. Il lit les descriptions et le message lui-même. Par exemple, il applique la règle pour deux demandes quand les exemples pointent vers la deuxième demande.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec les descriptions et les exemples, l'ECE de la confiance écrite est de 0,008. Larkfield peut-elle maintenant utiliser cette confiance comme une probabilité partout? Expliquez.
Afficher la réponse
Seulement là où elle a été vérifiée. Une ECE de 0,008 signifie que la confiance écrite correspondait à l’exactitude sur ces 2 000 messages de test. Cela vaut pour cette requête et ce modèle. Les réponses avec une confiance de 0,99 étaient correctes 98,4 % du temps. Avec les noms de destination seulement, le même type de nombre avait une ECE de 0,190. Une nouvelle requête, une nouvelle version du modèle ou un nouveau produit peuvent changer ce résultat. Larkfield doit donc le vérifier de nouveau après chaque changement, sur des messages étiquetés, avant qu’un seuil l’utilise.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les descriptions de destination tirées du guide transmettent les règles internes à la requête.
- Exemples dans la requête choisis par similarité : les 8 messages d’entraînement les plus similaires, chacun avec sa destination.
- Sur cette boîte de réception, le LLM passe de 0,765 à 0,970, et de 1 049,0 $ US à 116,1 $ US par 1 000 messages. Il repère 12 prises de contrôle de compte sur 12. La requête est environ 4 fois plus longue : 0,088 $ US par 1 000 messages en jetons, 1,7 seconde par message.
- Mesurez le changement : 420 messages corrigés, 11 désormais mal classés. Lisez les messages désormais mal classés : 6 mentionnent un avocat au passage, alors que la requête suit encore une ancienne règle.
- Le vote des 8 exemples seuls atteint 0,902 : le LLM fait plus que copier.
- Une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée : ECE de 0,190 sans le contexte, 0,008 avec le contexte, sur cette boîte de réception.
Ensuite, nous quittons les ordinateurs du fournisseur. Un petit LLM sur le portable de Larkfield peut-il faire le même travail?
Leçon suivante : Petits LLM locaux