Aller au contenu
English

Exemples dans la requête et descriptions d'étiquettes

  • Leçon 20
  • 35 min
  • Module 5 : Les LLM comme classificateurs

Où nous en sommes

Le LLM a classé nos messages à partir des noms d'étiquettes seulement. Les bons annotateurs lisent d'abord le guide et regardent des exemples. Dans cette leçon, nous donnons au LLM les descriptions d'étiquettes et quelques exemples similaires déjà étiquetés. Puis nous mesurons ce qui change.

Leçon 20 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitExemples dans la requête et descriptions d'étiquettes
Aperçu du cours

Ce que vous saurez faire

Donnez au LLM ce qu’un bon annotateur lit d’abord : une description de chaque destination et quelques messages similaires déjà étiquetés. Mesurez ensuite ce qui change, message par message. Vérifiez aussi si vous pouvez vous fier à la confiance que le modèle écrit.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient toutes les cellules de code, tâches et vérifications de cette leçon. Il trouve les 8 messages d’entraînement les plus similaires à un message. Il réexécute les réponses enregistrées du LLM, avec et sans le contexte supplémentaire. Puis il compte les messages corrigés et ceux devenus incorrects, et vérifie la confiance écrite. Vous n’avez besoin ni de compte ni de clé. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Rien si vous utilisez le carnet. Ce module ne modifie aucun fichier de votre projet larkroute.

Testé sur macOS (Apple silicon) avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.

Le premier jour, le nouveau commis astucieux a trié les lettres selon son bon sens. Le deuxième jour, le gestionnaire lui donne deux choses. La première est le guide des règles, avec une ligne par casier : « Colis : colis en retard ou perdus, même quand le client est en colère. » La deuxième est une petite pile de lettres semblables à celle qu’il tient, déjà triées par un commis expérimenté.

Il ne devine plus les règles internes. Il les lit et voit comment elles ont servi pour des lettres semblables à celle-ci.

Dans la dernière leçon, le LLM avait seulement les noms de destinations. Il a envoyé 287 messages destinés aux équipes et 10 des 12 prises de contrôle de compte à needs_person. Il a obtenu 0,765 sur cette boîte de réception, pour un coût de 1 049,0 $ US par 1 000 messages. Il ne connaissait pas les règles de Larkfield, parce que personne ne les lui avait données.

Il y a un deuxième problème, et il nous concerne. Tomás modifie la requête, lit cinq réponses qui étaient incorrectes et voit qu’elles sont maintenant correctes. « C’est beaucoup mieux », dit-il. C’est une impression. Une modification de requête corrige certains messages et en rend d’autres incorrects. Cinq réponses ne peuvent pas montrer les deux. Nous devons les compter sur toutes les données de test.

L’idée : décrire chaque destination et montrer des exemples similaires

Section intitulée « L’idée : décrire chaque destination et montrer des exemples similaires »

Nous modifions deux parties de la requête (prompt).

Chaque destination reçoit une ligne, rédigée à partir du guide d’étiquetage de Chloé. Elle décrit les messages qui lui appartiennent et les cas difficiles à sa frontière. La requête système énonce aussi la règle pour deux demandes :

{l2.prompt}

2. Des exemples dans la requête, choisis par similarité

Section intitulée « 2. Des exemples dans la requête, choisis par similarité »

L’apprentissage avec peu d’exemples (few-shot) signifie « avec quelques exemples » : des messages étiquetés dans la requête, chacun avec sa destination. Quels exemples? Pas des exemples au hasard. Pour chaque message, nous choisissons les 8 messages d’entraînement les plus similaires. Nous transformons chaque message en nombres TF-IDF de groupes de lettres, de 3 à 5 caractères. Puis nous gardons les 8 messages d’entraînement dont les nombres sont les plus proches. Le texte en nombres : TF-IDF explique ces nombres. Les messages similaires montrent généralement la frontière qui compte pour ce message.

Chaque message reçoit donc sa propre requête : les mêmes descriptions, ses 8 exemples, puis le message.

Un petit exemple détaillé : un message, avant et après

Section intitulée « Un petit exemple détaillé : un message, avant et après »

Voici un message de test tiré des cas difficiles du guide. Le diagramme montre la réponse du LLM avec les noms de destinations seulement, puis avec les descriptions et 8 exemples :

Trois cases d'entrée, puis deux cases de réponse. Descriptions de destinations tirées du guide, une ligne par destination; product indique les questions sur les produits, avant ou après l'achat. 8 messages similaires étiquetés : 'Can I return the rug if I don't like the colour? Just checking the refund policy' → product, '@Larkfield, can I return the storage box if I don't like the colour? Just need a yes or no.' → product, 'Can I return the cushion set if I don't like the colour?' → product, 'Can I return the grill cover if I don't like the colour?' → product, et 4 autres, tous product. Le message, M-105011 : 'Can I return the rug if I don't like the colour?' Étiquette : product, parce que le guide envoie une question sur un retour avant l'achat à product. La réponse avec les noms de destinations seulement : returns_refunds, confiance écrite de 0,99, justification « Demande à retourner un tapis à cause de sa couleur », incorrecte. La réponse avec les descriptions et 8 exemples : product, confiance écrite de 0,99, justification « Demande des renseignements sur la politique de retour avant d'entamer un retour », correcte.
Un message de test, M-105011, avec les noms de destinations seulement, puis avec les descriptions et ses 8 messages d'entraînement les plus similaires (réponses enregistrées). Les 8 exemples montrent la règle interne : une question sur la politique de retour va à product.
Description textuelle du diagramme

La rangée du haut contient trois cases. La première contient les descriptions de destinations, une ligne par destination, rédigées à partir du guide. La deuxième contient les 8 messages d’entraînement les plus similaires. Quatre sont affichés : « Can I return the rug if I don’t like the colour? Just checking the refund policy », « Can I return the storage box if I don’t like the colour? Just need a yes or no », « Can I return the cushion set if I don’t like the colour? » et « Can I return the grill cover if I don’t like the colour? ». Les 8 portent l’étiquette product. La troisième case contient le message M-105011 : « Can I return the rug if I don’t like the colour? » Son étiquette est product : le guide envoie une question sur la politique de retour avant l’achat à l’équipe des produits. En dessous, deux réponses. Avec les noms de destinations seulement, le LLM a répondu returns_refunds avec une confiance écrite de 0,99. Sa justification était « Demande à retourner un tapis à cause de sa couleur ». C’est incorrect. Avec les descriptions et les 8 exemples, il a répondu product avec une confiance écrite de 0,99. Sa justification était « Demande des renseignements sur la politique de retour avant d’entamer un retour ». C’est correct.

Le mot « return » (retourner) a dirigé la première réponse vers returns_refunds. Les exemples montrent que Larkfield envoie cette question à product, et la deuxième réponse les suit. Les deux réponses indiquaient 0,99. Le nombre écrit n’a pas changé; la destination, oui.

Le contexte supplémentaire a un prix. La requête moyenne passe de 186 à 717 jetons (tokens), presque quatre fois plus longue. Le coût par 1 000 messages passe de 0,035 $ US à 0,088 $ US. Le temps médian passe de 1,2 à 1,7 seconde.

Priya a enregistré les réponses du LLM avec descriptions et exemples pour les 2 000 messages de test et les 2 000 messages de validation. Voici les deux requêtes sur les messages de test :

Requête (2 000 messages de test) Exactitude Anglais Français Prises de contrôle trouvées needs_person trouvés Coût par 1 000 Temps
Noms de destinations seulement 0,765 0,757 0,784 2 sur 12 85 sur 99 1 049,0 $ US 1,2 s
Descriptions + 8 exemples 0,970 0,973 0,961 12 sur 12 99 sur 99 116,1 $ US 1,7 s

Sur cette boîte de réception, les descriptions et les exemples font passer le LLM de 0,765 à 0,970. Il trouve les 12 prises de contrôle et les 99 messages needs_person. Le coût par 1 000 passe de 1 049,0 $ US à 116,1 $ US. C’est le deuxième coût le plus bas jusqu’ici, après l’encodeur réglé finement (103,0 $ US). Sur les messages de validation, il obtient 0,971 : le gain n’est pas un hasard lié aux données de test.

Corrigés et devenus incorrects, pas seulement « mieux »

Section intitulée « Corrigés et devenus incorrects, pas seulement « mieux » »

Un score global cache deux mouvements. Comptez-les message par message :

Avec exemples : correct Avec exemples : incorrect
Zéro exemple : correct 1 519 11 (devenus incorrects)
Zéro exemple : incorrect 420 (corrigés) 50

La nouvelle requête corrige 420 messages et en rend 11 incorrects. Ici, le changement est clairement bon. Mais vous le savez seulement parce que vous avez compté les deux. Un changement qui corrige 30 messages et en rend 40 incorrects « corrige les cinq réponses que j’ai regardées » aussi.

Regardez le rappel de chaque destination : la part de ses messages qui reçoit la bonne destination.

DestinationNoms de destinations seulementDescriptions + 8 exemples
orders0,7120,975
delivery0,7960,976
returns_refunds0,7870,965
billing0,7890,970
product0,6610,962
account0,7960,949
needs_person0,8591,000

Chaque destination s’améliore. Le plus petit gain concerne needs_person, qui trouvait déjà bien ses propres messages. Le problème était les 287 messages destinés aux équipes qu’il avait pris, et ce nombre descend à 22.

Les 8 exemples sont proches du message. Peut-être que le LLM prend simplement leur destination la plus fréquente. Nous pouvons le tester sans LLM : donnez à chaque message de test la destination majoritaire parmi ses 8 exemples. C’est un vote majoritaire des exemples les plus proches.

Exactitude sur les 2 000 messages de test : le LLM avec les noms de destinations seulement et avec descriptions + 8 exemples (enregistré), le vote majoritaire des mêmes 8 exemples et l'encodeur réglé finement (mesuré).
Description textuelle du graphique

Un graphique à colonnes de l’exactitude sur les messages de test. Le LLM avec les noms de destinations seulement : 76,5 %. Le vote majoritaire des 8 messages d’entraînement les plus similaires, sans LLM : 90,2 %. Le LLM avec descriptions et 8 exemples : 97,0 %. L’encodeur réglé finement du module 4 : 98,0 %.

Le vote seul atteint 0,902 (747,0 $ US par 1 000). Les messages similaires contiennent une grande partie de la réponse. Mais le LLM fait mieux : il a raison sur 160 messages où le vote se trompe. Il se trompe sur seulement 25 messages où le vote a raison. Il lit le message, les règles et les exemples ensemble. Par exemple, le message à deux demandes M-101535 (« Still waiting on duvet … Also can’t log in … ») a 5 exemples account et 3 exemples delivery. Le vote donne account; le LLM applique la règle de la « demande principale » et répond delivery, l’étiquette.

Les deux requêtes demandaient une confiance de 0 à 1. Une confiance est bien étalonnée quand elle correspond à la fréquence des réponses correctes du modèle. Parmi les réponses où il écrit 0,9, environ 9 sur 10 devraient être correctes. L’erreur d’étalonnage attendue (ECE) résume l’écart en un nombre. Une valeur de 0 signifie que la confiance est juste partout. La confiance écrite du LLM, dans le module 8, trace le graphique et explique le nombre en détail.

Sur les messages de test de Larkfield, l’ECE est de 0,190 avec les noms de destinations seulement. Elle est de 0,008 avec descriptions et exemples. Avec le contexte supplémentaire, 95,9 % des réponses ont une confiance écrite de 0,9 ou plus. Parmi elles, 98,4 % sont correctes. Les 4,1 % restantes sont correctes seulement 62,2 % du temps. Une faible confiance écrite indique donc vraiment une réponse incertaine ici.

Une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée. Ici, elle est proche de la vérité parce que nous l’avons vérifiée sur 2 000 messages étiquetés. Cette vérification vaut pour cette requête, ce modèle et cette boîte de réception. Changez l’un des trois, et vous devez vérifier de nouveau. Les cascades utilise cette confiance, une fois vérifiée, pour décider quels messages transférer à une personne.

Quand utiliser les descriptions et les exemples dans la requête

Section intitulée « Quand utiliser les descriptions et les exemples dans la requête »
  • Utilisez toujours des descriptions : elles coûtent quelques jetons et contiennent les règles. Rédigez-les à partir de votre guide d’étiquetage, avec les cas difficiles.
  • Utilisez des exemples similaires dès que vous avez quelques centaines de messages étiquetés. La similarité fait mieux que le hasard : les exemples montrent la frontière qui compte pour ce message.
  • Mesurez chaque modification de requête sur les mêmes données étiquetées : exactitude, coût par 1 000, messages corrigés et devenus incorrects, chaque destination et langue.
  • Ce que cela coûte : environ 4 fois plus de jetons (0,088 $ US par 1 000 ici) et 1,7 seconde par message. Chaque appel exige d’abord une recherche de messages similaires, et chaque message quitte toujours Larkfield. Sur cette boîte de réception, l’encodeur réglé finement reste un peu plus exact et moins cher (0,980, 103,0 $ US).
  1. Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic. (prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques).
  3. Dans la section 1, lisez la requête système. Prédisez les destinations des 8 messages similaires, puis exécutez la cellule. Les 8 sont product.
  4. Dans la section 2, réexécutez les deux enregistrements. La ligne avec exemples affiche 0.970 et 116.1.
  5. Dans la section 3, comptez les messages. Vous voyez 420 messages corrigés et 11 devenus incorrects.
  6. Dans la section 5, exécutez les tableaux de fiabilité. L’ECE est de 0.1901 et de 0.0082.

Dans la section 4 du carnet, la cellule trouve les 8 messages d’entraînement les plus proches de chaque message de test. Complétez vote : pour chaque message de test, prenez la destination la plus fréquente parmi ses 8 voisins. En cas d’égalité, prenez la première destination dans rt.ROUTES. Prédisez d’abord : le vote fera-t-il mieux que TF-IDF avec régression logistique (0,962)?

Afficher la réponse
vote = [max(rt.ROUTES, key=list(row).count) for row in neigh_routes]
Check passed: the accuracy of the vote is 0.902.
Messages that the LLM gets right and the vote gets wrong: 160

Le vote ne fait pas mieux que TF-IDF : 0,902 contre 0,962. Huit voisins donnent un signal fort, mais un vote ne peut pas lire les règles du message. Le LLM avec les mêmes 8 exemples atteint 0,970.

Erreur courante

La requête suit une ancienne règle, et les étiquettes suivent la nouvelle

Symptôme : la nouvelle requête rend 11 messages incorrects. Tomás les lit et trouve une tendance. Dans 6 des 11, le client mentionne un avocat, par exemple : « my card was charged $92.42, more than the order total. Please correct it. I may need to speak with a lawyer if this isn’t resolved. » L’étiquette est billing. Le LLM avec descriptions répond needs_person et écrit 0,99.

Cause : les descriptions de destinations dans la requête enregistrée viennent de la première version du guide. Cette version envoyait toutes les menaces juridiques à needs_person. L’équipe a ensuite changé la règle, comme le montre Guide d’étiquetage. La destination suit la demande principale. Une menace mentionnée au passage augmente la priorité et reçoit un indicateur. Les étiquettes suivent la nouvelle règle. La requête dit encore « une menace juridique ou de recours à la presse », sans mentionner la demande principale. L’« erreur » du modèle vient donc de la requête qui suit l’ancienne règle.

Correction : lisez les messages devenus incorrects avant de blâmer le modèle. Ici, écrivez la règle actuelle dans la description de needs_person : « seulement quand la demande principale concerne un problème de sécurité, une menace juridique ou de recours à la presse, ou un gestionnaire; une mention au passage conserve la destination de l’équipe ». Puis mesurez de nouveau le score. Gardez l’indicateur dans une étape distincte, avec la priorité, pour qu’une personne lise quand même ces messages. Quand la règle et les étiquettes se contredisent vraiment, Chloé et Grace tranchent et corrigent l’une ou les autres. C’est ce que montre Trouver les étiquettes bruitées.

Conséquence pour le travail en IA : un modèle qui lit les règles révèle tous les désaccords entre la requête, le guide et les étiquettes. Son score mesure alors les trois. Gardez les descriptions de la requête à jour avec le guide, sinon vous adapterez la requête à une ancienne règle.

Vérifiez votre compréhension

La requête avec des exemples atteint 0,970 contre 0,765. Pourquoi compter aussi les messages qu'elle corrige et ceux qu'elle classe désormais mal? Quels sont les nombres ici?

Afficher la réponse

Un score global est un résultat net. Une modification de requête corrige certains messages et en classe d’autres mal. Quelques exemples qui semblent meilleurs ne peuvent pas montrer les deux effets. Ici, sur les 2 000 messages de test, la nouvelle requête corrige 420 messages et en classe désormais mal 11. Le changement est donc clairement positif. La lecture des 11 messages désormais mal classés révèle aussi une tendance : 6 mentionnent un avocat seulement au passage. Les étiquettes suivent le guide actuel (la demande principale décide), mais la description dans la requête suit encore l’ancienne règle.

Vérifiez votre compréhension

Le vote majoritaire des 8 exemples similaires atteint 0,902, et le LLM avec les mêmes exemples, 0,970. Qu'est-ce que cela vous apprend sur l'origine du gain du LLM?

Afficher la réponse

Les exemples similaires fournissent une grande partie de la réponse : un vote sans LLM atteint déjà 0,902. Mais le LLM apporte davantage. Il classe correctement 160 messages que le vote classe mal. Il en classe mal seulement 25 que le vote classe correctement. Il lit les descriptions et le message lui-même. Par exemple, il applique la règle pour deux demandes quand les exemples pointent vers la deuxième demande.

Vérifiez votre compréhension

Avec les descriptions et les exemples, l'ECE de la confiance écrite est de 0,008. Larkfield peut-elle maintenant utiliser cette confiance comme une probabilité partout? Expliquez.

Afficher la réponse

Seulement là où elle a été vérifiée. Une ECE de 0,008 signifie que la confiance écrite correspondait à l’exactitude sur ces 2 000 messages de test. Cela vaut pour cette requête et ce modèle. Les réponses avec une confiance de 0,99 étaient correctes 98,4 % du temps. Avec les noms de destination seulement, le même type de nombre avait une ECE de 0,190. Une nouvelle requête, une nouvelle version du modèle ou un nouveau produit peuvent changer ce résultat. Larkfield doit donc le vérifier de nouveau après chaque changement, sur des messages étiquetés, avant qu’un seuil l’utilise.

Récapitulatif

  • Les descriptions de destination tirées du guide transmettent les règles internes à la requête.
  • Exemples dans la requête choisis par similarité : les 8 messages d’entraînement les plus similaires, chacun avec sa destination.
  • Sur cette boîte de réception, le LLM passe de 0,765 à 0,970, et de 1 049,0 $ US à 116,1 $ US par 1 000 messages. Il repère 12 prises de contrôle de compte sur 12. La requête est environ 4 fois plus longue : 0,088 $ US par 1 000 messages en jetons, 1,7 seconde par message.
  • Mesurez le changement : 420 messages corrigés, 11 désormais mal classés. Lisez les messages désormais mal classés : 6 mentionnent un avocat au passage, alors que la requête suit encore une ancienne règle.
  • Le vote des 8 exemples seuls atteint 0,902 : le LLM fait plus que copier.
  • Une confiance écrite n’est pas une probabilité tant que vous ne l’avez pas vérifiée : ECE de 0,190 sans le contexte, 0,008 avec le contexte, sur cette boîte de réception.

Ensuite, nous quittons les ordinateurs du fournisseur. Un petit LLM sur le portable de Larkfield peut-il faire le même travail?

Leçon suivante : Petits LLM locaux