Aller au contenu
English

Classification zéro exemple avec un LLM

  • Leçon 19
  • 35 min
  • Module 5 : Les LLM comme classificateurs

Où nous en sommes

Les modèles zéro exemple du dernier module n'avaient besoin d'aucune donnée d'entraînement. Un grand modèle de langage peut faire pareil, et Tomás veut en utiliser un pour tout. Dans cette leçon, nous classons avec un LLM à partir de la liste d'étiquettes seulement. Nous utilisons une sortie structurée et vérifions chaque réponse.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 19 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitClassification zéro exemple avec un LLM
Aperçu du cours

Ce que vous saurez faire

Classez des messages avec un grand modèle de langage et seulement les noms des destinations. Obtenez une réponse de forme fixe et vérifiez chaque réponse avant que le routeur l’utilise. Ensuite, évaluez-le sur les mêmes données de test que toutes les autres méthodes. Sur cette boîte de réception, il est moins performant que vous pourriez le penser.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Il montre la requête et le schéma de réponse, vérifie quatre exemples de réponses et réexécute les réponses enregistrées du LLM pour les 2 000 messages de test. Vous n’avez besoin ni de compte ni de clé. Une dernière cellule facultative envoie un message synthétique à un modèle de votre choix. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Rien pour l’option du carnet. Ce module ne modifie aucun fichier de votre projet larkroute.

Testé sur macOS (Apple silicon) avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.

Un nouveau commis arrive au bureau de poste. Il a beaucoup lu. Il sait ce qu’est un colis, un remboursement et une lettre de colère. Personne ne lui a expliqué les règles du bureau de poste. Vous lui donnez seulement les noms des casiers : « Colis », « Retours », « Paiements », « Gestionnaire ».

Il trie vite, et beaucoup de lettres arrivent dans le bon casier. Mais certains choix suivent son bon sens, pas les règles du bureau. Une lettre de colère au sujet d’un colis en retard va dans « Gestionnaire », parce qu’elle semble sérieuse. La règle du bureau dit : les colis en retard vont dans « Colis », même quand le client est en colère.

Le problème : un LLM connaît-il les règles de Larkfield?

Section intitulée « Le problème : un LLM connaît-il les règles de Larkfield? »

Tomás, l’ingénieur en IA de Larkfield, veut envoyer chaque message à un grand modèle de langage (LLM). Un LLM est un modèle entraîné sur une énorme quantité de texte : il lit une requête et écrit une réponse. « Un LLM est toujours le plus exact, dit-il. Et nous n’avons besoin d’aucune étiquette. »

C’est une affirmation, pas une mesure. Deux problèmes se cachent derrière elle :

  1. Un LLM écrit du texte. Le routeur a besoin d’un des sept noms de destinations, rien d’autre. « Probablement la livraison, je pense » fait échouer le routeur.
  2. Un LLM connaît le monde, pas le guide de Larkfield. Larkfield envoie un message contenant deux demandes à la destination de la demande principale, généralement la première. L’entreprise envoie une prise de contrôle de compte à account, pas à une personne. Les noms des destinations seuls ne disent pas cela.

Nous mesurons les deux sur les mêmes 2 000 messages de test que toutes les autres méthodes.

L’idée : la classification zéro exemple avec un schéma

Section intitulée « L’idée : la classification zéro exemple avec un schéma »

Zéro exemple (zero-shot) signifie « sans aucun exemple », comme dans Classification zéro exemple sans LLM. Le LLM reçoit la liste des noms de destinations dans ses instructions, ainsi que le message. Il ne reçoit aucun exemple étiqueté. Trois éléments rendent cette méthode utilisable par un routeur.

La requête (prompt) est le texte que nous envoyons au modèle. La requête système est la partie qui définit la tâche, identique pour chaque message :

{l1.prompt}

Le message suit, dans la deuxième partie de la requête.

Un schéma décrit la forme exacte de la réponse : les champs, leurs types et les valeurs permises. Ici, la réponse est du JSON avec trois champs :

  • route : du texte, et seulement un des sept noms de destinations (une liste de valeurs permises, appelée énumération);
  • confidence : un nombre;
  • reason : un texte court.

La sortie structurée signifie que le fournisseur impose au modèle une réponse conforme au schéma. Le cours Créer des applications fiables avec les API de LLM enseigne cela dans Définir un schéma.

Un schéma vérifie la forme. Votre code doit quand même vérifier chaque réponse avant que le routeur l’utilise : JSON valide, destination connue et confiance entre 0 et 1. Une mauvaise réponse va en révision. Le cours Créer des applications fiables avec les API de LLM appelle cela Valider le sens.

Voici le parcours complet d’un message de test, avec la réponse que le LLM a réellement donnée :

Quatre cases reliées par des flèches, puis une case rouge. 1. Le message M-101926 (réseaux sociaux, anglais) : '@Larkfield, my bath mat says delivered, but nothing's at my door. Order LK-169866. I was also charged twice.' 2. La requête : seulement les noms des destinations, et une réponse en JSON avec la destination, une confiance entre 0 et 1 et une raison. 3. La réponse enregistrée : destination needs_person, confiance 0,96, raison 'Reports both a missing delivery and a duplicate charge.' 4. Votre vérification : JSON valide oui, destination connue oui, confiance entre 0 et 1 oui. Le routeur l'envoie donc à needs_person. La case rouge : valide, mais incorrecte. Le guide envoie un message contenant deux demandes à la destination de la première, delivery. Une personne expérimentée lit un message auquel l'équipe de livraison pourrait répondre, ce qui coûte 2 $ US. La vérification teste la forme de la réponse, pas sa véracité.
Un message de test passe par le LLM, avec sa réponse enregistrée. La réponse réussit chaque vérification, mais reste incorrecte : la vérification teste la forme, pas la véracité.
Description textuelle du diagramme

Le diagramme comporte quatre étapes. D’abord, le message M-101926, provenant des réseaux sociaux, en anglais : « @Larkfield, my bath mat says delivered, but nothing’s at my door. Order LK-169866. I was also charged twice. » Ensuite, la requête, avec seulement les noms des destinations. Elle demande du JSON avec la destination, une confiance entre 0 et 1 et une raison. Troisièmement, la réponse enregistrée du LLM : destination needs_person, confiance 0,96, raison « Reports both a missing delivery and a duplicate charge. » Quatrièmement, votre vérification : le JSON est valide, la destination est connue et la confiance est entre 0 et 1. Le routeur envoie donc le message à needs_person. En dessous, une case rouge indique : valide, mais incorrecte. Le guide envoie un message contenant deux demandes à la destination de la première, ici delivery. Une personne expérimentée lit maintenant un message auquel l’équipe de livraison pourrait répondre. Cela coûte 2 $ US dans le tableau des coûts. La vérification teste la forme de la réponse, pas sa véracité.

Un petit exemple détaillé : quatre réponses, une vérification

Section intitulée « Un petit exemple détaillé : quatre réponses, une vérification »

Avant de faire confiance à une réponse, nous testons la vérification elle-même. Voici quatre réponses qu’un modèle pourrait écrire, et ce que la vérification fait avec chacune :

Réponse Résultat de la vérification Pourquoi
{"route": "billing", "confidence": 0.9, "reason": "double charge"} billing, 0,9 JSON valide, destination connue, 0,9 est entre 0 et 1
Billing, I think. révision ce n’est pas du JSON
{"route": "refunds", "confidence": 0.8, "reason": "refund"} révision « refunds » n’est pas une destination : la destination est returns_refunds
{"route": "delivery", "confidence": 95, "reason": "late"} révision 95 n’est pas une confiance entre 0 et 1

Avec une sortie structurée, les trois dernières ne devraient pas se produire. Mais un schéma peut être désactivé par erreur, un fournisseur peut changer et un modèle local peut ne pas accepter de schémas. Dans Petits LLM locaux, un modèle écrit des réponses invalides pour un message sur cinq. La vérification demande une seule fonction et protège le routeur.

Priya a envoyé chaque message de test une fois à un petit LLM hébergé. Elle a utilisé le déploiement Azure chat-small (modèle gpt-6-luna) et enregistré les réponses. Vous les réexécutez : sans clé, sans compte, sans frais. Avant de regarder, prédisez : le LLM battra-t-il TF-IDF avec la régression logistique (0,962 sur cette boîte de réception)?

Méthode (2 000 messages de test) Exactitude Anglais Français Prises de contrôle trouvées needs_person trouvés Coût par 1 000
TF-IDF + régression logistique 0,962 0,966 0,952 11 sur 12 99 sur 99 296,0 $ US
Plongements figés (ancien modèle) + LR 0,920 0,931 0,896 10 sur 12 92 sur 99 779,0 $ US
LLM, noms des destinations seulement (enregistré) 0,765 0,757 0,784 2 sur 12 85 sur 99 1 049,0 $ US
Tout transférer à une personne 1 500,0 $ US

Chaque réponse était du JSON valide avec une destination connue : la sortie structurée a fonctionné. Mais sur cette boîte de réception, le LLM avec seulement les noms des destinations est moins exact que chaque modèle entraîné des modules 3 et 4. Il coûte 1 049,0 $ US par 1 000 messages, plus de trois fois le coût de TF-IDF. L’affirmation de Tomás ne tient pas ici.

Comptez les choix du LLM. Il a choisi needs_person pour 372 messages de test, mais seulement 99 messages ont besoin d’une personne.

Les messages de test que le LLM a envoyés à needs_person, selon leur vraie destination (réponses enregistrées). Seulement 85 ont vraiment besoin d'une personne; 287 relèvent d'une équipe.
Description textuelle du graphique

Un graphique à colonnes des messages de test que le LLM, avec seulement les noms des destinations, a envoyés à needs_person, selon leur vraie destination. Orders 44, delivery 76, returns_refunds 55, billing 34, product 45, account 33. Ces six colonnes sont des messages destinés aux équipes : 287 au total. La dernière colonne, needs_person, compte 85 messages : ceux qui ont vraiment besoin d’une personne.

287 messages destinés aux équipes sont allés à une personne expérimentée. Lisez les raisons du LLM, et une tendance apparaît. « Plusieurs questions sans lien sur le compte et les produits nécessitent de l’aide. » « Deux demandes distinctes : retour pour mauvaise couleur et livraison en retard, possiblement perdue. » Le modèle interprète deux demandes, ou un client contrarié, comme « une personne doit lire ceci d’abord ». C’est du bon sens. Ce n’est pas la règle de Larkfield.

Les prises de contrôle de compte montrent la même chose. En voici une, avec la réponse du LLM :

Hello, I think someone got into my account, and I’m not sure what to do next. The address was changed to Halifax and there’s a new order I didn’t place, so please look into this right away. Riley

LLM : needs_person, confiance écrite 0,99, « Suspected account compromise and unauthorized address change and order require urgent investigation. »

La raison est logique : une prise de contrôle est urgente. Mais le guide de Larkfield dit que l’équipe des comptes verrouille d’abord le compte. Une prise de contrôle va donc à account. Le modèle a envoyé 10 des 12 prises de contrôle à needs_person. Avec seulement les noms des destinations, il ne peut pas savoir où Larkfield veut les envoyer. Dans le tableau des coûts, chacune coûte 2 $ US, comme tout message destiné à une équipe envoyé à une personne. Une personne expérimentée le lit et le transmet. Le vrai risque est le délai avant le verrouillage du compte.

Le tableau des coûts attribue un prix à chaque erreur. Voici les erreurs du LLM sur les 2 000 messages de test, par 1 000 messages :

Type d’erreur Messages (sur 2 000) Coût unitaire Par 1 000 messages
Message destiné à une équipe envoyé à une personne 287 2 $ US 287,0 $ US
Mauvaise file d’attente 151 4 $ US 302,0 $ US
Message urgent dans la mauvaise file 18 20 $ US 180,0 $ US
Message needs_person envoyé à une équipe 14 40 $ US 280,0 $ US
Toutes les erreurs 470 1 049,0 $ US

Les 14 messages qui avaient besoin d’une personne et sont allés à une équipe coûtent presque autant que les 287 envoyés dans l’autre sens. Une équipe qui répond à un problème de sécurité ou à une menace juridique, c’est l’erreur coûteuse.

Chaque appel a envoyé environ 186 jetons et reçu environ 33 jetons. Un jeton (token) est un morceau de mot : environ 4 lettres de texte anglais. Le fournisseur facture au million de jetons : 0,10 $ US en entrée et 0,50 $ US en sortie, au prix lors de l’enregistrement. Pour un message :

  • entrée : 186 × 0,10 ÷ 1 000 000 = 0,0000186 $ US;
  • sortie : 33 × 0,50 ÷ 1 000 000 = 0,0000165 $ US;
  • un appel : 0,0000351 $ US, soit 0,035 $ US par 1 000 messages.

C’est environ 3,5 cents pour 1 000 messages. Les prix changent : consultez la page des tarifs actuels du fournisseur avant d’utiliser ces chiffres. Les erreurs coûtent 1 049,0 $ US par 1 000 messages. À ces prix, le coût d’exécution est environ 30 000 fois plus petit que le coût des erreurs. Le temps compte davantage : chaque appel a pris 1,2 seconde (médiane), et 2,1 secondes pour les 10 % les plus lents. Coût par 1 000 messages rassemble tous ces coûts.

Le schéma demandait une confiance, et le modèle en a écrit une pour chaque message. Mais un nombre qu’un modèle écrit fait partie de son texte. Personne ne l’a mesuré. Voici les confiances qu’il a écrites le plus souvent, et la fréquence de ses réponses correctes à chacune :

Confiance écriteMessagesCorrects
0,9969386,6 %
0,9842983,4 %
0,9716376,1 %
0,9614772,1 %
0,9111055,5 %
0,948667,4 %

Il a écrit 0,99 pour 693 messages, et ses réponses étaient correctes pour 86,6 % d’entre eux, pas 99 %. À 0,91, il avait raison seulement environ la moitié du temps. La prochaine leçon mesure cet écart avec un seul nombre et montre quand il se réduit.

Quand utiliser un LLM avec seulement les noms des destinations

Section intitulée « Quand utiliser un LLM avec seulement les noms des destinations »
  • Utilisez-le quand vous n’avez aucune étiquette et devez faire un premier tri aujourd’hui, à vérifier par une personne. Ses réponses fournissent aussi une première version rapide des étiquettes pour une nouvelle destination.
  • Utilisez-le comme référence de base pour de meilleures requêtes : la prochaine leçon ajoute des descriptions et des exemples. Vous mesurez le changement par rapport à cette ligne.
  • Ne l’utilisez pas comme routeur quand vous avez des messages étiquetés. Ici, les plongements figés avec la régression logistique le battent, et TF-IDF le bat de loin.
  • Ce qu’il coûte : environ 0,035 $ US par 1 000 messages en jetons, 1,2 seconde par message et une limite de débit. Chaque message quitte Larkfield pour le fournisseur. Ses erreurs coûtent beaucoup plus que tout cela.
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule de données se termine par Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic. (Prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques).
  3. Dans la section 1, lisez la requête système et le schéma de réponse.
  4. Dans la section 2, prédisez lesquelles des quatre réponses réussissent. Ensuite, exécutez la vérification. Seule la première réussit.
  5. Dans la section 3, réexécutez les réponses enregistrées. Vous voyez valid answers: 100.0% (réponses valides : 100,0 %) et l’exactitude du LLM, 0.765.
  6. Lisez le tableau des étiquettes comparées aux destinations du LLM. Trouvez la colonne needs_person.

Dans la section 4 du carnet, calculez le coût de 1 000 messages de test. Utilisez les nombres moyens de jetons d’entrée et de sortie des réponses enregistrées, et les prix de chat-small dans data/prices.json. Prédisez d’abord : plus ou moins de 10 cents?

Afficher la réponse
price = json.load(open("data/prices.json"))["models"]["chat-small"]
cost_1000 = round(1000 * (llm["tokens_in"].mean() * price["input"] + llm["tokens_out"].mean() * price["output"]) / 1e6, 4)
print(cost_1000)
0.0351

Environ 3,5 cents pour 1 000 messages : moins de 10 cents. Le coût enregistré des appels donne le même nombre. Les jetons de sortie sont moins nombreux, mais chacun coûte cinq fois plus. Ils représentent donc presque la moitié de la facture.

Erreur courante

Une réponse confiante n'est pas une réponse correcte

Symptôme : le LLM a écrit une confiance de 0,99 pour 693 messages de test. Un développeur envoie directement aux équipes chaque réponse à 0,95 ou plus, et fait réviser les autres. Environ 93 de ces 693 messages vont quand même dans la mauvaise file, sans révision.

Cause : la confiance est un nombre dans le texte du modèle. Le modèle écrit le nombre qui convient à la réponse, comme une personne dit « Je suis sûr » par habitude. Personne n’a mesuré à quelle fréquence 0,99 correspond à une réponse correcte sur les messages de Larkfield. Ici, la réponse est correcte 86,6 % du temps.

Solution : n’utilisez jamais une confiance écrite comme seuil avant de la vérifier sur des messages étiquetés. Regroupez les réponses par confiance écrite et comparez avec l’exactitude, comme dans le tableau ci-dessus. La prochaine leçon transforme cette vérification en un seul nombre. Demander une décision, pas du texte montre comment obtenir une vraie probabilité d’un modèle.

Conséquence dans le travail en IA : un seuil fondé sur une confiance non vérifiée semble offrir une protection. Pourtant, il laisse passer les erreurs les plus confiantes. Ce sont les erreurs que personne ne révise.

Vérifiez votre compréhension

Les réponses du LLM étaient toutes du JSON valide avec une destination connue. Pourquoi cela ne suffit-il pas au routeur? Utilisez un exemple de cette leçon.

Afficher la réponse

Valide signifie que la réponse a la bonne forme : du JSON, un des sept noms de destination, une confiance entre 0 et 1. Cela ne signifie pas que la destination est correcte. Par exemple, M-101926 indique qu’un tapis de bain manque et que le client a été facturé deux fois. Le LLM a répondu needs_person (besoin d’une personne) avec une confiance de 0,96, et la réponse a passé toutes les vérifications. Mais le guide de Larkfield l’envoie à delivery (livraison), la destination de la première demande. Globalement, les réponses du LLM étaient valides dans 100 % des cas et correctes dans 76,5 % des cas.

Vérifiez votre compréhension

Avec seulement les noms de destination, le LLM envoie 287 messages destinés aux équipes et 10 des 12 prises de contrôle de compte à needs_person. Que lui manque-t-il, et quel en est le coût ici?

Afficher la réponse

Il lui manque les règles de Larkfield. Son bon sens lui dit que deux demandes, un client mécontent ou une prise de contrôle nécessitent une personne. Le guide de Larkfield indique : la destination de la demande principale, et les prises de contrôle à l’équipe des comptes. Cette équipe verrouille d’abord le compte. Les noms de destination ne transmettent pas ces règles. Dans le tableau des coûts, chaque message destiné à une équipe mais transféré à une personne coûte 2 $ US. Les 287 messages coûtent donc 287,0 $ US par 1 000 messages. Pour les prises de contrôle, le plus grand risque est le délai avant le verrouillage du compte.

Vérifiez votre compréhension

Un appel coûte environ 0,035 $ US par 1 000 messages, et le total du LLM est de 1 049,0 $ US par 1 000. D'où vient le reste, et qu'est-ce que cela vous apprend sur le choix d'un modèle ici?

Afficher la réponse

Presque tout vient des erreurs, dont le coût est fixé par le tableau des coûts. Les mauvaises files d’attente coûtent 302,0 $ US, et les messages destinés aux équipes mais transférés à une personne, 287,0 $ US. Les messages needs_person envoyés à une équipe coûtent 280,0 $ US, et les messages urgents dans la mauvaise file, 180,0 $ US. Les jetons coûtent environ 30 000 fois moins cher que les erreurs. Donc, dans cette boîte de réception, un modèle moins cher ou moins de jetons change à peine le total. Moins d’erreurs le change beaucoup. Le prix par jeton n’est pas le coût décisif.

Récapitulatif

  • Classification zéro exemple (zero-shot) avec un LLM : les noms de destination dans la requête système, le message, et aucun exemple.
  • Un schéma avec une énumération fixe la forme de la réponse; la sortie structurée oblige le fournisseur à la respecter. Votre code vérifie quand même chaque réponse, et une mauvaise réponse passe en révision.
  • Dans cette boîte de réception, le LLM avec seulement les noms de destination atteint 0,765 (1 049,0 $ US par 1 000) : moins bien que tous les modèles entraînés. « Un LLM est toujours le plus exact » n’est pas vrai ici.
  • Il envoie 287 messages destinés aux équipes et 10 des 12 prises de contrôle à needs_person : du bon sens plutôt que les règles de Larkfield.
  • Un appel coûte environ 0,035 $ US par 1 000 messages et prend environ 1,2 s. Les erreurs coûtent beaucoup plus cher.
  • Une confiance écrite est du texte, pas une mesure : les réponses avec une confiance de 0,99 étaient correctes dans 86,6 % des cas.

Ensuite, nous donnons au LLM ce dont un nouveau commis a besoin : la description de chaque destination et quelques exemples étiquetés.

Leçon suivante : Exemples dans la requête et descriptions d'étiquettes