Modèles de raisonnement pour les cas difficiles
- Leçon 22
- 35 min
- Module 5 : Les LLM comme classificateurs
Où nous en sommes
Certains messages sont difficiles pour toutes les méthodes : deux demandes en une, sarcasme, cas limite d'une politique. Un modèle de raisonnement réfléchit avant de répondre. Dans cette leçon, nous lui envoyons seulement les messages difficiles. Nous voyons pourquoi il vaut rarement la peine de traiter toute la boîte de réception.
Leçon 22 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitModèles de raisonnement pour les cas difficiles
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Trouvez les messages difficiles pour toutes les méthodes. Testez si un modèle plus lent et plus cher, qui « réfléchit » d’abord, les traite mieux. Mesurez où il aide, où il ne peut pas aider, et le coût de chaque réponse en temps et en argent.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter reconstruit l’ensemble difficile à partir des prédictions de cinq méthodes. Il réexécute les réponses enregistrées du modèle de raisonnement sur cet ensemble. Il liste les messages où seul le modèle de raisonnement a raison. Il montre aussi les 12 messages où toutes les méthodes se trompent, ainsi que le temps et le coût de chaque réponse. Vous n’avez besoin ni de compte ni de clé. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le LLM avec descriptions et exemples, présenté dans Exemples dans la requête et descriptions d’étiquettes.
- Les types de messages difficiles (vagues, deux demandes, cas limites de politiques, sarcasme), présentés dans Cette boîte de réception est plus facile qu’une vraie et le guide d’étiquetage.
Ce qu’il vous faut sur votre ordinateur
- Rien si vous utilisez le carnet. Ce module ne modifie aucun fichier de votre projet
larkroute.
Testé sur macOS (Apple silicon) avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.
Le bureau de l’experte chevronnée
Section intitulée « Le bureau de l’experte chevronnée »Au bureau de poste, quelques lettres posent problème à tous les commis. Il manque la moitié de l’adresse, ou une lettre contient deux demandes. La gestionnaire réserve ces lettres à une experte chevronnée. Elle est lente et coûte cher, donc elle ne reçoit jamais les lettres faciles.
Elle résout beaucoup de cas difficiles. Mais certaines lettres disent seulement « voir ma dernière lettre ». Aucune experte ne peut deviner ce que disait cette lettre. Il faut alors téléphoner au client.
Le problème : les dernières erreurs sont les plus difficiles
Section intitulée « Le problème : les dernières erreurs sont les plus difficiles »Le LLM avec descriptions et exemples classe correctement une proportion de 0,970 des messages de test de cette boîte de réception. L’encodeur réglé finement atteint 0,980. Les erreurs restantes ne sont pas aléatoires. Même une personne attentive trouve la plupart difficiles : un suivi vague, deux demandes dans un message, un cas entre deux règles.
Tomás a une idée : « Utilisons le meilleur modèle qui existe. » Les meilleurs modèles hébergés sont des modèles de raisonnement. Ce sont aussi les plus lents et les plus chers. Avant de payer, nous devons savoir quels messages ils classeraient correctement là où les modèles moins chers se trompent.
L’idée : un modèle de raisonnement, seulement pour les messages difficiles
Section intitulée « L’idée : un modèle de raisonnement, seulement pour les messages difficiles »Un modèle de raisonnement est un LLM qui écrit des notes de travail cachées avant sa réponse. Ces notes sont des jetons de raisonnement : vous les payez comme des jetons (tokens) de sortie, sans les voir. Un réglage appelé effort (faible, moyen, élevé) détermine combien il peut réfléchir. Le cours a utilisé le déploiement Azure chat-strong (modèle gpt-6.1-sol) avec un effort « moyen ». Il avait la même requête avec peu d’exemples : les descriptions des destinations et les 8 messages d’entraînement les plus semblables.
Nous ne lui envoyons pas tous les messages. Nous trouvons d’abord l’ensemble difficile : les messages de test où au moins deux des cinq méthodes se trompent. Ces cinq méthodes sont TF-IDF avec régression logistique, les deux modèles de plongement avec régression logistique, l’encodeur réglé finement et le LLM avec exemples.
Petit exemple détaillé : ce message est-il difficile?
Section intitulée « Petit exemple détaillé : ce message est-il difficile? »Comptez combien des cinq méthodes se trompent pour chaque message. Voici trois messages de test :
| Message | Étiquette | Méthodes qui se trompent | Difficile? |
|---|---|---|---|
| M-105011 “Can I return the rug if I don’t like the colour?” | product | moins de 2 | non |
| M-109403 “stop the emails and close my account pls. Also, can you cancel an order …” | account | 2 ou plus | oui |
| M-105667 “could you follow up on my earlier message about order LK-969836? Thanks!” | billing | les 5 | oui, parmi les plus difficiles |
Description textuelle du diagramme
La première case : les 2 000 messages de test. Cinq méthodes acheminent chaque message : TF-IDF avec régression logistique, les deux modèles de plongement, l’encodeur réglé finement et le LLM avec exemples. La deuxième case trie les messages selon le nombre de méthodes qui se trompent. Les cinq ont raison sur 1 696 messages, et une se trompe sur 174. Deux ou plus se trompent sur 130 messages, soit 6,5 % des données de test : c’est l’ensemble difficile. La troisième case : le modèle de raisonnement classe correctement 97 des 130 messages difficiles, soit une proportion de 0,746. Le LLM avec exemples en classe correctement 90. Le modèle de raisonnement coûte 1,94 $ US par 1 000 messages et prend 2,0 secondes par message. La quatrième case : les cinq méthodes se trompent sur 12 messages. Le modèle de raisonnement n’en classe aucun correctement. Sur 11 d’entre eux, il donne la même mauvaise destination que le LLM avec exemples.
Larkfield : le modèle de raisonnement sur les 130 messages difficiles
Section intitulée « Larkfield : le modèle de raisonnement sur les 130 messages difficiles »Le modèle de raisonnement classe correctement 97 des 130 messages difficiles. Le LLM avec exemples, sur les mêmes 130 messages, en classe correctement 90. C’est un gain de 7 messages sur 2 000 messages de test. Comptez les changements un par un, comme dans la leçon sur les exemples dans la requête :
| Sur les 130 messages difficiles | LLM avec exemples correct | LLM avec exemples incorrect |
|---|---|---|
| Modèle de raisonnement correct | 87 | 10 (seulement le modèle de raisonnement) |
| Modèle de raisonnement incorrect | 3 (seulement le LLM avec exemples) | 30 |
D’où vient le gain d’exactitude
Section intitulée « D’où vient le gain d’exactitude »Le corrigé du cours indique le type de chaque message difficile. Le graphique montre les deux modèles par type :
Description textuelle du diagramme
Pour chaque type difficile, deux barres : le modèle de raisonnement, puis le LLM avec exemples. Deux demandes, 48 messages : le modèle de raisonnement en classe correctement 45, le LLM avec exemples 38. Vagues, 58 messages : 29 et 29. Aucun type difficile, 17 messages : 16 et 16. Cas limites de politiques, 7 messages : 7 et 7.
Tout le gain concerne les messages avec deux demandes : 45 sur 48 contre 38. Le guide dit d’acheminer un message avec deux demandes selon sa demande principale, généralement la première. En voici un :
@Larkfield, stop the emails and close my account pls. Also, can you cancel an order before it ships? Tracking for LK-136362 hasn’t changed in 16 days—is my herb kit lost?Étiquette :
account. Modèle de raisonnement :account, « Main request is stopping emails and closing the account. » LLM avec exemples :orders, « The first main request is cancelling an order before it ships. »
Le modèle de raisonnement suit plus souvent la règle de la « première demande ». Mais regardez ses jetons de raisonnement : pour ce message, 0. Il n’a écrit aucune note de travail. Pour 7 des 10 messages que lui seul classe correctement, il n’en a écrit aucune. Avec un effort « moyen », il n’a écrit aucun jeton de raisonnement pour 89 des 130 messages, et 13 en moyenne. Ici, la plupart du gain vient donc d’un modèle plus puissant, pas d’une longue réflexion.
Sur les messages vagues, les deux modèles en classent correctement 29 sur 58. Le modèle de raisonnement réfléchit davantage aux messages où il se trompe : 35,7 jetons de raisonnement en moyenne, contre 5,3 pour les réponses correctes. Réfléchir davantage signale un message difficile, sans garantir une réponse correcte.
Quand réfléchir ne peut pas aider
Section intitulée « Quand réfléchir ne peut pas aider »Les cinq méthodes se trompent sur douze messages de test. Le modèle de raisonnement en classe correctement 0 sur 12. Sur 11 d’entre eux, il donne la même mauvaise destination que le LLM avec exemples. Lisez-en deux :
@Larkfield, could you follow up on my earlier message about order LK-969836? Thanks!Étiquette :
billing. Modèle de raisonnement :returns_refunds, confiance déclarée 0,46.
@Larkfield Hi, about the large one I mentioned—see my last message. Could you let me know how that works? Thanks!Étiquette :
delivery. Modèle de raisonnement :product, confiance déclarée 0,88.
Le premier message mentionne une commande, et rien d’autre. Le deuxième demande « comment ça fonctionne » pour « le grand ». L’étiquette vient du message précédent, qu’aucune méthode ne peut voir. Aucune réflexion ne peut trouver une information absente du message. Le guide dit de choisir l’étiquette la plus probable et de marquer le message pour révision. La bonne destination est une personne qui peut ouvrir l’historique du client.
Temps et argent
Section intitulée « Temps et argent »| Sur les 130 messages difficiles | Corrects | Temps médian | Les 10 % les plus lents | Coût par 1 000 messages |
|---|---|---|---|---|
LLM avec exemples (chat-small) |
90 | 1,75 s | environ 0,09 $ US | |
Modèle de raisonnement (chat-strong, moyen) |
97 | 2,04 s | 3,2 s | 1,94 $ US |
Le modèle de raisonnement coûte environ 20 fois plus par message. Ses tarifs sont plus élevés : 2,00 $ US par million de jetons d’entrée et 10,00 $ US par million de jetons de sortie. Les tarifs de l’autre modèle sont de 0,10 $ US et 0,50 $ US. Les jetons de raisonnement sont facturés comme des jetons de sortie. Les 130 réponses coûtent ensemble environ 0,25 $ US. Envoyer les 2 000 messages de test coûterait environ 3,88 $ US. Les tarifs changent : consultez la page des tarifs actuels du fournisseur.
Pourquoi il vaut rarement la peine de traiter toute la boîte de réception
Section intitulée « Pourquoi il vaut rarement la peine de traiter toute la boîte de réception »Le montant est faible au volume de Larkfield. Les raisons de ne pas envoyer tous les messages à un modèle de raisonnement sont ailleurs :
- Le gain est faible et limité. Sur cette boîte de réception, 7 réponses correctes de plus sur 2 000, toutes pour un seul type de message. Nous ignorons même ses résultats sur les 1 870 autres messages : le cours ne les a pas enregistrés.
- Vous ne savez pas à l’avance quels messages sont difficiles. L’ensemble difficile a été trouvé avec les étiquettes : nous avons compté les erreurs de cinq méthodes. En production, il n’y a pas d’étiquettes. Avant de transférer un message, il faut un signal d’incertitude, comme une confiance vérifiée. C’est une cascade, et la leçon Les cascades en construit une.
- Les messages les plus difficiles nécessitent une personne, pas un modèle. Les 12 messages où toutes les méthodes se trompent manquent d’information. Le modèle de raisonnement y répond quand même, avec des confiances déclarées de 0,43 à 0,91.
- Temps et limites. Chaque appel prend environ 2 secondes, et les 10 % les plus lents prennent plus de 3 secondes. Chaque modèle a sa propre limite de débit : vérifiez la vôtre. Le prix par jeton est 20 fois plus élevé ici : au volume d’un grand magasin, les deux comptent.
Utilisez un modèle de raisonnement pour une petite tranche bien définie où vous avez mesuré un gain. Ici, cette tranche est « deux demandes dans un message ». Sur cette boîte de réception, même cette tranche pourrait être confiée à une personne pour 1,50 $ US par message. Ou la règle du guide pourrait devenir un meilleur exemple dans la requête (prompt).
Exercice guidé : reconstruire l’ensemble difficile
Section intitulée « Exercice guidé : reconstruire l’ensemble difficile »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter, en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, entraînez TF-IDF et chargez les quatre autres méthodes. Le tableau montre
130messages où deux méthodes ou plus se trompent, et12où les cinq se trompent. - Dans la section 2, réexécutez le modèle de raisonnement. Vous voyez
reasoning model: 97 of 130 right; LLM with examples: 90 of 130(modèle de raisonnement : 97 réponses correctes sur 130; LLM avec exemples : 90 sur 130). - Dans la section 4, exécutez la cellule. Le modèle de raisonnement obtient
0 of 12(0 sur 12). Lisez les textes. - Dans la section 5, exécutez la cellule. Vous voyez les jetons de raisonnement, le coût et le temps.
À vous : les messages que seul le modèle de raisonnement classe correctement
Section intitulée « À vous : les messages que seul le modèle de raisonnement classe correctement »Dans la section 3 du carnet, complétez only_reasoning. Il contient les identifiants triés des messages difficiles que seul le modèle de raisonnement classe correctement. Faites d’abord une prédiction : combien y en aura-t-il, et quel type difficile sera le plus fréquent?
Afficher la réponse
only_reasoning = sorted(hard["message_id"][r_ok & ~f_ok])Check passed: only_reasoning is right.10 messages; the LLM with examples alone is right on 3Dix messages. Sept ont deux destinations dans la colonne routes : deux demandes dans un message. Le modèle de raisonnement les achemine selon la première demande, comme le guide l’indique. Les trois autres sont des suivis vagues concernant un article brisé. Il a choisi returns_refunds, tandis que le LLM avec exemples a choisi product.
Erreur courante
Un ensemble difficile choisi avec les étiquettes
Symptôme : une équipe annonce « le modèle de raisonnement corrige 10 de nos messages les plus difficiles » et prévoit de lui envoyer tous les messages. En production, le coût efface le gain.
Cause : l’ensemble difficile a été trouvé en comptant les erreurs par rapport aux étiquettes. En production, il n’y a pas d’étiquettes, donc personne ne sait quels messages sont difficiles. Tout envoyer au modèle de raisonnement fait payer son tarif pour les 93,5 % de messages déjà bien classés par des méthodes moins chères. Et les 12 messages les plus difficiles restent mal classés, car ils manquent d’information.
Correction : choisissez les messages pour l’étape coûteuse avec un signal qui existe sans étiquettes. Par exemple, une confiance vérifiée ou un désaccord entre deux méthodes peu coûteuses. Mesurez toute la chaîne sur les données de test, comme une cascade, avec le coût de chaque étape. Transférez les messages qui manquent d’information à une personne.
Conséquence dans le travail en IA : une évaluation sur une tranche choisie avec les réponses semble meilleure que tout système réel possible. Demandez toujours : le système aurait-il pu choisir cette tranche lui-même?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le modèle de raisonnement classe correctement 97 des 130 messages difficiles, et le LLM avec exemples, 90. D'où vient le gain, et quelle part vient de la « réflexion »?
Afficher la réponse
Tout le gain concerne les messages avec deux demandes : 45 sur 48 contre 38. Sur les messages vagues, les deux obtiennent 29 sur 58; sur les cas limites de politiques, les deux obtiennent 7 sur 7. Le modèle de raisonnement applique plus souvent la règle « acheminer selon la première demande ». Mais il n’a écrit aucun jeton de raisonnement pour 7 des 10 messages que lui seul classe correctement. Il n’en a écrit aucun pour 89 des 130 messages difficiles. La plupart du gain vient donc d’un modèle plus puissant, pas d’une longue réflexion.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le modèle de raisonnement ne classe-t-il correctement aucun des 12 messages où les cinq méthodes se trompent? Que devrait-on faire de ces messages?
Afficher la réponse
Il leur manque l’information. La plupart disent « voir mon dernier courriel » ou « le grand que j’ai mentionné ». L’étiquette dépend de ce message précédent, qu’aucun modèle ne peut lire. Réfléchir ne peut pas ajouter les faits manquants. Sur 11 des 12 messages, le modèle de raisonnement donne la même mauvaise destination que le LLM avec exemples. Ces messages devraient aller à une personne qui peut ouvrir l’historique du client, comme le guide l’indique pour les messages vagues.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás veut envoyer tous les messages au modèle de raisonnement, car « c'est le meilleur modèle ». Donnez trois raisons de ne pas le faire sur cette boîte de réception, avec des chiffres.
Afficher la réponse
D’abord, le gain est limité : 7 réponses correctes de plus sur 2 000 messages de test, toutes sur des messages avec deux demandes. Ensuite, il coûte environ 20 fois plus par message : 1,94 $ US par 1 000 contre environ 0,09 $ US. Il prend aussi 2,04 s contre 1,75 s. Enfin, l’ensemble difficile a été choisi avec les étiquettes. En production, vous ignorez quels messages sont difficiles. Vous paieriez donc pour les 93,5 % que des méthodes moins chères classent déjà correctement. Et les 12 messages les plus difficiles resteraient mal classés.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’ensemble difficile : les 130 messages de test (6,5 %) où au moins deux des cinq méthodes se trompent.
- Un modèle de raisonnement écrit des jetons de raisonnement cachés avant de répondre. Sur l’ensemble difficile, il classe correctement 97 messages sur 130 (0,746), contre 90 pour le LLM avec exemples.
- Tout le gain concerne deux demandes dans un message (45 sur 48 contre 38). Il est venu surtout sans jetons de raisonnement : un modèle plus puissant, pas une longue réflexion.
- Sur les 12 messages où toutes les méthodes se trompent, il obtient 0 : l’information n’est pas dans le message. Une personne doit les lire.
- Il coûte environ 1,94 $ US par 1 000 messages, environ 20 fois le LLM avec exemples, et prend environ 2 s.
- L’ensemble difficile a été choisi avec les étiquettes. En production, il faut un signal sans étiquettes : une cascade.
Ensuite, nous rassemblons tous les coûts de chaque modèle : jetons, tarifs, secondes, limites de débit et confidentialité, comparés au coût des erreurs.
Leçon suivante : Coût par 1 000 messages