Aller au contenu
English

Trier des demandes avec peu d'étiquettes

  • Étude de cas 3
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans neuf modules, nous avons appris à partir de milliers d'étiquettes de Larkfield. Dans cette étude de cas, un nouvel assistant démarre sans aucune étiquette, en anglais et en français. Nous étiquetons 10 demandes par intention, puis 50, puis toutes. Nous découvrons quand les étiquettes supplémentaires cessent d'être rentables.

Étude de cas 3 sur 4 · Classification et routage de textes : envoyer chaque message au bon endroitTrier des demandes avec peu d'étiquettes
Aperçu du cours

Ce que vous saurez faire

Démarrez un routeur sans étiquettes et découvrez combien il lui en faut. Vous comparerez cinq types de méthodes sur de vraies demandes en anglais et en français. Vous tracerez la courbe d’apprentissage dans les deux langues. Vous déciderez quand un lot supplémentaire d’étiquettes cesse d’être rentable.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Courbe d'apprentissage
  • Méthodes avec peu d'étiquettes
  • SetFit
  • Zéro exemple et apprentissage avec peu d'exemples
  • Transfert entre langues
  • Seuil de révision
  • Budget d'étiquetage

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il comprend aussi deux tâches avec des vérifications. Il ne demande aucun compte ni aucune clé : les réponses du LLM ont été enregistrées. Ses cellules de configuration installent et téléchargent le nécessaire. Ensuite, il s’exécute en environ 3 minutes sur un ordinateur portable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise la majeure partie du cours. Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’exige rien de tout cela)

  • Un nouveau dossier avec un environnement virtuel Python 3.12. La première cellule du carnet installe les paquets nécessaires. Cette étude de cas n’utilise ni ne modifie votre projet larkroute.
  • Environ 1,5 Go d’espace disque libre pour les paquets, les deux modèles et les données. Pour recommencer, supprimez le dossier massive-requests que le carnet crée.

Testé sur macOS (Apple silicon) avec Python 3.12, scikit-learn 1.9.1, sentence-transformers 6.2.0, SetFit 1.2.0, GLiClass 0.1.22 et PyTorch 2.15.0 (CPU), dans Jupyter après un démarrage à neuf. Colab, Kaggle, Windows et Linux n’ont pas été testés.

Inès dirige l’équipe produit d’une petite entreprise à Montréal. L’entreprise crée une application de calendrier, de courriel et de listes. Le mois prochain, l’application aura une zone de texte. Les gens y écriront ce qu’ils veulent, en anglais ou en français, et l’application le fera. « Wake me up at six » règle une alarme. « Ajoute du lait à la liste » ajoute du lait à une liste.

Derrière la zone de texte, un routeur doit choisir l’une de 13 actions. Karim, l’ingénieur en apprentissage automatique de l’équipe, a les demandes saisies par un groupe test, mais aucune étiquette. Sophie, une agente de soutien bilingue, peut étiqueter des demandes quelques heures par semaine. Chaque étiquette lui prend du temps.

Inès pose trois questions :

  1. Combien d’étiquettes faut-il avant que l’application puisse agir seule?
  2. Faut-il aussi des étiquettes en français, ou les étiquettes en anglais suffisent-elles?
  3. Quand arrêtons-nous l’étiquetage?

Quand le routeur hésite, l’application demande à l’utilisateur : « Voulez-vous régler une alarme ou afficher vos alarmes? » Cela prend quelques secondes; une mauvaise action coûte plus cher.

Vous créerez le routeur et les éléments qui justifient chaque réponse aux questions d’Inès. Vous commencez avec 10 demandes étiquetées par intention, puis 50, puis toutes. À chaque étape, vous comparez cinq types de méthodes avec les mêmes demandes de validation et les mêmes coûts. Ensuite, vous choisissez un seuil sous lequel l’application interroge l’utilisateur. Vous calculez aussi ce que chaque lot d’étiquettes coûte et économise. À la fin, vous testez le routeur une seule fois, l’exécutez sur de nouvelles demandes et rédigez votre compte rendu.

Les demandes proviennent de MASSIVE, un jeu de données public d’Amazon. Il contient les mêmes 16 521 courtes demandes à un assistant vocal dans 52 langues. Chacune porte son intention : ce que la personne veut faire. Nous utilisons les fichiers anglais et français.

Le carnet télécharge l’archive d’Amazon (40 Mo), vérifie sa somme de contrôle et conserve les fichiers anglais et français. Karim conserve les 4 scénarios de l’application : alarmes, calendrier, courriel et listes.

SCENARIOS = ["alarm", "calendar", "email", "lists"]
requests = pd.concat([read("en-US", "en"), read("fr-FR", "fr")], ignore_index=True)
10,188 requests in 13 intents, 4 scenarios
language en fr
split
train 3570 3570
validation 613 613
test 911 911

Chaque langue compte 5 094 demandes. Nous conservons la répartition de MASSIVE. Nous choisissons les méthodes et le seuil avec les données de validation. Les demandes de test restent fermées jusqu’à la fin.

Une ligne correspond à une demande, comme « wake me up at nine am on friday », étiquetée alarm_set. La ligne française portant le même id est sa traduction : « réveille-moi à neuf heures du matin le vendredi ». Les vérifications du carnet :

English and French rows with the same id and the same intent: 100% (each French request is a translation)
en: missing texts 0 | repeated texts in train 11 | test texts also in train 7 | median words 7
fr: missing texts 0 | repeated texts in train 51 | test texts also in train 29 | median words 8
train requests per intent (each language): from 54 (email_addcontact) to 810 (calendar_set)

Les demandes sont courtes : 7 mots en anglais, 8 en français. Quelques textes de test figurent aussi dans les données d’entraînement; ils sont donc faciles. calendar_set compte 15 fois plus de demandes que email_addcontact, l’intention rare. Nous surveillons son rappel.

Karim lit 100 demandes aléatoires dans chaque langue. La plupart sont claires. Certaines ne le sont pas :

  • « nice » porte l’étiquette calendar_set, et « then tap ok » porte alarm_query. Ces lignes n’expriment aucune intention.
  • « through outlook » (email_sendemail) est devenu « à travers les perspectives » en français : la traduction a traduit le nom du programme.
  • Une ligne française de validation, « créer un événement de calendrier vide pour samedi prochain », porte l’étiquette calendar_remove. Sa ligne anglaise est « delete day after event ». La traduction dit le contraire.

Nous conservons ces mauvaises étiquettes, car une vraie boîte de réception en contient aussi.

Scénario Intentions (demandes d’entraînement par langue)
Alarme alarm_set (182), alarm_query (130), alarm_remove (78)
Calendrier calendar_set (810), calendar_query (566), calendar_remove (312)
Courriel email_query (418), email_sendemail (354), email_querycontact (127), email_addcontact (54)
Listes lists_query (198), lists_createoradd (177), lists_remove (164)

Chaque intention a aussi une description simple, comme « ajouter un événement ou un rappel au calendrier ». Ces descriptions servent aux modèles zéro exemple et au LLM. Elles se trouvent dans data/intents.csv.

Ces coûts sont des hypothèses convenues entre Inès et Karim; votre application doit avoir les siens.

Résultat Coût ($ US) Pourquoi
L’application demande à l’utilisateur de choisir 0,10 Quelques secondes du temps de l’utilisateur et un léger désagrément.
Une mauvaise action 0,50 L’utilisateur voit le mauvais résultat et saisit sa demande à nouveau.
Une mauvaise action quand l’utilisateur voulait alarm_set ou calendar_set 3,00 Certains utilisateurs ne le remarquent pas et manquent l’alarme ou la réunion.

L’application demande une confirmation avant de supprimer quoi que ce soit. Une mauvaise action de suppression ne coûte donc pas plus qu’une autre mauvaise action.

Si l’application interrogeait l’utilisateur chaque fois, cela coûterait 100 $ US par 1 000 demandes : tout routeur doit coûter moins. Le carnet évalue chaque méthode avec le fichier routing.py du cours et ces coûts.

Une demande en anglais ou en français va au modèle, qui donne une confiance pour chacune des 13 intentions. Si la confiance la plus élevée atteint 0,69, l'application agit. Par exemple, ajoute un rendez-vous chez le dentiste jeudi à 15 h obtient calendar_set à 0,94. Si elle est sous 0,69, comme take milk off the shopping list, lists_remove à 0,63, l'application demande : Voulez-vous dire…?
Le routeur de l'application, avec le modèle et le seuil choisis à la fin de cette étude de cas. Au-dessus du seuil, l'application agit; en dessous, elle interroge l'utilisateur.
Description textuelle du diagramme

Une demande, en anglais ou en français, va au modèle. Le modèle donne une confiance pour chacune des 13 intentions. Si la confiance la plus élevée atteint le seuil, ici 0,69, l’application agit. Exemple : « ajoute un rendez-vous chez le dentiste jeudi à 15 h » obtient calendar_set avec 0,94. L’application ajoute donc le rendez-vous. Si la confiance est sous le seuil, l’application pose une question. Exemple : « take milk off the shopping list » obtient lists_remove avec seulement 0,63. L’application demande donc « Voulez-vous dire…? » et affiche les actions probables.

Le routeur comporte trois parties : un modèle, un nombre d’étiquettes et un seuil. Cette étude de cas choisit les trois.

La référence de base : TF-IDF avec 10 étiquettes par intention

Section intitulée « La référence de base : TF-IDF avec 10 étiquettes par intention »

Sophie étiquette 10 demandes par intention : 130 dans chaque langue, soit environ une heure de travail pour chacune. Le carnet les tire au hasard avec une graine fixe. Les étiquettes françaises correspondent aux traductions des demandes anglaises.

Karim entraîne le pipeline TF-IDF du projet du cours sur ses 130 étiquettes, avec un modèle par langue.

method labels_per_intent accuracy accuracy_en accuracy_fr total_per_1000
0 everything to the user 0 0.00 0.000 0.000 100.0
1 TF-IDF + LR 10 0.69 0.728 0.653 426.2

TF-IDF classe correctement 69 % des demandes de validation. Mais ses erreurs coûtent 426 $ US par 1 000 demandes : quatre fois plus que de toujours interroger l’utilisateur. Avec 10 étiquettes par intention, il a vu trop peu de mots. Ses 380 erreurs coûtent 522,50 $ US, et calendar_set représente à lui seul 357 $ US. C’est l’intention la plus fréquente, et un rappel manqué coûte 3 $ US.

Plongements : centre le plus proche et régression logistique

Section intitulée « Plongements : centre le plus proche et régression logistique »

Le modèle de plongement multilingue du cours transforme chaque demande en 384 nombres. Deux méthodes apprennent à partir de ces nombres et des 130 étiquettes, comme dans Peu d’étiquettes avec des plongements :

  • le centre le plus proche : la moyenne des plongements de chaque intention; une nouvelle demande va au centre le plus semblable;
  • la régression logistique sur les 384 nombres.

SetFit règle finement le modèle de plongement lui-même avec des paires tirées des 130 demandes étiquetées. Il entraîne ensuite une régression logistique sur les plongements. Cela prend environ 30 secondes par langue sur le processeur d’un ordinateur portable.

Un modèle zéro exemple (zero-shot) n’a besoin d’aucune étiquette, seulement des 13 descriptions. GLiClass évalue chaque description par rapport à la demande, comme dans Classification zéro exemple sans LLM. Un LLM hébergé (Azure chat-small) lit les 13 intentions et leurs descriptions dans sa requête. Il répond en JSON avec une intention et une confiance.

Le même LLM reçoit dans sa requête les 8 exemples les plus semblables parmi les 130 demandes étiquetées de Sophie. C’est la méthode de Exemples dans la requête et descriptions d’étiquettes. Nous avons enregistré ses réponses une fois; vous les rejouez donc sans clé.

Karim entraîne chaque méthode avec 10, 50 et toutes les étiquettes par intention (« toutes » représente 3 570 par langue). Le tableau montre l’exactitude en validation, le rappel de l’intention rare et le coût par 1 000 demandes. Il n’y a pas encore de seuil : chaque méthode agit sur chaque demande.

Étiquettes par intention Méthode Exactitude Anglais Français Rappel de l’intention rare $ US par 1 000
0 LLM zéro exemple (enregistré) 0,927 0,931 0,922 1,0 87,1
0 GLiClass zéro exemple 0,396 0,445 0,347 0,4 781,0
10 LLM avec peu d’exemples (enregistré) 0,932 0,933 0,931 1,0 95,1
10 SetFit 0,840 0,861 0,819 0,9 263,5
10 TF-IDF + LR 0,690 0,728 0,653 0,9 426,2
10 Plongements + LR 0,749 0,772 0,726 0,8 437,6
10 Plongements + centre le plus proche 0,746 0,775 0,718 0,8 440,9
50 TF-IDF + LR 0,847 0,850 0,843 1,0 188,8
50 Plongements + LR 0,852 0,873 0,830 0,8 200,7
50 Plongements + centre le plus proche 0,816 0,843 0,790 0,7 250,8
toutes TF-IDF + LR 0,911 0,915 0,907 0,9 75,0
toutes Plongements + LR 0,907 0,923 0,891 0,9 97,5
toutes Plongements + centre le plus proche 0,836 0,861 0,811 0,7 204,3
– Toujours interroger l’utilisateur – – – – 100,0

Les données de validation ne comptent que 5 demandes email_addcontact par langue. Le rappel de l’intention rare varie donc par pas de 0,1. SetFit varie un peu entre les exécutions sur processeur : dans celle du carnet, il a obtenu 0,841.

Ce que cela nous apprend.

  1. Le LLM hébergé n’a besoin d’aucune étiquette ici. Avec les 13 descriptions seulement, il obtient 0,927. C’est plus que TF-IDF avec les 3 570 étiquettes par langue (0,911). Sur la boîte de réception de Larkfield, il obtenait seulement 0,765 avec les noms des destinations seuls. Ici, il dispose de descriptions simples de tâches courantes d’un assistant. De plus, MASSIVE est public depuis 2022; le LLM l’a donc peut-être déjà vu. Les demandes de vos propres utilisateurs sont nouvelles pour lui.
  2. Les 130 exemples apportent peu au LLM : 0,932.
  3. Avec 10 étiquettes, chaque modèle entraîné coûte plus que de toujours interroger l’utilisateur. SetFit est le meilleur, à 0,840. Il équivaut à environ 40 étiquettes par intention : la régression logistique en exige 50 pour atteindre 0,852. Sur la boîte de réception de Larkfield, SetFit n’apportait rien (0,630 contre 0,632). Ces demandes contiennent des mots plus variés.
  4. GLiClass échoue (0,396). Avec 13 intentions proches, il ne distingue pas « régler », « demander » et « supprimer ».
  5. Avec toutes les étiquettes, TF-IDF est le modèle entraîné le moins coûteux : 75,0 $ US par 1 000 demandes.

Sur la boîte de réception de Larkfield, TF-IDF atteignait 0,962 avec 6 000 étiquettes. Ici, il atteint 0,911 avec 3 570 par langue. Les vraies demandes sont courtes, variées et parfois mal étiquetées.

Pensez à un enfant qui apprend à trier le linge. Les dix premières chaussettes lui apprennent beaucoup. La centième ne lui apprend presque rien. Une courbe d’apprentissage montre l’exactitude selon le nombre d’étiquettes. Elle monte vite, puis s’aplatit. Là où elle s’aplatit, ajouter des étiquettes apporte peu.

Un tirage de 10 étiquettes peut être chanceux ou malchanceux, comme l’a montré Peu d’étiquettes avec des plongements. Le carnet tire donc 5 ensembles pour chaque taille, de 5 à 100 étiquettes par intention, puis trace la moyenne. « All » (toutes) représente un seul ensemble.

  • Plongements + régression logistique
  • TF-IDF + régression logistique
  • Plongements + centre le plus proche
La courbe d'apprentissage en anglais : la moyenne de 5 tirages aléatoires pour chaque taille. Plongements + régression logistique mène à chaque taille; TF-IDF monte encore à la fin.
Description textuelle du graphique

Trois lignes pour six tailles : 5, 10, 20, 50, 100 et toutes les étiquettes par intention. Plongements avec régression logistique : 69,0 %, 75,9 %, 83,6 %, 87,2 %, 90,0 % et 92,3 %. TF-IDF avec régression logistique commence plus bas et monte plus longtemps : 55,0 %, 66,3 %, 75,0 %, 82,3 %, 87,7 % et 91,5 %. Le centre le plus proche (en pointillés) commence près de la régression logistique, à 67,3 % et 74,8 %, puis s’aplatit : 79,0 %, 82,9 %, 85,1 % et 86,1 %.

  • Plongements + régression logistique
  • TF-IDF + régression logistique
  • Plongements + centre le plus proche
La courbe d'apprentissage en français : les mêmes demandes, traduites. Chaque méthode perd quelques points, et TF-IDF dépasse les plongements avec toutes les étiquettes.
Description textuelle du graphique

Les mêmes trois lignes pour les demandes en français. Plongements avec régression logistique : 62,3 %, 71,4 %, 77,8 %, 83,8 %, 85,9 % et 89,1 %. TF-IDF avec régression logistique : 53,6 %, 63,0 %, 73,3 %, 81,4 %, 86,2 % et 90,7 %. Il rattrape donc les plongements à 100 étiquettes par intention et les dépasse avec toutes les étiquettes. Le centre le plus proche : 61,2 %, 69,2 %, 73,5 %, 78,6 %, 79,9 % et 81,1 %.

Ce que cela nous apprend.

  • Les plongements gagnent avec peu d’étiquettes. Avec 10 étiquettes par intention : 0,759 en anglais, contre 0,663 pour TF-IDF.
  • TF-IDF rattrape les plongements plus tard que chez Larkfield, où il les dépassait à 64 étiquettes par destination. En anglais, les plongements mènent encore avec toutes les étiquettes. En français, TF-IDF les rattrape à 100 par intention et les dépasse avec toutes les étiquettes (0,907 contre 0,891).
  • Le français perd quelques points pour chaque méthode : le modèle connaît mieux l’anglais, et certaines traductions sont incorrectes.
  • La courbe des plongements s’aplatit; celle de TF-IDF, pas encore. En anglais, plongements + LR gagne 11,3 points de 10 à 50 étiquettes, puis 2,8 de 50 à 100. De 100 à toutes les étiquettes (environ 275 par intention), il gagne 2,3 points. TF-IDF gagne encore 9,2 points de 50 à toutes les étiquettes.

Les étiquettes en français de Sophie coûtent autant que celles en anglais. Karim essaie une option moins chère : entraîner uniquement sur des étiquettes en anglais, puis acheminer les demandes en français.

Cela fonctionne seulement si le modèle place une demande française près de son sens en anglais. Un modèle de plongement multilingue a appris à partir de nombreuses phrases traduites. Il le fait donc. TF-IDF compte seulement les mots, et l’anglais et le français n’en partagent presque aucun.

Une demande étiquetée en anglais, wake me up at nine am on friday, porte l'étiquette alarm_set. Une demande en français dit réveille-moi à neuf heures du matin le vendredi. Les deux vont dans la boîte des plongements : cosinus de 0,92, très proches. La demande française reçoit donc alarm_set. Les deux vont aussi dans la boîte TF-IDF : aucun mot commun, donc aucune aide.
Pourquoi les étiquettes en anglais peuvent fonctionner en français : le modèle de plongement place une demande près de sa traduction. TF-IDF voit deux demandes sans mot commun.
Description textuelle du diagramme

Deux entrées : une demande anglaise avec son étiquette, « wake me up at nine am on friday », alarm_set, et une demande française, « réveille-moi à neuf heures du matin le vendredi ». Avec le modèle de plongement du cours, leur similarité cosinus est de 0,92. Un modèle entraîné sur l’étiquette anglaise envoie donc la demande française vers alarm_set. À titre de comparaison, « wake me up at nine am on friday » et « what alarms do i have » ont une similarité cosinus de seulement 0,35. Avec TF-IDF, les deux demandes ne partagent aucun mot. L’étiquette anglaise n’aide donc pas.

C’est votre première tâche dans le carnet. Voici l’exactitude sur les données de validation en français :

Étiquettes par intention Méthode Entraîné sur des étiquettes en français Entraîné uniquement sur des étiquettes en anglais
10 TF-IDF + LR 0,653 0,418
10 Plongements + LR 0,726 0,737
50 TF-IDF + LR 0,843 0,413
50 Plongements + LR 0,830 0,822
toutes TF-IDF + LR 0,907 0,506
toutes Plongements + LR 0,891 0,869

Avec les plongements, les étiquettes anglaises valent presque les françaises : 0,737 contre 0,726 avec 10 étiquettes par intention. Avec toutes les étiquettes, c’est 0,869 contre 0,891. TF-IDF entraîné sur l’anglais tombe entre 0,41 et 0,51. Donc : étiquetez seulement en anglais et utilisez les plongements, ou étiquetez les deux langues et utilisez TF-IDF.

Ici, le français est traduit de l’anglais. Le français réellement saisi est moins proche. Testez donc d’abord avec vos propres demandes en français.

Jusqu’ici, chaque méthode agissait sur chaque demande. Mais l’application peut poser une question lorsqu’elle hésite. Pour chaque candidat, le carnet essaie tous les seuils de 0,00 à 0,99 sur les demandes de validation. Il garde le moins coûteux, comme dans Décider, faire réviser ou transférer à une personne. Le coût inclut maintenant les questions.

Méthode Étiquettes par intention Seuil le moins coûteux Pose une question $ US par 1 000 (avec les questions)
TF-IDF + LR toutes 0,69 15,0 % 38,3
Plongements + LR toutes 0,83 25,4 % 46,2
LLM avec peu d’exemples (enregistré) 10 0,98 34,1 % 47,7
LLM zéro exemple (enregistré) 0 0,92 17,4 % 50,8
TF-IDF + LR 50 0,81 53,4 % 62,8
Plongements + LR 50 0,81 54,4 % 71,1
Plongements + LR 10 0,66 71,5 % 75,5
SetFit 10 0,89 69,4 % 77,6

Ce que cela nous apprend.

  • Un seuil rend chaque candidat moins cher que de poser une question chaque fois. Même les modèles avec 10 étiquettes passent sous 100 $ US. Mais ils posent une question environ 70 % du temps : c’est plus agaçant qu’utile.
  • Le LLM hébergé est un bon routeur dès le premier jour. Sans étiquettes, il pose une question 17,4 % du temps et coûte 50,8 $ US par 1 000. Sa confiance est utile seulement au-dessus de 0,92 : il écrit 0,95 ou plus pour la plupart des réponses.
  • TF-IDF avec toutes les étiquettes est le moins cher : 38,3 $ US par 1 000, avec une question 15,0 % du temps. Il s’exécute sur le serveur de l’application en une demi-milliseconde. Le LLM prend environ 1,3 seconde et envoie chaque demande à un service hébergé.

Le seuil fonctionne comme une nouvelle commis de magasin. Quand elle est sûre, elle aide immédiatement. Sinon, elle pose une courte question. Trop de questions fatiguent les clients; aucune question mène à des erreurs coûteuses. Le graphique le montre pour TF-IDF avec toutes les étiquettes.

  • Coût par 1 000 demandes ($ US)
  • Part des demandes pour lesquelles l'application pose une question (%)
TF-IDF avec toutes les étiquettes sur les demandes de validation. Un seuil plus élevé pose plus de questions et réduit les actions incorrectes. Le coût total est le plus bas à 0,69.
Description textuelle du graphique

Deux lignes selon le seuil, de 0,30 à 0,99. La part des demandes avec question monte de 1,0 % à 0,30 jusqu’à 74,1 % à 0,99. Le coût par 1 000 demandes descend de 68,3 $ US à 0,30 jusqu’à son minimum, 38,3 $ US à 0,69. À ce seuil, l’application pose une question pour 15,0 % des demandes. Au-dessus, les questions coûtent plus que les erreurs qu’elles évitent : 40,5 $ US à 0,80, 47,0 $ US à 0,90 et 76,5 $ US à 0,99.

À vous (la deuxième tâche du carnet) : l’équipe produit accepte que l’application pose une question au plus 1 fois sur 10. Avec cette limite, le meilleur seuil est 0,59. L’application pose une question 9,3 % du temps, pour 44,0 $ US par 1 000 sur les données de validation. La limite coûte 5,7 $ US par 1 000.

Les étiquettes coûtent de l’argent une seule fois. Un meilleur routeur économise de l’argent chaque mois. On arrête donc l’étiquetage quand le prochain lot prend trop longtemps à se rentabiliser.

Deux autres hypothèses. Sophie étiquette environ 120 de ces courtes demandes par heure, à 28 $ US l’heure : environ 0,23 $ US par étiquette. L’application reçoit 20 000 demandes par mois dans chaque langue.

Pour chaque nombre d’étiquettes, le tableau prend le modèle le moins cher qui fonctionne sur le serveur de l’application, avec son seuil. Il calcule le coût des étiquettes supplémentaires dans les deux langues et le coût mensuel du routeur. Il calcule aussi combien de mois d’économies rentabilisent ces étiquettes supplémentaires.

Étiquettes par intention Meilleur modèle local Étiquettes par langue Coût des étiquettes, deux langues ($ US) $ US par 1 000 Coût mensuel du routeur ($ US) Étiquettes supplémentaires ($ US) Économie mensuelle ($ US) Mois pour rentabiliser
10 Plongements + LR 130 61 75,5 3 020 – – –
50 TF-IDF + LR 650 303 62,8 2 512 242 508 0,5
toutes TF-IDF + LR 3 570 1 666 38,3 1 532 1 363 980 1,4

À titre de comparaison : poser une question chaque fois coûte 4 000 $ US par mois. Le LLM avec peu d’exemples et son seuil coûte 1 908 $ US par mois.

Ce que cela nous apprend.

  • Chaque étape s’est rentabilisée rapidement : de 10 à 50 étiquettes par intention en un demi-mois, puis de 50 à toutes en 1,4 mois.
  • Nous n’avons pas atteint le point d’arrêt. La courbe de TF-IDF montait encore. Avec de vrais utilisateurs, Karim continue l’étiquetage tant qu’un lot se rentabilise en quelques mois. Il arrête quand cela dépasse l’horizon de planification de l’application.
  • Le LLM change le début, pas la fin. Sans étiquettes, il coûte beaucoup moins que de poser une question chaque fois. Avec toutes les étiquettes, TF-IDF local coûte moins et garde les demandes sur le serveur de l’application.

Les trois réponses d’Inès, à partir des demandes de validation :

  1. Combien d’étiquettes avant que l’application agisse seule? Avec un modèle local, 50 par intention signifie encore une question environ la moitié du temps. Avec les 3 570 par langue, c’est 15 % du temps. Avec le LLM hébergé, aucune étiquette.
  2. Des étiquettes en français? Seulement si vous utilisez TF-IDF. Avec les plongements multilingues, les étiquettes anglaises atteignent 0,869 en français, contre 0,891 avec les étiquettes françaises. TF-IDF avec les deux langues coûte moins cher. Karim étiquette donc les deux.
  3. Quand arrêter? Pas encore : le dernier lot s’est rentabilisé en 1,4 mois.

Le plan :

  • Au lancement : le LLM zéro exemple, avec une question sous 0,92, si l’avis de confidentialité et le contrat du fournisseur le permettent. Sinon, l’application pose une question chaque fois pendant que Sophie étiquette.
  • Le routeur, une fois que Sophie a étiqueté les deux langues : TF-IDF avec toutes les étiquettes, un modèle par langue, question sous 0,69. Sur les données de validation, il pose une question 15,0 % du temps et coûte 38,3 $ US par 1 000, soit environ 1 532 $ US par mois. Il remplace le LLM : aucune demande ne quitte l’application, et une réponse prend une demi-milliseconde.

Karim ouvre maintenant les demandes de test : 911 par langue, jamais utilisées auparavant. Il évalue chaque candidat une fois, avec et sans son seuil. « Correct sans question » compte les demandes que l’application traite correctement seule. « Correct quand elle agit » exclut les demandes pour lesquelles elle pose une question.

Routeur Correct sans question Correct quand elle agit Anglais Français Pose une question $ US par 1 000
TF-IDF, toutes les étiquettes, question sous 0,69 0,814 0,955 0,823 0,806 14,8 % 50,2
Plongements + LR, toutes les étiquettes, question sous 0,83 0,692 0,971 0,729 0,654 28,7 % 50,4
LLM avec peu d’exemples, question sous 0,98 0,623 0,983 0,641 0,606 36,6 % 55,8
LLM zéro exemple, question sous 0,92 0,784 0,955 0,789 0,779 17,9 % 77,3
TF-IDF, toutes les étiquettes, aucune question 0,900 0,900 0,905 0,896 0 % 93,9
Poser une question chaque fois 0 – – – 100 % 100,0
LLM zéro exemple, aucune question 0,919 0,919 0,929 0,910 0,4 % 103,1
LLM avec peu d’exemples, aucune question 0,929 0,929 0,932 0,926 0,1 % 109,3

Ce que cela nous apprend.

  • Le routeur choisi tient bon : 50,2 $ US par 1 000, une question 14,8 % du temps et 95,5 % de réponses correctes quand il agit. C’est aussi la ligne la moins chère sur les données de test.
  • Le test coûte plus que la validation pour presque chaque ligne (50,2 $ US contre 38,3 $ US pour le routeur choisi). Les seuils choisis sur 1 226 demandes comportent du bruit, comme l’a montré Décider, faire réviser ou transférer à une personne.
  • Le LLM a le plus changé. Sans seuil, le LLM zéro exemple coûte 103,1 $ US sur le test, contre 87,1 $ US sur la validation. Avec son seuil de 0,92, il coûte 77,3 $ US. Sa confiance écrite est un guide moins fiable que les probabilités de TF-IDF.
  • Le routeur le plus exact n’est pas le moins cher. Le LLM avec peu d’exemples obtient 0,929 de réponses correctes, mais coûte 109,3 $ US par 1 000 : le double du routeur choisi.

Karim écrit six nouvelles demandes, trois en anglais et trois en français. Ce sont des exemples construits, pas des lignes de MASSIVE. Le routeur choisi agit ou pose une question.

Langue Demande Intention Confiance Décision
en wake me at 6 tomorrow, I have a flight alarm_set 0,57 poser une question
en did Sam answer my message about the budget email_sendemail 0,44 poser une question
en take milk off the shopping list lists_remove 0,63 poser une question
fr ajoute un rendez-vous chez le dentiste jeudi à 15 h calendar_set 0,94 exécuter : calendar_set
fr est-ce que j’ai une alarme pour demain matin alarm_query 0,72 exécuter : alarm_query
fr envoie un courriel à Anna pour dire que je serai en retard email_sendemail 0,98 exécuter : email_sendemail

Les trois demandes françaises obtiennent la bonne intention avec assez de confiance. L’application agit donc. Deux demandes anglaises obtiennent la bonne intention, mais restent sous 0,69. L’application pose donc une question. « did Sam answer my message » est incorrect : la demande demande de consulter les courriels (email_query). Mais le modèle indique email_sendemail avec 0,44 de confiance. Le seuil intercepte cette erreur. Nos demandes anglaises contiennent des chiffres et de la ponctuation (« 6 », une virgule), absents de l’anglais de MASSIVE. Cela pourrait expliquer les faibles confiances.

Erreur courante

Étiquettes équilibrées, demandes déséquilibrées

Symptôme : avec 10 étiquettes par intention, les modèles envoient beaucoup de demandes calendar_set vers calendar_query. Avec plongements + LR, 87 des 1 226 demandes de validation produisent exactement cette erreur. Chacune coûte 3 $ US : un rappel qui n’a jamais été créé.

Cause : Sophie a étiqueté 10 demandes pour chaque intention. Le modèle a donc vu calendar_set aussi souvent que email_addcontact. Dans les vraies demandes, calendar_set est 15 fois plus fréquent. Des demandes comme « remind me about the party tomorrow » se situent entre « créer » et « consulter ». Le modèle n’a aucune raison de préférer l’intention fréquente.

Solution : après la première ronde équilibrée, étiquetez des demandes au hasard pour donner plus d’étiquettes aux intentions fréquentes. Ou utilisez l’apprentissage actif, qui choisit les demandes où le modèle hésite le plus, comme dans Quand vous avez peu d’étiquettes. Surveillez les intentions coûteuses dans le tableau de confusion, pas seulement l’exactitude.

Conséquence pour le travail en IA : « 10 par classe » est un début équitable, mais le modèle hérite de cet équilibre. Il peut se tromper le plus souvent sur les intentions que les utilisateurs envoient le plus.

  • La meilleure méthode dépend du nombre d’étiquettes. Sans étiquettes, le LLM hébergé; avec 10, SetFit; avec toutes, TF-IDF. Tracez d’abord la courbe sur vos propres données.
  • Les étiquettes se sont rentabilisées en quelques semaines ici, car 40 000 demandes par mois multiplient chaque économie. Avec 1 000 demandes par mois, les mêmes étiquettes prendraient des années à se rentabiliser, et le LLM resterait.
  • Ces scores sont propres à ces données. Des travailleurs participatifs ont écrit les demandes, le français est traduit, certaines étiquettes sont incorrectes, et le LLM a peut-être vu MASSIVE. Le filtre de contenu a refusé 10 des 3 048 demandes zéro exemple, toutes françaises et sans danger. Par exemple : « retire l’alarme de neuf heures du matin de mardi ». Nous comptons un refus comme « poser une question ».
  • Les coûts sont des hypothèses. Avec d’autres coûts, le seuil et le point d’arrêt changent. Modifiez COSTS, LABEL_COST et MONTHLY, puis relancez l’exécution.
  • Posez une question avant d’agir sur une supposition, et confirmez avant toute action qui supprime ou envoie quelque chose. Un courriel envoyé par erreur ne peut pas être récupéré.
  • Les demandes sont des données personnelles : noms, rendez-vous, contenu des courriels. Étiquetez-les seulement avec l’accord des utilisateurs. Protégez le jeu de données étiquetées et retirez les noms avant de partager des exemples.
  • Un LLM hébergé voit chaque demande. Utilisez-le seulement si votre avis de confidentialité et votre contrat avec le fournisseur le permettent.
  • Nommez les auteurs. MASSIVE est sous licence CC BY 4.0 : nommez Amazon et les auteurs de SLURP. Ajoutez un lien vers la licence et indiquez vos changements, comme dans le fichier dataset.md du carnet.
  • N’affirmez rien au-delà de ce que vous avez mesuré. Présentez les résultats en français comme des résultats sur des demandes traduites, et les scores comme des scores sur ces données.

Cette étude de cas montre à un employeur que vous pouvez créer un classificateur de textes avec presque aucune étiquette. Elle montre aussi que vous pouvez planifier l’étiquetage à partir de chiffres. Adaptez-la avec un changement : un autre scénario MASSIVE (comme play ou iot), une autre paire de langues, d’autres coûts ou l’apprentissage actif. Faites en sorte qu’on puisse la lire facilement en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent en premier (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • learning_curve.png : la courbe dans les deux langues, tirée du graphique du carnet.
  • labelling_plan.md : les coûts et le volume supposés, le tableau de la section « Quand arrêter l’étiquetage » et votre décision.
  • La source et la licence des données, avec le texte d’attribution de l’encadré ci-dessus. Un lien et les sommes de contrôle suffisent.

Un modèle de README :

# How many labels does an English and French assistant need?
## Problem
An app routes typed requests to 13 actions (alarms, calendar, email, lists), in English
and French. A wrong action costs 0.50 dollars (3 for a missed alarm or event); asking
the user costs 0.10. Labels cost 0.23 dollars each. How many labels, which method?
## Data and licence
MASSIVE 1.1 (Amazon, CC BY 4.0; built from SLURP, CC BY 4.0), en-US and fr-FR,
scenarios alarm, calendar, email, lists: 3,570 / 613 / 911 requests per language.
## Approach
10, 50 and all labels per intent; TF-IDF, embeddings (nearest centre, LR), SetFit,
GLiClass zero-shot, LLM zero-shot and few-shot (recorded). Learning curve with 5 draws.
English labels tested on French. Threshold for "ask the user" chosen on validation.
## Results (test set, used once)
Router: TF-IDF + logistic regression, all labels, one model per language, ask the user
below 0.69. Asks 14.8%, right 95.5% when it acts, 50.2 dollars per 1,000 requests
(asking every time: 100). The zero-shot LLM (no labels) cost 77.3 with its threshold.
English labels alone reach 0.869 on French with embeddings (0.891 with French labels).
## Limits
Crowd-written requests, translated French, some wrong labels, assumed costs.

Comment le décrire en entrevue, en deux phrases : « J’ai mesuré combien d’étiquettes un assistant bilingue nécessite : aucune pour un LLM hébergé, mais les 3 570 par langue pour qu’un modèle TF-IDF local coûte moins cher. J’ai choisi le seuil sous lequel l’application pose une question à l’utilisateur, et montré que chaque lot d’étiquettes se rentabilisait en deux mois. »

Pour aller plus loin :

  • Après les 10 premières étiquettes par intention, remplacez les tirages aléatoires par l’apprentissage actif, comme dans Quand vous avez peu d’étiquettes. Atteint-il la même exactitude avec moins d’étiquettes?
  • Entraînez SetFit avec 50 étiquettes par intention. Faites d’abord une prédiction : dépasse-t-il encore autant la régression logistique?
  • Faites étiqueter 1 000 demandes d’entraînement par le LLM et vérifiez un échantillon comme Sophie le ferait. Entraînez ensuite TF-IDF sur ces données, comme dans La distillation : laisser le LLM enseigner à un modèle bon marché.
  • Utilisez le LLM avec des exemples dans la requête seulement pour les demandes qui rendent le modèle peu coûteux incertain, comme dans Les cascades.

Vérifiez votre compréhension

Avec 10 étiquettes par intention, TF-IDF classe correctement 69 % des demandes de validation. Mais il coûte 426 $ US par 1 000 demandes, contre 100 $ US pour toujours poser une question à l'utilisateur. Comment un modèle généralement correct peut-il coûter plus cher que de toujours poser une question?

Afficher la réponse

L’exactitude compte toutes les erreurs de la même façon; le coût, non. TF-IDF fait 380 erreurs sur les 1 226 demandes de validation. Chacune coûte au moins 0,50 $ US, et 3 $ US pour alarm_set ou calendar_set. À lui seul, calendar_set représente 357 $ US sur les 522,50 $ US. Cela donne 426 $ US par 1 000 demandes. Toujours poser une question coûte 0,10 $ US par demande, soit 100 $ US par 1 000 demandes. Un modèle vaut la peine seulement si ses erreurs coûtent moins cher que les questions qu’il évite.

Vérifiez votre compréhension

Inès veut économiser et étiqueter seulement les demandes en anglais. À partir des chiffres de cette étude de cas, dites quand cela fonctionne et quelle méthode il faut utiliser. Dites aussi ce que vous vérifieriez avant de vous y fier.

Afficher la réponse

Cela fonctionne avec un modèle de plongement multilingue. Entraînés sur des étiquettes anglaises, les plongements + LR atteignent 0,737 en français avec 10 étiquettes par intention. Avec des étiquettes françaises, ils atteignent 0,726. Avec toutes les étiquettes, ils atteignent 0,869 (0,891). Cela ne fonctionne pas avec TF-IDF, qui chute à 0,41–0,51, car l’anglais et le français partagent très peu de mots. Avant de vous y fier, vérifiez la méthode sur des demandes françaises de vos propres utilisateurs. Le français de MASSIVE est traduit, donc ces chiffres sont optimistes. Comparez aussi le coût : ici, TF-IDF avec des étiquettes dans les deux langues était le routeur le moins cher.

Vérifiez votre compréhension

Le tableau d'étiquetage indique en combien de mois le passage de 50 étiquettes par intention à toutes les étiquettes se rentabilise. Nommez deux hypothèses qui changent ce nombre, et dites dans quel sens chacune le fait varier.

Afficher la réponse

Le nombre de demandes par mois : les économies augmentent avec le volume, donc plus de demandes signifie une rentabilisation plus rapide. Avec 1 000 demandes par mois au lieu de 40 000, les 1,4 mois deviennent plus de quatre ans. Le prix d’une étiquette : un prix plus élevé signifie une rentabilisation plus lente. Cela peut venir de demandes plus longues ou d’un annotateur plus coûteux. Les coûts d’une erreur et d’une question comptent aussi. Si une mauvaise action coûte plus cher, le meilleur routeur économise davantage et se rentabilise plus vite.

Récapitulatif

  • Sur ces données, un LLM hébergé avec une description simple de chaque intention a atteint 0,927 d’exactitude, sans aucune étiquette. Les modèles entraînés ont eu besoin des 3 570 étiquettes par langue pour s’en approcher.
  • Avec peu d’étiquettes, les plongements gagnent. SetFit avec 10 étiquettes par intention égalait la régression logistique avec 50. TF-IDF rattrape son retard plus tard que sur Larkfield, et progressait encore avec toutes les étiquettes.
  • Une courbe d’apprentissage (avec plusieurs tirages) montre où les étiquettes cessent d’aider. Avec un modèle multilingue, les étiquettes anglaises ont atteint 0,869 en français, contre 0,891 avec des étiquettes françaises. TF-IDF ne peut pas le faire.
  • Un seuil a rendu chaque modèle candidat moins cher que de toujours poser une question. Le routeur choisi, TF-IDF avec toutes les étiquettes et « poser une question sous 0,69 », coûtait 50,2 $ US par 1 000 demandes sur les données de test. Il posait une question dans 14,8 % des cas.
  • Arrêtez l’étiquetage quand le prochain lot prend trop de temps à se rentabiliser. Ici, le dernier lot s’est rentabilisé en 1,4 mois : continuez.

Ensuite, la dernière étude de cas attribue plusieurs étiquettes à chaque article scientifique, parmi de nombreuses étiquettes possibles.

Leçon suivante : Étiqueter des articles scientifiques avec beaucoup d'étiquettes