Cette équipe doit-elle faire un réglage fin?
- Étude de cas 1
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Cette étude de cas applique tout le cours, du classement de la défaillance jusqu'à la note de décision, à une petite entreprise de voyages et à un jeu de données public. Vous évaluez d'abord le système de l'équipe et les options peu coûteuses, écrivez les cibles avant l'entraînement, entraînez deux adaptateurs et décidez avec des preuves.
Étude de cas 1 sur 1 · Réglage fin et adaptation des modèles d'IACette équipe doit-elle faire un réglage fin?
1. Décider s'il faut adapter le modèle
2. Préparer des données d'entraînement fiables
3. Comprendre les méthodes d'adaptation
4. Mener une expérience contrôlée
5. Évaluer au-delà de la perte d'entraînement
6. Empaqueter et maintenir l'adaptation
7. Études de cas
Ce que vous saurez faire
Décidez, avec des preuves, si une petite équipe devrait faire le réglage fin d’un petit modèle. Vous évaluez le système de l’équipe, des solutions peu coûteuses et deux adaptateurs sur les mêmes messages réservés, avec une seule mesure. Les cibles précèdent l’entraînement. Ensuite, vous rédigez la note de décision, quel que soit le résultat.
Cette étude de cas est un carnet (notebook) Jupyter. Nous avons enregistré les réponses des modèles et les deux entraînements. Le carnet s’exécute donc en environ une minute, sans compte, sans clé et sans carte graphique. Il télécharge les données (2,5 Mo) et les enregistrements (environ 4 Mo), puis vérifie leurs sommes de contrôle. Deux parties sont facultatives : exécuter vous-même l’adaptateur sur de nouveaux messages et le réentraîner avec le projet du cours.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours. Ces leçons comptent le plus :
- Les types de défaillances, les cibles et la règle d’arrêt, dans Préciser la défaillance et Définir la réussite et les contraintes.
- Les quasi-copies et les fuites, dans Nettoyer, séparer et chercher les fuites.
- Ce qu’un adaptateur LoRA entraîne, dans Réglage fin complet et réglage efficace en paramètres.
- Les paramètres de l’entraînement et ses courbes, dans Planifier et configurer l’entraînement et Surveiller et reprendre.
- Les références de base sur les mêmes cas et les régressions, dans Comparer aux références de base et Régressions et valeur opérationnelle.
Ce qu’il vous faut sur votre ordinateur (seulement pour les parties facultatives)
- Pour exécuter le carnet dans VS Code : Python 3.12 ou une version plus récente, avec pandas, scikit-learn et matplotlib. Colab et Kaggle les incluent.
- Pour exécuter vous-même l’adaptateur : environ 2 Go de mémoire libre et environ 1 Go d’espace disque pour PyTorch, transformers, peft et le petit modèle. Le carnet les installe.
- Pour réentraîner : le projet du cours
ticket-adapter, à la fin du module 4 ou plus tard. Il vous faut son environnement virtuel et le modèle téléchargé, de Planifier et configurer l’entraînement. Cette étude de cas y ajoute des fichiers sans en modifier aucun. Pour recommencer, supprimez le dossierdata/fernway, le fichierconfigs/fernway-r8.tomlet le dossierruns/fernway-r8.
Testé sur macOS (Apple silicon) avec Python 3.12, dans Jupyter après un nouveau démarrage. Colab, Kaggle, Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Fernway est une petite entreprise avec une application de voyage. Son clavardage d’aide lit chaque message et lance le bon parcours, comme « réserver un vol » ou « vérifier l’état d’un vol ». Il y a quinze parcours. Un message qui ne correspond à aucun des quinze va à une personne de l’équipe de soutien. Aujourd’hui, un modèle hébergé trie les messages avec une requête (prompt) qui décrit les quinze intentions.
Quatre personnes se réunissent lundi :
- Teo, l’ingénieur mobile, veut un petit modèle dans l’application. « Les voyageurs à l’étranger n’ont souvent pas de connexion. Alors, le clavardage ne trie rien. Un modèle sur le téléphone fonctionne hors ligne, ne coûte rien par message, et les messages restent sur le téléphone. »
- Ines dirige l’équipe de soutien. « Si l’application répond à un message qu’elle ne comprend pas, le client reçoit un parcours inutile et abandonne. Ces messages doivent arriver à mon équipe. »
- Hana, la scientifique des données, est responsable de l’expérience. « Alors, on mesure d’abord ce qu’on a. Et on écrit les cibles avant que quelqu’un entraîne un modèle. »
- Felix gère le budget. « Combien nous coûte le modèle hébergé aujourd’hui? »
Chaque erreur a un coût différent :
- Un message hors périmètre reçoit un parcours automatique. Le client reçoit une mauvaise réponse, et personne ne voit le problème. C’est l’erreur coûteuse.
- Un message dans le périmètre va à une personne, un faux transfert. Quelqu’un dans l’équipe d’Ines répond à une question à laquelle l’application pourrait répondre. Cela coûte quelques minutes.
- La mauvaise intention parmi les quinze. Le client recommence. C’est agaçant, mais pas dangereux.
Fernway et son équipe sont fictives. Les messages sont de vraies données publiques.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Une note de décision pour un modèle sur l’appareil, avec les preuves à l’appui. Vous évaluez cinq types de systèmes sur les mêmes 200 messages avec une seule fonction. Ce sont le modèle hébergé avec une requête, les comptes de mots, le petit modèle de base et deux adaptateurs LoRA. Vous écrivez les cibles avant que les adaptateurs existent, choisissez sur les messages de développement et ouvrez les messages réservés une seule fois. C’est la méthode du cours, du début à la fin, sur de nouvelles données.
Description textuelle du diagramme
Le parcours commence par les données : le domaine du voyage de CLINC150, 15 intentions et des requêtes hors périmètre. Un échantillon fixe avec la graine 7 les divise en quatre parties. Ce sont train (813) et val (72) pour l’entraînement, dev (200) pour chaque choix, et holdout (200), ouvert une seule fois. On retire de l’entraînement les quasi-copies des requêtes de dev ou de holdout (45). Ensuite viennent les étapes. D’abord, mesurer les systèmes existants sur dev. Ensuite, écrire les cibles et la règle d’arrêt. Troisièmement, entraîner un adaptateur avec la recette du cours. Quatrièmement, vérifier chaque cible sur dev : si une cible n’est pas atteinte, la décision est un refus. Cinquièmement, vérifier chaque cible sur holdout, une seule fois : si une cible n’est pas atteinte, refuser. Si toutes sont atteintes, approuver : empaqueter et livrer l’adaptateur.
Les données
Section intitulée « Les données »Les données sont CLINC150, un jeu public pour tester les classificateurs d’intentions. Il contient 150 intentions dans 10 domaines et des requêtes hors périmètre qui ne correspondent à aucune intention. Des travailleurs participatifs ont rédigé chaque requête sur commande. Hana l’a choisi pour ses requêtes hors périmètre. Elles ne doivent pas recevoir de réponse automatique, comme les billets de soutien « nécessite une personne » du cours.
Hana a comparé deux candidats. MASSIVE, d’Amazon (CC BY 4.0), contient 60 intentions, mais aucune classe hors périmètre. Son fichier anglais est fourni uniquement dans une archive de 40 Mo contenant 52 langues. CLINC150 est un fichier de 2,5 Mo, à un commit fixe du dépôt de son éditeur. L’étude de cas utilise un seul domaine, le voyage. Une requête peut ainsi énumérer chaque intention, et l’entraînement reste court.
La cellule de configuration du carnet télécharge le fichier et vérifie son SHA-256. Premier aperçu :
travel = [label for _, label in raw["train"] if label in INTENTS]print({part: len(rows) for part, rows in raw.items()})print(len(set(travel)), "travel intents;", "training queries per intent:", sorted(set(pd.Series(travel).value_counts()))){'oos_val': 100, 'val': 3000, 'train': 15000, 'oos_test': 1000, 'test': 4500, 'oos_train': 100}15 travel intents; training queries per intent: [100]Ce que cela nous apprend. Une ligne représente une requête et son intention. CLINC150 a ses propres données d’entraînement, de validation et de test, ainsi que trois listes hors périmètre. Chaque intention de voyage contient exactement 100 requêtes d’entraînement. Il n’y a que 100 requêtes d’entraînement hors périmètre au total : une pour 150 requêtes dans le périmètre du jeu complet.
L’échantillon et les quasi-copies
Section intitulée « L’échantillon et les quasi-copies »build_sample() tire un échantillon fixe avec la graine 7, à partir des divisions propres à CLINC :
| Partie | Source | Dans le périmètre | Hors périmètre | Utilisation |
|---|---|---|---|---|
| train | train | 50 par intention | 100 (toutes) | exemples d’entraînement |
| val | validation | 4 par intention | 20 | perte de validation pendant l’entraînement |
| dev | validation (autres requêtes) | 10 par intention = 150 | 50 | chaque comparaison et chaque choix |
| holdout | test | 10 par intention = 150 | 50 | ouvert une seule fois, à la fin |
Ensuite, leak_check() applique la règle du cours. Une requête d’entraînement est une quasi-copie si ses trigrammes de mots recoupent une requête de dev ou de holdout à 0,4 ou plus.
train 813 queries, out of scope 100val 72 queries, out of scope 20dev 200 queries, out of scope 50holdout 200 queries, out of scope 50near copies removed: 45 0.86 'how many carry ons can i take on a flight with american airlines to seattle' ~ 'how many carry ons can i take on a flight with american airlines to japan' 0.71 'where can i rent a car in boston' ~ 'where can i rent a car in singapore' 0.67 'what is the time zone of france' ~ 'what is the time zone of china'Ce que cela nous apprend. Les travailleurs participatifs ont paraphrasé les mêmes phrases de départ. Beaucoup de requêtes diffèrent donc par un seul nom de lieu. Un modèle entraîné sur « le fuseau horaire de la France » et testé sur « le fuseau horaire de la Chine » paraît meilleur qu’il ne l’est face à de nouvelles formulations. Les 45 quasi-copies (37 dans train, 8 dans val) quittent l’entraînement; les cas de dev et de holdout restent inchangés. Les requêtes sont courtes : la médiane est de 9 mots.
Cadrer le problème
Section intitulée « Cadrer le problème »- L’unité : un message au clavardage d’aide.
- La réponse : un seul objet JSON, exactement
{"intent": "book_flight"}. La valeur est l’une des 15 intentions ouout_of_scope(hors périmètre).parse_answer()rejette tout autre résultat, y compris du texte ajouté après un objet valide. - La mesure :
score()compte les réponses valides, la bonne intention sur les 150 messages dans le périmètre, les messages hors périmètre détectés (réponseout_of_scope, donc transmis à une personne), les faux transferts et les décisions entièrement correctes. Une réponse invalide compte comme « non transmise à une personne », parce que personne ne la lit. - La vitesse : la médiane des secondes par message.
Un petit exemple : quatre cas, quatre réponses.
| Cas | Bonne réponse | Réponse | Compte comme |
|---|---|---|---|
| a | book_flight |
{"intent": "book_flight"} |
bonne intention |
| b | vaccines |
{"intent": "out_of_scope"} |
faux transfert |
| c | hors périmètre | Sure! {"intent": "out_of_scope"} |
invalide : texte ajouté, donc non détecté |
| d | hors périmètre | {"intent": "out_of_scope"} |
détecté |
answers 3/4 | intent 1/2 | out of scope: caught 1/2, false handovers 1 | decisions 2/4La réponse c a la bonne idée, mais échoue quand même. Dans l’application, le code du parcours lit le JSON, et le texte ajouté le fait échouer.
Mesurer ce que Fernway possède
Section intitulée « Mesurer ce que Fernway possède »Le système hébergé est chat-small, le modèle hébergé du cours. Sa requête décrit chacune des 15 intentions et dit « tout le reste est out_of_scope ». Il ne voit aucun exemple et n’a aucun entraînement : requête seulement. Hana a enregistré ses réponses aux 200 messages de développement.
answers 200/200 | intent 150/150 | out of scope: caught 48/50, false handovers 0 | decisions 198/200median seconds: 1.1085US$0.043 per 1,000 messages (list price, US$0.10 / 0.50 per 1M tokens)Ce que cela nous apprend. Le système de Fernway est très bon sur ces données. Ses deux erreurs sont deux messages hors périmètre inhabituels. « Un spectacle à Broadway » est devenu travel_suggestion, et « vous voulez connaître l’heure actuelle maintenant » est devenu timezone. Il nécessite une connexion et 1,1 seconde, réseau compris. Il coûte environ 4 cents par 1 000 messages (281 jetons en entrée, 28 en sortie, à la médiane). Les prix changent : consultez la page des tarifs actuels.
Felix fait le calcul. À 2 000 messages par jour (une hypothèse), cela donne environ 0,09 $ US par jour, moins de 3 $ US par mois. « Donc, l’argent n’est pas la raison. »
Les solutions peu coûteuses d’abord
Section intitulée « Les solutions peu coûteuses d’abord »Comptes de mots. TF-IDF des mots et des paires de mots, puis régression logistique, entraînée sur les mêmes 813 exemples. out_of_scope sert de 16e classe. C’est le classificateur antérieur le moins coûteux du cours, et il tient facilement dans un téléphone.
answers 200/200 | intent 141/150 | out of scope: caught 38/50, false handovers 6 | decisions 179/200Ce que cela nous apprend. Il est rapide et gratuit. Mais il envoie 12 des 50 messages hors périmètre vers un parcours automatique. « Devrais-je tirer ou rester à 17 au blackjack » est devenu travel_suggestion.
Le petit modèle, non entraîné. SmolLM2-135M-Instruct, le modèle de base du cours, s’exécute sur le processeur du portable avec 2 fils d’exécution. Hana a enregistré deux essais. base-short reçoit la courte instruction utilisée pour entraîner l’adaptateur. base-choice reçoit la requête hébergée. La probabilité du modèle choisit une des 16 réponses valides, comme dans Comparer aux références de base.
base-short answers 1/200 | intent 1/150 | out of scope: caught 0/50, false handovers 0 | decisions 1/200base-choice answers 200/200 | intent 67/150 | out of scope: caught 43/50, false handovers 55 | decisions 110/200Ce que cela nous apprend. Avec la courte instruction, le petit modèle ne donne aucune réponse valide 199 fois. Il écrit du texte (« Bien sûr, voici quelques détails de vol pour la période du 5 au 8… »), ou du JSON suivi de texte. Le choix fixe est toujours valide, mais répond out_of_scope pour 98 des 200 messages. Il « détecte » 43 messages hors périmètre seulement parce qu’il transfère 55 messages auxquels l’application pourrait répondre. Un compte de messages détectés ne signifie rien sans les faux transferts à côté.
Erreur courante
Une réponse invalide comptée comme un transfert
Symptôme : quelqu’un définit la mesure ainsi : « si la réponse est invalide, envoyer le message à une personne ». Maintenant, base-short, qui écrit du texte presque chaque fois, détecte 50 des 50 messages hors périmètre, avec 149 faux transferts.
Cause : la mesure récompense un modèle défaillant. Chaque réponse invalide paraît prudente.
Correction : gardez « aucune réponse valide = non transmis à une personne » dans la mesure. Présentez les réponses invalides comme une défaillance distincte : answers 1/200 (1 réponse sur 200).
Conséquence pour le travail en IA : un chiffre de sécurité qu’un système défaillant peut atteindre n’est pas un chiffre de sécurité. Vérifiez ce que votre mesure accorde à un système qui ne fait rien d’utile.
Les cibles, avant tout entraînement
Section intitulée « Les cibles, avant tout entraînement »Hana rédige la note avant que quelqu’un entraîne un modèle, selon le format de Définir la réussite et les contraintes. Les cibles viennent du système de Fernway :
| Cible, sur les 200 messages de développement | Valeur | Requête seulement aujourd’hui |
|---|---|---|
| Réponses valides | au moins 99 % | 100 % |
| Bonne intention (dans le périmètre) | au moins 95 % | 100 % |
| Messages hors périmètre détectés (règle d’arrêt) | au moins 90 % (45 sur 50) | 96 % |
| Faux transferts | au plus 5 % (7 sur 150) | 0 % |
| Temps médian sur le processeur d’un portable, 2 fils d’exécution | au plus 0,5 s | 1,1 s (avec réseau) |
Les contraintes de la note : un entraînement avec la recette du cours, moins de 30 minutes et de 3 Go. Aucun ajustement de la recette pour améliorer le résultat sur dev. Aucune requête de dev ou de holdout, ni aucune quasi-copie, dans l’entraînement. Le processeur du portable représente un téléphone : c’est une hypothèse, et la note le précise.
Discussion : la règle d’arrêt est-elle trop stricte?
Section intitulée « Discussion : la règle d’arrêt est-elle trop stricte? »Hana montre les cibles provisoires à l’équipe.
- Teo : « Le modèle hébergé est un géant. Un modèle de 135 millions de paramètres ne détectera jamais 96 %. Fixons la règle d’arrêt à 80 %, et l’équipe d’Ines récupère le reste. »
- Ines : « Comment? Un message hors périmètre qui reçoit un parcours automatique n’arrive jamais à mon équipe. Le client part, c’est tout. 90 %, c’est déjà un recul. »
- Felix : « Le modèle hébergé coûte moins de trois dollars par mois. Si on fait ça, c’est pour l’utilisation hors ligne, pas pour l’argent. »
- Hana : « Alors, l’avantage hors ligne doit valoir quelques messages manqués de plus. Je garde 90 %, en dessous de ce qu’on a, comme prix du fonctionnement hors ligne. Plus bas, c’est un autre produit. »
Avant de poursuivre, répondez à ces questions :
- Est-ce que 90 % est raisonnable, sachant que le système de Fernway atteint 96 %?
- Quelle cible représente la vraie raison du projet?
- Quel résultat vous ferait arrêter avant tout entraînement?
La réponse du cours. 90 % est raisonnable. C’est un peu moins que le système de Fernway, parce que l’utilisation hors ligne a une vraie valeur. On ne descend pas plus bas, parce qu’un message manqué n’arrive à personne. Les vraies raisons sont l’utilisation hors ligne et la vie privée. La cible de temps compte donc, mais pas le coût. Jusqu’ici, rien ne justifie d’arrêter. Aucune solution peu coûteuse n’atteint les cibles : les comptes de mots détectent 38 messages sur 50, et le choix fixe en transfère 55. Une expérience vaut donc son coût. La note approuve une expérience, sans rien dire sur la livraison.
Ce qui changerait la réponse : si les comptes de mots atteignaient chaque cible, il n’y aurait rien à régler finement. Une loi qui oblige à garder les messages sur le téléphone éliminerait l’option hébergée. La question deviendrait alors « quel système local est le moins mauvais ».
L’adaptateur : un entraînement, puis un changement
Section intitulée « L’adaptateur : un entraînement, puis un changement »L’adaptateur est celui du cours : LoRA de rang 8 sur les couches de requête et de valeur de l’attention. Il compte 460 800 paramètres entraînables (0,34 % du modèle). La recette de Planifier et configurer l’entraînement reste inchangée : taux d’apprentissage de 2e-4, lot de 8, 2 époques, points de contrôle du gradient. Le code se trouve dans adapt/train.py, dans le projet du cours. Chaque enregistrement contient la courte instruction, la requête et la réponse. La perte porte uniquement sur la réponse.
Training lora-r8: 813 records, 204 steps, 460,800 of 134,975,808 parameters trainable (0.34%).step 25/204 train loss 0.3964 validation loss 0.3754step 100/204 train loss 0.1209 validation loss 0.1114step 200/204 train loss 0.0424 validation loss 0.0515step 204/204 train loss 0.0224 validation loss 0.0530Done: best validation loss 0.0515 at step 200; adapter 1.9 MB in runs/lora-r8/adapterL’entraînement a pris 249 secondes de temps réel et utilisé au maximum 1 702 Mo. D’autres tâches s’exécutaient sur l’ordinateur en même temps. Le temps est donc indicatif; la mémoire et les scores n’en dépendent pas. Voici ses réponses sur les données de développement :
adapter answers 198/200 | intent 130/150 | out of scope: caught 41/50, false handovers 8 | decisions 171/200 | median 0.18 sCe que cela nous apprend. Il est rapide (0,18 s), mais manque trois cibles : 130 intentions sur 150, 41 messages détectés sur 50 et 8 transferts injustifiés. Ses 2 réponses invalides ({"intent": "alert"} et {"intent": "sleep"}, des noms qui ne sont pas des intentions) respectent tout juste la cible de 99 %. Le comptage de mots fait mieux sur tous les critères sauf la vitesse.
Teo : « 50 exemples par intention, c’est rien. Donnez-lui les 100. » La question est raisonnable, et un seul changement y répond. Nous appliquons la même recette à toutes les requêtes de voyage des données d’entraînement de CLINC, sauf les quasi-copies. Les cibles restent telles qu’elles sont écrites.
Training lora-r8-full: 1530 records, 384 steps, 460,800 of 134,975,808 parameters trainable (0.34%).Done: best validation loss 0.0241 at step 375; adapter 1.9 MB in runs/lora-r8-full/adapteradapter-full answers 200/200 | intent 143/150 | out of scope: caught 40/50, false handovers 5 | decisions 183/200 | median 0.17 sDescription textuelle du graphique
Un graphique à deux courbes. L’axe horizontal représente l’étape d’entraînement, de 25 à 384; l’axe vertical représente la perte de validation. La courbe pleine, lora-r8 avec 813 enregistrements, commence à 0,375 à l’étape 25. Elle descend à 0,052 à l’étape 200 et se termine à l’étape 204. La courbe pointillée, lora-r8-full avec 1 530 enregistrements, commence à 0,380. Elle descend avec de petites remontées (0,082 à l’étape 200, 0,052 à l’étape 300). Elle atteint son minimum, 0,024, à l’étape 375.
Ce que cela nous apprend. Plus de données ont aidé à reconnaître les intentions : 143 sur 150 respecte la cible, tout comme 5 transferts injustifiés. L’entraînement a pris 463 secondes et utilisé 1 725 Mo. Mais il a détecté 40 messages hors périmètre sur 50, un de moins que le premier entraînement. La perte de validation a diminué de moitié, sans progrès pour la règle d’arrêt. La perte est une moyenne sur toutes les réponses. Seulement 20 des 72 réponses de validation sont hors périmètre.
Une comparaison équitable sur les données de développement
Section intitulée « Une comparaison équitable sur les données de développement »Chaque système utilise les mêmes 200 messages de développement et la même fonction score(). words-full est le modèle de comptage de mots entraîné sur les mêmes 1 530 enregistrements que lora-r8-full. Chaque adaptateur a donc un concurrent peu coûteux qui utilise les mêmes données.
| Système | Valides | Intentions (sur 150) | Détectés (sur 50) | Transferts injustifiés | Décisions (sur 200) | Médiane en s |
|---|---|---|---|---|---|---|
| Requête seule (hébergé) | 200 | 150 | 48 | 0 | 198 | 1.11 |
| Comptage de mots, 50 par intention | 200 | 141 | 38 | 6 | 179 | moins de 0.001 |
| Comptage de mots, 100 par intention | 200 | 145 | 33 | 1 | 178 | moins de 0.001 |
| Petit modèle, choix fixe | 200 | 67 | 43 | 55 | 110 | 0.48 |
| Adaptateur, 50 par intention | 198 | 130 | 41 | 8 | 171 | 0.18 |
| Adaptateur, 100 par intention | 200 | 143 | 40 | 5 | 183 | 0.17 |
Description textuelle du graphique
Un graphique à colonnes, une par système, montrant les messages détectés parmi les 50 messages hors périmètre des données de développement. Requête seule (hébergé) : 48. Comptage de mots avec 50 par intention : 38. Comptage de mots avec 100 par intention : 33. Petit modèle avec un choix fixe : 43, mais avec 55 transferts injustifiés. Adaptateur avec 50 par intention : 41. Adaptateur avec 100 par intention : 40. La règle d’arrêt exige 45; seule la colonne du système hébergé l’atteint.
Ce que cela nous apprend. Aucun système local ne respecte la règle d’arrêt. Le meilleur adaptateur prend le plus de bonnes décisions parmi les systèmes locaux (183). Mais il détecte moins de messages hors périmètre que le premier. Le comptage de mots montre le même effet : 38 détectés avec 50 par intention, 33 avec 100. La cause se trouve dans les données, comme dans Régressions et valeur opérationnelle. Les 100 enregistrements hors périmètre représentaient 12 % des premières données d’entraînement et 7 % des secondes. La classe rare est devenue plus rare.
Regardez les 10 messages hors périmètre auxquels le meilleur adaptateur a répondu automatiquement :
travel_notification <- when was the last time the president visited floridauplug_type <- how to unclog a draintravel_notification <- am kind of busy nowplug_type <- how can i root an android phonetranslate <- is android better than iphonetravel_notification <- suo2travel_alert <- can you tell me the latest georgia newsexchange_rate <- what cryptocurrency gained the most in 2018lost_luggage <- what does it mean if i dream of falling off a buildingtranslate <- how can i easily replace a string on my guitarUn classificateur choisit l’étiquette connue la plus proche. « Déboucher un drain » parle de tuyaux et de bouchons; il devient donc plug_type (type de prise). Hors périmètre ne désigne pas un seul sujet : c’est tout le reste. Et 100 exemples ne peuvent pas montrer tout le reste.
Une correction peu coûteuse : un seuil de confiance
Section intitulée « Une correction peu coûteuse : un seuil de confiance »Le modèle de comptage de mots donne une probabilité pour chaque intention. Un seuil envoie le message à une personne si la probabilité de la meilleure intention est inférieure à ce seuil. Le cours d’apprentissage automatique l’enseigne dans Seuils et calibration.
Description textuelle du graphique
Un graphique à deux courbes pour des seuils de 0 à 0,6, par pas de 0,05. La courbe pleine représente les messages hors périmètre détectés sur 50. Elle monte de 38 au seuil 0 à 41 à 0,2, 44 à 0,3, 46 à 0,35, 47 à 0,4 et 50 à 0,5. La courbe pointillée représente les transferts injustifiés sur 150. Elle monte de 6 à 0 à 9 à 0,2, 13 à 0,3, 14 à 0,35, 19 à 0,4 et 24 à 0,5. Quand la courbe pleine atteint 45, la courbe pointillée dépasse déjà 7.
À 0,35, le comptage de mots détecte 46 messages sur 50 et en transfère 14 injustement : deux fois la cible. Un seuil déplace les erreurs d’une colonne à l’autre. C’est une correction provisoire, pas une solution.
Discussion : livrer le meilleur adaptateur?
Section intitulée « Discussion : livrer le meilleur adaptateur? »Le tableau des résultats de développement est complet. Aucun système local ne respecte la règle d’arrêt.
- Teo : « Le deuxième adaptateur respecte quatre cibles sur cinq. C’est le meilleur système local, il fonctionne hors ligne, et 40 sur 50, c’est proche de 45. Livrons-le, puis améliorons-le. »
- Ines : « Dix clients hors périmètre sur cinquante suivent un parcours qui ne peut pas les aider. Hors ligne, personne ne verra même ce qui se passe. »
- Hana : « On a écrit la règle d’arrêt pour ce moment. Et “plus de données” a empiré les choses, pas amélioré. »
- Felix : « L’application pourrait utiliser le modèle hébergé en ligne, et l’adaptateur seulement hors ligne? »
Avant de poursuivre, répondez à ces questions :
- Respecter quatre cibles sur cinq justifie-t-il de livrer?
- L’idée de Felix change-t-elle la décision?
- Quelles preuves voudriez-vous avant une deuxième expérience?
La réponse du cours. Ne pas livrer. Aucun autre gain ne compense le non-respect de la règle d’arrêt. Le meilleur adaptateur la manque de 5 messages sur 50, et le deuxième entraînement a empiré ce résultat. L’approche hybride de Felix est une nouvelle conception, pas une correction. Hors ligne, 10 clients hors périmètre sur 50 suivent encore un parcours inutile. Une deuxième expérience exige une raison de s’attendre à un résultat différent. Cette raison, ce sont les données : beaucoup plus d’exemples hors périmètre, comme les vrais messages « autres » de Fernway. C’est un projet de données, avec son propre coût et ses propres étiquettes.
Ce qui changerait la réponse : un adaptateur qui apprend des messages hors périmètre de Fernway et atteint 45 sur 50. D’abord sur les données de développement, puis sur les données réservées au test final. Ou un mode hors ligne qui répond à chaque message : « Nous répondrons quand vous serez en ligne. » Cela ne demande aucun modèle.
Le test final, une seule fois
Section intitulée « Le test final, une seule fois »Le résultat sur les données de développement indique déjà de ne pas livrer. Hana ouvre quand même les messages réservés au test final, une seule fois. La note présente ainsi des résultats qu’aucun choix n’a influencés.
hosted answers 200/200 | intent 149/150 | out of scope: caught 50/50, false handovers 1 | decisions 199/200words answers 200/200 | intent 139/150 | out of scope: caught 39/50, false handovers 6 | decisions 178/200words-full answers 200/200 | intent 145/150 | out of scope: caught 29/50, false handovers 2 | decisions 174/200base-choice answers 200/200 | intent 60/150 | out of scope: caught 47/50, false handovers 65 | decisions 107/200adapter answers 197/200 | intent 127/150 | out of scope: caught 37/50, false handovers 5 | decisions 164/200adapter-full answers 199/200 | intent 140/150 | out of scope: caught 36/50, false handovers 5 | decisions 176/200Ce que cela nous apprend. Les messages du test final racontent la même histoire, un peu moins bonne pour les adaptateurs. Le système hébergé détecte les 50 messages hors périmètre, avec 1 transfert injustifié. Le meilleur adaptateur en détecte 36 sur 50, quatre de moins que sur les données de développement. Ses intentions tombent à 140 sur 150, sous la cible. Le comptage de mots avec 100 par intention n’en détecte que 29. Le choix fixe en détecte 47, avec 65 transferts injustifiés. Un choix fait sur les données de développement semble habituellement un peu meilleur qu’il ne l’est. Ici, le test final confirme qu’il ne faut pas livrer.
La recommandation
Section intitulée « La recommandation »La note de résultats de Hana, une page, pour Fernway :
- Décision : ne pas livrer. Garder le système hébergé à requête seule. Ne pas livrer maintenant un adaptateur exécuté sur l’appareil.
- Pourquoi. Seul le système hébergé respecte la règle d’arrêt : transférer à une personne au moins 45 messages hors périmètre sur 50. Il atteint 48 sur 50 sur les données de développement et 50 sur 50 au test final. Le meilleur adaptateur en détecte 40 sur les données de développement et 36 au test final. Il respecte les quatre autres cibles sur les données de développement : 143 bonnes intentions sur 150, 5 transferts injustifiés, toutes les réponses valides, 0,17 s.
- Ce que nous avons appris. Quelques minutes sur un processeur suffisent pour enseigner le format et les intentions à un petit modèle. Ce n’est pas le cas de la décision rare. Doubler les données dans le périmètre l’a légèrement dégradée, parce que la classe rare est devenue plus rare.
- Ce que cela a coûté. Deux entraînements sur processeur, de 249 et 463 secondes, sous 1,8 Go; environ 2 cents d’appels hébergés pour les enregistrements.
- Ce qui changerait la réponse. Quelques centaines de messages hors périmètre du clavardage de Fernway, avec des étiquettes de l’équipe d’Ines. Puis les mêmes cibles sur de nouveaux cas de développement et de test final. D’ici là, le clavardage hors ligne dit : « Nous répondrons quand vous serez de retour en ligne. » Il ne devine pas.
De bout en bout : nouveaux messages
Section intitulée « De bout en bout : nouveaux messages »Nous avons écrit dix nouveaux messages pour cette étude de cas, avec l’étiquette qu’une personne de Fernway leur donnerait. Ils ne viennent pas de CLINC150. Le comptage de mots (100 par intention) s’exécute dans le carnet (notebook) Jupyter. Les réponses de l’adaptateur et du système hébergé sont des enregistrements.
my flight to lisbon tomorrow, is it still on tim flight_status words flight_status adapter flight_status hosted flight_statusdo i need a visa for vietnam with a uk passport international_visa words international_visa adapter international_visa hosted international_visathe airline lost my suitcase in frankfurt, what lost_luggage words lost_luggage adapter lost_luggage hosted lost_luggagehow do you say where is the train station in jap translate words translate adapter travel_suggestion hosted translatecan i bring a guitar as a carry on with delta carry_on words carry_on adapter carry_on hosted carry_onis it safe to travel to egypt right now travel_alert words travel_alert adapter travel_alert hosted travel_alertfind me a cheap room in berlin for 3 nights from book_hotel words book_hotel adapter book_hotel hosted book_hoteli want a refund for the hotel you booked, it was out_of_scope words book_hotel adapter book_hotel hosted out_of_scopemy card was charged twice for the same booking out_of_scope words out_of_scope adapter exchange_rate hosted out_of_scopecan you recommend a good dentist out_of_scope words translate adapter out_of_scope hosted out_of_scopeCe que cela nous apprend. Les sept messages dans le périmètre sont faciles pour chaque système. L’adaptateur classe « comment dit-on … en japonais » comme travel_suggestion (suggestion de voyage). Les trois messages qui exigent une personne montrent la différence. Le système hébergé transfère les trois à une personne. L’adaptateur en transfère un. Le remboursement pour un hôtel sale devient book_hotel (réserver un hôtel), et la double facturation devient exchange_rate (taux de change). Le comptage de mots en transfère un et propose translate (traduire) à quelqu’un qui veut un dentiste. C’est la règle d’arrêt dans les mots d’un client.
Pour exécuter l’adaptateur vous-même, définissez RUN_MODEL = True dans le carnet Jupyter. Il installe PyTorch, transformers et peft aux versions du projet du cours (environ 700 Mo). Il télécharge aussi le petit modèle à la révision fixée pour le cours (environ 270 Mo). Puis il affiche les dix réponses de l’adaptateur et signale toute réponse qui diffère de l’enregistrement. Sur l’ordinateur du cours, dans un environnement neuf, les dix réponses étaient identiques à l’enregistrement. Le processus du carnet Jupyter utilisait au maximum 1,4 Go de mémoire.
Entraînez-le vous-même (facultatif)
Section intitulée « Entraînez-le vous-même (facultatif) »Vous avez besoin du projet de Avant de commencer. L’entraînement prend environ 4 minutes sur le processeur de l’ordinateur du cours.
-
Dans le carnet Jupyter, exécutez la cellule sous Facultatif : entraîner de nouveau. Elle crée
fernway/export/avecdata/fernway/train.jsonl,data/fernway/val.jsonletconfigs/fernway-r8.toml. -
Copiez les dossiers
dataetconfigsdefernway/export/dans votre dossier de projet. Ils ajoutent des fichiers sans en modifier. -
Dans le dossier du projet, avec l’environnement virtuel actif, vérifiez le plan :
Fenêtre de terminal python -m adapt plan configs/fernway-r8.tomlfernway-r8: 813 training records, 72 validation recordsbatch 8, 2 epochs = 102 steps per epoch, 204 steps (1632 examples seen)validation loss every 25 steps (8 times), checkpoint every 50 steps (4)LoRA rank 8, alpha 16, dropout 0.05, on q_proj, v_proj; learning rate 0.0002; at most 320 tokens per example; 2 threads -
Entraînez :
python -m adapt train configs/fernway-r8.toml. La commande créeruns/fernway-r8/. La dernière ligne est :Done: best validation loss 0.0515 at step 200; adapter 1.9 MB in runs/fernway-r8/adapterSur l’ordinateur du cours, cet adaptateur était identique, octet par octet, à celui enregistré. Sur un autre ordinateur, les derniers chiffres des pertes peuvent différer.
-
Dans la cellule du modèle du carnet Jupyter, définissez
ADAPTERau chemin complet de votreruns/fernway-r8/adapter. DéfinissezRECORDEDà"adapter"(votre entraînement utilise la première recette), etRUN_MODEL = True. Exécutez la cellule : elle affiche les réponses de votre adaptateur aux dix nouveaux messages. Elle signale toute réponse qui diffère de l’enregistrement.
Les commandes sont les mêmes sur Windows (PowerShell), macOS et Linux. Nous les avons testées sur macOS seulement.
Constats et limites
Section intitulée « Constats et limites »- La requête seule est une référence de base solide. Mesurez-la avant que quelqu’un dise « réglage fin ». Ici, elle a pris 198 bonnes décisions sur 200 sur les données de développement.
- Le format et les étiquettes s’apprennent à peu de frais; pas la décision rare. Les deux adaptateurs ont appris le JSON et les intentions en quelques minutes. Aucun n’a appris « tout le reste ».
- Plus de données ne veut pas dire plus de bonnes données, ni une perte plus faible une meilleure décision. Les 717 enregistrements supplémentaires dans le périmètre ont réduit de moitié la perte de validation et rendu la classe rare plus rare.
- Limites. Des travailleurs participatifs ont écrit les messages sur commande, en anglais. Ils sont plus courts et plus propres que du vrai clavardage. Les messages hors périmètre de CLINC sont en dehors des 150 intentions. Le test n’a donc aucune demande de remboursement ni plainte. Un processeur d’ordinateur portable n’est pas un téléphone. Nous avons volontairement essayé une recette et un changement. Les modèles changent vite : ces chiffres sont un instantané; la méthode reste valable.
Utilisation responsable
Section intitulée « Utilisation responsable »- Une personne répond à ce que le modèle ne sait pas. La conception transfère les messages peu clairs à une personne, et la mesure compte ceux qu’elle ne transfère pas.
- Testez sur de vrais messages avant tout lancement. Les requêtes de CLINC150 ne sont pas les clients de Fernway. Utilisez des messages recueillis avec consentement, après avoir retiré les données personnelles.
- Mentionnez la source des données. CC BY 3.0 exige l’attribution et une note sur vos changements; la fiche du jeu de données contient les deux.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous pouvez arrêter un projet de réglage fin avec des preuves. Vous pouvez aussi dire ce qui permettrait de le reprendre. C’est plus rare qu’un entraînement. Personnalisez-la avec un changement et écrivez d’abord les cibles. Utilisez un autre domaine de CLINC150 (banque, cuisine, automobile). Ou ajoutez des enregistrements d’entraînement hors périmètre provenant des 135 autres intentions.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet Jupyter, exécuté du début à la fin, avec ses sorties.
decision-memo.md(écrit avant l’entraînement) etresult-memo.md(après), avec leurs dates de commit (enregistrement des changements).targets.toml, la configuration d’entraînement, ainsi quesummary.jsonetlog.jsonlde l’entraînement.dataset.md: la source, la licence, l’attribution et vos changements.
Un modèle de README :
# Should a travel app fine-tune a small model for its help chat?
## QuestionCan a 135M-parameter model with a LoRA adapter replace a hosted model with aprompt, offline, without sending out-of-scope messages to an automatic flow?
## Data and licenceCLINC150 (Larson et al., 2019), CC BY 3.0: travel domain (15 intents) andout-of-scope queries. Fixed sample (seed 7); 45 near copies removed from training.
## ApproachTargets and a stop rule (out of scope caught >= 90%) written before training.Five systems on the same 200 dev messages with one strict measure; LoRA rank 8on a CPU (2 threads, under 1.8 GB); one change (more data); holdout once.
## ResultsPrompt only: 198/200 decisions, 48/50 out of scope caught. Best adapter:183/200, 40/50 caught. No-go: the stop rule fails; more in-scope data madethe rare class rarer.
## LimitsCrowd-written English queries; no real "other" messages; laptop CPU, not a phone.Comment le décrire en entrevue : « J’ai écrit les cibles avant l’entraînement. Puis j’ai testé un petit modèle sur l’appareil avec un adaptateur LoRA. Pouvait-il remplacer une requête hébergée pour le clavardage d’une application de voyage? L’adaptateur a appris le format et les intentions en quelques minutes sur un processeur. Mais il a manqué des messages qui doivent parvenir à une personne. J’ai recommandé de ne pas livrer et nommé les données qui changeraient la réponse. »
Pour aller plus loin :
- Ajoutez 400 enregistrements d’entraînement hors périmètre provenant des autres domaines de CLINC. Entraînez une fois avec la même recette et vérifiez la règle d’arrêt sur les données de développement.
- Lisez la probabilité de
out_of_scope(hors périmètre) de l’adaptateur au premier jeton (token) de la réponse. Régressions et valeur opérationnelle l’a fait pour « exige une personne ». Un seuil sépare-t-il les classes?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La perte de validation du deuxième adaptateur est la moitié de celle du premier (0,0241 contre 0,0515). Pourtant, il détecte moins de messages hors périmètre sur les données de développement (40 contre 41). Comment les deux peuvent-ils être vrais?
Afficher la réponse
La perte de validation est une moyenne sur les jetons de réponse de 72 exemples de validation. Seulement 20 sont hors périmètre. De meilleures réponses dans le périmètre peuvent réduire la moyenne, même si la classe rare reste inchangée ou se dégrade. Le deuxième entraînement a ajouté 717 exemples dans le périmètre et aucun hors périmètre. La part des exemples hors périmètre dans l’entraînement est donc passée de 12 % à 7 %. La règle d’arrêt appliquée aux cas de développement mesure la décision qui compte; la perte ne le fait pas.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le petit modèle avec un choix fixe détecte 43 des 50 messages hors périmètre, plus que les deux adaptateurs. Pourquoi reste-t-il le pire choix pour Fernway?
Afficher la réponse
Il répond out_of_scope pour 98 des 200 messages de développement. Il transfère donc aussi 55 messages dans le périmètre auxquels l’application pourrait répondre. Il reconnaît correctement seulement 67 des 150 intentions. Il détecte ces messages en répondant « hors périmètre » à presque tout. Comparez toujours le nombre de messages détectés aux transferts injustifiés; les cibles limitent ces derniers à 7.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quelles preuves vous feraient recommander une deuxième expérience d'entraînement pour Fernway? Qu'est-ce qui doit rester inchangé avant cette expérience?
Afficher la réponse
Des preuves que la règle d’arrêt pourrait être respectée : plusieurs centaines de messages hors périmètre étiquetés, idéalement issus du clavardage de Fernway. La classe rare ne serait alors plus rare dans les données d’entraînement. De nouveaux cas de développement et de test réservés, avec les vrais messages « autres » de Fernway, permettraient une évaluation adéquate. Ce qui doit rester inchangé : les cibles et la règle d’arrêt, écrites avant l’entraînement, et une seule consultation des cas de test réservés. Une autre époque, un autre rang ou davantage de données dans le périmètre ne constituent pas de telles preuves. Le deuxième entraînement a montré qu’ajouter des données dans le périmètre n’aidait pas.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez vérifié la licence d’un jeu de données public à la source. Vous avez tiré un échantillon fixe et retiré 45 quasi-copies des données d’entraînement.
- Vous avez d’abord mesuré les résultats de ce que l’équipe possède. Avec la requête seule : 198 décisions sur 200 cas de développement, 48 messages hors périmètre détectés sur 50. Ensuite, vous avez mesuré les solutions moins coûteuses, avec une seule mesure stricte.
- Vous avez écrit les cibles et une règle d’arrêt avant l’entraînement. Vous avez ensuite suivi la recette du cours, puis changé une seule chose.
- Le meilleur adaptateur a atteint quatre cibles sur cinq, mais pas la règle d’arrêt (40 sur 50). Ajouter des données dans le périmètre a amélioré la reconnaissance des intentions et rendu la classe rare encore plus rare.
- Un seuil déplace les erreurs entre les colonnes; il ne les élimine pas.
- La note recommande de ne pas poursuivre et précise quelles données changeraient la réponse.
Ensuite, le travail final : votre propre décision d’adaptation, du début à la fin.
Leçon suivante : Travail final