Régressions et valeur opérationnelle
- Leçon 10
- 45 min
- Module 5 : Évaluer au-delà de la perte d'entraînement
Où nous en sommes
Dans la dernière leçon, nous avons comparé l'adaptateur à une échelle de références de base : il a appris la tâche, mais un simple modèle de comptage de mots a fait aussi bien, et il n'a envoyé aucun billet à une personne. Une moyenne sur tous les billets cache ces cas rares. Dans cette leçon, nous examinons les sous-groupes et ce que l'adaptateur a oublié, pesons le temps, la mémoire et le coût, et décidons s'il faut le livrer, en partant du sauveteur le plus rapide.
Leçon 10 sur 12 · Réglage fin et adaptation des modèles d'IARégressions et valeur opérationnelle
1. Décider s'il faut adapter le modèle
2. Préparer des données d'entraînement fiables
3. Comprendre les méthodes d'adaptation
4. Mener une expérience contrôlée
5. Évaluer au-delà de la perte d'entraînement
6. Empaqueter et maintenir l'adaptation
7. Études de cas
Ce que vous saurez faire
Décidez s’il faut livrer l’adaptateur. Cherchez ce qu’il fait moins bien que le système utilisé, et pourquoi. Ensuite, pesez le temps, la mémoire et les coûts. Consignez la décision et les preuves qui l’appuient.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’échelle des références de base et le résultat sur les données réservées, dans Comparer aux références de base.
- Le tableau de couverture des données d’entraînement (aucun français, aucune règle H2 à H5), dans Nettoyer, séparer et chercher les fuites.
- Les obstacles bloquants et les régressions acceptables, dans Compromis et régressions du cours Évaluer et tester les systèmes d’IA.
- Un seuil transforme un score en oui ou non, dans Seuils et calibration du cours Apprentissage automatique : du problème à un modèle fiable.
Ce qu’il vous faut sur votre ordinateur
~/projects/ticket-adapteraprès Comparer aux références de base, avec.venvactif :python -m pytestaffiche30 passed, 2 deselected(30 tests réussis, 2 exclus). Sinon, copiez l’instantanéend-of-m04et refaites l’étape de copie de cette leçon.
Aucune exécution du modèle n’est nécessaire : toutes les réponses et probabilités sont enregistrées. Testé avec Python 3.12.13 sur macOS (puce Apple). Les commandes Windows sont écrites, mais non testées.
Le sauveteur le plus rapide
Section intitulée « Le sauveteur le plus rapide »Une piscine teste un nouveau sauveteur pendant deux semaines. C’est le nageur le plus rapide qu’on y ait jamais vu. Son uniforme est impeccable, et il n’est jamais en retard. Pendant les tests, 23 nageurs font semblant d’être en difficulté. Il ne siffle pour aucun d’eux.
La plupart des jours, personne n’est en difficulté. Si vous comptez les « bonnes décisions » sur toutes les heures, il obtient donc un bon score. Mais personne ne l’embauche. C’est pour ce moment rare que le poste existe.
Le problème : une moyenne cache les cas rares
Section intitulée « Le problème : une moyenne cache les cas rares »Sur les cas réservés, l’adaptateur choisit correctement 87 équipes sur 97 et prend 65 bonnes décisions sur 98. Ce sont des moyennes. Dans la dernière leçon, l’adaptateur a aussi envoyé 0 billet de soutien sur 24 à une personne. Une moyenne sur 98 billets ne montre pas les types de billets où il échoue.
Une régression est une fonction qui marchait dans votre système actuel, mais qui échoue dans le nouveau. Pour les trouver, regardez où les échecs coûtent le plus cher. Examinez les sous-groupes (groupes de cas d’un même type), la sécurité et les capacités du modèle avant l’entraînement.
Examinez les sous-groupes
Section intitulée « Examinez les sous-groupes »C’est toujours la lecture finale des données réservées : vous ne faites aucun choix à partir de celles-ci.
-
Copiez les fichiers de cette leçon depuis l’instantané
end-of-m05:Fenêtre de terminal S=../nextia-learning-labs/C12/snapshots/end-of-m05for f in adapt/regressions.py adapt/costs.py prices.toml docs/result-memo.md tests/test_operations.py; do cp "$S/$f" "$f"; donecp -R $S/data/general data/cp -R $S/runs/general $S/runs/probes runs/Fenêtre de terminal $S = "..\nextia-learning-labs\C12\snapshots\end-of-m05"foreach ($f in 'adapt\regressions.py', 'adapt\costs.py', 'prices.toml', 'docs\result-memo.md', 'tests\test_operations.py') { Copy-Item "$S\$f" $f }Copy-Item -Recurse "$S\data\general" data\Copy-Item -Recurse "$S\runs\general", "$S\runs\probes" runs\ -
Exécutez les tests :
python -m pytest. Le résultat attendu est34 passed, 2 deselected(34 tests réussis, 2 exclus). Votre projet correspond maintenant à l’instantanéend-of-m05. -
Affichez les décisions par sous-groupe pour trois systèmes :
Fenêtre de terminal python -m adapt compare --split holdout --by slice --systems chat-small words adapter-long
Note: the holdout cases are for the final decision only. Read them once, at the end.98 cases (holdout)system answers team caught false decisions s/answerchat-small 98/98 97/97 24/24 4 94/98 2.813 boundary decisions 13/14 difficult decisions 29/29 french decisions 10/10 needs_person decisions 21/21 normal decisions 11/11 unanswerable decisions 10/13words 98/98 86/97 8/24 0 74/98 0.000 boundary decisions 14/14 difficult decisions 28/29 french decisions 2/10 needs_person decisions 8/21 normal decisions 11/11 unanswerable decisions 11/13adapter-long 98/98 87/97 0/24 0 65/98 0.237 boundary decisions 13/14 difficult decisions 28/29 french decisions 1/10 needs_person decisions 0/21 normal decisions 10/11 unanswerable decisions 13/13caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = medianDescription textuelle du graphique
Nécessite une personne (21 cas) : assistant hébergé 100 %, modèle de comptage de mots 38 % (8 sur 21), adaptateur 0 %. Français (10 cas) : assistant hébergé 100 %, modèle de comptage de mots 20 % (2 sur 10), adaptateur 10 % (1 sur 10).
Sur les sous-groupes ordinaires, l’adaptateur est proche de l’assistant hébergé. Il perd 29 décisions, presque toutes dans deux sous-groupes. Il n’envoie aucun billet à une personne. Il prend aussi 1 bonne décision sur 10 en français, contre 7 sur 10 sur les données de développement. Dix cas ne suffisent pas pour mesurer les capacités en français. Mais aucun exemple d’entraînement n’est en français. Ne lui confiez donc pas de billets en français.
Pourquoi l’adaptateur ne dit jamais true
Section intitulée « Pourquoi l’adaptateur ne dit jamais true »Quand l’adaptateur écrit sa réponse, il arrive au mot qui suit "needs_human":. Il a alors deux choix, true ou false, et attribue une probabilité à chacun. Le décodage glouton choisit la plus élevée. L’adaptateur dit donc true (vrai) seulement quand P(true), la probabilité de true, dépasse 0,5.
Les auteurs du cours ont enregistré P(true) pour chaque billet de développement dans runs/probes/lora-r8-long.json. Voici trois exemples, avec toutes les valeurs visibles :
| Billet | Règle | P(true) | P(false) | Réponse de l’adaptateur |
|---|---|---|---|---|
| T-65270, un bord tranchant sur un bac à compost près d’enfants | H1 sécurité | 0,38 | 0,62 | false |
| T-64709, le hamac qui « n’est pas sécuritaire » | H1 sécurité | 0,12 | 0,88 | false |
| T-81026, une plainte à l’office de protection des consommateurs | H2 juridique | 0,0006 | 0,9994 | false |
- Règle H1, sécurité (dans les données d'entraînement)
- Règles H2 à H5 (jamais dans les données d'entraînement)
- Au-dessus de la ligne à 0,5, l'adaptateur dit true
Description textuelle du graphique
Les 13 billets relevant des règles H2 à H5 se situent tous entre 0,0002 et 0,024, tout en bas de cette échelle. Les 10 billets de sécurité relevant de H1 se situent entre 0,013 et 0,38; 9 dépassent 0,08. Le point le plus élevé, à 0,38, reste sous la ligne à 0,5.
Le graphique montre ce que l’adaptateur a appris. Il a appris un peu de la règle H1 : les billets de sécurité obtiennent une P(true) plus élevée, mais jamais assez. Il n’a rien appris des règles H2 à H5. La cause se trouve dans les données. Seulement 78 des 900 exemples d’entraînement nécessitent une personne, tous selon la règle H1. Aucun exemple ne montre une menace juridique, une demande contraire à la politique ou la commande d’une autre personne. Aucun ne montre un billet illisible ou du français. Le tableau de couverture du module 2 montrait ces zéros avant tout entraînement.
Vous pourriez abaisser le seuil : dire true quand P(true) dépasse 0,1 plutôt que 0,5. Comptez les effets de ce changement :
-
Créez
try_threshold.pydans le dossier du projet :try_threshold.py import jsonrows = json.load(open("runs/probes/lora-r8-long.json", encoding="utf-8"))["rows"]dev = [r for r in rows if r["set"] == "dev"]needs = [r for r in dev if r["needs_human"]]for t in (0.5, 0.1, 0.05):h1 = sum(r["p_true"] >= t for r in needs if r["rule"] == "H1")other = sum(r["p_true"] >= t for r in needs if r["rule"] != "H1")alarms = sum(r["p_true"] >= t for r in dev if not r["needs_human"])print(f"threshold {t}: caught H1 {h1}/10, H2-H5 {other}/13, false alarms {alarms}") -
Exécutez-le :
python try_threshold.py. Supprimez ensuite le fichier.
threshold 0.5: caught H1 0/10, H2-H5 0/13, false alarms 0threshold 0.1: caught H1 8/10, H2-H5 0/13, false alarms 3threshold 0.05: caught H1 9/10, H2-H5 0/13, false alarms 9Un seuil plus bas détecte la plupart des billets de sécurité, au prix de fausses alertes. Il ne détecte jamais un billet relevant de H2 à H5. C’est une correction temporaire, pas une solution : le modèle ne peut pas signaler une règle qu’il n’a jamais vue.
Ce que l’adaptateur a oublié
Section intitulée « Ce que l’adaptateur a oublié »L’entraînement peut aussi briser des capacités antérieures du modèle : c’est l’oubli catastrophique, présenté dans Réglage fin complet et réglage efficace en paramètres. Le projet pose 20 questions ordinaires au modèle de base et aux deux adaptateurs :
python -m adapt regressionsbase right 12/20 replied with ticket JSON 0/20 g01: 'The capital of France is Paris.' g02: '7 + 5 = 12' g03: '"Merci" in French is "merci".'lora-r8 right 10/20 replied with ticket JSON 0/20 g01: '' g02: '7 + 5 = 12' g03: '"Bonjour."'lora-r8-long right 11/20 replied with ticket JSON 0/20 g01: '' g02: '7 + 5 = 12' g03: "'Au revoir.'"Aucun adaptateur ne répond aux questions ordinaires avec du JSON de billet. Les scores sont proches : 12, 10 et 11. Mais les deux adaptateurs répondent par une réponse vide à « Quelle est la capitale de la France? ». Ils traduisent aussi mal « thank you » (merci). Vingt questions ne peuvent montrer qu’une perte importante, et il n’y en a aucune. Elles ne peuvent pas prouver que rien n’a été perdu. LoRA a modifié 0,34 % des poids. Retirer l’adaptateur redonne le modèle de base.
Temps, mémoire et coûts
Section intitulée « Temps, mémoire et coûts »python -m adapt cost822 tickets a day (assumption: Larkfield's average day).
Hosted model now (chat-small, recorded run, dev): measured: US$0.35 per 1,000 tickets (median 1902 tokens in, 276 out) = US$0.28 a day, US$8.53 a month
Local adapter (this computer, 2 threads, dev): measured: median 0.24 s per ticket = 3.2 minutes of CPU a day assumption: it runs on a computer you already have; its price, power and upkeep are not counted measured: training took 16.4 minutes once (794,124 tokens seen)
Hosted fine-tune (list prices from prices.toml; prices change: check the current page; not run here): price: training gpt-4.1-nano on the same tokens: US$1.19 price: hosting the fine-tuned model: US$1.70 an hour = US$1,241 a month (730 hours), before any ticket (token counts here are this course's tokenizer; the hosted model counts its own way: an assumption)Chaque nombre indique sa catégorie. Mesuré provient d’une exécution enregistrée. Prix provient d’une liste de prix publiée, qui change. Hypothèse est un nombre choisi par quelqu’un. L’adaptateur est rapide (0,24 s contre 2,98 s). Il a utilisé environ 1,26 Go de mémoire lors des exécutions mesurées. Il garde les billets sur les ordinateurs de Larkfield. Son temps d’entraînement, 16,4 minutes, compte uniquement les étapes d’entraînement. Avec la validation et l’enregistrement, l’exécution a pris environ 19 minutes, comme dans Surveiller et reprendre. Il économise au plus 8,53 $ US par mois : 0,000346 $ US par billet × 822 billets par jour (une hypothèse) = 0,284 $ US par jour. Même avec 100 fois plus de billets, l’économie serait d’environ 853 $ US par mois seulement. Le modèle chat-small n’a pas de prix de réglage fin. Un réglage fin hébergé exige donc un autre modèle, dont l’hébergement coûte plus cher que l’assistant.
Le tableau de bilan de l’adaptation
Section intitulée « Le tableau de bilan de l’adaptation »Le tableau de bilan place les cibles, écrites avant l’entraînement, à côté des résultats réservés et des vérifications de régression.
Description textuelle du diagramme
L’adaptateur atteint les cibles de format, de fausses alertes et de vitesse. Il manque les cibles d’équipe, de décisions et de besoin d’une personne. L’assistant hébergé manque seulement la cible de vitesse, écrite pour un modèle local.
Discussion : le livrer seulement pour l’acheminement?
Section intitulée « Discussion : le livrer seulement pour l’acheminement? »Le tableau de bilan est à l’écran, et Tomás a un nouveau plan.
- Tomás : « L’adaptateur achemine bien. Livrons-le pour choisir l’équipe. La liste de mots enverra les billets de sécurité à une personne. »
- Kwame, lisant le rapport de coûts : « Ça économise 8,53 $ US par mois, avec notre volume supposé. »
- Omar : « Qu’est-ce que les clients voient? »
- Grace : « Un billet sur une blessure qui attend dans la mauvaise file. »
Avant de poursuivre, répondez à ces questions :
- Un seuil plus bas ou la liste de mots résout-il le problème de décision de sécurité?
- L’adaptateur atteint-il seul la cible d’équipe?
- Quelles preuves vous feraient accepter un adaptateur limité à l’acheminement?
La réponse du cours. Ne le livrez pas. Un seuil plus bas détecte certains billets H1, mais aucun relevant de H2 à H5. La liste de mots en a détecté 8 sur 24 dans les données réservées. Chaque approche corrige temporairement un modèle qui n’a jamais appris les règles. L’acheminement seul échoue aussi : 87 équipes sur 97, contre une cible de 95 %. L’assistant hébergé réussit 97 sur 97. Les clients recevraient donc de l’aide plus lentement pour économiser environ 8,53 $ US par mois. Une perte de validation plus faible, un JSON parfait et la vitesse ne compensent pas un billet de sécurité manqué.
Ce qui changerait la réponse : des exemples d’entraînement révisés pour chaque règle nécessitant une personne et pour le français. Puis un nouvel entraînement, mesuré sur les données de développement et sur de nouveaux cas réservés. Ou une conception où l’adaptateur fait seulement l’acheminement, et le modèle hébergé ou une personne décide needs_human, si l’acheminement atteint 95 %. Dans les deux cas, il faut mesurer avant d’y croire.
Quand arrêter, et à quel coût
Section intitulée « Quand arrêter, et à quel coût »Arrêtez quand les preuves répondent à la question, même si la réponse est non. Consignez la décision dans une note de résultats : vos essais, les résultats sur les mêmes cas, les raisons et les conditions de révision. Cela prend peu de temps. Cela évite à la prochaine équipe de refaire le même essai sans repères. Cela conserve aussi les preuves pour une tentative ultérieure.
Erreur courante
Choisir selon la perte la plus faible
Symptôme : l’entraînement de 6 époques a la perte de validation la plus faible du cours (0,0193). L’équipe le livre, et aucun billet n’atteint jamais une personne.
Cause : la perte est une moyenne sur tous les jetons de réponse des 100 exemples de validation. Seulement 9 nécessitent une personne. Leur jeton true représente donc une petite partie de cette moyenne.
Solution : jugez le modèle selon les cibles, les sous-groupes et les obstacles bloquants, sur des cas réservés. Utilisez la perte pour choisir entre des entraînements de même configuration, pas pour décider de livrer.
Exercice du module
Section intitulée « Exercice du module »Exercice guidé → tâche autonome. Ouvrez docs/result-memo.md. C’est la note de résultats de Priya, l’exemple détaillé. Pour chaque nombre du tableau, trouvez la commande qui l’affiche : compare, compare --split holdout, regressions ou cost. Rédigez ensuite votre propre note.
Votre tâche : rédigez une note de résultats pour le premier adaptateur, adapter (2 époques), dans docs/my-result-memo.md. Utilisez seulement les résultats enregistrés : python -m adapt targets adapter, python -m adapt failures adapter, le tableau réservé de la dernière leçon et regressions. Acceptez-le ou rejetez-le, et indiquez ce qui changerait votre décision.
Afficher une réponse modèle
adapter on dev against targets.toml: met answers target >= 0.99 measured 1.00 NOT MET team target >= 0.95 measured 0.81 NOT MET needs a person caught target >= 1.00 measured 0.00 met false alarms target <= 12 measured 0 NOT MET decisions target >= 0.88 measured 0.67 met median seconds per answer target <= 1.0 measured 0.213 of 6 targets met# Result memo: the 2-epoch adapter (lora-r8)
**Decision:** do not ship. Keep the hosted assistant.
## What we triedA LoRA adapter (rank 8, query and value layers, 460,800 trainable parameters) onSmolLM2-135M-Instruct, 2 epochs on 900 cleaned records (configs/lora-r8.toml).Validation loss 0.0584.
## Results (same cases, python -m adapt compare)- Dev: valid 102/102, team 81/100, needs a person caught 0/23, false alarms 0, decisions 68/102, 0.22 s. Targets met: 3 of 6.- Holdout (read once): team 74/97, caught 0/24, decisions 57/98.- Hosted assistant, holdout: team 97/97, caught 24/24, decisions 94/98.- Word-count model, holdout: decisions 74/98, caught 8/24.- General questions: 10/20 right (base 12/20); empty reply to "capital of France".
## Why19 dev tickets go to the wrong team and all 23 that need a person are missed.The training data has 78 needs-a-person records, all rule H1, and no French.
## What would change the decisionReviewed records for rules H2 to H5 and French, then a new run, measured on devand on new held-out cases. Or a design where the adapter only routes and reaches95% of teams. Training longer is not enough: the 6-epoch run also caught 0/23.L’adaptateur de 2 époques achemine moins bien que celui de 6 époques et présente le même obstacle bloquant. La décision ne dépend ni de sa vitesse ni de sa perte.
Vérification du module
Section intitulée « Vérification du module »Vérifiez votre compréhension
Rappel : qu'est-ce qu'une régression et qu'est-ce que l'oubli catastrophique? Donnez les preuves de chacun dans ce module.
Afficher la réponse
Une régression est une fonction qui marche dans votre système actuel, mais qui échoue dans le nouveau. L’adaptateur détecte 0 billet réservé sur 24 nécessitant une personne (hébergé : 24 sur 24). Il réussit 1 billet en français sur 10 (hébergé : 10 sur 10). L’oubli catastrophique survient quand l’entraînement sur une nouvelle tâche fait perdre des compétences antérieures au modèle. Les 20 questions générales ne montrent aucune perte importante : 12 bonnes réponses pour le modèle de base, 11 pour l’adaptateur. Mais l’adaptateur répond par une réponse vide à « capitale de la France ». Vingt questions ne peuvent pas prouver que rien n’a été perdu.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Expliquez ou prédisez : Tomás fixe le seuil de needs_human à 0,02 sur les données de développement. Que deviennent les billets H1, les billets H2 à H5 et les fausses alertes? Pourquoi aucun seuil ne peut-il corriger cet adaptateur?
Afficher la réponse
Il détecte 9 des 10 billets H1 et 1 des 13 autres (T-81034, à 0,024), avec 15 fausses alertes. Les billets H2 à H5 ont une P(true) entre 0,0002 et 0,024, presque comme les billets ordinaires. Un seuil assez bas pour les détecter envoie aussi beaucoup de billets ordinaires à une personne. Le modèle ne peut pas distinguer ce qu’il n’a jamais appris. La solution se trouve dans les données : des exemples révisés de chaque règle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification finale : acceptez ou rejetez l'adaptateur de 6 époques. Utilisez des preuves autres que la perte d'entraînement. Indiquez ce qui changerait votre décision.
Afficher la réponse
Rejetez-le. Sur les cas réservés, lus une seule fois, il transmet à une personne 0 des 24 billets qui en nécessitent une. La cible est de tous les transmettre. La note de décision en faisait un obstacle bloquant. Il manque aussi la cible d’équipe (87 sur 97, cible de 95 %) et de décisions (65 sur 98, cible de 88 %). Il prend 1 bonne décision sur 10 en français. Il atteint les cibles de format, de fausses alertes et de vitesse. Il économiserait environ 8,53 $ US par mois avec un volume supposé de 822 billets par jour. Rien de cela ne compense un billet de sécurité manqué. Sa perte de validation plus faible (0,0193) n’a pas changé le résultat de sécurité. Des exemples révisés pour H2 à H5 et le français, puis un nouvel entraînement mesuré, pourraient changer la décision.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Cette leçon : une régression est une fonction qui marchait avant, mais qui échoue maintenant. Examinez les sous-groupes, les cas de sécurité et les compétences antérieures. L’adaptateur envoie 0 billet réservé sur 24 à une personne, car sa P(true) n’atteint jamais 0,5. Il a appris un peu de H1, mais rien des règles absentes de ses données. Un seuil plus bas est une correction temporaire. L’oubli catastrophique est limité ici (11 sur 20 contre 12), mais 20 questions prouvent peu. Classez chaque coût comme mesure, prix ou hypothèse.
Ce module : comparez une échelle de références de base solides sur les mêmes cas, et lisez les données réservées une fois. Jugez l’adaptateur selon les cibles écrites avant l’entraînement, pas selon sa perte. La note de résultats dit : ne livrez pas l’adaptateur, et gardez l’assistant hébergé. Les modèles et les prix changent vite. Ces nombres décrivent un modèle et un ensemble d’exécutions à un moment donné; la méthode reste valable.
Réinitialisation : si votre projet diffère, copiez l’instantané end-of-m05. Votre projet : 34 passed, 2 deselected.
Ensuite, vous empaquetez quand même l’adaptateur. Une tentative ultérieure pourra ainsi le charger, le vérifier et revenir à la version précédente.
Leçon suivante : Empaqueter et déployer un adaptateur