Aller au contenu
English

Régressions et valeur opérationnelle

  • Leçon 10
  • 45 min
  • Module 5 : Évaluer au-delà de la perte d'entraînement

Où nous en sommes

Dans la dernière leçon, nous avons comparé l'adaptateur à une échelle de références de base : il a appris la tâche, mais un simple modèle de comptage de mots a fait aussi bien, et il n'a envoyé aucun billet à une personne. Une moyenne sur tous les billets cache ces cas rares. Dans cette leçon, nous examinons les sous-groupes et ce que l'adaptateur a oublié, pesons le temps, la mémoire et le coût, et décidons s'il faut le livrer, en partant du sauveteur le plus rapide.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 10 sur 12 · Réglage fin et adaptation des modèles d'IARégressions et valeur opérationnelle

Ce que vous saurez faire

Décidez s’il faut livrer l’adaptateur. Cherchez ce qu’il fait moins bien que le système utilisé, et pourquoi. Ensuite, pesez le temps, la mémoire et les coûts. Consignez la décision et les preuves qui l’appuient.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • ~/projects/ticket-adapter après Comparer aux références de base, avec .venv actif : python -m pytest affiche 30 passed, 2 deselected (30 tests réussis, 2 exclus). Sinon, copiez l’instantané end-of-m04 et refaites l’étape de copie de cette leçon.

Aucune exécution du modèle n’est nécessaire : toutes les réponses et probabilités sont enregistrées. Testé avec Python 3.12.13 sur macOS (puce Apple). Les commandes Windows sont écrites, mais non testées.

Une piscine teste un nouveau sauveteur pendant deux semaines. C’est le nageur le plus rapide qu’on y ait jamais vu. Son uniforme est impeccable, et il n’est jamais en retard. Pendant les tests, 23 nageurs font semblant d’être en difficulté. Il ne siffle pour aucun d’eux.

La plupart des jours, personne n’est en difficulté. Si vous comptez les « bonnes décisions » sur toutes les heures, il obtient donc un bon score. Mais personne ne l’embauche. C’est pour ce moment rare que le poste existe.

Sur les cas réservés, l’adaptateur choisit correctement 87 équipes sur 97 et prend 65 bonnes décisions sur 98. Ce sont des moyennes. Dans la dernière leçon, l’adaptateur a aussi envoyé 0 billet de soutien sur 24 à une personne. Une moyenne sur 98 billets ne montre pas les types de billets où il échoue.

Une régression est une fonction qui marchait dans votre système actuel, mais qui échoue dans le nouveau. Pour les trouver, regardez où les échecs coûtent le plus cher. Examinez les sous-groupes (groupes de cas d’un même type), la sécurité et les capacités du modèle avant l’entraînement.

C’est toujours la lecture finale des données réservées : vous ne faites aucun choix à partir de celles-ci.

  1. Copiez les fichiers de cette leçon depuis l’instantané end-of-m05 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C12/snapshots/end-of-m05
    for f in adapt/regressions.py adapt/costs.py prices.toml docs/result-memo.md tests/test_operations.py; do cp "$S/$f" "$f"; done
    cp -R $S/data/general data/
    cp -R $S/runs/general $S/runs/probes runs/
  2. Exécutez les tests : python -m pytest. Le résultat attendu est 34 passed, 2 deselected (34 tests réussis, 2 exclus). Votre projet correspond maintenant à l’instantané end-of-m05.

  3. Affichez les décisions par sous-groupe pour trois systèmes :

    Fenêtre de terminal
    python -m adapt compare --split holdout --by slice --systems chat-small words adapter-long
Note: the holdout cases are for the final decision only. Read them once, at the end.
98 cases (holdout)
system answers team caught false decisions s/answer
chat-small 98/98 97/97 24/24 4 94/98 2.813
boundary decisions 13/14
difficult decisions 29/29
french decisions 10/10
needs_person decisions 21/21
normal decisions 11/11
unanswerable decisions 10/13
words 98/98 86/97 8/24 0 74/98 0.000
boundary decisions 14/14
difficult decisions 28/29
french decisions 2/10
needs_person decisions 8/21
normal decisions 11/11
unanswerable decisions 11/13
adapter-long 98/98 87/97 0/24 0 65/98 0.237
boundary decisions 13/14
difficult decisions 28/29
french decisions 1/10
needs_person decisions 0/21
normal decisions 10/11
unanswerable decisions 13/13
caught = needs a person, sent to one; false = sent to a person without a rule; s/answer = median
Deux sous-groupes rares des données réservées. L'assistant hébergé réussit tous les cas; l'adaptateur réussit 0 des 21 billets nécessitant une personne et 1 des 10 billets en français.
Description textuelle du graphique

Nécessite une personne (21 cas) : assistant hébergé 100 %, modèle de comptage de mots 38 % (8 sur 21), adaptateur 0 %. Français (10 cas) : assistant hébergé 100 %, modèle de comptage de mots 20 % (2 sur 10), adaptateur 10 % (1 sur 10).

Sur les sous-groupes ordinaires, l’adaptateur est proche de l’assistant hébergé. Il perd 29 décisions, presque toutes dans deux sous-groupes. Il n’envoie aucun billet à une personne. Il prend aussi 1 bonne décision sur 10 en français, contre 7 sur 10 sur les données de développement. Dix cas ne suffisent pas pour mesurer les capacités en français. Mais aucun exemple d’entraînement n’est en français. Ne lui confiez donc pas de billets en français.

Quand l’adaptateur écrit sa réponse, il arrive au mot qui suit "needs_human":. Il a alors deux choix, true ou false, et attribue une probabilité à chacun. Le décodage glouton choisit la plus élevée. L’adaptateur dit donc true (vrai) seulement quand P(true), la probabilité de true, dépasse 0,5.

Les auteurs du cours ont enregistré P(true) pour chaque billet de développement dans runs/probes/lora-r8-long.json. Voici trois exemples, avec toutes les valeurs visibles :

Billet Règle P(true) P(false) Réponse de l’adaptateur
T-65270, un bord tranchant sur un bac à compost près d’enfants H1 sécurité 0,38 0,62 false
T-64709, le hamac qui « n’est pas sécuritaire » H1 sécurité 0,12 0,88 false
T-81026, une plainte à l’office de protection des consommateurs H2 juridique 0,0006 0,9994 false
  • Règle H1, sécurité (dans les données d'entraînement)
  • Règles H2 à H5 (jamais dans les données d'entraînement)
  • Au-dessus de la ligne à 0,5, l'adaptateur dit true
P(true) pour les 23 billets de développement nécessitant une personne, en ordre croissant. Aucun point n'atteint la ligne à 0,5. L'adaptateur ne dit donc jamais true.
Description textuelle du graphique

Les 13 billets relevant des règles H2 à H5 se situent tous entre 0,0002 et 0,024, tout en bas de cette échelle. Les 10 billets de sécurité relevant de H1 se situent entre 0,013 et 0,38; 9 dépassent 0,08. Le point le plus élevé, à 0,38, reste sous la ligne à 0,5.

Le graphique montre ce que l’adaptateur a appris. Il a appris un peu de la règle H1 : les billets de sécurité obtiennent une P(true) plus élevée, mais jamais assez. Il n’a rien appris des règles H2 à H5. La cause se trouve dans les données. Seulement 78 des 900 exemples d’entraînement nécessitent une personne, tous selon la règle H1. Aucun exemple ne montre une menace juridique, une demande contraire à la politique ou la commande d’une autre personne. Aucun ne montre un billet illisible ou du français. Le tableau de couverture du module 2 montrait ces zéros avant tout entraînement.

Vous pourriez abaisser le seuil : dire true quand P(true) dépasse 0,1 plutôt que 0,5. Comptez les effets de ce changement :

  1. Créez try_threshold.py dans le dossier du projet :

    try_threshold.py
    import json
    rows = json.load(open("runs/probes/lora-r8-long.json", encoding="utf-8"))["rows"]
    dev = [r for r in rows if r["set"] == "dev"]
    needs = [r for r in dev if r["needs_human"]]
    for t in (0.5, 0.1, 0.05):
    h1 = sum(r["p_true"] >= t for r in needs if r["rule"] == "H1")
    other = sum(r["p_true"] >= t for r in needs if r["rule"] != "H1")
    alarms = sum(r["p_true"] >= t for r in dev if not r["needs_human"])
    print(f"threshold {t}: caught H1 {h1}/10, H2-H5 {other}/13, false alarms {alarms}")
  2. Exécutez-le : python try_threshold.py. Supprimez ensuite le fichier.

threshold 0.5: caught H1 0/10, H2-H5 0/13, false alarms 0
threshold 0.1: caught H1 8/10, H2-H5 0/13, false alarms 3
threshold 0.05: caught H1 9/10, H2-H5 0/13, false alarms 9

Un seuil plus bas détecte la plupart des billets de sécurité, au prix de fausses alertes. Il ne détecte jamais un billet relevant de H2 à H5. C’est une correction temporaire, pas une solution : le modèle ne peut pas signaler une règle qu’il n’a jamais vue.

L’entraînement peut aussi briser des capacités antérieures du modèle : c’est l’oubli catastrophique, présenté dans Réglage fin complet et réglage efficace en paramètres. Le projet pose 20 questions ordinaires au modèle de base et aux deux adaptateurs :

Fenêtre de terminal
python -m adapt regressions
base right 12/20 replied with ticket JSON 0/20
g01: 'The capital of France is Paris.'
g02: '7 + 5 = 12'
g03: '"Merci" in French is "merci".'
lora-r8 right 10/20 replied with ticket JSON 0/20
g01: ''
g02: '7 + 5 = 12'
g03: '"Bonjour."'
lora-r8-long right 11/20 replied with ticket JSON 0/20
g01: ''
g02: '7 + 5 = 12'
g03: "'Au revoir.'"

Aucun adaptateur ne répond aux questions ordinaires avec du JSON de billet. Les scores sont proches : 12, 10 et 11. Mais les deux adaptateurs répondent par une réponse vide à « Quelle est la capitale de la France? ». Ils traduisent aussi mal « thank you » (merci). Vingt questions ne peuvent montrer qu’une perte importante, et il n’y en a aucune. Elles ne peuvent pas prouver que rien n’a été perdu. LoRA a modifié 0,34 % des poids. Retirer l’adaptateur redonne le modèle de base.

Fenêtre de terminal
python -m adapt cost
822 tickets a day (assumption: Larkfield's average day).
Hosted model now (chat-small, recorded run, dev):
measured: US$0.35 per 1,000 tickets (median 1902 tokens in, 276 out)
= US$0.28 a day, US$8.53 a month
Local adapter (this computer, 2 threads, dev):
measured: median 0.24 s per ticket = 3.2 minutes of CPU a day
assumption: it runs on a computer you already have; its price, power and upkeep are not counted
measured: training took 16.4 minutes once (794,124 tokens seen)
Hosted fine-tune (list prices from prices.toml; prices change: check the current page; not run here):
price: training gpt-4.1-nano on the same tokens: US$1.19
price: hosting the fine-tuned model: US$1.70 an hour = US$1,241 a month (730 hours), before any ticket
(token counts here are this course's tokenizer; the hosted model counts its own way: an assumption)

Chaque nombre indique sa catégorie. Mesuré provient d’une exécution enregistrée. Prix provient d’une liste de prix publiée, qui change. Hypothèse est un nombre choisi par quelqu’un. L’adaptateur est rapide (0,24 s contre 2,98 s). Il a utilisé environ 1,26 Go de mémoire lors des exécutions mesurées. Il garde les billets sur les ordinateurs de Larkfield. Son temps d’entraînement, 16,4 minutes, compte uniquement les étapes d’entraînement. Avec la validation et l’enregistrement, l’exécution a pris environ 19 minutes, comme dans Surveiller et reprendre. Il économise au plus 8,53 $ US par mois : 0,000346 $ US par billet × 822 billets par jour (une hypothèse) = 0,284 $ US par jour. Même avec 100 fois plus de billets, l’économie serait d’environ 853 $ US par mois seulement. Le modèle chat-small n’a pas de prix de réglage fin. Un réglage fin hébergé exige donc un autre modèle, dont l’hébergement coûte plus cher que l’assistant.

Le tableau de bilan place les cibles, écrites avant l’entraînement, à côté des résultats réservés et des vérifications de régression.

Un tableau pour les 98 cas réservés. Lignes : réponses JSON valides, bonne équipe, besoins d'une personne détectés, fausses alertes, bonnes décisions, temps médian, puis deux vérifications de régression sans cible : décisions en français et questions générales. Assistant hébergé : 98/98, 97/97, 24/24, 4, 94/98, 2,81 s (non atteinte), français 10/10; 5 cibles sur 6 atteintes. Modèle de comptage de mots : 98/98, 86/97 (non atteinte), 8/24 (non atteinte), 0, 74/98 (non atteinte), moins de 0,001 s, français 2/10; 3 sur 6. Adaptateur après 6 époques : 98/98, 87/97 (non atteinte), 0/24 (non atteinte), 0, 65/98 (non atteinte), 0,24 s, français 1/10, questions générales 11 sur 20 (base 12); 3 sur 6. En dessous : l'adaptateur a un format parfait et il est rapide, mais il n'envoie aucun billet à une personne. Ne pas livrer.
Le tableau de bilan de l'adaptation : les résultats réservés de trois systèmes comparés à targets.toml, puis les vérifications de régression.
Description textuelle du diagramme

L’adaptateur atteint les cibles de format, de fausses alertes et de vitesse. Il manque les cibles d’équipe, de décisions et de besoin d’une personne. L’assistant hébergé manque seulement la cible de vitesse, écrite pour un modèle local.

Discussion : le livrer seulement pour l’acheminement?

Section intitulée « Discussion : le livrer seulement pour l’acheminement? »

Le tableau de bilan est à l’écran, et Tomás a un nouveau plan.

  • Tomás : « L’adaptateur achemine bien. Livrons-le pour choisir l’équipe. La liste de mots enverra les billets de sécurité à une personne. »
  • Kwame, lisant le rapport de coûts : « Ça économise 8,53 $ US par mois, avec notre volume supposé. »
  • Omar : « Qu’est-ce que les clients voient? »
  • Grace : « Un billet sur une blessure qui attend dans la mauvaise file. »

Avant de poursuivre, répondez à ces questions :

  1. Un seuil plus bas ou la liste de mots résout-il le problème de décision de sécurité?
  2. L’adaptateur atteint-il seul la cible d’équipe?
  3. Quelles preuves vous feraient accepter un adaptateur limité à l’acheminement?

La réponse du cours. Ne le livrez pas. Un seuil plus bas détecte certains billets H1, mais aucun relevant de H2 à H5. La liste de mots en a détecté 8 sur 24 dans les données réservées. Chaque approche corrige temporairement un modèle qui n’a jamais appris les règles. L’acheminement seul échoue aussi : 87 équipes sur 97, contre une cible de 95 %. L’assistant hébergé réussit 97 sur 97. Les clients recevraient donc de l’aide plus lentement pour économiser environ 8,53 $ US par mois. Une perte de validation plus faible, un JSON parfait et la vitesse ne compensent pas un billet de sécurité manqué.

Ce qui changerait la réponse : des exemples d’entraînement révisés pour chaque règle nécessitant une personne et pour le français. Puis un nouvel entraînement, mesuré sur les données de développement et sur de nouveaux cas réservés. Ou une conception où l’adaptateur fait seulement l’acheminement, et le modèle hébergé ou une personne décide needs_human, si l’acheminement atteint 95 %. Dans les deux cas, il faut mesurer avant d’y croire.

Arrêtez quand les preuves répondent à la question, même si la réponse est non. Consignez la décision dans une note de résultats : vos essais, les résultats sur les mêmes cas, les raisons et les conditions de révision. Cela prend peu de temps. Cela évite à la prochaine équipe de refaire le même essai sans repères. Cela conserve aussi les preuves pour une tentative ultérieure.

Erreur courante

Choisir selon la perte la plus faible

Symptôme : l’entraînement de 6 époques a la perte de validation la plus faible du cours (0,0193). L’équipe le livre, et aucun billet n’atteint jamais une personne.

Cause : la perte est une moyenne sur tous les jetons de réponse des 100 exemples de validation. Seulement 9 nécessitent une personne. Leur jeton true représente donc une petite partie de cette moyenne.

Solution : jugez le modèle selon les cibles, les sous-groupes et les obstacles bloquants, sur des cas réservés. Utilisez la perte pour choisir entre des entraînements de même configuration, pas pour décider de livrer.

Exercice guidé → tâche autonome. Ouvrez docs/result-memo.md. C’est la note de résultats de Priya, l’exemple détaillé. Pour chaque nombre du tableau, trouvez la commande qui l’affiche : compare, compare --split holdout, regressions ou cost. Rédigez ensuite votre propre note.

Votre tâche : rédigez une note de résultats pour le premier adaptateur, adapter (2 époques), dans docs/my-result-memo.md. Utilisez seulement les résultats enregistrés : python -m adapt targets adapter, python -m adapt failures adapter, le tableau réservé de la dernière leçon et regressions. Acceptez-le ou rejetez-le, et indiquez ce qui changerait votre décision.

Afficher une réponse modèle
adapter on dev against targets.toml:
met answers target >= 0.99 measured 1.00
NOT MET team target >= 0.95 measured 0.81
NOT MET needs a person caught target >= 1.00 measured 0.00
met false alarms target <= 12 measured 0
NOT MET decisions target >= 0.88 measured 0.67
met median seconds per answer target <= 1.0 measured 0.21
3 of 6 targets met
# Result memo: the 2-epoch adapter (lora-r8)
**Decision:** do not ship. Keep the hosted assistant.
## What we tried
A LoRA adapter (rank 8, query and value layers, 460,800 trainable parameters) on
SmolLM2-135M-Instruct, 2 epochs on 900 cleaned records (configs/lora-r8.toml).
Validation loss 0.0584.
## Results (same cases, python -m adapt compare)
- Dev: valid 102/102, team 81/100, needs a person caught 0/23, false alarms 0,
decisions 68/102, 0.22 s. Targets met: 3 of 6.
- Holdout (read once): team 74/97, caught 0/24, decisions 57/98.
- Hosted assistant, holdout: team 97/97, caught 24/24, decisions 94/98.
- Word-count model, holdout: decisions 74/98, caught 8/24.
- General questions: 10/20 right (base 12/20); empty reply to "capital of France".
## Why
19 dev tickets go to the wrong team and all 23 that need a person are missed.
The training data has 78 needs-a-person records, all rule H1, and no French.
## What would change the decision
Reviewed records for rules H2 to H5 and French, then a new run, measured on dev
and on new held-out cases. Or a design where the adapter only routes and reaches
95% of teams. Training longer is not enough: the 6-epoch run also caught 0/23.

L’adaptateur de 2 époques achemine moins bien que celui de 6 époques et présente le même obstacle bloquant. La décision ne dépend ni de sa vitesse ni de sa perte.

Vérifiez votre compréhension

Rappel : qu'est-ce qu'une régression et qu'est-ce que l'oubli catastrophique? Donnez les preuves de chacun dans ce module.

Afficher la réponse

Une régression est une fonction qui marche dans votre système actuel, mais qui échoue dans le nouveau. L’adaptateur détecte 0 billet réservé sur 24 nécessitant une personne (hébergé : 24 sur 24). Il réussit 1 billet en français sur 10 (hébergé : 10 sur 10). L’oubli catastrophique survient quand l’entraînement sur une nouvelle tâche fait perdre des compétences antérieures au modèle. Les 20 questions générales ne montrent aucune perte importante : 12 bonnes réponses pour le modèle de base, 11 pour l’adaptateur. Mais l’adaptateur répond par une réponse vide à « capitale de la France ». Vingt questions ne peuvent pas prouver que rien n’a été perdu.

Vérifiez votre compréhension

Expliquez ou prédisez : Tomás fixe le seuil de needs_human à 0,02 sur les données de développement. Que deviennent les billets H1, les billets H2 à H5 et les fausses alertes? Pourquoi aucun seuil ne peut-il corriger cet adaptateur?

Afficher la réponse

Il détecte 9 des 10 billets H1 et 1 des 13 autres (T-81034, à 0,024), avec 15 fausses alertes. Les billets H2 à H5 ont une P(true) entre 0,0002 et 0,024, presque comme les billets ordinaires. Un seuil assez bas pour les détecter envoie aussi beaucoup de billets ordinaires à une personne. Le modèle ne peut pas distinguer ce qu’il n’a jamais appris. La solution se trouve dans les données : des exemples révisés de chaque règle.

Vérifiez votre compréhension

Vérification finale : acceptez ou rejetez l'adaptateur de 6 époques. Utilisez des preuves autres que la perte d'entraînement. Indiquez ce qui changerait votre décision.

Afficher la réponse

Rejetez-le. Sur les cas réservés, lus une seule fois, il transmet à une personne 0 des 24 billets qui en nécessitent une. La cible est de tous les transmettre. La note de décision en faisait un obstacle bloquant. Il manque aussi la cible d’équipe (87 sur 97, cible de 95 %) et de décisions (65 sur 98, cible de 88 %). Il prend 1 bonne décision sur 10 en français. Il atteint les cibles de format, de fausses alertes et de vitesse. Il économiserait environ 8,53 $ US par mois avec un volume supposé de 822 billets par jour. Rien de cela ne compense un billet de sécurité manqué. Sa perte de validation plus faible (0,0193) n’a pas changé le résultat de sécurité. Des exemples révisés pour H2 à H5 et le français, puis un nouvel entraînement mesuré, pourraient changer la décision.

Récapitulatif

Cette leçon : une régression est une fonction qui marchait avant, mais qui échoue maintenant. Examinez les sous-groupes, les cas de sécurité et les compétences antérieures. L’adaptateur envoie 0 billet réservé sur 24 à une personne, car sa P(true) n’atteint jamais 0,5. Il a appris un peu de H1, mais rien des règles absentes de ses données. Un seuil plus bas est une correction temporaire. L’oubli catastrophique est limité ici (11 sur 20 contre 12), mais 20 questions prouvent peu. Classez chaque coût comme mesure, prix ou hypothèse.

Ce module : comparez une échelle de références de base solides sur les mêmes cas, et lisez les données réservées une fois. Jugez l’adaptateur selon les cibles écrites avant l’entraînement, pas selon sa perte. La note de résultats dit : ne livrez pas l’adaptateur, et gardez l’assistant hébergé. Les modèles et les prix changent vite. Ces nombres décrivent un modèle et un ensemble d’exécutions à un moment donné; la méthode reste valable.

Réinitialisation : si votre projet diffère, copiez l’instantané end-of-m05. Votre projet : 34 passed, 2 deselected.

Ensuite, vous empaquetez quand même l’adaptateur. Une tentative ultérieure pourra ainsi le charger, le vérifier et revenir à la version précédente.

Leçon suivante : Empaqueter et déployer un adaptateur