Aller au contenu
English

Surveiller et reprendre

  • Leçon 8
  • 45 min
  • Module 4 : Mener une expérience contrôlée

Où nous en sommes

Dans la dernière leçon, nous avons planifié l'entraînement dans un seul fichier de configuration, avec ses étapes, ses validations et ses points de contrôle. Maintenant, il s'entraîne. Mais une perte d'entraînement qui continue de baisser ne prouve pas que l'adaptateur s'améliore, et un entraînement arrêté ne doit pas perdre son travail. Dans cette leçon, nous lisons les deux courbes, gardons le meilleur adaptateur et reprenons depuis un point de contrôle, comme les sauvegardes dans un jeu.

Leçon 8 sur 12 · Réglage fin et adaptation des modèles d'IASurveiller et reprendre

Ce que vous saurez faire

Surveillez un entraînement, décidez quand l’arrêter et reprenez un entraînement arrêté sans perdre votre travail. Une perte d’entraînement qui continue de baisser ne prouve pas que l’adaptateur s’améliore.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet après Planifier et configurer l’entraînement : python -m adapt plan configs/lora-r8.toml affiche 226 steps (226 étapes), et le modèle est téléchargé.
  • Pour l’entraînement facultatif : environ 7 minutes et 2 Go de mémoire libre. Sinon, vous lisez les entraînements enregistrés du cours.

Testé sur macOS (Apple silicon) avec Python 3.12.13, PyTorch 2.14.1, transformers 5.19.0 et peft 0.21.2. Les commandes Windows et Linux sont fournies, mais n’ont pas été testées.

Dans un long jeu vidéo, vous sauvegardez avant un niveau difficile. Si le courant coupe, vous perdez seulement les minutes depuis la dernière sauvegarde. Les bons joueurs gardent aussi la sauvegarde de leur meilleur moment. Ils y reviennent si un choix ultérieur aggrave la situation.

Un entraînement a besoin des mêmes trois choses. Il sauvegarde pour continuer après un arrêt. Il garde la meilleure version. Et il affiche le bon nombre pour déterminer quelle version est la meilleure.

Le cours propose un entraînement conçu pour provoquer le surapprentissage, configs/overfit.toml : 48 enregistrements, 20 époques, un taux d’apprentissage élevé (0,001) et un rang de 16. À la fin, la perte d’entraînement est de 0,0003, presque zéro. Si vous regardez seulement ce nombre, l’adaptateur semble parfait.

Il ne l’est pas. Sur les cas de développement du cours d’évaluation, il choisit la bonne équipe pour 69 des 100 billets de soutien. L’entraînement principal la choisit pour 81 billets. La perte d’entraînement mesure seulement les enregistrements d’entraînement de l’adaptateur. Et si le portable se ferme à l’étape 200 d’un entraînement de 20 minutes, sans état sauvegardé, l’entraînement recommence à l’étape 0.

Deux nombres répondent à deux questions différentes :

  • La perte d’entraînement utilise le lot dont l’adaptateur vient d’apprendre : « Reproduit-il bien ce sur quoi il s’exerce? » Un lot contient seulement 8 enregistrements, donc la valeur varie d’une étape à l’autre. Lisez sa moyenne sur 25 étapes.
  • La perte de validation utilise les mêmes 100 enregistrements de validation chaque fois. L’adaptateur ne s’entraîne jamais sur eux : « Réussit-il sur des enregistrements qu’il n’a pas vus? »

Dans ce projet, les deux pertes comptent seulement les jetons (tokens) de la réponse : l’objet JSON et la marque de fin. Voici le premier entraînement du cours, lora-r8 :

  • Perte d'entraînement (moyenne de 25 étapes)
  • Perte de validation
Le premier entraînement : les deux pertes baissent ensemble pendant 226 étapes. Les points foncés pleins sont les points de contrôle (étapes 50, 100, 150, 200 et 226). La perte de validation baisse encore à la dernière étape.
Description textuelle du graphique

Le graphique montre les deux pertes du premier entraînement sur ses 226 étapes. La perte d’entraînement, en moyenne sur chaque groupe de 25 étapes, baisse de 0,58 (étapes 1 à 25) à 0,06 (étapes 201 à 225). La perte de validation baisse de 0,2598 à l’étape 25 à 0,0995 à l’étape 100 et à 0,0595 à l’étape 200. Elle est de 0,0597 à l’étape 225 et de 0,0584 à l’étape 226, sa valeur la plus basse. Les points pleins sur la ligne de validation marquent les cinq points de contrôle, aux étapes 50, 100, 150, 200 et 226.

Repérez trois tendances dans les courbes :

  1. Les deux baissent : l’adaptateur apprend encore des choses utiles sur de nouveaux enregistrements. Un entraînement plus long peut aider.
  2. La perte de validation cesse de baisser : poursuivre l’entraînement n’aide pas. Arrêtez.
  3. La perte d’entraînement baisse et la perte de validation monte : l’adaptateur apprend des détails de ses enregistrements qui ne fonctionnent pas sur d’autres. C’est du surapprentissage. Arrêtez et gardez la version avec la perte de validation la plus basse.

Le premier entraînement suit la tendance 1, comme le montre le graphique : l’entraînement n’était pas terminé.

Une quatrième tendance est un entraînement instable : la perte monte brusquement et reste élevée, ou devient « nan ». La cause habituelle est un taux d’apprentissage trop élevé (Taux d’apprentissage et optimiseurs). Les entraînements du cours montrent seulement du bruit : certaines étapes varient brusquement, mais la moyenne sur 25 étapes continue de baisser.

L’entraînement conçu pour le surapprentissage fait une validation par époque. Voici les époques 4 à 8 (python -m adapt curves overfit --every 6) :

Époque Perte d’entraînement Perte de validation
4 0.0842 0.1007
5 0.0494 0.0889
6 0.0307 0.0851
7 0.0163 0.0949
8 0.0074 0.1137

Après l’époque 6, la perte d’entraînement continue de baisser et la perte de validation monte. Le graphique montre les 20 époques :

  • Perte d'entraînement (moyenne de l'époque)
  • Perte de validation
L'entraînement conçu pour le surapprentissage : la perte d'entraînement baisse presque à zéro. La perte de validation atteint son minimum à l'époque 6, puis monte à 0,1267.
Description textuelle du graphique

Le graphique montre l’entraînement conçu pour le surapprentissage, par époque, sur 20 époques de 6 étapes. La perte d’entraînement baisse de 0,507 à l’époque 1 à 0,0307 à l’époque 6. Elle atteint 0,0024 à l’époque 10 et 0,0003 à l’époque 20. La perte de validation baisse de 0,216 à l’époque 1 à sa valeur la plus basse, 0,0851, à l’époque 6. Ensuite, elle monte à 0,1137 à l’époque 8 et termine à 0,1267 à l’époque 20. L’écart entre les deux courbes grandit après l’époque 6.

Le code d’entraînement garde deux adaptateurs. Il sauvegarde best/ à chaque nouveau minimum de perte de validation : ici, à l’étape 36 (époque 6). adapter/ est l’adaptateur après la dernière étape. Garder la version avec la perte de validation la plus basse est l’arrêt anticipé. Cela coûte une passe de validation toutes les quelques étapes et utilise les données de validation pour choisir. Le jugement final exige donc des cas qui n’ont participé à aucun choix : les cas réservés, au module 5.

Un point de contrôle doit contenir tout ce dont l’étape suivante a besoin, pas seulement l’adaptateur :

Cinq cases dans l'ordre. Étapes 1 à 100 : chaque étape ajoute une ligne à log.jsonl. Point de contrôle step-00100 : l'adaptateur, l'état de l'optimiseur, l'état aléatoire, la meilleure perte jusqu'ici. L'entraînement s'arrête : --stop-after 100, un portable fermé, une panne de courant. --resume, dans un nouveau processus : charger step-00100, garder le journal jusqu'à l'étape 100. Étapes 101 à 226 : les mêmes pertes qu'un entraînement jamais arrêté.
Un point de contrôle contient l'adaptateur, l'état de l'optimiseur, l'état aléatoire et la meilleure perte jusqu'ici. Un nouveau processus continue donc exactement là où l'entraînement s'est arrêté.
Description textuelle du diagramme

Le diagramme montre un entraînement dans cinq cases. D’abord, les étapes 1 à 100 s’exécutent, et chacune ajoute une ligne au journal, log.jsonl. À l’étape 100, l’entraînement écrit le point de contrôle step-00100. Il contient l’adaptateur, l’état de l’optimiseur, l’état aléatoire et la meilleure perte de validation jusqu’ici. Ensuite, l’entraînement s’arrête : volontairement avec --stop-after 100, ou parce que le portable s’est fermé ou que le courant a coupé. Plus tard, --resume lance un nouveau processus. Il charge step-00100 et garde le journal jusqu’à l’étape 100. Enfin, les étapes 101 à 226 s’exécutent, avec les mêmes pertes qu’un entraînement jamais arrêté.

L’état de l’optimiseur contient les moyennes mobiles d’AdamW pour chaque nombre entraîné; sans lui, les étapes suivantes diffèrent. L’état aléatoire détermine le prochain motif de dropout (désactivation aléatoire de neurones). L’ordre des lots vient de la graine et de l’époque, donc il n’a pas besoin d’être sauvegardé. L’entraînement garde seulement les 2 points de contrôle les plus récents (keep_checkpoints = 2).

Le cours l’a mesuré deux fois : l’entraînement conçu pour le surapprentissage, arrêté après l’étape 45, et le premier entraînement, arrêté après l’étape 100 (l’exercice guidé ci-dessous). Les deux ont reproduit chaque perte de l’entraînement jamais arrêté. Cela vaut sur le même ordinateur avec les mêmes versions; ailleurs, les derniers chiffres peuvent différer.

Le premier entraînement est terminé, et sa perte de validation baisse encore. Priya l’évalue sur les cas de développement (Comparer aux références de base montre comment). Il choisit la bonne équipe pour 81 des 100 billets. Mais aucun des 23 billets qui exigent une personne n’est envoyé à une personne.

  • Tomás : « La perte baisse encore. Entraînons plus longtemps, et il apprendra quand un billet exige une personne. »
  • Priya : « Un seul changement : 6 époques au lieu de 2, mêmes données, même graine. On décide selon la perte de validation et les cas de développement. Les cas réservés restent fermés. »
  • Kwame : « L’entraînement plus long prend environ 20 minutes sur le processeur. Ça coûte peu. Mais si ça n’aide pas? »
  • Grace : « La perte, ça m’est égal. Un client qui signale une odeur de brûlé provenant d’un produit doit parler à une personne. »

Avant de continuer, répondez à ces questions :

  1. Un deuxième entraînement de 6 époques est-il une expérience équitable? Qu’est-ce qui la rend équitable?
  2. Quel résultat montrerait que plus d’entraînement a corrigé le problème?
  3. Si la perte de validation baisse beaucoup, Grace obtient-elle ce dont elle a besoin?

La réponse du cours. Le deuxième entraînement, lora-r8-long, est équitable : il change seulement epochs = 6. Avec la même graine et les mêmes lots, ses 225 premières étapes sont celles du premier entraînement.

  • Entraînement 2 : perte de validation (6 époques)
  • Entraînement 1 : perte de validation (2 époques)
Le deuxième entraînement prolonge le premier : les mêmes 225 premières étapes, puis une perte de validation qui baisse à 0,0193 à l'étape 678.
Description textuelle du graphique

Le graphique compare la perte de validation des deux entraînements. L’entraînement 1 compte 226 étapes et termine à 0,0584. L’entraînement 2 compte 678 étapes. Jusqu’à l’étape 225, ses valeurs sont les mêmes que celles de l’entraînement 1. Ensuite, la perte continue de baisser : 0,0402 à l’étape 300, 0,0288 à l’étape 400 et 0,0231 à l’étape 500. À l’étape 678, elle atteint 0,0193, sa valeur la plus basse. Elle monte un peu lors de certaines validations, par exemple de 0,0266 à l’étape 425 à 0,0305 à l’étape 475. La tendance reste à la baisse.

La perte de validation a baissé de 0,0584 à 0,0193, et l’acheminement est passé de 81 à 89 des 100 billets de développement. Mais le deuxième entraînement envoie aussi à une personne 0 des 23 billets qui l’exigent. Une perte plus basse n’est pas la solution.

Pourquoi? La perte est une moyenne sur tous les jetons de la réponse, et needs_human représente un jeton de chaque réponse. Seulement 78 des 900 enregistrements d’entraînement exigent une personne, donc « false » est correct pour 91 % d’entre eux. Les 78 suivent une seule règle (H1, sécurité); aucun enregistrement ne montre les règles H2 à H5 ni un billet en français. Plus d’époques répètent les mêmes enregistrements : elles ne peuvent pas enseigner ce que les enregistrements ne contiennent pas. Le module 5 mesure ce que l’adaptateur a appris sur ce seul jeton.

Le cours garde donc le deuxième entraînement comme adaptateur pour le module 5, car il achemine mieux les billets. Il consigne aussi le résultat honnête : plus d’entraînement n’a pas corrigé la décision de sécurité.

Ce qui changerait la réponse : des enregistrements d’entraînement qui exigent une personne pour chaque règle, et des billets en français. Un changement de données, pas d’époques.

Les étapes 4 à 7 exécutent un entraînement : elles sont facultatives et prennent environ 7 minutes et 1,9 Go de mémoire. Sinon, lisez leurs sorties et faites l’étape 8 avec les entraînements enregistrés.

  1. Copiez les fichiers de cette leçon depuis l’instantané. Les entraînements enregistrés sont inclus.

    Fenêtre de terminal
    S=../nextia-learning-labs/C12/snapshots/end-of-m04
    cp $S/adapt/train.py adapt/
    cp $S/configs/lora-r8-long.toml $S/configs/overfit.toml configs/
    cp $S/tests/test_config.py $S/tests/test_train.py $S/tests/tiny.py tests/
    cp -R $S/runs/lora-r8 $S/runs/lora-r8-long $S/runs/overfit runs/
    cp $S/README.md .
  2. Exécutez les tests : python -m pytest. La dernière ligne indique 27 passed, 1 deselected, 1 warning (27 réussis, 1 non sélectionné, 1 avertissement). Un nouveau test arrête et reprend un minuscule modèle aléatoire.

  3. Exécutez le test qui exige le modèle : python -m pytest -m model. Vous voyez 1 passed, 27 deselected (1 réussi, 27 non sélectionnés).

  4. Gardez l’entraînement enregistré sous un autre nom pour pouvoir le comparer plus tard :

    Fenêtre de terminal
    mv runs/lora-r8 runs/lora-r8-recorded
  5. Entraînez et arrêtez après l’étape 100 : python -m adapt train configs/lora-r8.toml --stop-after 100. Cela prend environ 3 minutes. Les avertissements concernant use_cache, tensor.detach() et un fichier de configuration manquant sont normaux. Vous voyez :

    Training lora-r8: 900 records, 226 steps, 460,800 of 134,975,808 parameters trainable (0.34%).
    step 25/226 train loss 0.3257 validation loss 0.2598
    step 50/226 train loss 0.1513 validation loss 0.1491
    step 75/226 train loss 0.1258 validation loss 0.1139
    step 100/226 train loss 0.0846 validation loss 0.0995
    Stopped after step 100 (as asked). Resume with --resume.
  6. Reprenez dans un nouveau processus : python -m adapt train configs/lora-r8.toml --resume. Cela prend environ 4 minutes. Vous voyez :

    Resuming lora-r8 from step-00100 (step 100 of 226).
    Training lora-r8: 900 records, 226 steps, 460,800 of 134,975,808 parameters trainable (0.34%).
    step 125/226 train loss 0.1024 validation loss 0.0880
    step 150/226 train loss 0.1258 validation loss 0.0800
    step 175/226 train loss 0.0571 validation loss 0.0693
    step 200/226 train loss 0.0501 validation loss 0.0595
    step 225/226 train loss 0.0275 validation loss 0.0597
    step 226/226 train loss 0.0350 validation loss 0.0584
    Done: best validation loss 0.0584 at step 226; adapter 1.9 MB in …/ticket-adapter/runs/lora-r8/adapter

    Chaque perte égale celle de l’entraînement enregistré, et le fichier des poids du nouvel adaptateur est identique au fichier enregistré, octet par octet. Votre chemin dans la dernière ligne est différent.

  7. Regardez le dossier : runs/lora-r8 contient adapter, best, checkpoints, log.jsonl et summary.json. checkpoints garde les deux plus récents, step-00200 et step-00226.

  8. Lisez les courbes : python -m adapt curves lora-r8.

    step epoch train loss validation
    25 0.22 0.5818 0.2598
    50 0.44 0.2084 0.1491
    75 0.66 0.1377 0.1139
    100 0.89 0.1182 0.0995
    125 1.11 0.0972 0.0880
    150 1.33 0.0911 0.0800
    175 1.55 0.0723 0.0693
    200 1.77 0.0607 0.0595
    225 1.99 0.0595 0.0597
    226 2.00 0.0350 0.0584 <- lowest validation loss

    Avec les entraînements enregistrés, exécutez aussi python -m adapt curves overfit --every 6. Trouvez la flèche <- lowest validation loss (perte de validation la plus basse) à l’étape 36.

Erreur courante

Un redémarrage qui écraserait un entraînement

Symptôme : après l’arrêt à l’étape 5, Sam exécute la même commande, sans --resume. Elle s’arrête immédiatement :

…/ticket-adapter/runs/lora-r8 exists. Use --resume to continue it, or delete it to start again.

Cause : train() refuse de lancer un entraînement dont le dossier existe, sauf si vous demandez de le reprendre. Sinon, le nouvel entraînement écraserait le journal et les points de contrôle de l’entraînement arrêté.

Solution : ajoutez --resume pour continuer. Pour recommencer volontairement à l’étape 0, supprimez d’abord le dossier de l’entraînement.

Conséquence dans le travail en IA : un entraînement qui redémarre silencieusement mélange deux entraînements dans un seul journal. Ses points de contrôle et best/ peuvent provenir d’entraînements différents. Un refus clair coûte une commande de plus.

Exercice du module : examiner le deuxième entraînement

Section intitulée « Exercice du module : examiner le deuxième entraînement »

Tâche autonome. Analysez le deuxième entraînement, lora-r8-long, comme si vous deviez l’approuver. Utilisez l’entraînement enregistré ou relancez-le d’abord (15 à 20 minutes; déplacez son dossier enregistré comme à l’étape 4).

  1. Exécutez python -m adapt plan configs/lora-r8-long.toml et python -m adapt curves lora-r8-long --every 50.
  2. Rédigez une courte fiche d’entraînement : la configuration exacte, la révision du modèle, les versions des bibliothèques, l’ordinateur et le temps.
  3. Dites à quelle étape vous arrêteriez cet entraînement, et pourquoi. Utilisez la courbe.
  4. Dites ce que la courbe ne peut pas vous apprendre.
Afficher une réponse modèle

plan affiche 678 étapes (113 par époque, 6 époques), 27 validations et 13 points de contrôle :

lora-r8-long: 900 training records, 100 validation records
batch 8, 6 epochs = 113 steps per epoch, 678 steps (5424 examples seen)
validation loss every 25 steps (27 times), checkpoint every 50 steps (13)
LoRA rank 8, alpha 16, dropout 0.05, on q_proj, v_proj; learning rate 0.0002; at most 320 tokens per example; 2 threads

La courbe, toutes les 50 étapes :

step epoch train loss validation
50 0.44 0.3951 0.1491
100 0.89 0.1279 0.0995
150 1.33 0.0942 0.0800
200 1.77 0.0665 0.0595
250 2.21 0.0572 0.0535
300 2.65 0.0429 0.0402
350 3.10 0.0363 0.0381
400 3.54 0.0307 0.0288
450 3.98 0.0266 0.0297
500 4.42 0.0213 0.0231
550 4.87 0.0217 0.0228
600 5.31 0.0178 0.0225
650 5.75 0.0164 0.0194
678 6.00 0.0171 0.0193 <- lowest validation loss
train loss = the mean over the steps of each line; validation = at that step

Fiche d’entraînement. Configuration : configs/lora-r8-long.toml, identique à lora-r8.toml sauf epochs = 6 (graine 12, rang 8, alpha 16, dropout de 0,05 sur q_proj et v_proj, taux d’apprentissage de 2e-4, lot de 8, au plus 320 jetons, 2 fils d’exécution). Données : data/prepared/train.jsonl (900 enregistrements, manifeste 73f29c94b022) et val.jsonl (100, f0b7e6da2e1a). Modèle : HuggingFaceTB/SmolLM2-135M-Instruct à la révision 12fd25f77366fa6b3b4b768ec3050bf629380bac. Bibliothèques : Python 3.12.13, PyTorch 2.14.1, transformers 5.19.0, peft 0.21.2 (d’après runs/lora-r8-long/summary.json). Ordinateur : Apple M4, 2 fils d’exécution; 1 156 secondes (environ 19 minutes), pendant que d’autres tâches s’exécutaient aussi. Mémoire maximale : 1 885 Mo.

Quand arrêter. La perte de validation baisse à 0,0193 à l’étape 678, la dernière étape et la valeur la plus basse. Elle a encore baissé depuis 0,0225 à l’étape 600, donc arrêter plus tôt ferait perdre un peu. Après l’étape 500, elle baisse lentement (0,0231 à l’étape 500, 0,0193 à l’étape 678) et fluctue entre les validations. Un troisième entraînement avec plus d’époques gagnerait peu selon cette mesure. Gardez best/, qui est ici identique à adapter/.

Ce que la courbe ne peut pas dire. Elle ne dit rien sur les billets qui exigent une personne, les billets en français ou les règles H2 à H5. Les enregistrements de validation ne contiennent eux non plus aucun billet en français ni aucun cas H2 à H5. Seule la comparaison sur les cas réservés du cours d’évaluation, au module 5, peut le montrer.

Vérifiez votre compréhension

Pendant un entraînement, la perte d'entraînement passe de 0,09 à 0,01, tandis que la perte de validation passe de 0,08 à 0,12. Que se passe-t-il, que faites-vous et quel adaptateur gardez-vous?

Afficher la réponse

L’adaptateur fait du surapprentissage : il apprend des détails des données d’entraînement qui ne l’aident pas sur de nouvelles données. Arrêtez l’entraînement, ou ne tenez plus compte des étapes suivantes. Gardez l’adaptateur avec la plus faible perte de validation, que ce projet enregistre dans best/, pas le dernier. Évaluez-le ensuite sur des cas réservés qui n’ont pas servi à ce choix.

Vérifiez votre compréhension

Pourquoi un point de contrôle enregistre-t-il l'état de l'optimiseur et l'état aléatoire, et pas seulement l'adaptateur? Que se passerait-il sans eux?

Afficher la réponse

AdamW garde des moyennes courantes pour chaque nombre entraîné. Elles déterminent la taille et la direction des prochaines étapes. Sans elles, l’entraînement repris suit des étapes différentes d’un entraînement qui ne s’est jamais arrêté. L’état aléatoire détermine le prochain schéma de dropout (désactivation aléatoire de neurones). Sans lui, le bruit diffère aussi. L’entraînement repris fonctionnerait encore, mais ce ne serait pas celui que vous aviez planifié. Son journal mélangerait deux entraînements différents. Avec les deux états enregistrés, les 140 lignes du journal de l’entraînement en surapprentissage étaient identiques après une reprise.

Vérifiez votre compréhension

Vérification de fin : expliquez quand le premier entraînement du cours devrait s'arrêter. Notez ce qu'il faut pour le répéter exactement. Dites ensuite quelles preuves vous feraient changer d'avis sur son point d'arrêt.

Afficher la réponse

Quand arrêter. Arrêtez quand la perte de validation cesse de diminuer ou commence à augmenter. Gardez la version avec la plus faible perte de validation. Le premier entraînement n’a jamais atteint ce point. Sa perte de validation est passée de 0,2598 à 0,0584 et diminuait encore à sa dernière étape, 226. Son point d’arrêt venait donc du plan (2 époques), pas de la courbe. C’était la raison du deuxième entraînement, avec un seul changement : 6 époques. Sa plus faible perte de validation, 0,0193, se trouve aussi à sa dernière étape.

Quoi noter. Le fichier de configuration configs/lora-r8.toml (graine aléatoire 12, rang 8, alpha 16, dropout 0,05 sur q_proj et v_proj, taux d’apprentissage 2e-4, lot de 8, 2 époques, au plus 320 jetons, validation toutes les 25 étapes, point de contrôle toutes les 50 étapes, 2 fils d’exécution). Les fichiers de données et leurs manifestes (73f29c94b022, f0b7e6da2e1a). Le modèle et sa révision (12fd25f77366…), les fichiers du segmenteur en jetons dans model/, et les versions des bibliothèques (PyTorch 2.14.1, transformers 5.19.0, peft 0.21.2). L’ordinateur : Apple M4, 2 fils d’exécution, 367 secondes, maximum de 1 882 Mo.

Ce qui me ferait changer d’avis. Une perte de validation qui augmente avant la dernière étape : il faudrait alors arrêter plus tôt et garder best/. Des résultats sur les cas réservés qui se dégradent pendant que la perte de validation diminue. Les données de validation ne ressemblent alors pas aux vrais billets de soutien. Et un résultat mesuré qui compte plus que la perte, comme les 0 billets sur 23 acheminés à une personne. Cela montre qu’aucun point d’arrêt ne corrige une lacune dans les données.

Récapitulatif

  • La perte d’entraînement indique à quel point l’adaptateur s’ajuste aux données sur lesquelles il s’exerce. La perte de validation indique sa performance sur de nouvelles données, avec 100 exemples jamais utilisés pour l’entraîner. Lisez les deux.
  • Les deux diminuent : il apprend encore. La validation stagne : arrêtez. L’entraînement diminue tandis que la validation augmente : surapprentissage. Gardez best/, l’adaptateur avec la plus faible perte de validation (époque 6 de l’entraînement en surapprentissage, 0,0851).
  • Un point de contrôle contient l’adaptateur, l’état de l’optimiseur, l’état aléatoire et la meilleure perte obtenue jusque-là. Un entraînement repris a donné les mêmes pertes à chaque étape qu’un entraînement qui ne s’est jamais arrêté.
  • La perte de validation du premier entraînement diminuait encore. Un deuxième entraînement a donc changé une seule chose : 6 époques. La perte de validation est descendue à 0,0193 et l’acheminement s’est amélioré (de 81 à 89 sur 100). Mais l’adaptateur n’a toujours acheminé à une personne aucun des 23 billets nécessitant une intervention humaine. Une perte plus faible n’a pas corrigé une lacune dans les données.

Ce module, en bref : vous pouvez planifier un entraînement avec un seul fichier de configuration et fixer les versions du modèle et des bibliothèques. Vous pouvez mesurer sa mémoire, lire ses courbes, garder le meilleur adaptateur et reprendre un entraînement arrêté.

Réinitialisation. Si vous avez entraîné le modèle aux étapes 4 à 7, supprimez runs/lora-r8 et renommez runs/lora-r8-recorded en runs/lora-r8 : les deux contiennent les mêmes pertes. Si votre projet ne fonctionne plus, copiez l’instantané end-of-m04 comme dans Utiliser un instantané. Il contient les trois entraînements enregistrés, donc vous n’avez pas besoin d’entraîner le modèle. Recréez l’environnement virtuel et installez les bibliothèques comme à l’étape 3 de Planifier et configurer l’entraînement. Supprimez les points de contrôle de vos propres entraînements quand vous n’en avez plus besoin.

Ensuite, le module 5 compare l’adaptateur à l’assistant hébergé, au modèle de base et à un classificateur simple. Tous utilisent les mêmes cas réservés.

Leçon suivante : Comparer aux références de base