Surveiller et reprendre
- Leçon 8
- 45 min
- Module 4 : Mener une expérience contrôlée
Où nous en sommes
Dans la dernière leçon, nous avons planifié l'entraînement dans un seul fichier de configuration, avec ses étapes, ses validations et ses points de contrôle. Maintenant, il s'entraîne. Mais une perte d'entraînement qui continue de baisser ne prouve pas que l'adaptateur s'améliore, et un entraînement arrêté ne doit pas perdre son travail. Dans cette leçon, nous lisons les deux courbes, gardons le meilleur adaptateur et reprenons depuis un point de contrôle, comme les sauvegardes dans un jeu.
Leçon 8 sur 12 · Réglage fin et adaptation des modèles d'IASurveiller et reprendre
1. Décider s'il faut adapter le modèle
2. Préparer des données d'entraînement fiables
3. Comprendre les méthodes d'adaptation
4. Mener une expérience contrôlée
5. Évaluer au-delà de la perte d'entraînement
6. Empaqueter et maintenir l'adaptation
7. Études de cas
Ce que vous saurez faire
Surveillez un entraînement, décidez quand l’arrêter et reprenez un entraînement arrêté sans perdre votre travail. Une perte d’entraînement qui continue de baisser ne prouve pas que l’adaptateur s’améliore.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le plan de l’entraînement, son fichier de configuration et ce qu’est un point de contrôle, dans Planifier et configurer l’entraînement.
- Le surapprentissage et l’arrêt anticipé, dans Limiter le surapprentissage du cours L’apprentissage profond et les transformeurs expliqués.
Ce qu’il vous faut sur votre ordinateur
- Le projet après Planifier et configurer l’entraînement :
python -m adapt plan configs/lora-r8.tomlaffiche226 steps(226 étapes), et le modèle est téléchargé. - Pour l’entraînement facultatif : environ 7 minutes et 2 Go de mémoire libre. Sinon, vous lisez les entraînements enregistrés du cours.
Testé sur macOS (Apple silicon) avec Python 3.12.13, PyTorch 2.14.1, transformers 5.19.0 et peft 0.21.2. Les commandes Windows et Linux sont fournies, mais n’ont pas été testées.
Les sauvegardes dans un jeu
Section intitulée « Les sauvegardes dans un jeu »Dans un long jeu vidéo, vous sauvegardez avant un niveau difficile. Si le courant coupe, vous perdez seulement les minutes depuis la dernière sauvegarde. Les bons joueurs gardent aussi la sauvegarde de leur meilleur moment. Ils y reviennent si un choix ultérieur aggrave la situation.
Un entraînement a besoin des mêmes trois choses. Il sauvegarde pour continuer après un arrêt. Il garde la meilleure version. Et il affiche le bon nombre pour déterminer quelle version est la meilleure.
Le problème : le nombre qui semble parfait
Section intitulée « Le problème : le nombre qui semble parfait »Le cours propose un entraînement conçu pour provoquer le surapprentissage, configs/overfit.toml : 48 enregistrements, 20 époques, un taux d’apprentissage élevé (0,001) et un rang de 16. À la fin, la perte d’entraînement est de 0,0003, presque zéro. Si vous regardez seulement ce nombre, l’adaptateur semble parfait.
Il ne l’est pas. Sur les cas de développement du cours d’évaluation, il choisit la bonne équipe pour 69 des 100 billets de soutien. L’entraînement principal la choisit pour 81 billets. La perte d’entraînement mesure seulement les enregistrements d’entraînement de l’adaptateur. Et si le portable se ferme à l’étape 200 d’un entraînement de 20 minutes, sans état sauvegardé, l’entraînement recommence à l’étape 0.
Lire les deux courbes
Section intitulée « Lire les deux courbes »Deux nombres répondent à deux questions différentes :
- La perte d’entraînement utilise le lot dont l’adaptateur vient d’apprendre : « Reproduit-il bien ce sur quoi il s’exerce? » Un lot contient seulement 8 enregistrements, donc la valeur varie d’une étape à l’autre. Lisez sa moyenne sur 25 étapes.
- La perte de validation utilise les mêmes 100 enregistrements de validation chaque fois. L’adaptateur ne s’entraîne jamais sur eux : « Réussit-il sur des enregistrements qu’il n’a pas vus? »
Dans ce projet, les deux pertes comptent seulement les jetons (tokens) de la réponse : l’objet JSON et la marque de fin. Voici le premier entraînement du cours, lora-r8 :
- Perte d'entraînement (moyenne de 25 étapes)
- Perte de validation
Description textuelle du graphique
Le graphique montre les deux pertes du premier entraînement sur ses 226 étapes. La perte d’entraînement, en moyenne sur chaque groupe de 25 étapes, baisse de 0,58 (étapes 1 à 25) à 0,06 (étapes 201 à 225). La perte de validation baisse de 0,2598 à l’étape 25 à 0,0995 à l’étape 100 et à 0,0595 à l’étape 200. Elle est de 0,0597 à l’étape 225 et de 0,0584 à l’étape 226, sa valeur la plus basse. Les points pleins sur la ligne de validation marquent les cinq points de contrôle, aux étapes 50, 100, 150, 200 et 226.
Repérez trois tendances dans les courbes :
- Les deux baissent : l’adaptateur apprend encore des choses utiles sur de nouveaux enregistrements. Un entraînement plus long peut aider.
- La perte de validation cesse de baisser : poursuivre l’entraînement n’aide pas. Arrêtez.
- La perte d’entraînement baisse et la perte de validation monte : l’adaptateur apprend des détails de ses enregistrements qui ne fonctionnent pas sur d’autres. C’est du surapprentissage. Arrêtez et gardez la version avec la perte de validation la plus basse.
Le premier entraînement suit la tendance 1, comme le montre le graphique : l’entraînement n’était pas terminé.
Une quatrième tendance est un entraînement instable : la perte monte brusquement et reste élevée, ou devient « nan ». La cause habituelle est un taux d’apprentissage trop élevé (Taux d’apprentissage et optimiseurs). Les entraînements du cours montrent seulement du bruit : certaines étapes varient brusquement, mais la moyenne sur 25 étapes continue de baisser.
Le surapprentissage et le meilleur adaptateur
Section intitulée « Le surapprentissage et le meilleur adaptateur »L’entraînement conçu pour le surapprentissage fait une validation par époque. Voici les époques 4 à 8 (python -m adapt curves overfit --every 6) :
| Époque | Perte d’entraînement | Perte de validation |
|---|---|---|
| 4 | 0.0842 | 0.1007 |
| 5 | 0.0494 | 0.0889 |
| 6 | 0.0307 | 0.0851 |
| 7 | 0.0163 | 0.0949 |
| 8 | 0.0074 | 0.1137 |
Après l’époque 6, la perte d’entraînement continue de baisser et la perte de validation monte. Le graphique montre les 20 époques :
- Perte d'entraînement (moyenne de l'époque)
- Perte de validation
Description textuelle du graphique
Le graphique montre l’entraînement conçu pour le surapprentissage, par époque, sur 20 époques de 6 étapes. La perte d’entraînement baisse de 0,507 à l’époque 1 à 0,0307 à l’époque 6. Elle atteint 0,0024 à l’époque 10 et 0,0003 à l’époque 20. La perte de validation baisse de 0,216 à l’époque 1 à sa valeur la plus basse, 0,0851, à l’époque 6. Ensuite, elle monte à 0,1137 à l’époque 8 et termine à 0,1267 à l’époque 20. L’écart entre les deux courbes grandit après l’époque 6.
Le code d’entraînement garde deux adaptateurs. Il sauvegarde best/ à chaque nouveau minimum de perte de validation : ici, à l’étape 36 (époque 6). adapter/ est l’adaptateur après la dernière étape. Garder la version avec la perte de validation la plus basse est l’arrêt anticipé. Cela coûte une passe de validation toutes les quelques étapes et utilise les données de validation pour choisir. Le jugement final exige donc des cas qui n’ont participé à aucun choix : les cas réservés, au module 5.
Points de contrôle et reprise
Section intitulée « Points de contrôle et reprise »Un point de contrôle doit contenir tout ce dont l’étape suivante a besoin, pas seulement l’adaptateur :
Description textuelle du diagramme
Le diagramme montre un entraînement dans cinq cases. D’abord, les étapes 1 à 100 s’exécutent, et chacune ajoute une ligne au journal, log.jsonl. À l’étape 100, l’entraînement écrit le point de contrôle step-00100. Il contient l’adaptateur, l’état de l’optimiseur, l’état aléatoire et la meilleure perte de validation jusqu’ici. Ensuite, l’entraînement s’arrête : volontairement avec --stop-after 100, ou parce que le portable s’est fermé ou que le courant a coupé. Plus tard, --resume lance un nouveau processus. Il charge step-00100 et garde le journal jusqu’à l’étape 100. Enfin, les étapes 101 à 226 s’exécutent, avec les mêmes pertes qu’un entraînement jamais arrêté.
L’état de l’optimiseur contient les moyennes mobiles d’AdamW pour chaque nombre entraîné; sans lui, les étapes suivantes diffèrent. L’état aléatoire détermine le prochain motif de dropout (désactivation aléatoire de neurones). L’ordre des lots vient de la graine et de l’époque, donc il n’a pas besoin d’être sauvegardé. L’entraînement garde seulement les 2 points de contrôle les plus récents (keep_checkpoints = 2).
Le cours l’a mesuré deux fois : l’entraînement conçu pour le surapprentissage, arrêté après l’étape 45, et le premier entraînement, arrêté après l’étape 100 (l’exercice guidé ci-dessous). Les deux ont reproduit chaque perte de l’entraînement jamais arrêté. Cela vaut sur le même ordinateur avec les mêmes versions; ailleurs, les derniers chiffres peuvent différer.
Discussion : entraîner plus longtemps?
Section intitulée « Discussion : entraîner plus longtemps? »Le premier entraînement est terminé, et sa perte de validation baisse encore. Priya l’évalue sur les cas de développement (Comparer aux références de base montre comment). Il choisit la bonne équipe pour 81 des 100 billets. Mais aucun des 23 billets qui exigent une personne n’est envoyé à une personne.
- Tomás : « La perte baisse encore. Entraînons plus longtemps, et il apprendra quand un billet exige une personne. »
- Priya : « Un seul changement : 6 époques au lieu de 2, mêmes données, même graine. On décide selon la perte de validation et les cas de développement. Les cas réservés restent fermés. »
- Kwame : « L’entraînement plus long prend environ 20 minutes sur le processeur. Ça coûte peu. Mais si ça n’aide pas? »
- Grace : « La perte, ça m’est égal. Un client qui signale une odeur de brûlé provenant d’un produit doit parler à une personne. »
Avant de continuer, répondez à ces questions :
- Un deuxième entraînement de 6 époques est-il une expérience équitable? Qu’est-ce qui la rend équitable?
- Quel résultat montrerait que plus d’entraînement a corrigé le problème?
- Si la perte de validation baisse beaucoup, Grace obtient-elle ce dont elle a besoin?
La réponse du cours. Le deuxième entraînement, lora-r8-long, est équitable : il change seulement epochs = 6. Avec la même graine et les mêmes lots, ses 225 premières étapes sont celles du premier entraînement.
- Entraînement 2 : perte de validation (6 époques)
- Entraînement 1 : perte de validation (2 époques)
Description textuelle du graphique
Le graphique compare la perte de validation des deux entraînements. L’entraînement 1 compte 226 étapes et termine à 0,0584. L’entraînement 2 compte 678 étapes. Jusqu’à l’étape 225, ses valeurs sont les mêmes que celles de l’entraînement 1. Ensuite, la perte continue de baisser : 0,0402 à l’étape 300, 0,0288 à l’étape 400 et 0,0231 à l’étape 500. À l’étape 678, elle atteint 0,0193, sa valeur la plus basse. Elle monte un peu lors de certaines validations, par exemple de 0,0266 à l’étape 425 à 0,0305 à l’étape 475. La tendance reste à la baisse.
La perte de validation a baissé de 0,0584 à 0,0193, et l’acheminement est passé de 81 à 89 des 100 billets de développement. Mais le deuxième entraînement envoie aussi à une personne 0 des 23 billets qui l’exigent. Une perte plus basse n’est pas la solution.
Pourquoi? La perte est une moyenne sur tous les jetons de la réponse, et needs_human représente un jeton de chaque réponse. Seulement 78 des 900 enregistrements d’entraînement exigent une personne, donc « false » est correct pour 91 % d’entre eux. Les 78 suivent une seule règle (H1, sécurité); aucun enregistrement ne montre les règles H2 à H5 ni un billet en français. Plus d’époques répètent les mêmes enregistrements : elles ne peuvent pas enseigner ce que les enregistrements ne contiennent pas. Le module 5 mesure ce que l’adaptateur a appris sur ce seul jeton.
Le cours garde donc le deuxième entraînement comme adaptateur pour le module 5, car il achemine mieux les billets. Il consigne aussi le résultat honnête : plus d’entraînement n’a pas corrigé la décision de sécurité.
Ce qui changerait la réponse : des enregistrements d’entraînement qui exigent une personne pour chaque règle, et des billets en français. Un changement de données, pas d’époques.
Exercice guidé : entraîner, arrêter et reprendre
Section intitulée « Exercice guidé : entraîner, arrêter et reprendre »Les étapes 4 à 7 exécutent un entraînement : elles sont facultatives et prennent environ 7 minutes et 1,9 Go de mémoire. Sinon, lisez leurs sorties et faites l’étape 8 avec les entraînements enregistrés.
-
Copiez les fichiers de cette leçon depuis l’instantané. Les entraînements enregistrés sont inclus.
Fenêtre de terminal S=../nextia-learning-labs/C12/snapshots/end-of-m04cp $S/adapt/train.py adapt/cp $S/configs/lora-r8-long.toml $S/configs/overfit.toml configs/cp $S/tests/test_config.py $S/tests/test_train.py $S/tests/tiny.py tests/cp -R $S/runs/lora-r8 $S/runs/lora-r8-long $S/runs/overfit runs/cp $S/README.md .Fenêtre de terminal $S = "..\nextia-learning-labs\C12\snapshots\end-of-m04"Copy-Item $S\adapt\train.py adapt\Copy-Item $S\configs\lora-r8-long.toml, $S\configs\overfit.toml configs\Copy-Item $S\tests\test_config.py, $S\tests\test_train.py, $S\tests\tiny.py tests\Copy-Item -Recurse $S\runs\lora-r8, $S\runs\lora-r8-long, $S\runs\overfit runs\Copy-Item $S\README.md . -
Exécutez les tests :
python -m pytest. La dernière ligne indique27 passed, 1 deselected, 1 warning(27 réussis, 1 non sélectionné, 1 avertissement). Un nouveau test arrête et reprend un minuscule modèle aléatoire. -
Exécutez le test qui exige le modèle :
python -m pytest -m model. Vous voyez1 passed, 27 deselected(1 réussi, 27 non sélectionnés). -
Gardez l’entraînement enregistré sous un autre nom pour pouvoir le comparer plus tard :
Fenêtre de terminal mv runs/lora-r8 runs/lora-r8-recordedFenêtre de terminal Rename-Item runs\lora-r8 lora-r8-recorded -
Entraînez et arrêtez après l’étape 100 :
python -m adapt train configs/lora-r8.toml --stop-after 100. Cela prend environ 3 minutes. Les avertissements concernantuse_cache,tensor.detach()et un fichier de configuration manquant sont normaux. Vous voyez :Training lora-r8: 900 records, 226 steps, 460,800 of 134,975,808 parameters trainable (0.34%).step 25/226 train loss 0.3257 validation loss 0.2598step 50/226 train loss 0.1513 validation loss 0.1491step 75/226 train loss 0.1258 validation loss 0.1139step 100/226 train loss 0.0846 validation loss 0.0995Stopped after step 100 (as asked). Resume with --resume. -
Reprenez dans un nouveau processus :
python -m adapt train configs/lora-r8.toml --resume. Cela prend environ 4 minutes. Vous voyez :Resuming lora-r8 from step-00100 (step 100 of 226).Training lora-r8: 900 records, 226 steps, 460,800 of 134,975,808 parameters trainable (0.34%).step 125/226 train loss 0.1024 validation loss 0.0880step 150/226 train loss 0.1258 validation loss 0.0800step 175/226 train loss 0.0571 validation loss 0.0693step 200/226 train loss 0.0501 validation loss 0.0595step 225/226 train loss 0.0275 validation loss 0.0597step 226/226 train loss 0.0350 validation loss 0.0584Done: best validation loss 0.0584 at step 226; adapter 1.9 MB in …/ticket-adapter/runs/lora-r8/adapterChaque perte égale celle de l’entraînement enregistré, et le fichier des poids du nouvel adaptateur est identique au fichier enregistré, octet par octet. Votre chemin dans la dernière ligne est différent.
-
Regardez le dossier :
runs/lora-r8contientadapter,best,checkpoints,log.jsonletsummary.json.checkpointsgarde les deux plus récents,step-00200etstep-00226. -
Lisez les courbes :
python -m adapt curves lora-r8.step epoch train loss validation25 0.22 0.5818 0.259850 0.44 0.2084 0.149175 0.66 0.1377 0.1139100 0.89 0.1182 0.0995125 1.11 0.0972 0.0880150 1.33 0.0911 0.0800175 1.55 0.0723 0.0693200 1.77 0.0607 0.0595225 1.99 0.0595 0.0597226 2.00 0.0350 0.0584 <- lowest validation lossAvec les entraînements enregistrés, exécutez aussi
python -m adapt curves overfit --every 6. Trouvez la flèche<- lowest validation loss(perte de validation la plus basse) à l’étape 36.
Erreur courante
Un redémarrage qui écraserait un entraînement
Symptôme : après l’arrêt à l’étape 5, Sam exécute la même commande, sans --resume. Elle s’arrête immédiatement :
…/ticket-adapter/runs/lora-r8 exists. Use --resume to continue it, or delete it to start again.Cause : train() refuse de lancer un entraînement dont le dossier existe, sauf si vous demandez de le reprendre. Sinon, le nouvel entraînement écraserait le journal et les points de contrôle de l’entraînement arrêté.
Solution : ajoutez --resume pour continuer. Pour recommencer volontairement à l’étape 0, supprimez d’abord le dossier de l’entraînement.
Conséquence dans le travail en IA : un entraînement qui redémarre silencieusement mélange deux entraînements dans un seul journal. Ses points de contrôle et best/ peuvent provenir d’entraînements différents. Un refus clair coûte une commande de plus.
Exercice du module : examiner le deuxième entraînement
Section intitulée « Exercice du module : examiner le deuxième entraînement »Tâche autonome. Analysez le deuxième entraînement, lora-r8-long, comme si vous deviez l’approuver. Utilisez l’entraînement enregistré ou relancez-le d’abord (15 à 20 minutes; déplacez son dossier enregistré comme à l’étape 4).
- Exécutez
python -m adapt plan configs/lora-r8-long.tomletpython -m adapt curves lora-r8-long --every 50. - Rédigez une courte fiche d’entraînement : la configuration exacte, la révision du modèle, les versions des bibliothèques, l’ordinateur et le temps.
- Dites à quelle étape vous arrêteriez cet entraînement, et pourquoi. Utilisez la courbe.
- Dites ce que la courbe ne peut pas vous apprendre.
Afficher une réponse modèle
plan affiche 678 étapes (113 par époque, 6 époques), 27 validations et 13 points de contrôle :
lora-r8-long: 900 training records, 100 validation records batch 8, 6 epochs = 113 steps per epoch, 678 steps (5424 examples seen) validation loss every 25 steps (27 times), checkpoint every 50 steps (13) LoRA rank 8, alpha 16, dropout 0.05, on q_proj, v_proj; learning rate 0.0002; at most 320 tokens per example; 2 threadsLa courbe, toutes les 50 étapes :
step epoch train loss validation 50 0.44 0.3951 0.1491 100 0.89 0.1279 0.0995 150 1.33 0.0942 0.0800 200 1.77 0.0665 0.0595 250 2.21 0.0572 0.0535 300 2.65 0.0429 0.0402 350 3.10 0.0363 0.0381 400 3.54 0.0307 0.0288 450 3.98 0.0266 0.0297 500 4.42 0.0213 0.0231 550 4.87 0.0217 0.0228 600 5.31 0.0178 0.0225 650 5.75 0.0164 0.0194 678 6.00 0.0171 0.0193 <- lowest validation losstrain loss = the mean over the steps of each line; validation = at that stepFiche d’entraînement. Configuration : configs/lora-r8-long.toml, identique à lora-r8.toml sauf epochs = 6 (graine 12, rang 8, alpha 16, dropout de 0,05 sur q_proj et v_proj, taux d’apprentissage de 2e-4, lot de 8, au plus 320 jetons, 2 fils d’exécution). Données : data/prepared/train.jsonl (900 enregistrements, manifeste 73f29c94b022) et val.jsonl (100, f0b7e6da2e1a). Modèle : HuggingFaceTB/SmolLM2-135M-Instruct à la révision 12fd25f77366fa6b3b4b768ec3050bf629380bac. Bibliothèques : Python 3.12.13, PyTorch 2.14.1, transformers 5.19.0, peft 0.21.2 (d’après runs/lora-r8-long/summary.json). Ordinateur : Apple M4, 2 fils d’exécution; 1 156 secondes (environ 19 minutes), pendant que d’autres tâches s’exécutaient aussi. Mémoire maximale : 1 885 Mo.
Quand arrêter. La perte de validation baisse à 0,0193 à l’étape 678, la dernière étape et la valeur la plus basse. Elle a encore baissé depuis 0,0225 à l’étape 600, donc arrêter plus tôt ferait perdre un peu. Après l’étape 500, elle baisse lentement (0,0231 à l’étape 500, 0,0193 à l’étape 678) et fluctue entre les validations. Un troisième entraînement avec plus d’époques gagnerait peu selon cette mesure. Gardez best/, qui est ici identique à adapter/.
Ce que la courbe ne peut pas dire. Elle ne dit rien sur les billets qui exigent une personne, les billets en français ou les règles H2 à H5. Les enregistrements de validation ne contiennent eux non plus aucun billet en français ni aucun cas H2 à H5. Seule la comparaison sur les cas réservés du cours d’évaluation, au module 5, peut le montrer.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pendant un entraînement, la perte d'entraînement passe de 0,09 à 0,01, tandis que la perte de validation passe de 0,08 à 0,12. Que se passe-t-il, que faites-vous et quel adaptateur gardez-vous?
Afficher la réponse
L’adaptateur fait du surapprentissage : il apprend des détails des données d’entraînement qui ne l’aident pas sur de nouvelles données. Arrêtez l’entraînement, ou ne tenez plus compte des étapes suivantes. Gardez l’adaptateur avec la plus faible perte de validation, que ce projet enregistre dans best/, pas le dernier. Évaluez-le ensuite sur des cas réservés qui n’ont pas servi à ce choix.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi un point de contrôle enregistre-t-il l'état de l'optimiseur et l'état aléatoire, et pas seulement l'adaptateur? Que se passerait-il sans eux?
Afficher la réponse
AdamW garde des moyennes courantes pour chaque nombre entraîné. Elles déterminent la taille et la direction des prochaines étapes. Sans elles, l’entraînement repris suit des étapes différentes d’un entraînement qui ne s’est jamais arrêté. L’état aléatoire détermine le prochain schéma de dropout (désactivation aléatoire de neurones). Sans lui, le bruit diffère aussi. L’entraînement repris fonctionnerait encore, mais ce ne serait pas celui que vous aviez planifié. Son journal mélangerait deux entraînements différents. Avec les deux états enregistrés, les 140 lignes du journal de l’entraînement en surapprentissage étaient identiques après une reprise.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification de fin : expliquez quand le premier entraînement du cours devrait s'arrêter. Notez ce qu'il faut pour le répéter exactement. Dites ensuite quelles preuves vous feraient changer d'avis sur son point d'arrêt.
Afficher la réponse
Quand arrêter. Arrêtez quand la perte de validation cesse de diminuer ou commence à augmenter. Gardez la version avec la plus faible perte de validation. Le premier entraînement n’a jamais atteint ce point. Sa perte de validation est passée de 0,2598 à 0,0584 et diminuait encore à sa dernière étape, 226. Son point d’arrêt venait donc du plan (2 époques), pas de la courbe. C’était la raison du deuxième entraînement, avec un seul changement : 6 époques. Sa plus faible perte de validation, 0,0193, se trouve aussi à sa dernière étape.
Quoi noter. Le fichier de configuration configs/lora-r8.toml (graine aléatoire 12, rang 8, alpha 16, dropout 0,05 sur q_proj et v_proj, taux d’apprentissage 2e-4, lot de 8, 2 époques, au plus 320 jetons, validation toutes les 25 étapes, point de contrôle toutes les 50 étapes, 2 fils d’exécution). Les fichiers de données et leurs manifestes (73f29c94b022, f0b7e6da2e1a). Le modèle et sa révision (12fd25f77366…), les fichiers du segmenteur en jetons dans model/, et les versions des bibliothèques (PyTorch 2.14.1, transformers 5.19.0, peft 0.21.2). L’ordinateur : Apple M4, 2 fils d’exécution, 367 secondes, maximum de 1 882 Mo.
Ce qui me ferait changer d’avis. Une perte de validation qui augmente avant la dernière étape : il faudrait alors arrêter plus tôt et garder best/. Des résultats sur les cas réservés qui se dégradent pendant que la perte de validation diminue. Les données de validation ne ressemblent alors pas aux vrais billets de soutien. Et un résultat mesuré qui compte plus que la perte, comme les 0 billets sur 23 acheminés à une personne. Cela montre qu’aucun point d’arrêt ne corrige une lacune dans les données.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La perte d’entraînement indique à quel point l’adaptateur s’ajuste aux données sur lesquelles il s’exerce. La perte de validation indique sa performance sur de nouvelles données, avec 100 exemples jamais utilisés pour l’entraîner. Lisez les deux.
- Les deux diminuent : il apprend encore. La validation stagne : arrêtez. L’entraînement diminue tandis que la validation augmente : surapprentissage. Gardez
best/, l’adaptateur avec la plus faible perte de validation (époque 6 de l’entraînement en surapprentissage, 0,0851). - Un point de contrôle contient l’adaptateur, l’état de l’optimiseur, l’état aléatoire et la meilleure perte obtenue jusque-là. Un entraînement repris a donné les mêmes pertes à chaque étape qu’un entraînement qui ne s’est jamais arrêté.
- La perte de validation du premier entraînement diminuait encore. Un deuxième entraînement a donc changé une seule chose : 6 époques. La perte de validation est descendue à 0,0193 et l’acheminement s’est amélioré (de 81 à 89 sur 100). Mais l’adaptateur n’a toujours acheminé à une personne aucun des 23 billets nécessitant une intervention humaine. Une perte plus faible n’a pas corrigé une lacune dans les données.
Ce module, en bref : vous pouvez planifier un entraînement avec un seul fichier de configuration et fixer les versions du modèle et des bibliothèques. Vous pouvez mesurer sa mémoire, lire ses courbes, garder le meilleur adaptateur et reprendre un entraînement arrêté.
Réinitialisation. Si vous avez entraîné le modèle aux étapes 4 à 7, supprimez runs/lora-r8 et renommez runs/lora-r8-recorded en runs/lora-r8 : les deux contiennent les mêmes pertes. Si votre projet ne fonctionne plus, copiez l’instantané end-of-m04 comme dans Utiliser un instantané. Il contient les trois entraînements enregistrés, donc vous n’avez pas besoin d’entraîner le modèle. Recréez l’environnement virtuel et installez les bibliothèques comme à l’étape 3 de Planifier et configurer l’entraînement. Supprimez les points de contrôle de vos propres entraînements quand vous n’en avez plus besoin.
Ensuite, le module 5 compare l’adaptateur à l’assistant hébergé, au modèle de base et à un classificateur simple. Tous utilisent les mêmes cas réservés.
Leçon suivante : Comparer aux références de base