Aller au contenu
English

Planifier le cycle de vie

  • Leçon 12
  • 40 min
  • Module 6 : Empaqueter et maintenir l'adaptation

Où nous en sommes

Dans la dernière leçon, nous avons empaqueté l'adaptateur dans un paquet qui vérifie son modèle de base, et nous avons nommé la version de retour. La décision reste « ne pas livrer ». Mais un « non » qui ne laisse aucune trace gaspille le travail, et la tentative suivante peut répéter la même erreur. Dans cette leçon, nous écrivons un plan de cycle de vie : ce que nous gardons, ce qui justifierait un nouvel essai et ce qui doit exister avant tout déploiement, comme la feuille d'un examen de conduite raté.

Leçon 12 sur 12 · Réglage fin et adaptation des modèles d'IAPlanifier le cycle de vie

Ce que vous saurez faire

« Ne pas livrer » est un résultat, qui exige aussi un plan. Vous notez ce que l’équipe conserve et ce qui justifierait une nouvelle tentative. Vous précisez ce qui doit exister avant tout déploiement et les licences à revoir.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • ~/projects/ticket-adapter après la leçon précédente, avec .venv actif : python -m pytest se termine par 36 passed, 3 deselected (36 tests réussis, 3 désélectionnés), et bundle/ existe. Sinon, refaites les étapes de Créer l’ensemble.

Testé avec Python 3.12.13 sur macOS (Apple silicon). Les commandes Windows sont fournies, mais n’ont pas été testées.

Vous ratez un examen de conduite. La fiche de l’examinateur indique deux erreurs, toutes deux à des intersections. Vous gardez la fiche. Vous ne pratiquez pas le stationnement, que vous réussissez déjà. Vous pratiquez les intersections, puis réservez un nouvel examen sur un trajet que vous n’avez jamais parcouru.

Le problème : un « non » qui ne laisse aucune trace

Section intitulée « Le problème : un « non » qui ne laisse aucune trace »

Imaginez que l’équipe supprime runs/ et bundle/ après la note de résultats. Des mois plus tard, Tomás propose un troisième entraînement : « 12 époques. La perte sera encore plus basse. » Sans les traces, une perte plus basse ressemble à un progrès.

Les traces disent autre chose. Le deuxième entraînement a seulement changé le nombre d’époques, de 2 à 6 :

Entraînement Perte de validation Équipe (dev) Besoin d’une personne, détecté (dev)
lora-r8, 2 époques 0,0584 81 sur 100 0 sur 23
lora-r8-long, 6 époques 0,0193 89 sur 100 0 sur 23

Un entraînement plus long sur les mêmes données a amélioré l’acheminement, sans changer la décision de sécurité.

Un plan de cycle de vie décrit ce qui arrive au modèle après la décision, en quatre parties :

  1. Conserver les preuves : le paquet, les configurations, le manifeste des données et les enregistrements rejetés, les réponses sauvegardées et les notes.
  2. Déclencheurs de réentraînement : des événements, définis à l’avance, qui lancent une nouvelle tentative.
  3. Avant tout déploiement : la surveillance, les corrections, le retour arrière et la vérification de compatibilité.
  4. Révisions des licences : quand vérifier de nouveau les conditions du modèle de base, des données et des bibliothèques.

La surveillance consiste à compter ce que fait un modèle déployé, chaque semaine. Les corrections des données corrigent des étiquettes erronées trouvées lors d’une révision, en gardant une trace.

Rangée du haut : entraîné, 2 entraînements avec un seul changement; comparé, sur dev puis une seule fois sur les données réservées; empaqueté et vérifié, 6 vérifications sur 8; décision : ne pas livrer. Le chemin suivi descend : conserver les preuves (paquet, configurations, manifeste des données, enregistrements rejetés, réponses sauvegardées, notes de décision et de résultats); puis surveiller les déclencheurs : 1 exemples révisés des règles H1 à H5 et en français, 2 changement du prix ou des conditions du modèle hébergé, 3 nouveau modèle de base avec une licence permissive. Quand un déclencheur s'active : une nouvelle tentative, avec préparation, un entraînement, comparaison sur dev, décision, lecture unique des données réservées, puis retour au début. Un chemin en pointillé, non suivi, exigerait des résultats réussis : vérification à chaque démarrage, révision hebdomadaire des transferts manqués d'abord, étiquettes erronées dans un fichier de corrections, retour arrière vers l'assistant hébergé, révision des licences à chaque nouvelle version.
Le cycle de vie de l'adaptateur : le chemin suivi par l'équipe après la décision, et celui réservé à un adaptateur qui réussit.
Description textuelle du diagramme

L’adaptateur a été entraîné, comparé sur dev, puis une seule fois sur les données réservées, puis empaqueté et vérifié. La décision était « ne pas livrer ».

Sur le chemin suivi, l’équipe conserve les preuves. Elle surveille trois déclencheurs : des exemples révisés des règles H1 à H5 et de billets en français; un changement du prix ou des conditions du modèle hébergé; un nouveau modèle de base avec une licence permissive. Quand un déclencheur s’active, une nouvelle tentative commence : préparer, entraîner une fois, comparer sur dev, décider et lire une fois une nouvelle version des données réservées.

Le chemin non suivi exige un adaptateur qui réussit. Ensuite : vérifier à chaque démarrage, compter d’abord les transferts manqués lors d’une révision hebdomadaire, conserver un fichier de corrections des étiquettes erronées, prévoir l’assistant hébergé pour le retour arrière et revoir les licences à chaque nouvelle version.

Un déclencheur doit cibler la cause. Comptez les billets qui nécessitent une personne, règle par règle, et les billets en français, dans les enregistrements d’entraînement et les cas d’évaluation :

  • Enregistrements d'entraînement (900)
  • Cas d'évaluation, dev et données réservées (200)
H1 à H5 : billets qui nécessitent une personne, par règle. FR : billets en français. L'entraînement couvre seulement la règle H1; les cas d'évaluation testent les cinq règles et le français.
Description textuelle du graphique

Un graphique à colonnes avec deux colonnes par règle : enregistrements d’entraînement, puis cas d’évaluation (dev et données réservées ensemble). H1: 78 and 23; H2: 0 and 5; H3: 0 and 6; H4: 0 and 9; H5: 0 and 4; billets en français : 0 et 20.

Ce que cela nous dit. L’adaptateur a vu 78 exemples de la règle H1 et aucun des autres règles. Les probabilités du module 5 concordent. Sa probabilité de true (vrai) allait de 0,01 à 0,38 pour les 10 cas dev relevant de H1. Pour les 13 cas relevant de H2 à H5, elle allait de 0,000 à 0,024. Il a appris un peu de la règle qu’il a vue, et rien des autres. Le vrai déclencheur est donc des exemples révisés de chaque règle et de billets en français, pas davantage d’époques.

  1. Définissez S comme dans la leçon précédente, si vous avez ouvert un nouveau terminal.

  2. Copiez le plan et le README de fin de cours :

    Fenêtre de terminal
    cp $S/docs/lifecycle-plan.md docs/
    cp $S/README.md .
  3. Exécutez python -m pytest. La dernière ligne commence toujours par 36 passed, 3 deselected.

  4. Sur macOS et Linux, comparez votre projet à l’instantané :

    Fenêtre de terminal
    diff -r -x .venv -x __pycache__ -x .pytest_cache -x .ruff_cache -x bundle $S .

    Rien ne s’affiche, sauf une ligne Only in . (seulement dans .) pour chaque fichier que vous avez écrit, comme docs/my-result-memo.md. Votre projet est maintenant le projet de fin de cours.

  5. Lisez docs/lifecycle-plan.md. Trouvez pourquoi le modèle de base ne convient pas au retour arrière.

Discussion : quelle devrait être la prochaine tentative?

Section intitulée « Discussion : quelle devrait être la prochaine tentative? »

Des mois plus tard, l’équipe se réunit de nouveau.

  • Tomás : « Un troisième entraînement : 12 époques et un rang de 16. »
  • Grace : « Mon équipe peut écrire des billets révisés pour les règles H2 à H5, et en français. »
  • Kwame : « Est-ce qu’une tentative vaut la peine? L’assistant hébergé coûte environ 8,53 $ US par mois (avec 822 billets par jour, une hypothèse). »

Avant de poursuivre, répondez à ces questions :

  1. Quelle proposition correspond à un déclencheur de réentraînement du plan?
  2. Kwame a-t-il raison de dire que la tentative ne vaut pas la peine?
  3. Les cas réservés ont été lus une fois, pour la note de résultats. La prochaine tentative peut-elle les réutiliser?

La réponse du cours. La proposition de Grace correspond au déclencheur 1; celle de Tomás, non. Son entraînement change les paramètres sur les mêmes données, et les traces montrent ce que cela donne. La prochaine tentative commence par prepare (préparer) : la couverture ne doit montrer aucun zéro avant tout entraînement. Kwame a raison : les économies seules ne justifient pas une tentative. Mais garder les billets sur les ordinateurs de Larkfield compte si les conditions du modèle hébergé changent : déclencheur 2. Les données réservées ont été lues et discutées; elles ne sont donc plus inédites. L’équipe de Grace écrit d’abord une nouvelle version des données réservées, comme l’explique Rétroaction de la production dans Évaluer et tester les systèmes d’IA.

Ce qui changerait la réponse : un changement des conditions du modèle hébergé qui empêche d’y envoyer les billets de Larkfield (déclencheur 2). La prochaine tentative devient alors urgente, avec les mêmes cibles et une nouvelle version des données réservées.

Erreur courante

Une étiquette corrigée à la main

Symptôme : un réviseur veut changer une étiquette. Pour voir ce qui arrive, faites une modification construite : dans data/source/needs_human.csv, remplacez la ligne de T-60002 par T-60002,true,H2,read: Grace changed it. Exécutez python -m pytest :

FAILED tests/test_prepare.py::test_the_prepared_data_is_the_same_every_time
FAILED tests/test_records.py::test_every_data_file_matches_its_recorded_source
FAILED tests/test_records.py::test_89_training_tickets_need_a_person_and_each_label_says_how_it_was_made
3 failed, 33 passed, 3 deselected, 1 warning in 27.48s

Cause : data/sources.toml consigne le SHA-256 de chaque fichier de données, comme dans Structure des exemples et autorisations. Le fichier a changé, mais rien n’indique qui l’a changé ni pourquoi.

Correction : restaurez le fichier (cp $S/data/source/needs_human.csv data/source/, ou Copy-Item sur Windows), et les tests réussissent de nouveau. Écrivez chaque correction dans un nouveau fichier, avec le billet, la nouvelle étiquette, le réviseur et la raison. Inscrivez-le dans data/sources.toml, et faites en sorte que le prochain prepare le lise. Le projet du cours n’a pas encore cette étape.

Exemple détaillé. Un paquet est reproductible quand le même entraînement donne les mêmes fichiers. Créez un deuxième paquet et comparez le SHA-256 de chaque fichier :

Fenêtre de terminal
python -m adapt bundle lora-r8-long --out bundle2
shasum -a 256 bundle/bundle.json bundle2/bundle.json bundle/MODEL_CARD.md bundle2/MODEL_CARD.md

Sur macOS :

b642f595481e87169742ba1dd5591520be701a179ce65849e3cf51d8a93a8dad bundle/bundle.json
b642f595481e87169742ba1dd5591520be701a179ce65849e3cf51d8a93a8dad bundle2/bundle.json
7e7403d66c80a17ba09611cd1f3b9bb5524855fc7e305590f79f2ce355da2167 bundle/MODEL_CARD.md
7e7403d66c80a17ba09611cd1f3b9bb5524855fc7e305590f79f2ce355da2167 bundle2/MODEL_CARD.md

Les paires sont identiques : bundle.json ne contient aucune date ni aucun chemin local. Supprimez ensuite bundle2.

À vous. Empaquetez le premier entraînement, lora-r8, avec ses propres réponses sauvegardées, et vérifiez-le :

Fenêtre de terminal
python -m adapt bundle lora-r8 --system adapter --out bundle-r8
python -m adapt verify bundle-r8

Prédisez d’abord : quelles vérifications échouent? Comparez ensuite les deux fiches de modèle.

Afficher un exemple de réponse
lora-r8 on HuggingFaceTB/SmolLM2-135M-Instruct@12fd25f77366: base + adapter, loaded at runtime
pass C-01 expected delivery/false got '{"team": "delivery", "needs_human": false}'
pass C-02 expected delivery/false got '{"team": "delivery", "needs_human": false}'
pass C-03 expected returns/false got '{"team": "returns", "needs_human": false}'
pass C-04 expected payment/false got '{"team": "payment", "needs_human": false}'
pass C-05 expected warranty/false got '{"team": "warranty", "needs_human": false}'
pass C-06 expected account/false got '{"team": "account", "needs_human": false}'
FAIL C-07 expected warranty/true got '{"team": "warranty", "needs_human": false}'
FAIL C-08 expected warranty/true got '{"team": "warranty", "needs_human": false}'
6 of 8 checks passed

Le même résultat de 6 sur 8 et les deux mêmes échecs. Les fiches de modèle diffèrent : sur dev, l’entraînement 1 obtient 81/100 pour l’équipe et 68/102 pour les décisions. L’entraînement 2 obtient 89/100 et 74/102. Les deux ont détecté 0 sur 23 sur dev et 0 sur 24 sur les données réservées.

Vérification du module : charger et vérifier un ensemble fixe de comportements

Section intitulée « Vérification du module : charger et vérifier un ensemble fixe de comportements »
  1. Dans une nouvelle copie de l’instantané end-of-m06, avec un nouveau .venv et le modèle téléchargé, exécutez python -m adapt bundle lora-r8-long et python -m adapt verify bundle. Dites ce que le code de sortie signifie pour un déploiement.
  2. Ajoutez deux vérifications à une copie du paquet, pas à data/checks.jsonl : une menace juridique (règle H2) et un billet de sécurité en français (règle H1). Prédisez chaque résultat, puis exécutez verify (vérifier) sur la copie.
  3. Écrivez trois lignes pour l’équipe : ce qui a réussi, ce qui a échoué et ce que le plan prévoit ensuite.
Afficher le contenu d’une réponse complète
  1. 6 of 8 checks passed (6 vérifications sur 8 réussies), code de sortie 1 (C-07 et C-08 échouent). Un script de déploiement s’arrête sur ce code, donc ce paquet n’est jamais déployé.

  2. Sur macOS et Linux :

    Fenêtre de terminal
    cp -R bundle bundle-extra

    Ajoutez ensuite deux lignes à bundle-extra/checks.jsonl (ces deux lignes ont été écrites pour cette vérification) :

    {"id": "C-09", "text": "This is the second lawn mower that stopped working after a month. If you do not replace it this week, I will take this to the consumer protection office.", "team": "warranty", "needs_human": true}
    {"id": "C-10", "text": "Le radiateur électrique a fait des étincelles et la prise est devenue très chaude. J'ai peur de l'utiliser.", "team": "warranty", "needs_human": true}

    python -m adapt verify bundle-extra donne :

    lora-r8-long on HuggingFaceTB/SmolLM2-135M-Instruct@12fd25f77366: base + adapter, loaded at runtime
    pass C-01 expected delivery/false got '{"team": "delivery", "needs_human": false}'
    pass C-02 expected delivery/false got '{"team": "delivery", "needs_human": false}'
    pass C-03 expected returns/false got '{"team": "returns", "needs_human": false}'
    pass C-04 expected payment/false got '{"team": "payment", "needs_human": false}'
    pass C-05 expected warranty/false got '{"team": "warranty", "needs_human": false}'
    pass C-06 expected account/false got '{"team": "account", "needs_human": false}'
    FAIL C-07 expected warranty/true got '{"team": "warranty", "needs_human": false}'
    FAIL C-08 expected warranty/true got '{"team": "warranty", "needs_human": false}'
    FAIL C-09 expected warranty/true got '{"team": "warranty", "needs_human": false}'
    FAIL C-10 expected warranty/true got '{"team": "delivery", "needs_human": false}'
    6 of 10 checks passed

    Les deux échouent, comme le prédit la couverture : aucun exemple H2 et aucun billet en français dans les données d’entraînement. C-10 est aussi acheminé à la mauvaise équipe.

  3. Par exemple : « Il achemine les 6 vérifications ordinaires. Il n’envoie aucun billet de sécurité ou juridique à une personne, en anglais ou en français. Plan : conserver le paquet; réessayer seulement avec des exemples révisés de chaque règle. »

Vérifiez votre compréhension

Le deuxième entraînement avait une perte de validation bien plus basse que le premier. Pourquoi « entraîner plus longtemps » n'est-il pas un déclencheur de réentraînement du plan?

Afficher la réponse

Le deuxième entraînement a duré trois fois plus longtemps sur les mêmes données. La perte de validation est passée de 0,0584 à 0,0193 et l’acheminement s’est amélioré, mais il a encore détecté 0 sur 23. La cause est dans les données : 78 exemples de la règle H1, aucun de H2 à H5 ni en français. Un déclencheur doit corriger la cause.

Vérifiez votre compréhension

L'adaptateur n'est pas livré. Nommez trois éléments que l'équipe conserve et expliquez l'importance de chacun pour la prochaine tentative.

Afficher la réponse

Par exemple : le paquet, avec l’adaptateur exact, la révision du modèle de base et l’évaluation, pour une comparaison équitable plus tard. Le manifeste des données et les enregistrements rejetés : ce que l’équipe a utilisé et pourquoi elle a retiré des enregistrements. Les réponses sauvegardées : la comparaison peut être répétée sans modèle. Les notes : pourquoi l’équipe a pris sa décision.

Vérifiez votre compréhension

L'équipe de Grace écrit de nouveaux billets révisés pour les règles H2 à H5. Quelles preuves vous faudrait-il, dans quel ordre, avant de déployer un nouvel adaptateur?

Afficher la réponse

D’abord prepare : des exemples de chaque règle et de billets en français, avec leur provenance. Ensuite, un entraînement comparé sur dev à l’assistant hébergé : toutes les cibles atteintes, tous les billets nécessitant une personne détectés. Puis une seule lecture d’une nouvelle version des données réservées. Enfin, le paquet, toutes les vérifications fixes réussies, l’assistant hébergé pour le retour arrière et la surveillance en place.

Récapitulatif

  • Un plan de cycle de vie a quatre parties : conserver les preuves, écrire les déclencheurs de réentraînement, énumérer les préalables à tout déploiement et planifier les révisions des licences.
  • Un déclencheur doit cibler la cause. Ici, la cause est dans les données : 78 exemples d’entraînement de la règle H1, aucun de H2 à H5 ni en français. Davantage d’époques n’a pas changé le résultat de sécurité.
  • La surveillance, les corrections des données et un retour arrière précèdent le déploiement.
  • Votre projet correspond à l’instantané end-of-m06, la fin du projet du cours : 36 passed, 3 deselected.

Les modèles changent vite, et les chiffres de ce cours proviennent d’un seul ensemble d’entraînements. La méthode reste valable. Trouvez ce qui échoue et entraînez le modèle sur des données qui le couvrent. Comparez sur les mêmes cas réservés et planifiez ce qui arrive après la décision.

Leçon suivante : Cette équipe doit-elle faire un réglage fin?