Aller au contenu
English

Empaqueter et déployer un adaptateur

  • Leçon 11
  • 40 min
  • Module 6 : Empaqueter et maintenir l'adaptation

Où nous en sommes

Dans le module 5, nous avons comparé l'adaptateur aux références de base et décidé : ne pas le livrer, garder l'assistant hébergé. Mais une tentative ultérieure doit pouvoir charger cet adaptateur, le vérifier et revenir en arrière. Un adaptateur fonctionne seulement avec un modèle de base précis, et un mauvais modèle peut le charger sans aucune erreur. Dans cette leçon, nous l'empaquetons avec toutes ses dépendances, comme un verre qui convient à une seule monture.

Leçon 11 sur 12 · Réglage fin et adaptation des modèles d'IAEmpaqueter et déployer un adaptateur

Ce que vous saurez faire

Un adaptateur est un petit fichier qui fonctionne seulement avec un modèle de base précis. Vous l’empaquetez avec toutes ses dépendances et le chargez de deux façons. Vous le vérifiez avec des billets de soutien fixes, et vous savez vers quoi revenir.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • ~/projects/ticket-adapter à la fin du module 5, avec .venv actif : python -m pytest se termine par 34 passed, 2 deselected (34 tests réussis, 2 désélectionnés). Sinon, copiez l’instantané end-of-m05 comme l’explique Utiliser un instantané.
  • Les poids du modèle de base, obtenus avec python -m adapt download dans Planifier et configurer l’entraînement.
  • Le dépôt des laboratoires dans ~/projects/nextia-learning-labs, à jour (git -C ../nextia-learning-labs pull).

Aucun compte et aucun entraînement. Chaque vérification charge le modèle une fois : environ 1,3 Go de mémoire, quelques secondes. Testé avec Python 3.12.13 sur macOS (puce Apple). Les commandes Windows sont écrites, mais non testées.

Un opticien taille un verre pour une monture. La boîte indique « pour la monture Aria ». L’année suivante, le fabricant modifie un peu l’Aria. Le verre s’insère encore dans la nouvelle monture, mais l’image est floue. Rien ne signale clairement un problème. La boîte nommait la monture, mais pas son année.

Le problème : l’adaptateur se charge sur le mauvais modèle

Section intitulée « Le problème : l’adaptateur se charge sur le mauvais modèle »

L’adaptateur du cours a la même faiblesse. Son fichier adapter_config.json nomme son modèle de base, mais pas sa version :

"base_model_name_or_path": "HuggingFaceTB/SmolLM2-135M-Instruct",
"revision": null,

Rien n’empêche donc un outil de le charger sur un autre modèle dont les dimensions sont identiques. Le cours a attaché l’adaptateur avec peft à SmolLM2-135M, le modèle de base avant son entraînement aux instructions : mêmes couches, autres poids. Ensuite, il lui a soumis les 8 billets de vérification de cette leçon. C’était un essai ponctuel; vous n’avez pas à le répéter :

adapter_config.json names: HuggingFaceTB/SmolLM2-135M-Instruct (revision: None)
model given to peft: models--HuggingFaceTB--SmolLM2-135M @ 93efa2f097d5
warnings while loading: 0
FAIL C-01 expected delivery/false got 'I am getting a message from the tracking system that the par' (not JSON)
FAIL C-02 expected delivery/false got 'The garden bench arrived today with a broken leg. The box wa' (not JSON)
FAIL C-03 expected returns/false got 'I would like to send back the plant pots. I changed my mind ' (not JSON)
FAIL C-04 expected payment/false got 'You paid for the lawn mower order. Reply with JSON only, in ' (not JSON)
FAIL C-05 expected warranty/false got 'After three months of use, the hose reel started to leak at ' (not JSON)
FAIL C-06 expected account/false got 'I cannot sign in. The reset email never arrives.\nwarranty\nwa' (not JSON)
FAIL C-07 expected warranty/true got 'The electric heater sparked and the plug got very hot. I am ' (not JSON)
FAIL C-08 expected warranty/true got 'The kettle was on the table, and the kettle was on the floor' (not JSON)
0 of 8 checks passed

peft n’a produit aucune erreur ni aucun avertissement, et aucune réponse n’est en JSON. Les modifications de l’adaptateur ont été entraînées pour les poids du modèle d’instructions; sur d’autres poids, elles sont incorrectes. Un déploiement sans vérification livrerait ce problème sans le signaler.

L’idée : un ensemble et une vérification avant chaque chargement

Section intitulée « L’idée : un ensemble et une vérification avant chaque chargement »

Un ensemble est un dossier contenant l’adaptateur et les noms exacts de toutes ses dépendances. Une vérification de compatibilité compare ces noms avec ce qui se trouve sur l’ordinateur. Elle refuse le chargement si l’un diffère. Une vérification fixe (un test de bon fonctionnement) soumet ensuite quelques billets dont les réponses sont connues. Elle détecte un chargement défectueux, pas un modèle faible : 8 billets ne peuvent pas mesurer la qualité.

L’ensemble contient aussi les preuves : les paramètres, le manifeste de données, l’évaluation et une fiche de modèle. Une fiche de modèle est une courte page : ce que fait le modèle, son entraînement et son évaluation par l’équipe, et ses limites.

Trois étapes de gauche à droite. 1, dossier de l'adaptateur : adapter_config.json nomme HuggingFaceTB/SmolLM2-135M-Instruct, révision null, r 8 sur q_proj et v_proj; adapter_model.safetensors, 1,86 Mo. Note : nomme le modèle de base, mais pas sa version. 2, ensemble, créé par adapt bundle : bundle.json avec la révision de base 12fd25f77366, le SHA-256 de config.json et du segmenteur en jetons, la configuration de l'entraînement, le manifeste de données et l'évaluation; la fiche de modèle; checks.jsonl avec 8 vérifications fixes; l'adaptateur. Note : ajoute les versions exactes dont dépend l'adaptateur. 3, vérifier : mêmes modèle de base et révision, mêmes configuration et segmenteur en jetons? Si non : INCOMPATIBLE, rien n'est chargé. Si oui : charger le modèle et exécuter les 8 vérifications. Chargé à l'exécution : 6 sur 8, C-07 et C-08 échouent, tous deux liés à la sécurité. Fusionné : 6 sur 8, les mêmes réponses. Modèle de base seul : 0 sur 8, aucun JSON. En dessous : pour cette tâche, le retour à la version précédente mène à l'assistant hébergé, dont la configuration est conservée; sur les données réservées, il a transmis à une personne les 24 billets sur 24 qui l'exigeaient. Le modèle de base seul n'est pas une solution de retour.
La carte de compatibilité : ce que nomme l'adaptateur, ce qu'ajoute l'ensemble et le résultat de chaque mode de chargement.
Description textuelle du diagramme

La carte comporte trois étapes.

  1. Le dossier de l’adaptateur issu de l’entraînement. Son fichier adapter_config.json nomme le modèle de base, HuggingFaceTB/SmolLM2-135M-Instruct, avec revision: null (révision non précisée). Le fichier des poids fait 1,86 Mo.
  2. L’ensemble ajoute bundle.json : la révision 12fd25f77366 du modèle de base, le SHA-256 de config.json et du segmenteur en jetons, les paramètres de l’entraînement, le manifeste de données et l’évaluation. Il contient aussi la fiche de modèle et 8 vérifications fixes.
  3. La vérification compare l’ensemble avec l’ordinateur. Si le modèle de base, sa révision, sa configuration ou le segmenteur en jetons diffère, elle affiche INCOMPATIBLE et ne charge rien. Sinon, elle charge le modèle et exécute les vérifications. Chargé à l’exécution : 6 sur 8 réussissent; C-07 et C-08, les deux billets de sécurité, échouent. Fusionné : 6 sur 8, les mêmes réponses. Le modèle de base seul : 0 sur 8, car il ne répond jamais en JSON.

Pour cette tâche, le retour à la version précédente mène à l’assistant hébergé, dont la configuration est conservée. Sur les cas réservés, il a transmis à une personne les 24 billets qui l’exigeaient.

  1. Dans le dossier du projet, avec .venv actif, faites pointer une variable vers l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C12/snapshots/end-of-m06

    Si vous ouvrez un nouveau terminal, définissez-la de nouveau.

  2. Copiez le code de l’ensemble, les nouvelles commandes, les vérifications et leur test :

    Fenêtre de terminal
    cp $S/adapt/bundle.py $S/adapt/__main__.py adapt/
    cp $S/data/checks.jsonl $S/data/checks.md data/
    cp $S/tests/test_bundle.py tests/
  3. Exécutez python -m pytest. La dernière ligne commence par 36 passed, 3 deselected (36 tests réussis, 3 désélectionnés).

  4. Empaquetez l’adaptateur du cours, issu de l’entraînement de 6 époques :

    Fenêtre de terminal
    python -m adapt bundle lora-r8-long
    Wrote bundle:
    MODEL_CARD.md 1,725 bytes
    adapter/adapter_config.json 1,113 bytes
    adapter/adapter_model.safetensors 1,858,776 bytes
    bundle.json 2,593 bytes
    checks.jsonl 1,221 bytes
  5. Ouvrez bundle/bundle.json. Voici la partie que lit la vérification :

    "base_model": {
    "id": "HuggingFaceTB/SmolLM2-135M-Instruct",
    "revision": "12fd25f77366fa6b3b4b768ec3050bf629380bac",
    "config_sha256": "8eb740e8bbe4cff95ea7b4588d17a2432deb16e8075bc5828ff7ba9be94d982a"
    },
    "tokenizer_sha256": "9ca9acddb6525a194ec8ac7a87f24fbba7232a9a15ffa1af0c1224fcd888e47c",

    Plus bas : les paramètres de l’entraînement, le manifeste de données (entraînement 73f29c94b022) et l’évaluation.

  6. Ouvrez bundle/MODEL_CARD.md. Voici ses lignes d’évaluation :

    - dev: answers 102/102 | team 89/100 | needs a person: caught 0/23, false alarms 0 | decisions 74/102
    - holdout: answers 98/98 | team 87/97 | needs a person: caught 0/24, false alarms 0 | decisions 65/98

    La fiche demande de lire d’abord « caught » (détectés) : les mauvaises nouvelles accompagnent le fichier.

Deux façons de charger : à l’exécution ou après fusion

Section intitulée « Deux façons de charger : à l’exécution ou après fusion »

Vous pouvez charger le modèle de base et placer l’adaptateur à côté, à l’exécution. Ou vous pouvez les fusionner : ajoutez une fois la modification de l’adaptateur aux poids de base, et conservez un seul modèle. Un petit exemple avec des nombres inventés montre que les deux donnent la même réponse. Le facteur d’échelle est alpha ÷ rang = 16 ÷ 8 = 2, comme dans l’entraînement du cours.

À gauche, chargé à l'exécution : l'entrée x vaut 1, 1. A est la ligne 2, 1 et B est la colonne 0,5, 0. Chemin de base : W fois x donne 1, 1. Chemin de l'adaptateur : A fois x donne 3; B fois 3 donne 1,5, 0; multiplié par le facteur d'échelle 2, cela donne 3, 0. Sortie : 1, 1 plus 3, 0 donne 4, 1. À droite, fusionné : W prime est W plus 2 fois B fois A. W est la matrice identité; B fois A est la matrice aux lignes 1, 0,5 et 0, 0. W prime a donc les lignes 3, 1 et 0, 1, et W prime fois x donne 4, 1. En dessous : la même réponse. Chargé : deux fichiers, l'adaptateur peut être retiré. Fusionné : un fichier, un peu plus rapide, l'adaptateur ne peut plus être retiré ni remplacé.
Fusion, avec des nombres inventés dans des matrices 2 × 2 : deux chemins additionnés à l'exécution donnent la même sortie qu'une matrice modifiée.
Description textuelle du diagramme

Chargée à l’exécution, l’entrée x = [1, 1] suit deux chemins. Le modèle de base gelé donne W·x = [1, 1]. L’adaptateur donne A·x = [3], puis B·[3] = [1,5, 0], puis, avec le facteur d’échelle 2 : [3, 0]. La somme est [4, 1].

Après fusion, la modification est ajoutée une fois à la matrice : W’ = W + 2·B·A a les lignes [3, 1] et [0, 1]. Ensuite, W’·x = [4, 1], la même réponse, en une étape.

Chargez maintenant le véritable ensemble des deux façons. verify (vérifier) contrôle la compatibilité, puis soumet les 8 billets fixes de data/checks.jsonl :

Fenêtre de terminal
python -m adapt verify bundle
lora-r8-long on HuggingFaceTB/SmolLM2-135M-Instruct@12fd25f77366: base + adapter, loaded at runtime
pass C-01 expected delivery/false got '{"team": "delivery", "needs_human": false}'
pass C-02 expected delivery/false got '{"team": "delivery", "needs_human": false}'
pass C-03 expected returns/false got '{"team": "returns", "needs_human": false}'
pass C-04 expected payment/false got '{"team": "payment", "needs_human": false}'
pass C-05 expected warranty/false got '{"team": "warranty", "needs_human": false}'
pass C-06 expected account/false got '{"team": "account", "needs_human": false}'
FAIL C-07 expected warranty/true got '{"team": "warranty", "needs_human": false}'
FAIL C-08 expected warranty/true got '{"team": "warranty", "needs_human": false}'
6 of 8 checks passed

L’adaptateur réussit chaque vérification d’acheminement et échoue aux deux billets de sécurité : un radiateur qui produit des étincelles et un socle de bouilloire qui fume. La commande se termine avec le code de sortie 1, donc un script de déploiement s’arrête ici. Avec --merged, les réponses sont identiques, et le résultat est encore 6 of 8 checks passed (6 vérifications sur 8 réussies).

Le cours a mesuré les deux façons sur 30 cas de développement. Les 30 réponses étaient identiques; la médiane était de 0,262 s par réponse à l’exécution et de 0,244 s après fusion. La fusion elle-même a pris 0,01 s. La vraie différence concerne ce que vous stockez et livrez :

Un adaptateur fait moins de 1 % de la taille d'un modèle fusionné. Un réglage fin complet du même modèle stocke chaque paramètre.
Description textuelle du graphique

Un graphique à colonnes de la taille sur disque. L’adaptateur (poids et configuration) : 1.86 Mo. Le modèle fusionné en bf16 : 269.1 Mo. Un réglage fin complet en float32, compté par python -m adapt params, sans entraînement : 538.1 Mo.

Ce que cela nous apprend. Conservez l’adaptateur comme élément dont vous gérez les versions et que vous livrez : il est petit et peut être retiré. Fusionnez seulement à la fin, pour un déploiement fixe où le petit gain de vitesse compte.

Un retour à la version précédente ramène à la dernière version qui fonctionnait. Le modèle de base, sans l’adaptateur, permet-il ce retour?

Fenêtre de terminal
python -m adapt verify bundle --base-only
lora-r8-long on HuggingFaceTB/SmolLM2-135M-Instruct@12fd25f77366: the base model only (rollback)
FAIL C-01 expected delivery/false got 'You can find the tracking information for your parcel on the' (not JSON)
FAIL C-02 expected delivery/false got '{"team": "delivery" or "returns" or "payment" or "warranty" ' (not JSON)
FAIL C-03 expected returns/false got 'To get a return label, you can use the following steps:\n\n1. ' (not JSON)
FAIL C-04 expected payment/false got 'You charged my card twice for the same lawn mower order. Ple' (not JSON)
FAIL C-05 expected warranty/false got 'Based on the information provided, it is not covered by the ' (not JSON)
FAIL C-06 expected account/false got "I'm sorry for the inconvenience, but as an AI, I don't have " (not JSON)
FAIL C-07 expected warranty/true got 'You need to respond with JSON data, in this format:\n\n{"team"' (not JSON)
FAIL C-08 expected warranty/true got 'The kettle base started smoking the first time I used it, an' (not JSON)
0 of 8 checks passed

Non : il répond en prose, donc chaque vérification échoue. Pour cette tâche, le retour mène à l’assistant hébergé. Sa configuration reste en place pour que le changement soit un paramètre, pas une nouvelle mise en production.

Discussion : le déployer avec une option de désactivation?

Section intitulée « Discussion : le déployer avec une option de désactivation? »

Amira, la développeuse responsable de l’assistant, possède un ensemble vérifié.

  • Tomás : « Déployons-le pour un cinquième des billets, fusionné pour la vitesse. Il réussit 6 vérifications sur 8, il est douze fois plus rapide et ne coûte rien par billet. On peut le désactiver. »
  • Kwame : « L’assistant hébergé coûte environ 8,53 $ US par mois pour 822 billets par jour. C’est une hypothèse. »
  • Priya, en montrant les deux échecs : « Regardez quelles vérifications échouent. »
  • Grace : « Que recevrait un client dont le radiateur produit des étincelles? »

Avant de poursuivre, répondez à ces questions :

  1. La fusion change-t-elle quelque chose à la décision?
  2. « 6 sur 8 » est-il presque une réussite?
  3. L’adaptateur pourrait-il acheminer les billets pendant que le modèle hébergé conserve la décision de sécurité?

La réponse du cours. La fusion ne change rien : les réponses sont identiques. « 6 sur 8 » n’est pas presque une réussite, car les deux échecs concernent les vérifications les plus importantes. Ils correspondent à l’évaluation : aucun des 24 billets réservés exigeant une personne ne lui a été transmis. Le client dont le radiateur produit des étincelles reçoit un brouillon ordinaire, et personne ne le lit. Un cinquième de 822 représente encore environ 164 billets par jour. La conception partagée mérite d’être envisagée, mais l’adaptateur achemine aussi moins bien les billets. Pour l’équipe, il réussit 87 cas réservés sur 97, contre 97 sur 97. L’ensemble reste donc inutilisé.

Ce qui changerait la réponse : un nouvel adaptateur qui réussit C-07 et C-08, puis les cibles de développement et celles de nouvelles données réservées. Économiser 8,53 $ US par mois ne la changerait pas.

Choix Quand l’utiliser Coût
Charger à l’exécution Vous gérez les versions, testez ou remplacez des adaptateurs 1,86 Mo par adaptateur; une étape de plus au chargement
Fusionner Un déploiement fixe, où la vitesse compte 269 Mo par version; l’adaptateur ne peut pas être retiré
Option de retour à la version précédente Toujours, avant tout déploiement L’ancien système reste configuré et payé

Erreur courante

Un ensemble pour une autre révision de base

Symptôme : l’ensemble d’un collègue a été créé pour une autre révision du modèle de base. Ici, le cas est construit : la révision dans bundle/bundle.json a été modifiée à la main. verify affiche :

INCOMPATIBLE: base model HuggingFaceTB/SmolLM2-135M-Instruct@a3c2d1e9f0b8 is not HuggingFaceTB/SmolLM2-135M-Instruct@12fd25f77366

Il se termine avec le code 1 et ne charge rien.

Cause : l’adaptateur a été entraîné sur d’autres poids. Comme l’a montré le test du mauvais modèle, il pourrait quand même se charger et mal répondre.

Solution : ne modifiez pas bundle.json pour faire réussir la vérification. Téléchargez la révision nommée dans l’ensemble, ou entraînez de nouveau l’adaptateur sur votre révision. Ensuite, exécutez encore python -m adapt bundle lora-r8-long pour restaurer votre ensemble.

Vérifiez votre compréhension

Le fichier adapter_config.json de l'adaptateur indique revision : null. Quel problème peut survenir, et quelle partie de l'ensemble l'empêche?

Afficher la réponse

Un outil peut charger l’adaptateur sur une autre version du modèle de base ayant les mêmes dimensions, sans erreur. Les réponses sont alors incorrectes, comme sur SmolLM2-135M. bundle.json consigne la révision de base et le SHA-256 de la configuration et du segmenteur en jetons. verify refuse le chargement si l’un diffère.

Vérifiez votre compréhension

Le chargement à l'exécution et la fusion donnent les mêmes 6 réussites sur 8. Nommez une raison de conserver le chargement à l'exécution, et une raison de fusionner.

Afficher la réponse

Le chargement à l’exécution conserve un fichier de 1,86 Mo dont vous pouvez gérer les versions, que vous pouvez retirer ou remplacer par un nouvel adaptateur sur la même base. La fusion donne un seul modèle et un seul chemin, un peu plus rapide (0,244 s contre 0,262 s par réponse ici). Elle coûte 269 Mo par version, et l’adaptateur ne peut plus être retiré.

Vérifiez votre compréhension

Tomás dit : « Si l'adaptateur échoue, on revient au modèle de base. » Quelle preuve vous ferait contester cette idée, et vers quoi revient-on ici?

Afficher la réponse

verify bundle --base-only réussit 0 vérification sur 8 : le modèle de base répond en prose, jamais au format JSON. Le retour mène à l’assistant hébergé, dont la configuration reste en place pour que le changement soit un paramètre. Sur les données réservées, il a transmis à une personne les 24 billets sur 24 qui l’exigeaient.

Récapitulatif

  • Un adaptateur fonctionne seulement sur son modèle de base exact. Sa configuration nomme le modèle, mais pas la révision, et un mauvais modèle peut le charger sans erreur.
  • Un ensemble ajoute la révision, le SHA-256 de la configuration et du segmenteur en jetons, les paramètres, le manifeste de données, l’évaluation et une fiche de modèle.
  • verify refuse un ensemble incompatible, puis exécute 8 vérifications fixes. Chargé ou fusionné : 6 sur 8, les deux vérifications de sécurité échouent. Le modèle de base seul : 0 sur 8.
  • La fusion donne les mêmes réponses, un peu plus vite; gérez les versions de l’adaptateur de 1,86 Mo.
  • Le retour à la version précédente mène à l’assistant hébergé, pas au modèle de base. L’adaptateur est empaqueté, mais pas déployé.

Leçon suivante : Planifier le cycle de vie