Reprise et maîtrise des coûts
- Leçon 19
- 80 min
- Module 6 : Déployer et exploiter
Où nous en sommes
Dans les deux leçons précédentes, nous avons construit une image testée et nous l'avons mise en production comme démo privée. Mais une mise en production peut encore mal tourner, un script peut dépenser de l'argent, et une démo laisse des traces. Dans cette leçon, nous testons un retour arrière, nous limitons les dépenses et nous nettoyons tout, avant d'en avoir besoin. Nous commençons par deux protections de la vie quotidienne.
Leçon 19 sur 22 · Projet intégrateur : créer, évaluer et livrer un produit d'IAReprise et maîtrise des coûts
1. Choisir et délimiter le projet
2. Préparer les données et l'architecture
3. Créer un parcours utilisateur complet
4. Ajouter la fiabilité et le contrôle d'accès
5. Évaluer et améliorer
6. Déployer et exploiter
7. Préparer la présentation du portfolio
Ce que vous saurez faire
Quand une mise en production échoue, revenez à la dernière version fonctionnelle en quelques secondes. Pendant la démo, limitez ses dépenses. À la fin, supprimez tout ce qu’elle a créé. Chacune de ces actions est une procédure à tester avant d’en avoir besoin.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le retour en arrière de l’application, et pourquoi les données ne reviennent pas en arrière. Voir Stratégie de retour en arrière dans CI/CD, tests et mises en production sûres, et Retour en arrière et retrait dans Déployer des modèles d’IA pour de vrais utilisateurs.
- L’ajout puis le retrait, pour qu’une ancienne version fonctionne encore avec un nouveau schéma. Voir Migrations sûres dans le cours CI/CD, tests et mises en production sûres.
- Pourquoi une alerte budgétaire n’arrête rien, et comment nettoyer à partir d’un inventaire. Voir Connaître les coûts et Vérifier et supprimer dans L’essentiel de Docker et du nuage pour les développeurs en IA.
- Le coût par question et les lignes budgétaires C1 et C2. Voir Revue des menaces et des coûts et Documenter les compromis dans ce cours.
- Le déroulement de la mise en production de ce module. Voir Pipeline de construction et Mettre la démo en production.
Ce qu’il vous faut sur votre ordinateur
- La démo en marche de Mettre la démo en production : exercice guidé, dans
~/projects/doc-assistant-ci, avec les données chargées et les 7 vérifications du test de fumée réussies. - L’environnement virtuel activé dans ce dossier.
Testé sur macOS (Apple silicon) avec Docker Engine 29.6.1. Les commandes Windows et Linux sont écrites, mais l’équipe du cours ne les a pas testées. Le nettoyage dans le nuage est écrit, mais n’a pas été exécuté : l’équipe n’a créé aucune ressource infonuagique.
Deux protections de la vie quotidienne
Section intitulée « Deux protections de la vie quotidienne »Quand vous achetez un nouveau téléphone, vous gardez l’ancien dans un tiroir jusqu’à ce que le nouveau fonctionne. Vous vérifiez vos messages, votre application bancaire et vos contacts. Si le nouveau téléphone tombe en panne le premier jour, vous remettez la carte dans l’ancien. Vous pouvez appeler de nouveau en une minute. Vous n’essayez pas de réparer le nouveau téléphone pendant que personne ne peut vous joindre.
Une carte téléphonique prépayée fonctionne autrement. Vous y mettez 20 dollars. Quand les 20 dollars sont dépensés, les appels s’arrêtent. Un enfant avec une carte prépayée ne peut pas accumuler une facture de 500 dollars, quoi qu’il arrive. Un téléphone avec un contrat sans limite le permet.
Cette leçon crée ces deux protections pour la démo de Sam. L’ancien téléphone dans le tiroir représente le retour en arrière. La carte prépayée représente la limite d’utilisation. Ensuite, elle supprime tout, comme lorsque vous rendez une voiture de location vide.
Le problème : une version qui ne démarre pas
Section intitulée « Le problème : une version qui ne démarre pas »L’équipe du cours a fait un exercice de mise en production sur le projet de fin de cours. D’abord, la version fonctionnelle 1.0.0 a démarré et réussi les 7 vérifications du test de fumée. Ensuite, l’équipe a mis en production une version « 1.0.1 » avec un mauvais paramètre : ANSWER_PROVIDER=live, mais sans LLM_BASE_URL. C’est une erreur construite, mais courante. Quelqu’un passe à un vrai modèle et oublie l’adresse. Sam répète l’exercice sur la copie propre :
APP_VERSION=1.0.1 ANSWER_PROVIDER=live docker compose --profile app up -d --wait --wait-timeout 120 api Container doc-assistant-idp-1 Healthy Container doc-assistant-db-1 Healthy Container doc-assistant-migrate-1 Exitedcontainer doc-assistant-api-1 exited (3)Le conteneur de l’API s’est arrêté avec le code de sortie 3, et --wait a échoué après 3,2 secondes. Les journaux (logs) expliquent pourquoi :
File "/app/doc_assistant/providers.py", line 228, in make_provider raise ValueError("ANSWER_PROVIDER=live needs LLM_BASE_URL (and LLM_API_KEY).")ValueError: ANSWER_PROVIDER=live needs LLM_BASE_URL (and LLM_API_KEY).ERROR: Application startup failed. Exiting.Le test de fumée ne peut pas se connecter. Chaque vérification échoue avec Connection refused (connexion refusée), et la dernière ligne est 0 of 7 checks passed. (aucune des 7 vérifications n’a réussi).
L’ancien conteneur a donc disparu, le nouveau ne démarre pas et personne ne peut poser de question. L’équipe de Grace attend. C’est le moment de revenir en arrière, pas de déboguer.
L’idée : revenir à l’étiquette précédente
Section intitulée « L’idée : revenir à l’étiquette précédente »Un retour en arrière redémarre la version précédente : l’étiquette d’image précédente et les paramètres qui l’accompagnaient. Sam ne construit rien, car doc-assistant:1.0.0 est encore sur l’ordinateur. C’est pourquoi la dernière leçon disait « gardez l’étiquette précédente ». Ensuite, Sam exécute le test de fumée, car un retour en arrière est aussi une mise en production :
APP_VERSION=1.0.0 docker compose --profile app up -d --wait apiSMOKE_TOKEN=$(python -m idp token usr-sam) python scripts/smoke.py http://127.0.0.1:8000 Container doc-assistant-db-1 Healthy Container doc-assistant-idp-1 Healthy Container doc-assistant-api-1 HealthyPASS health (version 1.0.0)PASS ready: database and migrations (recorded)PASS the page is servedPASS no sign-in -> 401PASS documents are indexed (36 indexed)PASS a question gets a cited answer (recorded: We refund the extra charge within 3 business days after confirming the double ch)PASS another shop -> 4047 of 7 checks passed.Le mauvais paramètre a disparu lui aussi. ANSWER_PROVIDER=live était fourni seulement sur la ligne de commande de la version défectueuse. Le retour en arrière utilise donc de nouveau les paramètres de .env. Si vous modifiez un paramètre dans .env pour une mise en production, vous devez le rétablir pour le retour en arrière. Une version mise en production comprend une étiquette et ses paramètres.
Voici les durées du premier exercice de l’équipe du cours, sur le même type de portable avec d’autres tâches en cours. L’exécution de Sam a donné des durées semblables : 3,2 secondes pour le démarrage raté, 7,3 secondes pour le retour en arrière.
- version fonctionnelle
- version défectueuse
- retour en arrière
Description textuelle du graphique
Un diagramme à cinq colonnes, dans l’ordre de l’exercice. Construire 1.0.0 prend 107,1 secondes. Son démarrage prend 9,7 secondes, et le chargement des données dans le conteneur, 15,7 secondes. La version défectueuse 1.0.1 échoue après 4,5 secondes. Le retour à 1.0.0 prend 7,5 secondes. La colonne de construction est environ quatorze fois plus haute que celle du retour en arrière.
Un retour en arrière qui exige une nouvelle construction prendrait des minutes. Une construction défectueuse ce jour-là vous laisserait sans solution.
Ce qu’un retour en arrière ne peut pas faire
Section intitulée « Ce qu’un retour en arrière ne peut pas faire »Le retour en arrière a conservé la base de données : les 36 documents de Larkfield étaient encore indexés. C’est sûr à une seule condition : chaque migration de la nouvelle version est additive. Additive signifie qu’elle ajoute des tables et des colonnes que l’ancien code ignore. Les cinq migrations de Sam sont additives. La migration 005 ajoute la table usage_days, et la version 1.0.0 ne la lit pas.
Imaginez une version construite qui renomme la colonne text de la table chunks. La version 1.0.0 démarrerait, puis échouerait à sa première recherche, car elle cherche une colonne qui n’existe plus. Un changement de nom exige deux mises en production : ajout, puis retrait, comme dans Migrations sûres. Un retour en arrière ne peut pas non plus rétablir les données : un document supprimé sous 1.0.1 reste supprimé. Il faut une sauvegarde et un exercice de restauration, comme dans Restauration et conservation.
Le cas simple est une version qui échoue au démarrage, comme celle-ci. L’état de préparation ne passe jamais au vert, donc rien de nouveau ne sert de requêtes. Le cas difficile est une version qui démarre et répond mal. Seuls le test de fumée et l’évaluation le détectent. C’est pourquoi les deux s’exécutent avant de déclarer une mise en production terminée.
Le problème : une facture sans plafond
Section intitulée « Le problème : une facture sans plafond »La démo de Sam rejoue des réponses enregistrées, donc elle ne coûte rien. Mais un modèle en direct coûte de l’argent à chaque question. Le module 5 a mesuré 0,000167 $ US pour une question avec chat-small, sur les données réservées. Ce nombre semble trop petit pour compter.
Imaginez maintenant un accident construit. Tomás écrit un script pour tester la page. Un bogue lui fait poser la même question une fois par seconde, et Tomás le laisse tourner pendant la fin de semaine :
| Questions | Coût avec chat-small | |
|---|---|---|
| Une journée | 60 × 60 × 24 = 86 400 | 86 400 × 0,000167 $ US = 14,43 $ US |
| Un mois de 30 jours | 2 592 000 | environ 433 $ US |
L’alerte budgétaire du compte infonuagique envoie un courriel, mais elle n’arrête rien. Le cours sur Docker l’a montré dans Connaître les coûts. La facture du fournisseur arrive à la fin du mois.
L’idée : des limites qui refusent avant l’appel au modèle
Section intitulée « L’idée : des limites qui refusent avant l’appel au modèle »Une limite d’utilisation est un plafond que l’application applique elle-même. Elle refuse le travail avant qu’il coûte de l’argent. L’assistant de Sam en a deux par boutique, selon les lignes budgétaires que Kwame a approuvées au module 2 :
DAILY_QUESTION_LIMIT=200: au plus 200 questions par boutique par jour.MONTHLY_BUDGET_USD=5: au plus 5 $ US de coûts de modèle par boutique par mois.
La vérification s’exécute en premier dans le pipeline de réponse, avant la recherche et avant le modèle. Au-delà d’une limite, la question reçoit 429 limit_reached (limite atteinte) avec un en-tête Retry-After (réessayer après). Rien n’est envoyé au modèle. Après chaque réponse, le pipeline ajoute une question et son coût à la ligne quotidienne de la boutique. Cette ligne se trouve dans la table usage_days de la migration 005. Cette table a une sécurité au niveau des lignes, comme toutes les autres tables des boutiques. Supprimer des documents ou des réponses ne la réinitialise pas. Personne ne peut donc réinitialiser la limite en faisant du nettoyage.
Un tout petit exemple. Sam redémarre l’API avec une limite de 3 pour voir la limite sans poser 200 questions. Ensuite, Ines pose la même question quatre fois chez Bramble Books. Lors de son essai, Sam a interrogé l’API avec un court script. Chaque ligne ci-dessous montre le statut et le début de la réponse :
APP_VERSION=1.0.0 DAILY_QUESTION_LIMIT=3 docker compose --profile app up -d --wait apiquestion 1: 200 A gift card is valid for 3 years from the date of purchase.question 2: 200 A gift card is valid for 3 years from the date of purchase.question 3: 200 A gift card is valid for 3 years from the date of purchase.question 4: 429 Retry-After: 3600{"code":"limit_reached","message":"This shop has asked 3 questions today, the daily limit. Try again tomorrow.","request_id":"5f780483622447e1"}Trois réponses, puis un refus. Le message explique ce qui s’est passé et quoi faire. Retry-After: 3600 indique au script d’attendre une heure. Chaque boutique peut voir sa propre utilisation :
curl -H "Authorization: Bearer $(python -m idp token usr-ines)" http://127.0.0.1:8000/v1/tenants/bramble/usage{"tenant":"bramble","questions_today":3,"daily_question_limit":3,"cost_this_month_usd":0.000325,"monthly_budget_usd":5.0}Le coût n’est pas de 0, même si aucun modèle n’a été exécuté. Un enregistrement conserve les nombres de jetons (tokens) de l’appel réel qui l’a créé. L’assistant compte donc son coût comme si le modèle avait répondu. Le budget se comporte alors de la même façon avec les réponses enregistrées et celles en direct. La limite est par boutique. Au même moment, l’utilisation de Larkfield était {"tenant":"larkfield","questions_today":1,"daily_question_limit":3,"cost_this_month_usd":0.000133,"monthly_budget_usd":5.0}, et Sam pouvait encore poser des questions. Un test, test_the_daily_limit_stops_questions, prouve ces deux choses à chaque exécution du pipeline.
Quelle limite arrête les questions en premier?
Section intitulée « Quelle limite arrête les questions en premier? »Les deux limites protègent contre des choses différentes. Nous supposons ici un mois de 30 jours pour simplifier les calculs :
- La limite quotidienne permet 200 questions par jour. Avec chat-small, cela donne 200 × 30 × 0,000167 $ US = 1,00 $ US par mois. C’est le montant dans la revue des menaces et des coûts de Sam.
- Le budget de 5 $ US permet 5 ÷ 0,000167 = 29 940 questions par mois, soit environ 998 par jour. Avec chat-small, la limite quotidienne arrête donc les questions en premier.
- Supposons maintenant un modèle qui coûte dix fois plus par question. C’est une hypothèse, pas un modèle mesuré. Le budget permet alors environ 100 questions par jour. Le budget arrête les questions en premier, après environ 15 jours à 200 questions par jour.
- limite quotidienne de questions
- budget mensuel, chat-small
- budget mensuel, modèle à 10× le prix (hypothèse)
Description textuelle du graphique
Un diagramme à trois colonnes, en questions par boutique par jour. La limite quotidienne permet 200 questions. Le budget mensuel de 5 $ US permet environ 998 questions par jour avec chat-small, à 0,000167 $ US par question. Avec un modèle dix fois plus cher, une hypothèse, le même budget permet environ 100 questions par jour.
Il vous faut donc les deux. La limite quotidienne arrête un script incontrôlé dès le premier jour. Le budget arrête une dérive lente, par exemple le passage à un modèle plus gros dont personne n’a vérifié le prix. Dans l’accident de fin de semaine de Tomás, la limite quotidienne arrête son script après 200 questions. Cela prend environ 3 minutes et 20 secondes. Le coût est d’environ 0,03 $ US au lieu de 14,43 $ US par jour.
Quand éviter une limite stricte? Un produit qui ne doit jamais refuser ses utilisateurs, comme une ligne d’urgence, exige plutôt des alertes et une personne de garde. Pour une démo et un petit outil interne, une limite stricte convient. Une question refusée coûte un peu de patience. Une facture sans plafond peut coûter beaucoup d’argent.
Tout nettoyer
Section intitulée « Tout nettoyer »Une démo laisse des éléments derrière elle : conteneurs, réseau, volume de base de données et deux étiquettes d’image. Ces étiquettes partagent environ 3,7 Go d’espace disque. Il reste aussi l’environnement virtuel, les clés du fournisseur d’exercice et les secrets dans .env. docs/runbook.md les énumère tous. Lors de son essai, Sam les a supprimés dans cet ordre :
docker compose --profile app down --volumesdocker image rm doc-assistant:1.0.0 doc-assistant:1.0.1docker image ls doc-assistantUntagged: doc-assistant:1.0.0Deleted: sha256:adfa58ddb3595608af6707453198cf31c62b53ef71c4177a379917ce2dc33843Untagged: doc-assistant:1.0.1Deleted: sha256:8ee403c67fe84fe4237aac2154f019b915bcb2e3a02e3efd4c3f0aa636ba4cc8IMAGE ID DISK USAGE CONTENT SIZE EXTRALa liste vide prouve que les étiquettes d’image ont disparu. down --volumes a aussi supprimé le volume de la base de données. Sans --volumes, les données restent sur le disque : c’est bien entre deux journées de démo, mais pas à la fin.
Ensuite, dans le dossier du projet : rm -rf .venv .idp traces .env sur macOS et Linux, ou Remove-Item -Recurse -Force .venv, .idp, traces, .env dans PowerShell. L’image PostgreSQL (pgvector/pgvector:0.8.7-pg18-trixie) et les deux modèles dans ~/.cache/huggingface (environ 1 Go) restent. D’autres projets peuvent les utiliser. Supprimez-les aussi si aucun autre projet ne les utilise.
Si vous avez suivi les étapes facultatives dans le nuage, supprimez le groupe de ressources : az group delete --name <group> --yes. Ensuite, az group exists --name <group> doit afficher false (faux). Un nettoyage est terminé seulement quand une commande prouve qu’il ne reste rien.
Exercice guidé : l’exercice sur votre démo
Section intitulée « Exercice guidé : l’exercice sur votre démo »-
Dans
~/projects/doc-assistant-ci, vérifiez que la démo fonctionne : le test de fumée indique7 of 7 checks passed.(les 7 vérifications ont réussi). -
Créez une deuxième étiquette de la même image :
APP_VERSION=1.0.1 docker compose --profile app build api(PowerShell :$env:APP_VERSION = "1.0.1", puis la commande sans le préfixe). Cela prend quelques secondes, car chaque couche est dans le cache. -
Mettez 1.0.1 en production avec le mauvais paramètre :
Fenêtre de terminal APP_VERSION=1.0.1 ANSWER_PROVIDER=live docker compose --profile app up -d --wait --wait-timeout 120 apiFenêtre de terminal $env:APP_VERSION = "1.0.1"; $env:ANSWER_PROVIDER = "live"docker compose --profile app up -d --wait --wait-timeout 120 apiLa commande échoue, et sa dernière ligne indique que le conteneur de l’API s’est arrêté avec le code 3.
-
Exécutez le test de fumée. Chaque vérification échoue avec
Connection refused, et la dernière ligne est0 of 7 checks passed. -
Lisez la cause :
docker compose --profile app logs api --tail 6. Vous voyezANSWER_PROVIDER=live needs LLM_BASE_URL (and LLM_API_KEY).(ANSWER_PROVIDER=live exige LLM_BASE_URL et LLM_API_KEY). -
Revenez en arrière. Dans PowerShell, supprimez d’abord le mauvais paramètre :
Remove-Item Env:ANSWER_PROVIDER, et définissez$env:APP_VERSION = "1.0.0". Ensuite, exécutezAPP_VERSION=1.0.0 docker compose --profile app up -d --wait api(PowerShell : sans le préfixe). Chronométrez l’opération avec votre téléphone. -
Exécutez de nouveau le test de fumée. Il indique
7 of 7 checks passed., et/healthindique"version":"1.0.0". -
Essayez la limite : redémarrez l’API avec
DAILY_QUESTION_LIMIT=3, posez quatre questions comme Ines sur la page et lisez/v1/tenants/bramble/usage. Ensuite, redémarrez sans la limite :APP_VERSION=1.0.0 docker compose --profile app up -d --wait api. -
Nettoyez tout, comme dans la section précédente. Terminez avec
docker image ls doc-assistant: la liste est vide.
À vous de jouer : une limite quotidienne plus élevée
Section intitulée « À vous de jouer : une limite quotidienne plus élevée »Changez une condition. Grace demande une limite quotidienne de 1 200 questions par boutique et garde le budget à 5 $ US par mois avec chat-small. Faites une prédiction : quelle limite arrête une boutique qui pose 1 200 questions chaque jour? Et quel jour d’un mois de 30 jours?
Afficher la réponse
Le budget l’arrête en premier. Les 1 200 questions coûtent 1 200 × 0,000167 $ US = 0,20 $ US par jour. Donc, 5 $ US durent 5 ÷ 0,2004 = environ 24,95 jours. Le jour 25, après environ 1 140 questions ce jour-là, le budget est épuisé. Dès lors, chaque question reçoit 429 limit_reached avec « This shop has used its model budget for this month (US$5.00). » et Retry-After: 86400. Le message signifie que cette boutique a épuisé son budget de modèle pour le mois (5,00 $ US). Un mois complet coûterait 1 200 × 30 × 0,000167 $ US = 6,01 $ US. Si Grace veut que la limite quotidienne reste le plafond que les gens atteignent, le budget doit dépasser légèrement 6,01 $ US. Par exemple, il pourrait être de 7 $ US. Les deux choix peuvent convenir, mais la décision doit venir de Grace et être inscrite au budget, pas être une surprise.
Erreur courante
Un retour en arrière qui oublie les paramètres
Symptôme : un cas construit. Sam met 1.0.1 en production en modifiant ANSWER_PROVIDER=live dans .env, pas sur la ligne de commande. Le démarrage échoue. Sam revient en arrière avec APP_VERSION=1.0.0 docker compose --profile app up -d --wait api. Le retour en arrière échoue de la même façon, avec la même erreur ValueError dans le journal.
Cause : le retour en arrière a démarré l’ancienne image avec les nouveaux paramètres. La mauvaise valeur est encore dans .env, donc 1.0.0 la lit aussi. Une version mise en production comprend une étiquette d’image et ses paramètres. Sam n’a rétabli qu’un des deux.
Diagnostic : comparez les paramètres du conteneur défaillant avec ceux de la dernière version fonctionnelle. docker compose --profile app config montre les valeurs que Compose utiliserait. Ne collez sa sortie nulle part, car elle contient les secrets.
Correction : conservez les paramètres de chaque version avec son étiquette. Par exemple, utilisez les notes de version ou un fichier par environnement, comme dans Séparer la configuration. Un retour en arrière rétablit les deux.
Conséquence pour le travail en IA : dans un produit d’IA, beaucoup de mises en production changent seulement des paramètres. Il peut s’agir d’un nom de modèle, d’une version de requête (prompt) ou d’un mode de récupération. Si ces paramètres ne sont pas versionnés avec la mise en production, le « retour en arrière » rétablit le code. Il conserve toutefois le changement qui l’a fait échouer.
Votre projet
Section intitulée « Votre projet »- Rédigez votre
docs/runbook.mden trois parties : retour arrière, limites d’utilisation, nettoyage. Chaque étape est une commande. Chaque vérification est une commande accompagnée de sa sortie attendue. - Faites un exercice de mise en production sur votre démo : une bonne version, une mauvaise version construite (un réglage incorrect), le retour arrière, le test de bon fonctionnement. Notez les temps et les sorties.
- Énumérez vos migrations et indiquez si chacune est additive ou non. Si une migration ne l’est pas, décrivez les deux mises en production nécessaires.
- Ajoutez des limites d’utilisation adaptées à votre produit : une limite quotidienne par locataire et un budget mensuel de modèle par locataire. Calculez les deux à partir de votre coût par question, comme dans le tableau ci-dessus. Indiquez laquelle bloque les requêtes en premier.
- Faites le nettoyage à partir de votre liste. Terminez par une commande qui prouve qu’il ne reste rien.
Preuves à conserver : docs/runbook.md, les sorties et les temps de l’exercice, une réponse 429 avec son message, la sortie du point de terminaison d’utilisation et la liste finale du nettoyage.
Liste de vérification
- Le retour arrière rétablit l’étiquette de version précédente et ses réglages. Le test de bon fonctionnement réussit ensuite.
- Chaque migration depuis la dernière mise en production est additive ou divisée en une phase d’expansion et une phase de réduction.
- Les limites refusent les requêtes avant l’appel au modèle, par locataire, avec un message clair et
Retry-After. - Vous pouvez expliquer quelle limite bloque les requêtes en premier, chiffres à l’appui.
- Le nettoyage supprime chaque conteneur, volume, étiquette d’image, clé et secret créé par la démo. Une liste le prouve.
Exercice du module : une démonstration reproductible
Section intitulée « Exercice du module : une démonstration reproductible »Vous avez fait chaque étape de ce module sur le projet de Sam. Faites-les maintenant pour votre propre produit.
Votre tâche
Section intitulée « Votre tâche »Déployez votre produit si vous avez les ressources nécessaires, ou fournissez une démonstration locale entièrement reproductible. Dans les deux cas, une personne qui dispose seulement de votre dépôt doit pouvoir la répéter :
- Sur une copie propre de votre dépôt, exécutez les vérifications de votre pipeline et construisez l’image avec une étiquette de version.
- Démarrez la démo avec
--wait, chargez les données et exécutez votre test de bon fonctionnement. - Mettez en production une mauvaise version construite, faites un retour arrière et exécutez de nouveau le test de bon fonctionnement.
- Montrez un refus causé par une limite d’utilisation.
- Faites le nettoyage et prouvez-le avec une liste.
- Notez ce que vous n’avez pas fait dans votre
docs/deployment.md(par exemple : « le flux de travail n’a pas été exécuté sur GitHub », « aucun déploiement dans le nuage »).
Afficher une réponse modèle : l’exécution de Sam
Sam a exécuté chaque étape de ce module sur deux copies neuves de l’instantané, dans un seul script. La première copie a exécuté les étapes de CI (intégration continue). La deuxième a exécuté la démo, la limite, l’exercice et le nettoyage. Les sorties des trois leçons de ce module proviennent de cette exécution.
| Étape | Résultat |
|---|---|
| Analyse statique, verrou des données réservées | les deux réussissent en moins d’une seconde |
| Tests | 108 réussissent en environ 41 s |
| Chargement de l’ensemble, isolation | 51 documents indexés (0 échec); 414 sondes, 0 fuite |
| Barrière d’évaluation (minimum de 0,75) | proportion correcte de 0,878, code de sortie 0 |
| Démarrage sans secrets | refusé : required variable SESSION_SECRET is missing a value (la variable obligatoire SESSION_SECRET n’a pas de valeur) |
Construction et démarrage de 1.0.0 (up --build --wait) |
63 s, surtout pour la construction (certaines couches étaient en cache) |
| Chargement dans le conteneur | 51 documents, 0 échec, en environ 12 s |
| Test de bon fonctionnement | 7 sur 7 |
| Limite quotidienne de 3 | 200, 200, 200, puis 429 limit_reached (limite atteinte) |
| Mauvaise version 1.0.1 | up --wait échoue : l’API s’arrête avec le code 3; le test de bon fonctionnement ne peut pas se connecter |
| Retour arrière à 1.0.0 | 7,3 s; test de bon fonctionnement : 7 sur 7 |
| Nettoyage | aucune image doc-assistant restante, aucun volume restant |
Ce qui rend l’exécution reproductible : l’instantané, les versions fixes, les réponses enregistrées (sans clé), les données synthétiques et les commandes dans README.md, docs/deployment.md et docs/runbook.md. Ce qu’elle ne montre pas : une exécution sur GitHub, Windows ou Linux, et un déploiement dans le nuage. Sam note ces trois lacunes dans docs/deployment.md.
Vérification du module
Section intitulée « Vérification du module »Vérifiez votre compréhension
Rappel : nommez dans l'ordre les six vérifications de la tâche de test de Sam. Indiquez laquelle protège les données réservées.
Afficher la réponse
L’analyse statique (ruff check .), le verrou des données réservées (python -m scripts.holdout check), les tests (python -m pytest), le chargement de l’ensemble (python -m scripts.load_pack), les vérifications d’isolation (python -m scripts.isolation, 0 fuite) et le test de bon fonctionnement de l’évaluation (python -m scripts.evaluate --set heldout --min-correct 0.75). Le verrou protège les données réservées : il compare le SHA-256 de heldout.jsonl à celui de heldout.lock. Il échoue si une question a été déplacée, ajoutée ou modifiée après sa réservation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : la version 1.1.0 ajoute la migration 006, qui renomme une colonne lue par 1.0.0. La version 1.1.0 démarre, puis le test de bon fonctionnement échoue. Sam revient à 1.0.0. Que se passe-t-il, et qu'aurait dû faire Sam?
Afficher la réponse
Le retour arrière démarre 1.0.0 sur une base de données que la migration 006 a déjà modifiée. Un retour arrière n’annule pas les migrations. La version 1.0.0 cherche donc une colonne qui n’existe plus. /ready peut encore indiquer que l’application est prête, car toutes les migrations connues de 1.0.0 sont appliquées. Mais la première recherche ou réponse échoue, et le test de bon fonctionnement échoue de nouveau. Sam aurait dû diviser le renommage en deux mises en production. D’abord, l’expansion : ajouter la nouvelle colonne, la remplir et conserver l’ancienne. Ensuite, la réduction : supprimer l’ancienne colonne quand aucune version en cours d’exécution ne la lit. Ainsi, chaque mise en production est additive pour la version précédente, et le retour arrière est sûr.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification finale : vérifiez le même parcours principal dans un environnement propre. Quelles commandes exécutez-vous, dans quel ordre, et quelles sorties prouvent chaque étape?
Afficher la réponse
Sur une copie neuve du dépôt, avec un nouvel environnement virtuel et un nouveau .env :
python -m idp init: les clés et deux secrets sont créés.- Les vérifications :
ruff check .indiqueAll checks passed!(toutes les vérifications ont réussi);python -m scripts.holdout checkindique que le SHA-256 correspond au verrou;python -m pytestréussit (108 tests pour Sam);python -m scripts.isolationindique 0 fuite; la barrière d’évaluation indiquecorrect 0.878(proportion correcte de 0,878) et se termine avec le code 0. APP_VERSION=1.0.0 docker compose --profile app up -d --build --wait:dbetapisont en bon état.docker compose --profile app run --rm api python -m scripts.load_pack: 51 documents, 0 échec.curl http://127.0.0.1:8000/ready:"status":"ready"(état : prêt) avec la version.SMOKE_TOKEN=$(python -m idp token usr-sam) python scripts/smoke.py http://127.0.0.1:8000:7 of 7 checks passed.(7 vérifications sur 7 ont réussi). Cela comprend une réponse à une question avec une citation, et une réponse 404 pour l’autre boutique.- Nettoyage :
docker compose --profile app down --volumes,docker image rm doc-assistant:1.0.0, puisdocker image ls doc-assistantne retourne rien.
La preuve vient des sorties de la copie propre, pas de votre dossier de travail.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
Le module 6 en bref
- Un pipeline de construction exécute six vérifications sur un ordinateur propre, des plus rapides aux plus lentes. Il construit une seule image, uniquement si elles réussissent toutes. La barrière d’évaluation détecte les réponses qui se dégradent même si tous les tests réussissent.
- L’image fixe chaque version, contient les modèles, s’exécute sous
appet ne contient aucun secret. Vous livrez l’image qui a réussi les vérifications, avec une étiquette de version. - Une mise en production démarre dans l’ordre (base de données, migrations, API), attend que l’application soit prête, puis se termine par un test de bon fonctionnement du parcours principal. La vitalité et l’état de préparation répondent à des questions différentes.
- Un retour arrière démarre la version portant l’étiquette précédente avec ses réglages, en quelques secondes, et conserve les données. Il est sûr seulement si chaque migration est additive.
- Les limites d’utilisation refusent une question avant l’appel au modèle : 200 par jour et 5 $ US par mois par boutique. Avec chat-small, la limite quotidienne bloque les requêtes en premier.
- Le nettoyage est terminé quand une liste prouve qu’il ne reste rien.
Revenir à un état connu
- Arrêtez et supprimez la démo :
docker compose --profile app down --volumes. - Supprimez vos étiquettes d’image :
docker image rm doc-assistant:1.0.0 doc-assistant:1.0.1. - Copiez l’instantané
end-of-m06dans un nouveau dossier, comme dans Utiliser un instantané. Créez ses fichiers.venvet.env, puis exécutezpython -m idp init. - Exécutez
docker compose up -d --wait db, puispython -m pytest. Vous devriez voir108 passed(108 tests réussis).
Ensuite, le module 7 transforme le projet en réalisation pour votre portfolio : le README, le récit de la démo et la réflexion.
Leçon suivante : Remise du dépôt