Déploiements contrôlés
- Leçon 15
- 55 min
- Module 5 : Mettre en production et améliorer en toute sécurité
Où nous en sommes
Dans la leçon précédente, nous avons construit une barrière de mise en production : la requête v3 échoue aux six vérifications, et la requête v2 les réussit. Mais une réussite veut dire « déployer sur un groupe canari », pas « déployer pour tout le monde » : les tests hors ligne ne montrent pas tout ce que feront les vrais billets. Dans cette leçon, nous exécutons une version candidate en miroir, puis comme canari pour une partie des billets, avec des règles de retour arrière écrites avant le début. Nous commençons par une cheffe qui veut modifier un plat populaire.
Leçon 15 sur 19 · MLOps et LLMOps : exploiter l'IA en productionDéploiements contrôlés
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Exposez une version candidate à de vrais billets de soutien sans mettre tous les clients à risque. Exécutez-la d’abord en parallèle, puis comme canari pour une partie des billets. Écrivez les règles de retour arrière avant de commencer. Dès qu’une condition est remplie, revenez en arrière. Prouvez ensuite, avec des chiffres, que le service est rétabli.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La barrière de mise en production et les nouveaux manifestes de v2 et v3, dans Barrières d’évaluation.
- Les réponses sans texte et l’alerte
no-answer(aucune réponse), dans Régressions des LLM et du RAG. - Le canari comme technique de mise en production, dans Mise en production progressive (facultatif : cette leçon l’explique de nouveau).
Ce qu’il vous faut sur votre ordinateur
- Votre projet après la dernière leçon :
python -m pytestaffiche213 passed(213 tests réussis).operations/releases/contient vos nouveaux manifestes v2 et v3. - Docker exécutant PostgreSQL et Valkey. Trois terminaux pour le simulateur, l’API et le processus, comme dans Faire tourner le service en production.
- La télémétrie enregistrée dans
data/telemetry/. Les étapes qui lisent les fichiers enregistrés n’ont pas besoin de Docker.
Un nouveau plat dans un restaurant achalandé
Section intitulée « Un nouveau plat dans un restaurant achalandé »Une cheffe veut modifier un plat populaire. Elle n’imprime pas de nouveaux menus pour toute la ville dès le premier jour.
- D’abord, elle cuisine la nouvelle version à côté de l’ancienne et la goûte. Aucun client ne la mange encore.
- Ensuite, elle la sert à une table sur dix. Les autres tables reçoivent l’ancien plat.
- Avant de commencer, elle écrit quand elle arrête : « une assiette retournée froide, et le plat quitte le menu ».
- Si elle arrête, elle vérifie les prochaines assiettes de l’ancien plat. Elle veut savoir que la cuisine fonctionne normalement, pas seulement l’espérer.
Chaque étape limite les dégâts d’une erreur. Chaque étape lui donne aussi des preuves qu’une fiche de recette ne peut pas fournir.
Le problème : tout le monde à la fois
Section intitulée « Le problème : tout le monde à la fois »« La semaine dernière », la requête (prompt) v3 a traité tous les billets d’un seul coup. Dans la relecture d’exercice, le changement est arrivé à la minute 5,0. Dès lors, tous les billets ont reçu v3. Sur les 1 798 billets v3, 186 n’ont reçu aucune réponse. Et 10 billets nécessitant une personne n’ont été transmis à personne. Les alertes se sont bien déclenchées, 5 à 9 minutes d’exercice après le changement. Mais rien ne limitait le nombre de clients exposés à v3 avant une intervention humaine. Personne n’avait non plus décidé à l’avance ce qu’« intervenir » voulait dire.
La barrière de la dernière leçon aurait arrêté v3. Mais certaines versions candidates passeront la barrière et échoueront quand même sur de vrais billets. Un échec sur 1 000 billets passe facilement inaperçu dans 98 billets réservés à l’évaluation. La mise en production elle-même doit donc être sûre.
L’idée : parallèle, canari, règles de retour arrière, preuve
Section intitulée « L’idée : parallèle, canari, règles de retour arrière, preuve »Quatre noms, un pour chaque étape du plan de la cheffe :
- Exécution en parallèle : la version candidate s’exécute à côté de la version active sur les mêmes billets. La version active répond au client. Le résultat de la candidate est enregistré uniquement pour comparaison. Aucun client ne le voit.
- Canari : la candidate répond à une partie des billets, par exemple 10 %. Le reste conserve la version active. Le nom vient des canaris que les mineurs emportaient sous terre : un petit avertissement précoce.
- Règles de retour arrière : des conditions écrites pour retirer le canari, décidées avant son démarrage et conservées dans un fichier. Chaque règle nomme un signal, un seuil et la version de comparaison.
- Retour arrière et preuve de rétablissement : le canari est retiré. Ensuite, les preuves doivent montrer que les billets après le changement ressemblent de nouveau à ceux de la version active.
Dans le projet, l’état des versions dans PostgreSQL indique quelle version fait le travail. Il nomme une version active, parfois un canari avec sa part, parfois une version en parallèle. python -m ops rollout le modifie, et le processus le lit toutes les 5 secondes. Chaque changement est enregistré, avec son auteur et sa raison.
Le canari choisit les billets par un hachage de leur identifiant, pas au hasard. Ainsi, le même billet reçoit toujours la même version. Si la file livre une tâche deux fois, la même version la traite les deux fois.
Description textuelle du diagramme
Le service démarre avec v2 comme seule version active. Une exécution en parallèle ajoute v3 à côté : v3 traite chaque billet, mais seule v2 répond. « Stop » (arrêter) retire la version en parallèle. Un canari donne à v3 une partie des billets, choisis selon leur identifiant. Depuis le canari, « rollback » (retour arrière) revient à v2 seulement. « promote » (promouvoir) fait de v3 la version active. Après une promotion, un retour arrière rétablit la dernière autre version active.
Un petit exemple : combien de billets canari avant que la règle se déclenche?
Section intitulée « Un petit exemple : combien de billets canari avant que la règle se déclenche? »La première règle de retour arrière du projet est « une réponse sans texte ». Combien de billets canari faut-il à v3 pour enfreindre cette règle? Chaque billet v3 a la même probabilité de n’avoir aucun texte : 88 de ses 679 enregistrements ont été coupés.
Exécutez du Python dans votre navigateur
À quelle vitesse une règle détecte-t-elle la requête v3?
L’encadré affiche la probabilité pour un billet et le nombre moyen de billets avant le premier échec. Il affiche ensuite la probabilité parmi 5, 10, 20 et 50 billets canari. Il affiche aussi le temps nécessaire pour 10 billets canari à trois parts différentes. Essayez ensuite p = 1/679, le taux de la requête v2.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
chance that one v3 ticket has no text: 13.0%average canary tickets until the first one: 7.7within 5 canary tickets: 50.0%within 10 canary tickets: 75.0%within 20 canary tickets: 93.8%within 50 canary tickets: 99.9%share 1%: 1.2 canary tickets a minute, 10 canary tickets in 8.33 minutesshare 10%: 12.0 canary tickets a minute, 10 canary tickets in 0.83 minutesshare 50%: 60.0 canary tickets a minute, 10 canary tickets in 0.17 minutesCes lignes cachent deux leçons. D’abord, le nombre de billets canari nécessaire à une règle dépend de l’échec, pas de la part : environ 8 pour v3. Ensuite, la part détermine à quelle vitesse ces billets arrivent. Une petite part protège les clients chaque minute, mais vous apprenez plus tard.
Avec le taux de v2, 1 sur 679, la moyenne est de 679 billets. Une règle « une réponse sans texte » se déclencherait aussi sur une version saine, tôt ou tard. Le canari enregistré le montre aussi.
Essayez sur votre service : parallèle, canari, retour arrière
Section intitulée « Essayez sur votre service : parallèle, canari, retour arrière »Exécutez v3 d’abord en parallèle, puis comme canari pour la moitié de 20 billets d’exercice. Revenez ensuite en arrière. La moitié, pas 10 %, pour que quelques billets d’exercice atteignent v3. Utilisez vos propres identifiants de version de la dernière leçon.
-
Vérifiez l’état des versions. Une nouvelle base de données n’en a aucun :
Fenêtre de terminal python -m ops rollout statusno release state: the worker uses RELEASE_ID (or ASSISTANT_PROMPT) -
Faites de v2 la version active, puis ajoutez v3 en parallèle.
--by(auteur) et--reason(raison) sont enregistrés avec chaque changement :Fenêtre de terminal python -m ops rollout start 1.5.0-5a4f87 --by Amira --reason "prompt v2 on the Module 5 code"python -m ops rollout shadow 1.5.0-422985 --by Amira --reason "prompt v3 beside v2, unseen"start: active 1.5.0-5a4f87. The worker takes it within 5 seconds.shadow: active 1.5.0-5a4f87, shadow 1.5.0-422985. The worker takes it within 5 seconds. -
Démarrez les trois processus, chacun dans son terminal, comme avant :
Fenêtre de terminal python -m simulatorfastapi devpython -m ticket_api.worker -
Dans un quatrième terminal, envoyez 10 billets d’exercice :
Fenêtre de terminal python -m scripts.practice --tickets 10 --rate 2Sent 10 practice tickets in 4.5 s: 202: 10Le terminal du processus consigne l’état lorsqu’il le lit :
INFO ticket_api.worker [-]: release state: State(active='1.5.0-5a4f87', canary=None, canary_share=0.0, shadow='1.5.0-422985') -
Attendez environ 30 secondes, jusqu’à ce que le processus ait traité les 10 billets. Comparez ensuite la version en parallèle à la version active :
Fenêtre de terminal python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --shadowshadow 1.5.0-422985 active 1.5.0-5a4f87---------------------------- ------------------- -------------------tickets 10 10answers without text 2 (20.0%) 0 (0.0%)cost per 1,000 tickets (US$) 0.504 0.344triage call p95 (s) 9.01 4.17agrees with reviews - -Rollback rules met (first time):no answer at +0.3 min: after 6 shadow tickets (5 tickets in all)Chaque billet a été traité deux fois. v3 a produit deux réponses sans texte, et aucun client ne les a vues : v2 a répondu aux 10 billets.
-
Arrêtez l’exécution en parallèle et démarrez un canari pour la moitié des billets :
Fenêtre de terminal python -m ops rollout stop --by Amira --reason "shadow run finished"python -m ops rollout canary 1.5.0-422985 --share 0.5 --by Amira --reason "prompt v3 for half the practice tickets"stop: active 1.5.0-5a4f87. The worker takes it within 5 seconds.canary: active 1.5.0-5a4f87, canary 1.5.0-422985 for 50% of tickets. The worker takes it within 5 seconds. -
Envoyez 20 billets d’exercice, attendez environ 30 secondes et comparez :
Fenêtre de terminal python -m scripts.practice --tickets 20 --rate 2python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonlcanary 1.5.0-422985 active 1.5.0-5a4f87---------------------------- ------------------- -------------------tickets 10 20answers without text 2 (20.0%) 0 (0.0%)cost per 1,000 tickets (US$) 0.452 0.357triage call p95 (s) 9.01 4.61agrees with reviews - -Rollback rules met (first time):no answer at +1.0 min: after 4 canary tickets (20 tickets in all)Sur les 20 billets, 10 sont allés au canari. Le quatrième billet canari n’avait aucun texte. La règle exige donc un retour arrière. La colonne « active » compte aussi les 10 billets de l’exécution en parallèle. Le nombre de billets du canari dépend de vos identifiants de billet. Votre résultat peut donc différer.
-
Revenez en arrière et indiquez pourquoi :
Fenêtre de terminal python -m ops rollout rollback --by Amira --reason "answers without text on canary tickets"rollback: active 1.5.0-5a4f87. The worker takes it within 5 seconds. -
Prouvez le rétablissement. Attendez 30 secondes, envoyez 10 autres billets, attendez encore et lancez la comparaison :
Fenêtre de terminal python -m scripts.practice --tickets 10 --rate 2python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonlLa dernière ligne est nouvelle :
After the last release change (+1.9 min: active 1.5.0-5a4f87, canary None): 10 tickets, 0 without text, US$0.343 per 1,000, triage p95 4.17 s, canary tickets 0Après le changement, aucun billet n’est allé à v3 et aucun n’était sans texte. Le coût et le temps correspondent de nouveau à v2.
-
Lisez la chronologie du déploiement :
Fenêtre de terminal python -m ops rollout historywhen action state after by reason-------- -------- ----------------------------------------------------------- ----- ---------------------------------------+0.0 min start active 1.5.0-5a4f87 Amira prompt v2 on the Module 5 code+0.0 min shadow active 1.5.0-5a4f87, shadow 1.5.0-422985 Amira prompt v3 beside v2, unseen+0.7 min stop active 1.5.0-5a4f87 Amira shadow run finished+0.7 min canary active 1.5.0-5a4f87, canary 1.5.0-422985 for 50% of tickets Amira prompt v3 for half the practice tickets+1.4 min rollback active 1.5.0-5a4f87 Amira answers without text on canary tickets
Arrêtez l’API et le processus avec Ctrl+C quand vous avez terminé. Chaque résultat porte son identifiant de version. La base de données peut donc aussi indiquer qui a reçu quoi. Dans ai_runs, votre exécution contient 30 lignes triage pour v2, 10 lignes triage pour v3 et 10 lignes triage_shadow pour v3.
Les règles de retour arrière
Section intitulée « Les règles de retour arrière »Les règles sont dans operations/rollout.toml, à côté de la part du canari :
[canary]share = 0.10# Quality, cost and time are judged only after this many canary tickets.minimum_tickets = 50
[rollback]# Any one of these sends the canary back (python -m ops rollout rollback).answers_without_text = 1 # canary tickets with no answer (a safety ticket may be one)cost_increase = 0.20 # cost per ticket, against the active release (+20%)triage_p95_increase = 0.50 # p95 of the triage call, against the active release (+50%)agreement_drop = 0.05 # agreement with agents' reviews (needs 50 reviews of the canary)Chaque règle compare le canari à la version active, par identifiant de version, aux mêmes heures et sur les mêmes billets. C’est plus équitable qu’un nombre fixe : si tous les billets ralentissent à midi, les deux versions ralentissent ensemble.
Certaines règles exigent un nombre minimal. Avec 5 billets canari, une seule réponse lente peut faire beaucoup varier le p95. Le coût et le temps sont donc évalués seulement après 50 billets canari, et l’accord après 50 révisions. La règle des réponses sans texte n’exige aucun minimum. Une seule réponse manquante peut concerner un billet de sécurité. ops canary vérifie les trois premières règles. L’accord nécessite les révisions des agents, qui arrivent plus tard : ops canary l’affiche, et une personne l’évalue.
Lisez le canari enregistré
Section intitulée « Lisez le canari enregistré »Le cours a enregistré le même changement comme scénario d’exercice sur l’ensemble des composants. Il a envoyé 2 400 billets à 2 par seconde, avec v3 comme canari pour 10 % dès la minute 5,0. Le scénario est revenu en arrière 60 secondes après le déclenchement de l’alerte no-answer de Grafana. Les 60 secondes sont une hypothèse : une minute pour qu’une personne lise l’alerte et intervienne. Les réponses sont des enregistrements rejoués; la situation est construite.
python -m ops canary data/telemetry/canary.jsonl.gz canary 1.5.0-767b56 active 1.5.0-4fafd1---------------------------- ------------------- -------------------tickets 25 2,375answers without text 3 (12.0%) 2 (0.1%)cost per 1,000 tickets (US$) 0.479 0.340triage call p95 (s) 7.86 5.18agrees with reviews 11/14 998/1053Rollback rules met (first time): no answer at +5.9 min: after 9 canary tickets (695 tickets in all)After the last release change (+7.3 min: active 1.5.0-4fafd1, canary None): 1,533 tickets, 2 without text, US$0.341 per 1,000, triage p95 5.17 s, canary tickets 0Les identifiants de version viennent des manifestes du cours. Ils diffèrent donc des vôtres. Lisez la chronologie :
| Minute d’exercice | Ce qui s’est passé |
|---|---|
| 5,01 | ops rollout canary 1.5.0-767b56 --share 0.1 |
| 5,85 | le 9e billet canari n’a aucun texte : la condition est remplie, 0,85 minute après le démarrage |
| 6,19 | l’alerte no-answer de Grafana se déclenche, 1,19 minute après le démarrage |
| 7,18 | le retour arrière, 60 secondes plus tard (hypothèse) |
Avant le retour arrière, 22 billets canari avaient commencé, et 3 autres étaient déjà en cours. Ainsi, 25 clients ont reçu une réponse v3. Trois n’ont reçu aucun texte, et aucun de ces 3 billets n’était un billet de sécurité. Comparez avec « la semaine dernière » : 1 798 billets v3 et 186 sans texte.
Les règles de coût et de temps n’ont jamais évalué le canari : il n’avait que 25 billets, moins de 50. Seule la règle sans minimum pouvait agir à temps, et elle a suffi.
Les panneaux Grafana racontent la même histoire par version. Le deuxième identifiant de version est celui du canari :

La preuve de rétablissement
Section intitulée « La preuve de rétablissement »« Nous sommes revenus en arrière » est une action. « Le service est rétabli » est une affirmation, et elle exige des preuves. La dernière ligne de ops canary les fournit : après le changement, 1 533 billets, 0 billet canari, 0,341 $ US par 1 000 et un p95 de triage de 5,17 s. Ce sont les chiffres de la version active : 0,340 et 5,18 s.
Les 2 réponses sans texte après le retour arrière ne viennent pas de v3. Elles viennent de l’unique enregistrement coupé de v2, le billet d’exercice T-65450, que le scénario tire encore et encore. À cause de lui, l’alerte no-answer s’est déclenchée de nouveau sur la version saine, 10,5 minutes après le démarrage du canari. Guides d’exploitation, dans le module 6, traite de ce bruit.
Les preuves de rétablissement ont trois parties :
- L’état :
ops rollout historymontre le retour arrière, avec son auteur et sa raison. - Le trafic : aucun billet après le changement n’a utilisé la version canari.
- Les signaux : les chiffres après le changement correspondent aux chiffres de la version active, pas à un espoir.
Explorez : la part du canari
Section intitulée « Explorez : la part du canari »La part change la vitesse d’apprentissage du canari et le nombre de clients qu’il touche. L’outil d’exploration calcule d’autres parts à partir de l’exécution enregistrée.
Explorer
Part du canari : quand la requête v3 est-elle détectée?
Prédisez d’abord : Avec 10 % des billets, combien de clients reçoivent une réponse v3 avant le retour arrière? Et avec 1 %?
- Règle atteinte (temps d’exercice)
- le 9e ticket du canari, après 0,75 min
- Clients avec une réponse v3 avant le retour arrière
- 24
- Les règles de coût et de temps peuvent juger après
- 4,2 min
- Règle atteinte au rythme de Larkfield (822 tickets par jour)
- 2,6 h
À 10 %, 12 tickets du canari arrivent par minute d’exercice. Le 9e est le premier sans texte, à 0,75 minutes. Le retour arrière arrive à 2,07 minutes, donc environ 24 clients reçoivent une réponse v3. Au rythme réel de Larkfield, le 9e ticket du canari arrive après environ 2,6 h, et environ 9 clients reçoivent une réponse v3 : la personne réagit bien avant le ticket suivant du canari. Les règles de coût et de temps auraient besoin de 50 tickets du canari, à 4,2 minutes : le retour arrière arrive avant, donc seule la règle des réponses sans texte peut agir. L’exécution enregistrée à 10 % : la règle a été atteinte à 0,85 minutes, et 22 tickets du canari ont commencé avant le retour arrière.
- Tickets du canari calculés
- Canari enregistré à 10 % (anneau vide : réponse sans texte)
Description textuelle de l’explorateur
La commande choisit la part du canari : 1 %, 2 %, 5 %, 10 %, 25 % ou 50 %. Le graphique montre les minutes d’exercice après le démarrage du canari, de 0 à 10, et le nombre de billets canari, de 0 à 90. Une ligne monte à la vitesse de la part jusqu’au retour arrière, puis reste horizontale. Deux marques indiquent quand la condition est remplie et quand le retour arrière arrive. Une ligne pointillée à 50 billets indique quand les règles de coût et de temps pourraient évaluer le canari. Des points représentent le canari enregistré à 10 %, avec des cercles autour des 3 réponses sans texte. À 10 %, la condition est remplie à 0,75 minute et environ 24 clients reçoivent v3, près des 25 enregistrés. À 1 %, la règle prend 7,5 minutes et environ 10 clients reçoivent v3. À 50 %, elle prend 0,15 minute et environ 88 clients reçoivent v3. L’affichage donne aussi le délai avant la condition au rythme réel de Larkfield, soit 822 billets par jour : 2,6 heures à 10 %, 26,3 heures à 1 %.
Au rythme d’exercice, une plus grande part détecte v3 plus tôt, mais nuit à davantage de clients. La personne a besoin de 1,32 minute pour réagir, et beaucoup de billets arrivent pendant ce temps. Au rythme réel de Larkfield, le canari nécessite environ 9 clients, peu importe la part. La personne réagit bien avant le prochain billet canari. Là, une plus petite part signifie surtout attendre la réponse plus longtemps.
L’exécution en parallèle enregistrée
Section intitulée « L’exécution en parallèle enregistrée »Le cours a aussi enregistré une exécution en parallèle : 600 billets, v2 active, v3 en parallèle sur chaque billet.
python -m ops canary data/telemetry/shadow.jsonl.gz --shadow shadow 1.5.0-767b56 active 1.5.0-4fafd1---------------------------- ------------------- -------------------tickets 543 588answers without text 42 (7.7%) 0 (0.0%)cost per 1,000 tickets (US$) 0.471 0.337triage call p95 (s) 8.22 4.94agrees with reviews - -Rollback rules met (first time): no answer at +0.3 min: after 10 shadow tickets (9 tickets in all) cost at +0.6 min: after 50 shadow tickets (49 tickets in all) triage time at +0.6 min: after 50 shadow tickets (49 tickets in all)Trois conditions ont été remplies, et aucun client n’a vu v3. L’exécution en parallèle est la seule façon d’évaluer le coût et le temps sur 50 billets sans exposer les clients. Elle a aussi des limites :
- La version en parallèle ne peut pas être révisée. Les agents voient la décision de v2. Le champ « accord avec les révisions » est donc vide.
- Elle coûte le double : chaque billet a produit deux appels de triage. Le coût d’IA de ces billets a donc doublé.
- Un appel en parallèle peut échouer sans dommage. Deux appels en parallèle ont dépassé le délai : l’enregistrement de 12,1 secondes dépassait la limite de 10 secondes. Les billets ont quand même reçu la réponse de v2.
- L’exécution en parallèle avait 543 résultats pour 588 billets. Elle s’est arrêtée avec le scénario. Les billets pris ensuite par le processus n’ont pas eu d’exécution en parallèle.
Quand utiliser chaque option, et à quel coût
Section intitulée « Quand utiliser chaque option, et à quel coût »| Étape | Utilisez-la quand | Elle ne peut pas | Elle coûte |
|---|---|---|---|
| Parallèle | la candidate a passé la barrière et vous voulez mesurer coût, temps et échecs réels sans risquer les clients | mesurer ce que les clients ou les agents pensent des réponses | un deuxième appel au modèle pour chaque billet |
| Canari | la version en parallèle semble correcte et vous avez besoin de résultats réels et de révisions | protéger les clients dans la part du canari | certains clients sont exposés à la candidate; apprentissage plus lent avec une petite part |
| Règles de retour arrière | toujours, écrites avant le démarrage | évaluer avant leur nombre minimal | quelques lignes dans rollout.toml, et une personne de garde pour intervenir |
Omar demande : « Pourquoi ne pas sauter l’exécution en parallèle pour économiser? » Au coût enregistré de 0,471 $ US par 1 000 billets, une journée des 822 billets de Larkfield coûte environ 0,39 $ US de plus. C’est peu pour un changement de requête. Pour un modèle coûteux, une exécution en parallèle sur une partie des billets peut suffire.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
ops rollout : aucune version active
Symptôme : python -m ops rollout canary 1.5.0-422985 --share 0.5 sur une nouvelle base de données se termine avec le code 2 :
ops rollout: no active release: run python -m ops rollout start RELEASE firstCause : un déploiement canari se compare toujours à une version active. Sans elle, il n’y a rien à comparer ni aucune version à rétablir.
Solution : exécutez d’abord python -m ops rollout start <your v2 ID>.
Erreur courante
ops rollout : aucun manifeste de version
Symptôme : python -m ops rollout start 1.5.0-000000 se termine avec le code 2 :
ops rollout: no release manifest operations/releases/1.5.0-000000.tomlCause : l’outil refuse toute version sans manifeste, ou dont le manifeste ne correspond pas aux fichiers. Ainsi, chaque déploiement reste lié aux versions.
Solution : utilisez un identifiant provenant de python -m ops release list, ou créez d’abord le manifeste.
Erreur courante
Aucune ligne de rétablissement après le retour arrière
Symptôme : juste après ops rollout rollback, python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl affiche le tableau du déploiement canari et les règles. Mais aucune ligne ne commence par After the last release change (après le dernier changement de version).
Cause : le processus consigne un changement de version lorsqu’il prend sa prochaine tâche. Sans nouveaux billets, la télémétrie ne contient pas encore le retour arrière, ni de billet après celui-ci.
Solution : envoyez des billets, attendez le processus, puis relancez la commande. « Aucune donnée » ne prouve jamais le rétablissement.
Deux autres refus vous protègent : --share 10 donne --share must be more than 0 and at most 1 (la part doit dépasser 0 sans dépasser 1). Et promote (promouvoir) sans déploiement canari donne there is no canary to promote (aucun déploiement canari à promouvoir).
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Quelle est la différence entre une exécution en miroir et un déploiement canari? Donnez une mesure propre à chacun.
Afficher la réponse
Dans une exécution en miroir, la version candidate traite chaque billet aux côtés de la version active. Seule la version active répond. Cette exécution mesure le coût, le temps et les réponses sans texte sur de nombreux billets, sans risque pour les clients. Un déploiement canari utilise la version candidate pour répondre à une partie des clients. Il mesure ce que vivent les clients et les agents, comme l’accord entre les évaluations des agents. Une exécution en miroir ne peut pas le mesurer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : le déploiement canari d'une nouvelle version compte déjà 30 billets. Son p95 de triage est le double de celui de la version active. Est-ce que ops canary signale que la règle de temps est remplie? L'équipe devrait-elle agir?
Afficher la réponse
Non. ops canary évalue la règle de temps seulement après 50 billets canaris; il ne la signale donc pas encore. Avec 30 billets, quelques réponses lentes peuvent doubler un p95. L’équipe maintient le déploiement canari et le surveille. Si un billet de sécurité reste sans réponse, cette règle agit immédiatement, sans nombre minimum. Une personne peut quand même décider d’un retour arrière anticipé, en inscrivant une raison dans l’historique.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : montrez que votre retour arrière a rétabli le service. Quelles sont vos trois preuves?
Afficher la réponse
L’état : python -m ops rollout history montre le retour arrière, son auteur et sa raison. Le trafic : la dernière ligne de python -m ops canary … montre canary tickets 0 (0 billet canari) après le changement. Les signaux : cette ligne montre 0 réponse sans texte, puis un coût et un p95 correspondant à la version active. Dans l’exécution enregistrée : 0,341 $ US et 5,17 s contre 0,340 $ US et 5,18 s.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une exécution en miroir teste une version candidate sur chaque billet sans risque pour les clients. Un déploiement canari lui confie une partie des clients.
- Les règles de retour arrière sont écrites avant le début. Elles comparent les versions par identifiant à la version active. Certaines exigent un nombre minimum.
- Le déploiement canari enregistré de v3 a rempli la première règle au 9e billet canari, 0,85 minute après le début. 25 clients ont reçu une réponse de v3, contre 1 798 « la semaine dernière ».
- La part détermine la vitesse d’apprentissage du déploiement canari et, au rythme de l’exercice, le nombre de clients touchés.
- La preuve de rétablissement comporte trois parties : l’historique des états, aucun trafic canari après le changement et des signaux revenus aux valeurs de la version active.
Ensuite : quand les preuves indiquent un problème, quel changement le corrige? Une nouvelle requête, un nouvel index, une correction des données ou un nouveau modèle?
Leçon suivante : Réentraîner ou réviser