Aller au contenu
English

Déploiements contrôlés

  • Leçon 15
  • 55 min
  • Module 5 : Mettre en production et améliorer en toute sécurité

Où nous en sommes

Dans la leçon précédente, nous avons construit une barrière de mise en production : la requête v3 échoue aux six vérifications, et la requête v2 les réussit. Mais une réussite veut dire « déployer sur un groupe canari », pas « déployer pour tout le monde » : les tests hors ligne ne montrent pas tout ce que feront les vrais billets. Dans cette leçon, nous exécutons une version candidate en miroir, puis comme canari pour une partie des billets, avec des règles de retour arrière écrites avant le début. Nous commençons par une cheffe qui veut modifier un plat populaire.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Exposez une version candidate à de vrais billets de soutien sans mettre tous les clients à risque. Exécutez-la d’abord en parallèle, puis comme canari pour une partie des billets. Écrivez les règles de retour arrière avant de commencer. Dès qu’une condition est remplie, revenez en arrière. Prouvez ensuite, avec des chiffres, que le service est rétabli.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet après la dernière leçon : python -m pytest affiche 213 passed (213 tests réussis). operations/releases/ contient vos nouveaux manifestes v2 et v3.
  • Docker exécutant PostgreSQL et Valkey. Trois terminaux pour le simulateur, l’API et le processus, comme dans Faire tourner le service en production.
  • La télémétrie enregistrée dans data/telemetry/. Les étapes qui lisent les fichiers enregistrés n’ont pas besoin de Docker.

Une cheffe veut modifier un plat populaire. Elle n’imprime pas de nouveaux menus pour toute la ville dès le premier jour.

  • D’abord, elle cuisine la nouvelle version à côté de l’ancienne et la goûte. Aucun client ne la mange encore.
  • Ensuite, elle la sert à une table sur dix. Les autres tables reçoivent l’ancien plat.
  • Avant de commencer, elle écrit quand elle arrête : « une assiette retournée froide, et le plat quitte le menu ».
  • Si elle arrête, elle vérifie les prochaines assiettes de l’ancien plat. Elle veut savoir que la cuisine fonctionne normalement, pas seulement l’espérer.

Chaque étape limite les dégâts d’une erreur. Chaque étape lui donne aussi des preuves qu’une fiche de recette ne peut pas fournir.

« La semaine dernière », la requête (prompt) v3 a traité tous les billets d’un seul coup. Dans la relecture d’exercice, le changement est arrivé à la minute 5,0. Dès lors, tous les billets ont reçu v3. Sur les 1 798 billets v3, 186 n’ont reçu aucune réponse. Et 10 billets nécessitant une personne n’ont été transmis à personne. Les alertes se sont bien déclenchées, 5 à 9 minutes d’exercice après le changement. Mais rien ne limitait le nombre de clients exposés à v3 avant une intervention humaine. Personne n’avait non plus décidé à l’avance ce qu’« intervenir » voulait dire.

La barrière de la dernière leçon aurait arrêté v3. Mais certaines versions candidates passeront la barrière et échoueront quand même sur de vrais billets. Un échec sur 1 000 billets passe facilement inaperçu dans 98 billets réservés à l’évaluation. La mise en production elle-même doit donc être sûre.

L’idée : parallèle, canari, règles de retour arrière, preuve

Section intitulée « L’idée : parallèle, canari, règles de retour arrière, preuve »

Quatre noms, un pour chaque étape du plan de la cheffe :

  • Exécution en parallèle : la version candidate s’exécute à côté de la version active sur les mêmes billets. La version active répond au client. Le résultat de la candidate est enregistré uniquement pour comparaison. Aucun client ne le voit.
  • Canari : la candidate répond à une partie des billets, par exemple 10 %. Le reste conserve la version active. Le nom vient des canaris que les mineurs emportaient sous terre : un petit avertissement précoce.
  • Règles de retour arrière : des conditions écrites pour retirer le canari, décidées avant son démarrage et conservées dans un fichier. Chaque règle nomme un signal, un seuil et la version de comparaison.
  • Retour arrière et preuve de rétablissement : le canari est retiré. Ensuite, les preuves doivent montrer que les billets après le changement ressemblent de nouveau à ceux de la version active.

Dans le projet, l’état des versions dans PostgreSQL indique quelle version fait le travail. Il nomme une version active, parfois un canari avec sa part, parfois une version en parallèle. python -m ops rollout le modifie, et le processus le lit toutes les 5 secondes. Chaque changement est enregistré, avec son auteur et sa raison.

Le canari choisit les billets par un hachage de leur identifiant, pas au hasard. Ainsi, le même billet reçoit toujours la même version. Si la file livre une tâche deux fois, la même version la traite les deux fois.

Quatre états et les commandes ops rollout qui permettent de passer de l'un à l'autre. v2 active seulement, chaque billet reçoit v2, avec une bordure épaisse. Shadow mène à v2 active plus v3 en parallèle : v2 répond à chaque billet, et v3 s'exécute aussi, sans être visible. Stop ramène à l'état précédent. Canary avec une part de 0,1 mène de v2 active seulement à v2 active plus v3 canari : 10 % des billets reçoivent des réponses v3, et un même billet reçoit toujours la même version. De là, rollback ramène à v2 active seulement, et promote mène à v3 active seulement. Une flèche pointillée, rollback, ramène de v3 active seulement à v2 active seulement.
L'état des versions et les commandes ops rollout qui le modifient. Le processus lit l'état toutes les 5 secondes, et chaque changement est enregistré dans release_events.
Description textuelle du diagramme

Le service démarre avec v2 comme seule version active. Une exécution en parallèle ajoute v3 à côté : v3 traite chaque billet, mais seule v2 répond. « Stop » (arrêter) retire la version en parallèle. Un canari donne à v3 une partie des billets, choisis selon leur identifiant. Depuis le canari, « rollback » (retour arrière) revient à v2 seulement. « promote » (promouvoir) fait de v3 la version active. Après une promotion, un retour arrière rétablit la dernière autre version active.

Un petit exemple : combien de billets canari avant que la règle se déclenche?

Section intitulée « Un petit exemple : combien de billets canari avant que la règle se déclenche? »

La première règle de retour arrière du projet est « une réponse sans texte ». Combien de billets canari faut-il à v3 pour enfreindre cette règle? Chaque billet v3 a la même probabilité de n’avoir aucun texte : 88 de ses 679 enregistrements ont été coupés.

Exécutez du Python dans votre navigateur

À quelle vitesse une règle détecte-t-elle la requête v3?

L’encadré affiche la probabilité pour un billet et le nombre moyen de billets avant le premier échec. Il affiche ensuite la probabilité parmi 5, 10, 20 et 50 billets canari. Il affiche aussi le temps nécessaire pour 10 billets canari à trois parts différentes. Essayez ensuite p = 1/679, le taux de la requête v2.

chance that one v3 ticket has no text: 13.0%
average canary tickets until the first one: 7.7
within 5 canary tickets: 50.0%
within 10 canary tickets: 75.0%
within 20 canary tickets: 93.8%
within 50 canary tickets: 99.9%
share 1%: 1.2 canary tickets a minute, 10 canary tickets in 8.33 minutes
share 10%: 12.0 canary tickets a minute, 10 canary tickets in 0.83 minutes
share 50%: 60.0 canary tickets a minute, 10 canary tickets in 0.17 minutes

Ces lignes cachent deux leçons. D’abord, le nombre de billets canari nécessaire à une règle dépend de l’échec, pas de la part : environ 8 pour v3. Ensuite, la part détermine à quelle vitesse ces billets arrivent. Une petite part protège les clients chaque minute, mais vous apprenez plus tard.

Avec le taux de v2, 1 sur 679, la moyenne est de 679 billets. Une règle « une réponse sans texte » se déclencherait aussi sur une version saine, tôt ou tard. Le canari enregistré le montre aussi.

Essayez sur votre service : parallèle, canari, retour arrière

Section intitulée « Essayez sur votre service : parallèle, canari, retour arrière »

Exécutez v3 d’abord en parallèle, puis comme canari pour la moitié de 20 billets d’exercice. Revenez ensuite en arrière. La moitié, pas 10 %, pour que quelques billets d’exercice atteignent v3. Utilisez vos propres identifiants de version de la dernière leçon.

  1. Vérifiez l’état des versions. Une nouvelle base de données n’en a aucun :

    Fenêtre de terminal
    python -m ops rollout status
    no release state: the worker uses RELEASE_ID (or ASSISTANT_PROMPT)
  2. Faites de v2 la version active, puis ajoutez v3 en parallèle. --by (auteur) et --reason (raison) sont enregistrés avec chaque changement :

    Fenêtre de terminal
    python -m ops rollout start 1.5.0-5a4f87 --by Amira --reason "prompt v2 on the Module 5 code"
    python -m ops rollout shadow 1.5.0-422985 --by Amira --reason "prompt v3 beside v2, unseen"
    start: active 1.5.0-5a4f87. The worker takes it within 5 seconds.
    shadow: active 1.5.0-5a4f87, shadow 1.5.0-422985. The worker takes it within 5 seconds.
  3. Démarrez les trois processus, chacun dans son terminal, comme avant :

    Fenêtre de terminal
    python -m simulator
    fastapi dev
    python -m ticket_api.worker
  4. Dans un quatrième terminal, envoyez 10 billets d’exercice :

    Fenêtre de terminal
    python -m scripts.practice --tickets 10 --rate 2
    Sent 10 practice tickets in 4.5 s: 202: 10

    Le terminal du processus consigne l’état lorsqu’il le lit :

    INFO ticket_api.worker [-]: release state: State(active='1.5.0-5a4f87', canary=None, canary_share=0.0, shadow='1.5.0-422985')
  5. Attendez environ 30 secondes, jusqu’à ce que le processus ait traité les 10 billets. Comparez ensuite la version en parallèle à la version active :

    Fenêtre de terminal
    python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl --shadow
    shadow 1.5.0-422985 active 1.5.0-5a4f87
    ---------------------------- ------------------- -------------------
    tickets 10 10
    answers without text 2 (20.0%) 0 (0.0%)
    cost per 1,000 tickets (US$) 0.504 0.344
    triage call p95 (s) 9.01 4.17
    agrees with reviews - -
    Rollback rules met (first time):
    no answer at +0.3 min: after 6 shadow tickets (5 tickets in all)

    Chaque billet a été traité deux fois. v3 a produit deux réponses sans texte, et aucun client ne les a vues : v2 a répondu aux 10 billets.

  6. Arrêtez l’exécution en parallèle et démarrez un canari pour la moitié des billets :

    Fenêtre de terminal
    python -m ops rollout stop --by Amira --reason "shadow run finished"
    python -m ops rollout canary 1.5.0-422985 --share 0.5 --by Amira --reason "prompt v3 for half the practice tickets"
    stop: active 1.5.0-5a4f87. The worker takes it within 5 seconds.
    canary: active 1.5.0-5a4f87, canary 1.5.0-422985 for 50% of tickets. The worker takes it within 5 seconds.
  7. Envoyez 20 billets d’exercice, attendez environ 30 secondes et comparez :

    Fenêtre de terminal
    python -m scripts.practice --tickets 20 --rate 2
    python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl
    canary 1.5.0-422985 active 1.5.0-5a4f87
    ---------------------------- ------------------- -------------------
    tickets 10 20
    answers without text 2 (20.0%) 0 (0.0%)
    cost per 1,000 tickets (US$) 0.452 0.357
    triage call p95 (s) 9.01 4.61
    agrees with reviews - -
    Rollback rules met (first time):
    no answer at +1.0 min: after 4 canary tickets (20 tickets in all)

    Sur les 20 billets, 10 sont allés au canari. Le quatrième billet canari n’avait aucun texte. La règle exige donc un retour arrière. La colonne « active » compte aussi les 10 billets de l’exécution en parallèle. Le nombre de billets du canari dépend de vos identifiants de billet. Votre résultat peut donc différer.

  8. Revenez en arrière et indiquez pourquoi :

    Fenêtre de terminal
    python -m ops rollout rollback --by Amira --reason "answers without text on canary tickets"
    rollback: active 1.5.0-5a4f87. The worker takes it within 5 seconds.
  9. Prouvez le rétablissement. Attendez 30 secondes, envoyez 10 autres billets, attendez encore et lancez la comparaison :

    Fenêtre de terminal
    python -m scripts.practice --tickets 10 --rate 2
    python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl

    La dernière ligne est nouvelle :

    After the last release change (+1.9 min: active 1.5.0-5a4f87, canary None): 10 tickets, 0 without text, US$0.343 per 1,000, triage p95 4.17 s, canary tickets 0

    Après le changement, aucun billet n’est allé à v3 et aucun n’était sans texte. Le coût et le temps correspondent de nouveau à v2.

  10. Lisez la chronologie du déploiement :

    Fenêtre de terminal
    python -m ops rollout history
    when action state after by reason
    -------- -------- ----------------------------------------------------------- ----- ---------------------------------------
    +0.0 min start active 1.5.0-5a4f87 Amira prompt v2 on the Module 5 code
    +0.0 min shadow active 1.5.0-5a4f87, shadow 1.5.0-422985 Amira prompt v3 beside v2, unseen
    +0.7 min stop active 1.5.0-5a4f87 Amira shadow run finished
    +0.7 min canary active 1.5.0-5a4f87, canary 1.5.0-422985 for 50% of tickets Amira prompt v3 for half the practice tickets
    +1.4 min rollback active 1.5.0-5a4f87 Amira answers without text on canary tickets

Arrêtez l’API et le processus avec Ctrl+C quand vous avez terminé. Chaque résultat porte son identifiant de version. La base de données peut donc aussi indiquer qui a reçu quoi. Dans ai_runs, votre exécution contient 30 lignes triage pour v2, 10 lignes triage pour v3 et 10 lignes triage_shadow pour v3.

Les règles sont dans operations/rollout.toml, à côté de la part du canari :

[canary]
share = 0.10
# Quality, cost and time are judged only after this many canary tickets.
minimum_tickets = 50
[rollback]
# Any one of these sends the canary back (python -m ops rollout rollback).
answers_without_text = 1 # canary tickets with no answer (a safety ticket may be one)
cost_increase = 0.20 # cost per ticket, against the active release (+20%)
triage_p95_increase = 0.50 # p95 of the triage call, against the active release (+50%)
agreement_drop = 0.05 # agreement with agents' reviews (needs 50 reviews of the canary)

Chaque règle compare le canari à la version active, par identifiant de version, aux mêmes heures et sur les mêmes billets. C’est plus équitable qu’un nombre fixe : si tous les billets ralentissent à midi, les deux versions ralentissent ensemble.

Certaines règles exigent un nombre minimal. Avec 5 billets canari, une seule réponse lente peut faire beaucoup varier le p95. Le coût et le temps sont donc évalués seulement après 50 billets canari, et l’accord après 50 révisions. La règle des réponses sans texte n’exige aucun minimum. Une seule réponse manquante peut concerner un billet de sécurité. ops canary vérifie les trois premières règles. L’accord nécessite les révisions des agents, qui arrivent plus tard : ops canary l’affiche, et une personne l’évalue.

Le cours a enregistré le même changement comme scénario d’exercice sur l’ensemble des composants. Il a envoyé 2 400 billets à 2 par seconde, avec v3 comme canari pour 10 % dès la minute 5,0. Le scénario est revenu en arrière 60 secondes après le déclenchement de l’alerte no-answer de Grafana. Les 60 secondes sont une hypothèse : une minute pour qu’une personne lise l’alerte et intervienne. Les réponses sont des enregistrements rejoués; la situation est construite.

Fenêtre de terminal
python -m ops canary data/telemetry/canary.jsonl.gz
canary 1.5.0-767b56 active 1.5.0-4fafd1
---------------------------- ------------------- -------------------
tickets 25 2,375
answers without text 3 (12.0%) 2 (0.1%)
cost per 1,000 tickets (US$) 0.479 0.340
triage call p95 (s) 7.86 5.18
agrees with reviews 11/14 998/1053
Rollback rules met (first time):
no answer at +5.9 min: after 9 canary tickets (695 tickets in all)
After the last release change (+7.3 min: active 1.5.0-4fafd1, canary None): 1,533 tickets, 2 without text, US$0.341 per 1,000, triage p95 5.17 s, canary tickets 0

Les identifiants de version viennent des manifestes du cours. Ils diffèrent donc des vôtres. Lisez la chronologie :

Minute d’exercice Ce qui s’est passé
5,01 ops rollout canary 1.5.0-767b56 --share 0.1
5,85 le 9e billet canari n’a aucun texte : la condition est remplie, 0,85 minute après le démarrage
6,19 l’alerte no-answer de Grafana se déclenche, 1,19 minute après le démarrage
7,18 le retour arrière, 60 secondes plus tard (hypothèse)

Avant le retour arrière, 22 billets canari avaient commencé, et 3 autres étaient déjà en cours. Ainsi, 25 clients ont reçu une réponse v3. Trois n’ont reçu aucun texte, et aucun de ces 3 billets n’était un billet de sécurité. Comparez avec « la semaine dernière » : 1 798 billets v3 et 186 sans texte.

Les règles de coût et de temps n’ont jamais évalué le canari : il n’avait que 25 billets, moins de 50. Seule la règle sans minimum pouvait agir à temps, et elle a suffi.

Les panneaux Grafana racontent la même histoire par version. Le deuxième identifiant de version est celui du canari :

Deux séries temporelles Grafana du canari enregistré, chacune avec une ligne par version. À gauche, brouillons valides, part par version dans des fenêtres de 2 minutes : la ligne de 1.5.0-4fafd1 reste à 100 % de 22 h 49 à 23 h 09, avec une légère baisse à environ 99 % vers 23 h 05. La ligne de 1.5.0-767b56 commence à 100 % vers 22 h 54 et descend à environ 84 %, puis 82 %, avant de s'arrêter vers 22 h 57. À droite, coût par 1 000 billets par version : 1.5.0-4fafd1 reste près de 0,34 $ US; 1.5.0-767b56 monte d'environ 0,32 $ US à environ 0,48 $ US entre 22 h 54 et 22 h 57, puis s'arrête.
Le canari enregistré dans Grafana : brouillons valides et coût par version. Les lignes du canari s'arrêtent au retour arrière. Grafana attribue les couleurs. Les vôtres peuvent donc différer. L’image est en anglais.

« Nous sommes revenus en arrière » est une action. « Le service est rétabli » est une affirmation, et elle exige des preuves. La dernière ligne de ops canary les fournit : après le changement, 1 533 billets, 0 billet canari, 0,341 $ US par 1 000 et un p95 de triage de 5,17 s. Ce sont les chiffres de la version active : 0,340 et 5,18 s.

Les 2 réponses sans texte après le retour arrière ne viennent pas de v3. Elles viennent de l’unique enregistrement coupé de v2, le billet d’exercice T-65450, que le scénario tire encore et encore. À cause de lui, l’alerte no-answer s’est déclenchée de nouveau sur la version saine, 10,5 minutes après le démarrage du canari. Guides d’exploitation, dans le module 6, traite de ce bruit.

Les preuves de rétablissement ont trois parties :

  1. L’état : ops rollout history montre le retour arrière, avec son auteur et sa raison.
  2. Le trafic : aucun billet après le changement n’a utilisé la version canari.
  3. Les signaux : les chiffres après le changement correspondent aux chiffres de la version active, pas à un espoir.

La part change la vitesse d’apprentissage du canari et le nombre de clients qu’il touche. L’outil d’exploration calcule d’autres parts à partir de l’exécution enregistrée.

Explorer

Part du canari : quand la requête v3 est-elle détectée?

Règle atteinte (temps d’exercice)
le 9e ticket du canari, après 0,75 min
Clients avec une réponse v3 avant le retour arrière
24
Les règles de coût et de temps peuvent juger après
4,2 min
Règle atteinte au rythme de Larkfield (822 tickets par jour)
2,6 h

À 10 %, 12 tickets du canari arrivent par minute d’exercice. Le 9e est le premier sans texte, à 0,75 minutes. Le retour arrière arrive à 2,07 minutes, donc environ 24 clients reçoivent une réponse v3. Au rythme réel de Larkfield, le 9e ticket du canari arrive après environ 2,6 h, et environ 9 clients reçoivent une réponse v3 : la personne réagit bien avant le ticket suivant du canari. Les règles de coût et de temps auraient besoin de 50 tickets du canari, à 4,2 minutes : le retour arrière arrive avant, donc seule la règle des réponses sans texte peut agir. L’exécution enregistrée à 10 % : la règle a été atteinte à 0,85 minutes, et 22 tickets du canari ont commencé avant le retour arrière.

  • Tickets du canari calculés
  • Canari enregistré à 10 % (anneau vide : réponse sans texte)
0306090Tickets du canari (clients avec une réponse v3)012345678910Minutes d’exercice après le début du canariles règles de coût et de temps peuvent juger (50 tickets)Calculé: 24 tickets du canariExécution enregistrée (10 %): 1 tickets du canariExécution enregistrée (10 %): 2 tickets du canariExécution enregistrée (10 %): 3 tickets du canariExécution enregistrée (10 %): 4 tickets du canariExécution enregistrée (10 %): 5 tickets du canariExécution enregistrée (10 %): 6 tickets du canariExécution enregistrée (10 %): 7 tickets du canariExécution enregistrée (10 %): 8 tickets du canariExécution enregistrée (10 %): 9 tickets du canari, réponse sans texteExécution enregistrée (10 %): 10 tickets du canariExécution enregistrée (10 %): 11 tickets du canariExécution enregistrée (10 %): 12 tickets du canariExécution enregistrée (10 %): 13 tickets du canariExécution enregistrée (10 %): 14 tickets du canariExécution enregistrée (10 %): 15 tickets du canariExécution enregistrée (10 %): 16 tickets du canariExécution enregistrée (10 %): 17 tickets du canari, réponse sans texteExécution enregistrée (10 %): 18 tickets du canariExécution enregistrée (10 %): 19 tickets du canariExécution enregistrée (10 %): 20 tickets du canariExécution enregistrée (10 %): 21 tickets du canariExécution enregistrée (10 %): 22 tickets du canariExécution enregistrée (10 %): 23 tickets du canariExécution enregistrée (10 %): 24 tickets du canari, réponse sans texteExécution enregistrée (10 %): 25 tickets du canarirègle atteinte: 0,75 minrègle atteinteretour arrière: 2,07 minretour arrière
0306090Tickets du canari0246810Minutes d’exercice après le début du canari50 ticketsCalculé: 24 tickets du canariExécution enregistrée (10 %): 1 tickets du canariExécution enregistrée (10 %): 2 tickets du canariExécution enregistrée (10 %): 3 tickets du canariExécution enregistrée (10 %): 4 tickets du canariExécution enregistrée (10 %): 5 tickets du canariExécution enregistrée (10 %): 6 tickets du canariExécution enregistrée (10 %): 7 tickets du canariExécution enregistrée (10 %): 8 tickets du canariExécution enregistrée (10 %): 9 tickets du canari, réponse sans texteExécution enregistrée (10 %): 10 tickets du canariExécution enregistrée (10 %): 11 tickets du canariExécution enregistrée (10 %): 12 tickets du canariExécution enregistrée (10 %): 13 tickets du canariExécution enregistrée (10 %): 14 tickets du canariExécution enregistrée (10 %): 15 tickets du canariExécution enregistrée (10 %): 16 tickets du canariExécution enregistrée (10 %): 17 tickets du canari, réponse sans texteExécution enregistrée (10 %): 18 tickets du canariExécution enregistrée (10 %): 19 tickets du canariExécution enregistrée (10 %): 20 tickets du canariExécution enregistrée (10 %): 21 tickets du canariExécution enregistrée (10 %): 22 tickets du canariExécution enregistrée (10 %): 23 tickets du canariExécution enregistrée (10 %): 24 tickets du canari, réponse sans texteExécution enregistrée (10 %): 25 tickets du canarirègle atteinte: 0,75 minrègle atteinteretour arrière: 2,07 minretour arrière
Calculé à partir du canari enregistré : les résultats v3 rejoués dans leur ordre enregistré (le 9e billet canari est le premier sans texte), des billets canari répartis uniformément et 1,32 minute entre la condition remplie et le retour arrière. Les points représentent l'exécution enregistrée à 10 %.
Description textuelle de l’explorateur

La commande choisit la part du canari : 1 %, 2 %, 5 %, 10 %, 25 % ou 50 %. Le graphique montre les minutes d’exercice après le démarrage du canari, de 0 à 10, et le nombre de billets canari, de 0 à 90. Une ligne monte à la vitesse de la part jusqu’au retour arrière, puis reste horizontale. Deux marques indiquent quand la condition est remplie et quand le retour arrière arrive. Une ligne pointillée à 50 billets indique quand les règles de coût et de temps pourraient évaluer le canari. Des points représentent le canari enregistré à 10 %, avec des cercles autour des 3 réponses sans texte. À 10 %, la condition est remplie à 0,75 minute et environ 24 clients reçoivent v3, près des 25 enregistrés. À 1 %, la règle prend 7,5 minutes et environ 10 clients reçoivent v3. À 50 %, elle prend 0,15 minute et environ 88 clients reçoivent v3. L’affichage donne aussi le délai avant la condition au rythme réel de Larkfield, soit 822 billets par jour : 2,6 heures à 10 %, 26,3 heures à 1 %.

Au rythme d’exercice, une plus grande part détecte v3 plus tôt, mais nuit à davantage de clients. La personne a besoin de 1,32 minute pour réagir, et beaucoup de billets arrivent pendant ce temps. Au rythme réel de Larkfield, le canari nécessite environ 9 clients, peu importe la part. La personne réagit bien avant le prochain billet canari. Là, une plus petite part signifie surtout attendre la réponse plus longtemps.

Le cours a aussi enregistré une exécution en parallèle : 600 billets, v2 active, v3 en parallèle sur chaque billet.

Fenêtre de terminal
python -m ops canary data/telemetry/shadow.jsonl.gz --shadow
shadow 1.5.0-767b56 active 1.5.0-4fafd1
---------------------------- ------------------- -------------------
tickets 543 588
answers without text 42 (7.7%) 0 (0.0%)
cost per 1,000 tickets (US$) 0.471 0.337
triage call p95 (s) 8.22 4.94
agrees with reviews - -
Rollback rules met (first time):
no answer at +0.3 min: after 10 shadow tickets (9 tickets in all)
cost at +0.6 min: after 50 shadow tickets (49 tickets in all)
triage time at +0.6 min: after 50 shadow tickets (49 tickets in all)

Trois conditions ont été remplies, et aucun client n’a vu v3. L’exécution en parallèle est la seule façon d’évaluer le coût et le temps sur 50 billets sans exposer les clients. Elle a aussi des limites :

  • La version en parallèle ne peut pas être révisée. Les agents voient la décision de v2. Le champ « accord avec les révisions » est donc vide.
  • Elle coûte le double : chaque billet a produit deux appels de triage. Le coût d’IA de ces billets a donc doublé.
  • Un appel en parallèle peut échouer sans dommage. Deux appels en parallèle ont dépassé le délai : l’enregistrement de 12,1 secondes dépassait la limite de 10 secondes. Les billets ont quand même reçu la réponse de v2.
  • L’exécution en parallèle avait 543 résultats pour 588 billets. Elle s’est arrêtée avec le scénario. Les billets pris ensuite par le processus n’ont pas eu d’exécution en parallèle.
Étape Utilisez-la quand Elle ne peut pas Elle coûte
Parallèle la candidate a passé la barrière et vous voulez mesurer coût, temps et échecs réels sans risquer les clients mesurer ce que les clients ou les agents pensent des réponses un deuxième appel au modèle pour chaque billet
Canari la version en parallèle semble correcte et vous avez besoin de résultats réels et de révisions protéger les clients dans la part du canari certains clients sont exposés à la candidate; apprentissage plus lent avec une petite part
Règles de retour arrière toujours, écrites avant le démarrage évaluer avant leur nombre minimal quelques lignes dans rollout.toml, et une personne de garde pour intervenir

Omar demande : « Pourquoi ne pas sauter l’exécution en parallèle pour économiser? » Au coût enregistré de 0,471 $ US par 1 000 billets, une journée des 822 billets de Larkfield coûte environ 0,39 $ US de plus. C’est peu pour un changement de requête. Pour un modèle coûteux, une exécution en parallèle sur une partie des billets peut suffire.

Erreur courante

ops rollout : aucune version active

Symptôme : python -m ops rollout canary 1.5.0-422985 --share 0.5 sur une nouvelle base de données se termine avec le code 2 :

ops rollout: no active release: run python -m ops rollout start RELEASE first

Cause : un déploiement canari se compare toujours à une version active. Sans elle, il n’y a rien à comparer ni aucune version à rétablir.

Solution : exécutez d’abord python -m ops rollout start <your v2 ID>.

Erreur courante

ops rollout : aucun manifeste de version

Symptôme : python -m ops rollout start 1.5.0-000000 se termine avec le code 2 :

ops rollout: no release manifest operations/releases/1.5.0-000000.toml

Cause : l’outil refuse toute version sans manifeste, ou dont le manifeste ne correspond pas aux fichiers. Ainsi, chaque déploiement reste lié aux versions.

Solution : utilisez un identifiant provenant de python -m ops release list, ou créez d’abord le manifeste.

Erreur courante

Aucune ligne de rétablissement après le retour arrière

Symptôme : juste après ops rollout rollback, python -m ops canary telemetry/ticket-api.jsonl telemetry/ticket-worker.jsonl affiche le tableau du déploiement canari et les règles. Mais aucune ligne ne commence par After the last release change (après le dernier changement de version).

Cause : le processus consigne un changement de version lorsqu’il prend sa prochaine tâche. Sans nouveaux billets, la télémétrie ne contient pas encore le retour arrière, ni de billet après celui-ci.

Solution : envoyez des billets, attendez le processus, puis relancez la commande. « Aucune donnée » ne prouve jamais le rétablissement.

Deux autres refus vous protègent : --share 10 donne --share must be more than 0 and at most 1 (la part doit dépasser 0 sans dépasser 1). Et promote (promouvoir) sans déploiement canari donne there is no canary to promote (aucun déploiement canari à promouvoir).

Vérifiez votre compréhension

Quelle est la différence entre une exécution en miroir et un déploiement canari? Donnez une mesure propre à chacun.

Afficher la réponse

Dans une exécution en miroir, la version candidate traite chaque billet aux côtés de la version active. Seule la version active répond. Cette exécution mesure le coût, le temps et les réponses sans texte sur de nombreux billets, sans risque pour les clients. Un déploiement canari utilise la version candidate pour répondre à une partie des clients. Il mesure ce que vivent les clients et les agents, comme l’accord entre les évaluations des agents. Une exécution en miroir ne peut pas le mesurer.

Vérifiez votre compréhension

Faites une prédiction : le déploiement canari d'une nouvelle version compte déjà 30 billets. Son p95 de triage est le double de celui de la version active. Est-ce que ops canary signale que la règle de temps est remplie? L'équipe devrait-elle agir?

Afficher la réponse

Non. ops canary évalue la règle de temps seulement après 50 billets canaris; il ne la signale donc pas encore. Avec 30 billets, quelques réponses lentes peuvent doubler un p95. L’équipe maintient le déploiement canari et le surveille. Si un billet de sécurité reste sans réponse, cette règle agit immédiatement, sans nombre minimum. Une personne peut quand même décider d’un retour arrière anticipé, en inscrivant une raison dans l’historique.

Vérifiez votre compréhension

Vérification pratique : montrez que votre retour arrière a rétabli le service. Quelles sont vos trois preuves?

Afficher la réponse

L’état : python -m ops rollout history montre le retour arrière, son auteur et sa raison. Le trafic : la dernière ligne de python -m ops canary … montre canary tickets 0 (0 billet canari) après le changement. Les signaux : cette ligne montre 0 réponse sans texte, puis un coût et un p95 correspondant à la version active. Dans l’exécution enregistrée : 0,341 $ US et 5,17 s contre 0,340 $ US et 5,18 s.

Récapitulatif

  • Une exécution en miroir teste une version candidate sur chaque billet sans risque pour les clients. Un déploiement canari lui confie une partie des clients.
  • Les règles de retour arrière sont écrites avant le début. Elles comparent les versions par identifiant à la version active. Certaines exigent un nombre minimum.
  • Le déploiement canari enregistré de v3 a rempli la première règle au 9e billet canari, 0,85 minute après le début. 25 clients ont reçu une réponse de v3, contre 1 798 « la semaine dernière ».
  • La part détermine la vitesse d’apprentissage du déploiement canari et, au rythme de l’exercice, le nombre de clients touchés.
  • La preuve de rétablissement comporte trois parties : l’historique des états, aucun trafic canari après le changement et des signaux revenus aux valeurs de la version active.

Ensuite : quand les preuves indiquent un problème, quel changement le corrige? Une nouvelle requête, un nouvel index, une correction des données ou un nouveau modèle?

Leçon suivante : Réentraîner ou réviser