Guides d'exploitation
- Leçon 17
- 50 min
- Module 6 : Gérer les incidents et la passation
Où nous en sommes
Dans le module 5, nous avons placé une barrière et un déploiement canari devant chaque changement. Mais des problèmes arrivent quand même, souvent la nuit, et la personne de garde ne connaît pas toujours bien le service. Dans cette leçon, nous transformons chaque alerte en courtes étapes écrites que toute personne de garde peut suivre à 3 h, comme une bonne note sur le réfrigérateur pour la personne qui garde l'enfant.
Leçon 17 sur 19 · MLOps et LLMOps : exploiter l'IA en productionGuides d'exploitation
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Transformez chaque alerte en une courte liste d’étapes que toute personne de garde peut suivre à 3 h. Les étapes expliquent l’alerte et les premières vérifications à faire. Elles indiquent comment protéger les clients, qui appeler et comment prouver que le service est rétabli.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les niveaux de gravité et le budget d’erreurs, dans Objectifs de service. Les responsables, dans Responsabilité et soutien.
- Les règles d’alerte dans Grafana, dans Qualité et coûts, et une alerte en sept parties, dans Régressions des LLM et du RAG.
- Le retour arrière avec
python -m ops rollout, dans Déploiements contrôlés.
Ce qu’il vous faut sur votre ordinateur
- Votre projet
ticket-apià la fin du module 5, ou une copie de l’instantanéend-of-m05.python -m pytestaffiche213 passed(213 tests réussis). - Docker qui exécute PostgreSQL et Valkey (
docker compose up -d db cache), pour les tests. - La télémétrie enregistrée dans
data/telemetry/, copiée du dépôt des laboratoires dans Lignée des artefacts.
Aucun compte, aucune clé et aucuns frais. Les étapes qui lisent les fichiers enregistrés n’ont pas besoin de Docker.
La note sur le réfrigérateur
Section intitulée « La note sur le réfrigérateur »Les parents qui sortent le soir laissent une note sur le réfrigérateur pour la personne qui garde leur enfant. Une bonne note ne dit pas « appelez-nous si quelque chose ne va pas ». Elle dit :
- Comment le savoir : « Si elle a chaud et ne veut pas jouer, elle fait peut-être de la fièvre. »
- Quoi vérifier : « Prenez sa température avec le thermomètre dans la salle de bain. »
- Quoi faire d’abord : « Donnez-lui de l’eau et le médicament pour enfants, 5 ml. »
- Qui appeler : « Au-dessus de 39 °C, appelez-nous. Si nous ne répondons pas, appelez le médecin à ce numéro. »
- Comment savoir si ça va mieux : « Moins de 38 °C après une heure, et elle joue de nouveau. »
La personne qui garde l’enfant ne l’a jamais vue faire de la fièvre. Avec la note, elle fait les bonnes choses dans le bon ordre, sans paniquer.
Le problème : une alerte sans note
Section intitulée « Le problème : une alerte sans note »Dans le module 1, vous avez découvert « la semaine dernière ». La requête (prompt) v3 servait alors à traiter tous les billets de soutien, et personne ne l’a remarqué pendant deux jours. Depuis, le service a reçu des règles d’alerte. Exécutez-les sur la simulation de la semaine dernière pour voir ce qu’elles auraient signalé :
python -m ops alerts data/telemetry/release-full.jsonl.gz --after 1.5.0-767b56Practice action 'ops rollout start 1.5.0-767b56 --reason the cheaper prompt, for every ticket' at +5.0 minalert severity fired resolved after the action owner---------------- -------- --------- ------------ ---------------- -----draft-fast-burn SEV-2 +10.7 min +18.2 min 5.7 min Amirano-answer SEV-2 +3.2 min still firing - Priyacost-over-budget SEV-3 +11.2 min still firing 6.2 min Kwametriage-slow SEV-3 +9.7 min still firing 4.7 min Amirareviews-disagree SEV-3 +10.8 min still firing 5.8 min PriyaCinq alertes se sont déclenchées. C’est bien : le service voit maintenant le problème. Mais imaginez le téléphone d’Amira à 3 h avec le message « draft-fast-burn : SEV-2 ». Elle doit répondre seule à trois questions, à moitié réveillée :
- Que signifie cette alerte, et est-elle réelle?
no-answer(aucune réponse) s’était déjà déclenchée avant le changement, pour un billet traité avec la requête v2. Est-ce le même bruit? - Que dois-je faire d’abord? Redémarrer les processus? Augmenter le délai d’expiration du fournisseur? Ces deux choix sont mauvais ici. Un redémarrage ne change rien, et un délai plus long ralentit la mauvaise requête.
- Quand est-ce terminé?
draft-fast-burns’est résolue à +18,2 minutes, mais personne n’a fait de retour arrière. L’alerte s’est arrêtée parce que sa proportion sur 5 minutes est brièvement passée sous 10 %. Les mauvaises réponses ont continué : dans les 2 dernières minutes, 31 billets n’avaient toujours pas de brouillon valide.
Une alerte sans instructions donne un problème à la personne de garde, pas un plan. Ici, elle risque de commencer par la mauvaise étape. Le faux état « résolu » est la partie la plus dangereuse.
L’idée : un guide d’exploitation par type de panne
Section intitulée « L’idée : un guide d’exploitation par type de panne »Un guide d’exploitation est la note sur le réfrigérateur d’un service : les étapes écrites pour un type de panne. Le nom anglais vient des premières salles informatiques, où les opérateurs conservaient un livre des procédures à exécuter. Chaque guide d’exploitation comporte cinq parties, dans l’ordre où vous les utilisez :
- Détection. Ce que signifie l’alerte en mots simples, et où regarder : le panneau du tableau de bord ou la commande.
- Triage. Quelques vérifications rapides, environ 5 minutes, pour déterminer le type de panne et sa gravité. Quelle version? Depuis quand? Combien de clients?
- Atténuation. Ce qui protège les clients maintenant, avant même de connaître la cause. Pour une mauvaise version, c’est un retour arrière. L’enquête vient ensuite.
- Escalade. Qui appeler, et quand : le responsable, son remplaçant, Grace pour les clients, et le fournisseur. Cette partie indique aussi quand augmenter la gravité. Par exemple : « un billet de sécurité sans réponse est de niveau SEV-1 ».
- Vérifications du rétablissement. Les preuves que le service est rétabli, sous forme de cases à cocher. « L’alerte s’est arrêtée » n’en fait pas partie, comme vous venez de le voir.
Description textuelle du diagramme
Une alerte se déclenche, par exemple draft-fast-burn, SEV-2, sous la responsabilité d’Amira. La détection indique ce qu’elle signifie et où regarder. Le triage prend environ 5 minutes et trouve la version, l’heure de début et le nombre de clients. L’atténuation protège d’abord les clients, par exemple avec un retour arrière. L’escalade indique qui appeler et quand augmenter la gravité. Les vérifications du rétablissement sont des cases accompagnées de preuves. Quand toutes les cases sont cochées, l’incident se termine. Sinon, vous revenez au triage.
L’atténuation vient volontairement avant la recherche de la cause. Dans la note, l’eau et le médicament viennent avant que quelqu’un sache pourquoi l’enfant a chaud. Un retour arrière fonctionne de la même façon. Il est sûr, car l’ancienne version a franchi sa barrière, et il arrête les dommages pendant la recherche de la cause.
Un petit exemple : quand l’alerte se déclenche-t-elle?
Section intitulée « Un petit exemple : quand l’alerte se déclenche-t-elle? »Un guide d’exploitation part de l’alerte. Lisez donc d’abord sa règle avec précision. draft-fast-burn dit : plus de 10 % des billets terminés sans brouillon valide dans les 5 dernières minutes, pendant au moins 1 minute. Voici les nombres réels des 12 premières minutes de la semaine dernière, minute par minute :
Exécutez du Python dans votre navigateur
Appliquer la règle draft-fast-burn à la main
La boîte affiche la proportion de mauvais billets dans la fenêtre de 5 minutes, pour chaque minute. Elle se déclenche à la minute 11, six minutes après la mise en production de la requête v3 à la minute 5. Raccourcissez la fenêtre ou abaissez le seuil, puis exécutez-la de nouveau.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
minute 1: 0.0% bad in the windowminute 2: 0.0% bad in the windowminute 3: 0.0% bad in the windowminute 4: 0.2% bad in the windowminute 5: 0.2% bad in the windowminute 6: 2.3% bad in the windowminute 7: 4.5% bad in the windowminute 8: 6.4% bad in the windowminute 9: 8.4% bad in the windowminute 10: 10.9% bad in the windowminute 11: 10.7% bad in the window FIRINGminute 12: 10.6% bad in the window FIRINGÀ partir de la minute 6, environ 11 % des billets de chaque minute n’avaient pas de brouillon valide. La règle ne s’est pas déclenchée immédiatement : la fenêtre de 5 minutes contenait encore les bonnes minutes de la requête v2. La proportion a dépassé 10 % à la minute 10, et l’alerte s’est déclenchée une minute plus tard. ops alerts indique la même chose : +10,7 minutes.
Cet exemple apporte deux éléments au guide d’exploitation :
- Le délai est intégré. La fenêtre et l’attente réduisent les fausses alertes, au prix d’une détection plus lente. Les clients ont reçu de mauvais billets pendant environ 6 minutes avant que quelqu’un le sache. Le guide d’exploitation ne peut pas raccourcir ce délai. Un déploiement canari le peut, comme l’a montré le module 5.
- « Résolu » décrit la fenêtre, pas les clients. Avec une proportion stable de 10,6 % de mauvais billets, la règle reste près de son seuil. Elle peut cesser de se déclencher quand une minute est un peu meilleure. Le guide d’exploitation vérifie donc les billets, pas l’alerte.
Ajouter les fichiers du module à votre projet
Section intitulée « Ajouter les fichiers du module à votre projet »Ce module ajoute des fichiers pour ses trois leçons. Ils contiennent les guides d’exploitation et les règles d’alerte, la solution de repli et l’état destiné aux clients, puis l’analyse post-incident. Copiez-les maintenant, une seule fois. Chaque leçon explique ses propres fichiers.
-
Dans un terminal, allez dans votre projet et activez l’environnement virtuel.
Fenêtre de terminal cd ~/projects/ticket-apisource .venv/bin/activateFenêtre de terminal cd ~\projects\ticket-api.venv\Scripts\Activate.ps1 -
Copiez les fichiers du module depuis l’instantané
end-of-m06. Quatorze fichiers sont nouveaux et onze changent.Fenêtre de terminal S=../nextia-learning-labs/C25/snapshots/end-of-m06mkdir -p operations/runbooks operations/reviews operations/releasesfor f in operations/alerts.toml operations/runbooks/README.md operations/runbooks/provider-outage.md \operations/runbooks/bad-release.md operations/runbooks/stale-index.md \operations/runbooks/model-version-changed.md operations/runbooks/quality-drop.md \operations/runbooks/tickets-refused.md operations/reviews/PIR-001-prompt-v3.md \operations/releases/1.5.0-4fafd1.toml operations/releases/1.5.0-767b56.toml \ops/cmd_alerts.py ops/cmd_incident.py ops/cmd_slo.py ticket_api/config.py \ticket_api/job_routes.py ticket_api/main.py ticket_api/worker.py scripts/scenario.py \tests/test_incidents.py tests/test_jobs.py tests/test_telemetry.py contract/openapi.json \.env.example README.md; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C25\snapshots\end-of-m06"New-Item -ItemType Directory -Force operations\runbooks, operations\reviews, operations\releases | Out-Null$files = 'operations\alerts.toml', 'operations\runbooks\README.md', 'operations\runbooks\provider-outage.md','operations\runbooks\bad-release.md', 'operations\runbooks\stale-index.md','operations\runbooks\model-version-changed.md', 'operations\runbooks\quality-drop.md','operations\runbooks\tickets-refused.md', 'operations\reviews\PIR-001-prompt-v3.md','operations\releases\1.5.0-4fafd1.toml', 'operations\releases\1.5.0-767b56.toml','ops\cmd_alerts.py', 'ops\cmd_incident.py', 'ops\cmd_slo.py', 'ticket_api\config.py','ticket_api\job_routes.py', 'ticket_api\main.py', 'ticket_api\worker.py', 'scripts\scenario.py','tests\test_incidents.py', 'tests\test_jobs.py', 'tests\test_telemetry.py', 'contract\openapi.json','.env.example', 'README.md'foreach ($f in $files) { Copy-Item "$S\$f" $f }Les deux manifestes de version sont ceux du cours. Ils correspondent au code à la fin du cours. Ainsi,
python -m ops release verify 1.5.0-4fafd1indique maintenant que la version correspond aux fichiers. -
Ajoutez le nouveau paramètre à votre
.env. C’est aussi la valeur par défaut, donc cette ligne sert seulement à la rendre visible :Fenêtre de terminal TRIAGE_FALLBACK=person -
Exécutez les tests. Ce module n’ajoute aucune migration. Attendez-vous à
218 passed(218 tests réussis), soit 5 de plus qu’avant :Fenêtre de terminal python -m pytest218 passed, 1 deselected in 25.82s
| Fichiers | Ce qu’ils ajoutent | Leçon |
|---|---|---|
operations/runbooks/ (7 fichiers), operations/alerts.toml, ops/cmd_alerts.py |
les guides d’exploitation; les règles d’alerte avec responsables, gravité et guide d’exploitation; python -m ops alerts |
celle-ci |
ticket_api/worker.py, config.py, job_routes.py, main.py, ops/cmd_incident.py, ops/cmd_slo.py |
le recours à une personne, GET /v1/status, python -m ops incident |
Pannes des fournisseurs et des dépendances |
operations/reviews/PIR-001-prompt-v3.md, operations/releases/ |
l’analyse post-incident de la semaine dernière; les deux manifestes du cours | Tirer des leçons après un incident |
tests/, scripts/scenario.py, contract/openapi.json, .env.example, README.md |
les tests, une option --scale pour des scénarios d’exercice plus courts, le contrat de l’API, les commandes |
les trois |
Les guides d’exploitation de Larkfield
Section intitulée « Les guides d’exploitation de Larkfield »operations/runbooks/README.md associe chaque alerte à son guide d’exploitation et à ses responsables :
| Guide d’exploitation | Alertes | Responsable |
|---|---|---|
provider-outage.md |
provider-circuit-open, drafts-late, triage-slow | Kwame (fournisseur), Amira (service) |
bad-release.md |
no-answer, draft-fast-burn, cost-over-budget | Priya (requête), Amira (version) |
stale-index.md |
old-sources | Tomás |
model-version-changed.md |
model-version-changed | Priya |
quality-drop.md |
reviews-disagree | Priya |
tickets-refused.md |
accept-fast-burn | Amira |
Six guides d’exploitation couvrent dix alertes, car plusieurs alertes signalent la même panne. Un appel de triage lent peut venir d’un fournisseur lent ou d’une mauvaise requête. Donc, triage-slow figure dans le guide du fournisseur, et celui d’une mauvaise version demande de vérifier d’abord la version.
operations/alerts.toml est l’autre moitié. Chaque règle comporte les mêmes parties que les alertes du module 4 et nomme son guide d’exploitation :
[[alert]]uid = "draft-fast-burn"title = "Tickets without a valid draft (draft SLO burns fast)"rule = "share of finished tickets whose outcome is not ok"above = 0.10window = 300for = 60severity = "SEV-2"owner = "Amira"runbook = "operations/runbooks/bad-release.md"Ces règles viennent des fichiers d’alerte de Grafana (observability/alerts/). Leur format permet à python -m ops alerts de les exécuter sur la télémétrie enregistrée, toutes les 10 secondes du fichier. Vous pouvez donc tester une règle sur n’importe quelle exécution enregistrée, sans Docker.
Lisez maintenant operations/runbooks/bad-release.md. Voici ses parties de triage et d’atténuation :
## Triage (5 minutes)
1. Which release made the bad answers? `python -m ops quality FILE --by release` or the release comparison dashboard. If only the canary has them, it is the release.2. Since when? `python -m ops rollout history`: the last change and who made it.
## Mitigation
- Roll back first, investigate after: `python -m ops rollout rollback --reason "..."`. The worker takes it within 5 seconds. Rolling back is safe: the active release passed its gate.Chaque étape donne une commande ou un panneau, pas une opinion. Une étape qui dit « vérifiez si la version est correcte » exige des connaissances que la personne de garde n’a peut-être pas. Une étape qui donne la commande et décrit un mauvais résultat n’en exige pas.
Suivre le guide d’exploitation sur la semaine dernière
Section intitulée « Suivre le guide d’exploitation sur la semaine dernière »Suivez bad-release.md sur la simulation de la semaine dernière, comme Amira l’aurait fait à 3 h. Seules certaines étapes nécessitent les fichiers enregistrés; vous avez vu les autres dans le module 5.
-
Détection.
draft-fast-burns’est déclenchée à +10,7 minutes, SEV-2. Le SLO des brouillons consomme rapidement son budget d’erreurs. -
Triage, étape 1 : quelle version?
Fenêtre de terminal python -m ops quality data/telemetry/release-full.jsonl.gz --by releaserelease 1.5.0-4fafd1 1.5.0-767b56------------------------------ ----------------- -----------------tickets 602 1,798ok 601 (99.8%) 1,602 (89.1%)no_answer 1 (0.2%) 186 (10.3%)dead_letter 0 (0.0%) 10 (0.6%)sent to a person 162 (27.0% of ok) 475 (29.7% of ok)tokens in (median) 1,902 1,477tokens out (median) 260 627triage call p50 / p95 (s) 2.89 / 5.17 5.56 / 8.34time to a draft p95 (s) 5.2 7.9cost per 1,000 tickets (US$) 0.338 0.474agrees with the agent's review 288/307 (93.8%) 623/744 (83.7%)La version
1.5.0-767b56, avec la requête v3, produit 10,3 % de réponses sans texte. L’ancienne version en a une, le cas connu. Le problème vient donc de la version, pas du bruit. -
Triage, étape 2 : depuis quand? Dans votre service en production,
python -m ops rollout historymontre le changement et son auteur. Dans la simulation, la première ligne deops alertsci-dessus montre la même action à +5,0 minutes. -
Atténuation. Faites un retour arrière :
python -m ops rollout rollback --reason "answers without text". La semaine dernière, personne ne l’a fait. Dans l’exécution canari du module 5, le retour arrière a eu lieu à +7,2 minutes. -
Escalade. Tout billet qui nécessitait une personne et n’a reçu aucune réponse fait passer l’incident à SEV-1. La semaine dernière en comptait 10, donc Grace appelle ces clients.
-
Vérifications du rétablissement. L’exécution canari montre à quoi ressemblent les preuves après un retour arrière :
Fenêtre de terminal python -m ops canary data/telemetry/canary.jsonl.gzSa dernière ligne :
After the last release change (+7.3 min: active 1.5.0-4fafd1, canary None): 1,533 tickets, 2 without text, US$0.341 per 1,000, triage p95 5.17 s, canary tickets 0Cochez les cases. Aucun billet canari n’est arrivé après le retour arrière, et le coût et le temps retrouvent les valeurs de v2. Les 2 réponses sans texte correspondent au cas connu de v2.
Les alertes qui donnent de fausses alertes
Section intitulée « Les alertes qui donnent de fausses alertes »L’alerte no-answer s’est déclenchée à +3,2 minutes de la semaine dernière, avant le changement. Exécutez les règles sur la semaine normale, où tout s’est bien passé :
python -m ops alerts data/telemetry/normal-week.jsonl.gzalert severity fired resolved after the action owner--------- -------- --------- --------- ---------------- -----no-answer SEV-2 +20.5 min +25.5 min - Priyano-answer SEV-2 +31.0 min +38.2 min - PriyaUne alerte SEV-2 s’est déclenchée deux fois pendant une semaine sans problème. La cause est réelle : l’un des 679 enregistrements de la requête v2, le billet d’exercice T-65450, a atteint la limite de jetons (tokens). Les exécutions d’exercice le tirent au sort encore et encore. Chaque fois, un billet n’a aucune réponse, et la règle « plus de 0 en 5 minutes » se déclenche.
Description textuelle du diagramme
L’axe des x montre les 20 minutes d’exercice. La requête v3 a été mise en production à la minute 5. L’alerte no-answer s’était déclenchée à la minute 3,2, à cause de l’unique enregistrement tronqué de la requête v2. Après le changement, triage-slow s’est déclenchée à 9,7, et draft-fast-burn de 10,7 à 18,2. Reviews-disagree a suivi à 10,8, et cost-over-budget à 11,2. Aucune règle ne s’est déclenchée dans les 4,7 premières minutes après le changement, mais les mauvaises réponses ont commencé immédiatement.
C’est ainsi que les alertes finissent par être ignorées. Une personne voit no-answer pendant une bonne journée, vérifie et ne trouve rien. La fois suivante, elle vérifie moins. Quand la requête v3 déclenche la même alerte pour un vrai problème, elle ressemble au même bruit. L’analyse post-incident de ce module la cite comme une condition ayant contribué à l’incident.
Un guide d’exploitation protège du bruit de deux façons. Son étape de triage distingue un cas connu d’un nouveau : ops quality --by release montrait une réponse absente pour v2 et 186 pour v3. Il attribue aussi le cas connu à un responsable : Priya révise T-65450 pour que l’alerte redevienne fiable. Ne vous contentez pas d’augmenter le seuil : un seul billet de sécurité sans réponse ne la déclencherait plus.
Les alertes de Grafana, sur la même exécution, se sont déclenchées un peu après les règles appliquées à la télémétrie enregistrée. Après le changement, triage-slow a pris 4,95 minutes, draft-fast-burn 5,62 et cost-over-budget 8,79. Grafana lit les métriques envoyées par le service toutes les 15 secondes, et Prometheus calcule les fenêtres à sa façon. L’ordre est le même, et les durées sont proches. Rédigez le guide d’exploitation pour cet ordre, pas pour la seconde exacte.
Quand rédiger un guide d’exploitation, et ce qu’il coûte
Section intitulée « Quand rédiger un guide d’exploitation, et ce qu’il coûte »Sam demande : « Pourquoi ne pas simplement écrire un gros document : “Si quelque chose tombe en panne, appelez Amira”? »
Grace répond : « Parce qu’Amira dort ou est en vacances, et la personne de garde a besoin des cinq premières minutes par écrit. »
Rédigez un guide d’exploitation pour chaque alerte qui appelle une personne. Conservez l’alerte et le guide dans le même dépôt, comme Larkfield. N’en rédigez pas pour un signal qui ne nécessite aucune action : supprimez cette alerte ou faites-en un panneau du tableau de bord. Une alerte qui n’exige jamais d’étape est du bruit par conception.
Ce qu’il coûte : une heure pour rédiger chaque guide d’exploitation, puis son entretien. Une commande modifiée ou un responsable parti rend le guide incorrect sans aucun avertissement. Testez donc les guides d’exploitation. Suivez-en un sur une exécution enregistrée, comme vous l’avez fait ci-dessus. Ou faites un exercice sur table, comme vous le ferez à la fin de ce module. Un guide d’exploitation que personne n’a suivi reste une supposition.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
ops alerts indique que cette action d'exercice n'existe pas
Symptôme :
python -m ops alerts data/telemetry/outage.jsonl.gz --after "outage mode"ops alerts: no practice action like 'outage mode' in the fileLe code de sortie est 2.
Cause : --after cherche une partie du texte d’une action, tel que python -m ops incident l’affiche. Par exemple : simulator mode: outage (mode du simulateur : panne). « outage mode » ne fait pas partie de ce texte.
Solution : exécutez python -m ops incident FILE, lisez l’action dans la chronologie et copiez une partie du texte : --after "simulator mode: outage". Votre propre télémétrie ne contient aucune action d’exercice : exécutez ops alerts sans --after.
Erreur courante
L'alerte est résolue, donc l'incident est clos
Symptôme : draft-fast-burn affiche resolved (résolue) à +18,2 minutes, et la personne de garde clôt l’incident.
Cause : la proportion sur 5 minutes est passée juste sous 10 % pendant un instant. Personne n’a annulé la mise en production : 31 billets de soutien des 2 dernières minutes n’avaient toujours aucun brouillon valide.
Solution : clôturez un incident uniquement selon les vérifications de rétablissement du guide d’exploitation. Chacune mesure les billets après l’atténuation, et non l’état d’une alerte.
À vous de jouer : une alerte et un guide d’exploitation pour les réponses lentes
Section intitulée « À vous de jouer : une alerte et un guide d’exploitation pour les réponses lentes »Larkfield a un objectif pour les réponses sur son site Web : 95 % en moins de 3 secondes (answer_time dans operations/slos.toml). Aucune alerte ne le surveille, et aucun guide d’exploitation ne le couvre.
- Écrivez l’alerte dans le style de
operations/alerts.toml: règle, seuil, fenêtre,for, gravité, responsable et guide d’exploitation. Pour le seuil, utilisez l’idée du taux de consommation du budget présentée dans Objectifs de service. - Écrivez
operations/runbooks/answers-slow.mdavec les cinq parties. Nommez au moins une commande ou un panneau dans chaque partie. - Dites quelle vérification de rétablissement prouve que tout va bien pour les clients à nouveau.
Solution détaillée
L’alerte. Le budget est de 5 % de réponses lentes. Une consommation rapide, à environ 7 fois le budget, correspond à 35 % de réponses lentes sur 5 minutes :
[[alert]]uid = "answers-slow"title = "Answers on the website are slow (answer-time SLO burns fast)"rule = "share of answers served in more than 3 seconds"above = 0.35window = 300for = 60severity = "SEV-2"owner = "Amira"runbook = "operations/runbooks/answers-slow.md"ops alerts n’a pas encore de code pour ce nouveau uid. Testez-le dans Grafana, ou ajoutez une branche à value() dans ops/cmd_alerts.py, comme pour les autres règles.
Le guide d’exploitation, en bref :
- Détection : plus de 35 % des réponses ont pris plus de 3 secondes sur 5 minutes. Panneau : temps de réponse sur le tableau de bord d’ensemble.
- Triage : le fournisseur est-il lent? Si
triage-slowse déclenche aussi, consultezprovider-outage.md. Le cache est-il vide? La plupart des réponses indiquentcached: false(absence du cache) après un redémarrage ou une réindexation. La base de données est-elle occupée? VérifiezGET /readyet les chiffres du pool de connexions. - Atténuation : si le fournisseur est lent, ne changez rien au service; le disjoncteur le protège. Si le cache a été vidé, attendez ou remplissez-le avec les questions les plus fréquentes. N’augmentez jamais le délai d’expiration pour faire cesser l’alerte.
- Escalade : après 15 minutes, Kwame contacte le fournisseur. Si les réponses échouent, au lieu d’être seulement lentes, Grace ajoute une note sur la page d’aide.
- Vérifications de rétablissement : [ ] 95 % des réponses en moins de 3 secondes dans les 15 dernières minutes; [ ]
triage-slowne se déclenche pas; [ ] le cache répond à nouveau (cached: true, soit une réponse du cache, pour les questions répétées).
La première vérification prouve que tout va bien pour les clients : le SLI lui-même, mesuré sur les réponses après l’atténuation.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les cinq parties d'un guide d'exploitation, dans l'ordre. Pourquoi l'atténuation précède-t-elle la recherche de la cause?
Afficher la réponse
Détection, triage, atténuation, escalade, vérifications de rétablissement. L’atténuation vient d’abord parce qu’elle protège les clients immédiatement, sans danger même si la cause reste inconnue. Revenir à une version ayant franchi sa barrière arrête les dommages en quelques secondes. Trouver la cause peut prendre des heures. La semaine dernière, chaque minute ajoutait environ 13 billets sans brouillon valide.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : vous abaissez le seuil de draft-fast-burn de 10 % à 5 %, avec la même fenêtre de 5 minutes. Selon les décomptes de la semaine dernière, l'alerte se déclenche-t-elle plus tôt? Quel en est le coût?
Afficher la réponse
Oui. Dans le petit exemple, la proportion sur la fenêtre dépasse 5 % à la minute 8 (6,4 %). L’alerte se déclenche donc à la minute 9 plutôt qu’à la minute 11, environ 2 minutes plus tôt. Le coût est le bruit. Une brève période difficile sur une version saine dépasse maintenant 5 % plus facilement. Par exemple, quelques messages non livrés pendant une minute calme suffisent. Chaque fausse alerte apprend aux gens à moins faire confiance à l’alerte. Un déploiement canari est une meilleure façon d’agir plus vite : il limite le nombre de clients touchés pendant que la fenêtre se remplit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : dans l'exécution enregistrée de la panne, quand les deux alertes de panne se sont-elles déclenchées, depuis son début? Quel guide d'exploitation ouvrent-elles?
Afficher la réponse
python -m ops alerts data/telemetry/outage.jsonl.gz --after "simulator mode: outage" affiche provider-circuit-open après 0,6 minute et drafts-late après 3,1 minutes. Les deux sont de gravité SEV-2 et ouvrent operations/runbooks/provider-outage.md, dont Kwame et Amira sont responsables. La prochaine leçon suit ce guide d’exploitation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un guide d’exploitation décrit les étapes pour un type de défaillance, en cinq parties : détection, triage, atténuation, escalade et vérifications de rétablissement. Chaque étape est une commande ou un panneau.
- L’atténuation précède la recherche de la cause. Revenir à une version ayant franchi sa barrière arrête les dommages pendant la recherche de la cause.
- La fenêtre et le délai d’attente retardent l’alerte :
draft-fast-burns’est déclenchée 5,7 minutes après la mise en production de la requête v3. « Resolved » décrit la fenêtre, pas les clients. Clôturez donc un incident uniquement selon les vérifications de rétablissement. python -m ops alertsexécute les règles d’alerte sur la télémétrie enregistrée. Une alerte déclenchée sur une version saine apprend aux gens à l’ignorer. C’est le cas deno-answersur l’unique réponse tronquée de la requête v2.- Votre projet contient les fichiers du module, et
python -m pytestaffiche218 passed(218 tests réussis).
Ensuite, vous suivez le guide d’exploitation du fournisseur pendant une panne du fournisseur simulé. Vous vérifiez ce que les clients voient pendant la panne.
Leçon suivante : Pannes des fournisseurs et des dépendances