Aller au contenu
English

Analyse post-incident d'une panne publique

  • Étude de cas 2
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Cette étude de cas applique les guides d'exploitation et l'analyse sans blâme du module 6 à une vraie panne documentée publiquement. Vous reconstituez sa chronologie à partir de deux rapports publics, rédigez l'analyse selon le format du cours et examinez ce qu'elle signifie pour Larkfield.

Ce que vous saurez faire

Lisez un vrai rapport de panne comme une équipe d’exploitation lit ses propres rapports d’incident. Vous reconstituerez la chronologie à partir de deux rapports publics, puis la vérifierez avec un petit script. Vous rédigerez ensuite l’analyse selon le format de ce cours. Enfin, vous examinerez les conséquences pour Larkfield : quelles alertes se déclencheraient, quelle dépendance nous partageons et quel changement nous apporterions.

Étude de casPièce de portfolio

Durée
Environ 2 h 30
S’exécute dans
Un navigateur, VS Code et Python 3.10+
Compétences utilisées
  • Chronologie tirée des rapports
  • Fuseaux horaires et heures approximatives
  • Chaîne de dépendances
  • Autoriser ou bloquer en cas d'échec
  • Analyse post-incident
  • Révision du guide d'exploitation
  • Correspondance des alertes
  • Options selon une même mesure
  • Modification du guide d'exploitation

Décompressez le projet de départ, ouvrez le dossier dans VS Code et suivez les étapes ci-dessous. Elles commencent par un nouvel environnement virtuel.

Cette étude de cas est un travail écrit, pas un carnet (notebook) Jupyter. Vous saisissez les faits des rapports dans un CSV, avec une ligne et une source par événement. Un petit script les vérifie et les représente. Le reste consiste à lire et à écrire, dans les formats de Larkfield. Le projet terminé forme une réponse complète.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise l’ensemble du cours. Voici les leçons les plus importantes :

La page présente une nouvelle idée : autoriser ou bloquer en cas d’échec, quand une vérification ne peut pas obtenir ses données.

Ce qu’il vous faut sur votre ordinateur

  • Un navigateur pour lire les rapports.
  • Python 3.10 ou une version plus récente. Le script utilise seulement la bibliothèque standard. Aucun environnement virtuel ni aucune installation supplémentaire n’est nécessaire.
  • Pour une vérification facultative dans « Appliquer le cas à Larkfield » : votre projet de cours à la fin du module 6, avec la télémétrie enregistrée dans data/telemetry/.

Testé sur macOS avec Python 3.12.13, à partir de nouvelles copies des deux fichiers zip. Les commandes Windows sont fournies, mais n’ont pas été testées.

Une panne majeure fait les manchettes. De nombreux sites et applications ont cessé de fonctionner pendant environ deux heures et demie, tout comme des produits d’IA. Chez Larkfield, rien n’a été touché : le service de billets de soutien n’utilise ni Cloudflare ni Google Cloud.

Sam demande : « Ce n’était pas notre panne. Pourquoi y consacrer une matinée? » Grace reformule la question du cours : « Est-ce que ça pourrait nous arriver, et est-ce qu’on le saurait? »

Kwame est responsable des contrats avec les fournisseurs. Il est donc responsable de cette analyse. Amira est responsable du service et de ses guides d’exploitation. Les agents de Grace reçoivent les billets qui nécessitent une personne. La décision revient à Amira et Grace : Larkfield doit-elle modifier son guide d’exploitation pour les pannes de fournisseur, et comment?

Vous créerez le dossier public-outage-pir/ :

Fichier Son contenu
data/cloudflare-2025-06-12.csv la chronologie des deux entreprises, une ligne par événement, chacune avec sa source
review/PIR-EXT-001-cloudflare-2025-06-12.md l’analyse, selon le format de PIR-001
review/larkfield-mapping.md nos alertes et guides d’exploitation, la dépendance commune, trois options selon une même mesure, le changement retenu
review/provider-outage-runbook-change.md le guide d’exploitation de Larkfield pour les pannes de fournisseur, avec ce changement
data/openai-2024-12-11.csv, review/PIR-EXT-002-openai-2024-12-11.md la même méthode appliquée à un nouveau rapport

PIR-EXT désigne une analyse d’incident externe. Larkfield numérote ses propres analyses PIR-001, PIR-002, et ainsi de suite. Les deux séries restent donc distinctes.

  1. Téléchargez le projet de départ depuis l’encadré en haut de cette page. Décompressez-le dans votre dossier de projets. Vous obtenez le dossier public-outage-pir.

  2. Dans VS Code, choisissez File > Open Folder (fichier, ouvrir un dossier) et ouvrez public-outage-pir. Ouvrez ensuite un terminal : Terminal > New Terminal (terminal, nouveau terminal).

  3. Vérifiez votre version de Python :

    Fenêtre de terminal
    python3 --version

    Il vous faut la version 3.10 ou une version plus récente. La page utilise python3; sous Windows, tapez plutôt python.

  4. Ouvrez les trois rapports dans votre navigateur. Gardez leurs onglets ouverts : vous les lirez plusieurs fois.

Les preuves se trouvent dans trois rapports. Aucune entreprise n’a publié de fichiers de données sur ces pannes. Les rapports constituent donc les données.

Kwame a comparé trois rapports. La panne de Cloudflare du 12 juin 2025 a touché deux entreprises. De même, Larkfield dépend d’un fournisseur de modèles qui dépend d’autres fournisseurs. La panne d’OpenAI concerne le fournisseur de modèles lui-même. C’est donc le nouveau rapport à traiter. La panne de Cloudflare du 18 novembre 2025 est restée interne à une entreprise : une option pour « aller plus loin ».

Chaque ligne du CSV représente un événement de l’incident :

Colonne Signification Exemple
time_utc le moment de l’événement, converti en UTC par vous 2025-06-12T17:49Z
stated l’heure telle que le rapport l’indique 10:49 PDT, within 10 minutes
approx yes (oui) si le rapport indique « ~ » ou « dans les »; day (jour) si seul le jour est connu; sinon no (non) no
org l’entreprise : une bande du graphique Google Cloud
kind change (changement), trigger (déclencheur), impact-start (début des effets), detection (détection), diagnosis (diagnostic), escalation (escalade), mitigation (atténuation), communication (communication), impact (effets), recovery (rétablissement) ou impact-end (fin des effets) impact-start
label une courte étiquette pour le graphique, de 24 caractères ou moins Impact starts
event l’événement dans vos propres mots, pas ceux du rapport API requests fail with 503 errors
source l’URL du rapport et la section qui décrit l’événement https://status.cloud.google.com/… (Mini Incident Report)

Les valeurs de kind suivent les sections du guide d’exploitation. La chronologie répond donc déjà aux questions du guide.

Le CSV de départ contient quatre lignes : les deux débuts des effets, la première détection de Cloudflare et la fin des effets chez Cloudflare. Exécutez le script sur ce fichier :

Fenêtre de terminal
python3 draw_timeline.py data/cloudflare-2025-06-12.csv

La sortie :

Checks of data/cloudflare-2025-06-12.csv
4 events, 2 organizations: Google Cloud, Cloudflare
stated times converted and checked: 4 of 4 (the others are relative, like 'within 10 minutes', or a day)
approximate times: 0
no problem found
Timeline (UTC; minutes from the organization's impact start; ~ = approximate):
06-12 17:49 +0 Google Cloud impact-start Impact starts
06-12 17:52 +0 Cloudflare impact-start Impact starts
06-12 17:52 +0 Cloudflare detection WARP team declares
06-12 20:28 +156 Cloudflare impact-end Impact ends
Phases (minutes from the impact start to the first event of each kind):
Google Cloud: impact starts 17:49 UTC
Cloudflare: impact starts 17:52 UTC; detection +0, impact-end +156
Cloudflare: impact lasted 2 h 36 min (156 min) by this timeline
Wrote out/cloudflare-2025-06-12.svg and out/cloudflare-2025-06-12-narrow.svg

Ce que cela nous indique. Le script a lu la colonne stated, l’a convertie et l’a comparée à time_utc. Google utilise l’heure du Pacifique des États-Unis. En juin, elle correspond à UTC−7. Ainsi, 10 h 49 PDT correspond à 17 h 49 UTC. Faites maintenant exprès l’erreur la plus courante : saisissez l’heure de Google comme si elle était en UTC (2025-06-12T10:49Z). Le script s’arrête :

PROBLEM line 2: stated '10:49 PDT' is 17:49 UTC, but time_utc says 10:49
...
Fix the problems first; no chart was written.

Cette seule erreur placerait la panne de Google sept heures avant celle de Cloudflare. Le lien entre elles disparaîtrait.

La première lecture de Kwame révèle trois autres éléments qui changent l’analyse :

  • Cloudflare ne nomme pas le fournisseur. Le billet parle seulement d’« un fournisseur infonuagique tiers ». Le lien avec Google Cloud est notre interprétation, fondée sur les heures et la presse. Les effets chez Google commencent 3 minutes plus tôt. Aucun des deux rapports ne fait ce lien. L’analyse le précise donc chaque fois.
  • La durée annoncée ne correspond pas au tableau. Cloudflare écrit que la panne « a duré 2 heures et 28 minutes ». Sa propre chronologie va de 17 h 52 à 20 h 28 : 2 h 36 minutes. Le rapport ne précise pas les deux événements utilisés pour calculer sa durée.
  • Google donne trois durées. La page d’état indique de 10 h 51 à 18 h 18 PDT. Le mini-rapport indique de 10 h 49 à 13 h 49 PDT, soit « 3 heures ». Le rapport complet indique « jusqu’à environ 2 h 40 minutes » pour sa plus grande région. Chaque durée mesure quelque chose de différent.

L’analyse fixe donc une règle : une durée va toujours du début à la fin des effets, selon les définitions du CSV.

L’unité est un événement, avec son heure et sa source. Les questions correspondent aux sections de l’analyse : chronologie, chaîne de dépendances, effets visibles pour les utilisateurs, causes et actions, conséquences pour Larkfield.

Les règles de preuve. Chaque fait sur la panne vient des rapports et indique sa source. Nous indiquons « notre interprétation » pour notre propre raisonnement. Les chiffres de Larkfield viennent des exécutions enregistrées et des faits établis du cours. Chaque hypothèse est nommée.

Complétez le reste du CSV. Décrivez chaque événement dans vos propres mots. Google donne certaines heures seulement sous la forme « dans les 2 minutes » ou « ~25 minutes ». Comptez-les à partir de 17 h 49 UTC, le début du mini-rapport, et marquez-les approx (approximatif). Le CSV terminé contient 28 lignes. Exécutez le script de nouveau :

Fenêtre de terminal
python3 draw_timeline.py data/cloudflare-2025-06-12.csv

La fin de la sortie :

Phases (minutes from the impact start to the first event of each kind):
Google Cloud: impact starts 17:49 UTC; detection ~+2, diagnosis ~+10, mitigation ~+25, recovery +119, impact-end +180
Google Cloud: impact lasted 3 h 00 min (180 min) by this timeline
Google Cloud: the last recovery is 7 h 29 min after the impact start
Cloudflare: impact starts 17:52 UTC; detection +0, escalation +14, mitigation +51, recovery +151, impact-end +156
Cloudflare: impact lasted 2 h 36 min (156 min) by this timeline

Ouvrez out/cloudflare-2025-06-12.svg dans votre navigateur. C’est le graphique ci-dessous.

Une chronologie de 17 h 30 à 21 h 30 UTC le 12 juin 2025, avec deux pistes et une bande ombrée pour les répercussions de chaque entreprise. Google Cloud : une politique avec des champs vides vers moins 4 minutes, début des répercussions à 17 h 49, triage par les SRE vers plus 2, cause fondamentale trouvée vers plus 10, bouton rouge prêt vers plus 25, bouton rouge déployé vers plus 40, première publication d'état à plus 57, toutes les régions sauf us-central1 rétablies à plus 119, fin des répercussions à plus 180; une note indique que Vertex AI s'est rétabli plus tard, à 1 h 18 UTC, plus 449. Cloudflare : début des répercussions et déclaration d'un incident par l'équipe WARP à 17 h 52, alerte Access à plus 13, P1 à plus 14, P0 à plus 29, quatre mesures d'atténuation à plus 51, 77, 100 et 113, début du rétablissement à plus 151, appels KV rétablis à plus 153, fin des répercussions à plus 156.
Les chronologies des deux entreprises, tracées par draw_timeline.py à partir du CSV terminé. Les minutes se comptent depuis le début des répercussions propre à chaque entreprise; ≈ marque une heure approximative selon le rapport.
Description textuelle du diagramme

Les répercussions chez Google durent de 17 h 49 à 20 h 49. Celles de Cloudflare durent de 17 h 52 à 20 h 28, à l’intérieur de cette période. Google effectue le triage, trouve la cause fondamentale et applique le correctif en environ 40 minutes. Les événements de Cloudflare s’étalent sur toute sa bande. L’entreprise détecte le problème immédiatement et le fait remonter en moins de 29 minutes. Quatre mesures d’atténuation suivent, mais le rétablissement n’arrive qu’avec celui du stockage.

Ce que cela nous apprend. Comparez les pistes :

  • La détection a été rapide dans les deux cas. Google effectuait le triage en environ 2 minutes. Chez Cloudflare, une équipe a vu son propre produit tomber en panne à +0; la première alerte est arrivée à +13.
  • L’escalade a suivi la cause commune. Cloudflare a regroupé les incidents des équipes en un seul à +14. L’entreprise a relevé la priorité à P0 à +29, « lorsque la gravité des répercussions devient claire ».
  • Un correctif n’est pas un rétablissement. Google avait déployé son correctif vers +40, mais son produit de service d’IA s’est rétabli en dernier, à +449. Le redémarrage des tâches a surchargé leur propre base de données : un « effet de troupeau ». La solution, des attentes avec gigue, se trouve dans Livraison et nouvelles tentatives, dans le cours sur la mise à l’échelle.
  • Cloudflare ne pouvait pas corriger la cause. L’entreprise a réduit les dommages produit par produit, puis s’est rétablie avec le fournisseur.

La chronologie indique quand. La chaîne indique comment la panne s’est propagée.

Pensez à une panne d’électricité dans une rue. Le four de la boulangerie s’arrête, tout comme le guichet automatique et le feu de circulation. Différentes entreprises partagent une chose qu’aucune ne contrôle.

Chez Cloudflare, cette chose est Workers KV, un stockage clé-valeur utilisé par plusieurs produits pour la configuration, l’identité et les fichiers. Son stockage central dépendait du fournisseur infonuagique externe.

Une chaîne de gauche à droite. Chez Google, une politique de quotas avec des champs vides, vers 17 h 45 UTC, fait planter Service Control dans toutes les régions. Les requêtes aux API de Google Cloud échouent avec 503 dès 17 h 49. Les propres produits d'IA de Google, Vertex AI et Gemini API, sont touchés; le dernier se rétablit à 1 h 18. Une flèche pointillée, étiquetée notre interprétation : la publication parle d'un fournisseur infonuagique tiers, mène au stockage central de Workers KV, dessiné avec une bordure épaisse : les lectures absentes du cache et toutes les écritures échouent, soit 90,22 % des requêtes dès 17 h 52. Depuis KV : Access, où 100 % des connexions par identité échouent parce qu'il refuse l'accès en cas de panne, puis WARP, Gateway et les connexions au Dashboard; Workers AI, où toutes les requêtes d'inférence échouent, puis AutoRAG; AI Gateway, avec un pic d'erreurs de 97 %; et D1 et Durable Objects, avec un pic d'erreurs de 22 %. Les produits d'IA ont des cases orange.
La propagation de la panne. Les flèches pleines représentent ce que disent les rapports; la flèche pointillée représente notre interprétation. Les cases orange sont des produits d'IA.
Description textuelle du diagramme

Une mauvaise politique de quotas a fait planter Service Control de Google, et les requêtes à ses API ont échoué. Le lien avec le fournisseur tiers de Cloudflare est notre interprétation. Workers KV a ensuite fait échouer chaque lecture absente de son cache. Les produits qui lisent KV ont échoué à leur tour : Access, puis WARP, Gateway et le Dashboard par son intermédiaire; Workers AI et AutoRAG; AI Gateway. Les produits qui partagent seulement une partie du stockage ont moins échoué.

La chaîne explique les chiffres. Le rapport donne un chiffre pour chaque produit, selon sa propre mesure :

  • Lit sa configuration ou ses données dans Workers KV
  • Partage une partie du stockage ou répond surtout depuis un cache (notre regroupement)
Les répercussions sur neuf produits Cloudflare, telles que le rapport les décrit. Les mesures diffèrent (proportion de connexions, proportion de requêtes, pic ou moyenne). Observez donc l'ordre, pas les petits écarts.
Description textuelle du graphique

Access: 100% (identity-based logins that failed). Workers AI: 100% (inference requests that failed). Pages: 100% (peak error rate (about 100%)). AI Gateway: 97% (peak error rate). Workers KV: 90.22% (requests that failed in the window). D1: 22% (peak average error rate). Durable Objects: 22% (peak average error rate (SQLite-backed)). Workers for Platforms: 10% (peak error rate (about 10%)). Workers: 2% (peak error rate (about 2%)). Les cinq premiers lisent leur configuration ou leurs données dans Workers KV à chaque requête et ont presque entièrement échoué. Les quatre derniers partagent seulement une partie du stockage ou répondent à la plupart des requêtes depuis un cache. Ils ont beaucoup moins échoué.

Ce que cela nous apprend. L’ampleur des échecs dépendait de la façon dont chaque produit utilisait le stockage. Les produits qui lisent KV à chaque requête ont presque entièrement échoué. KV lui-même a échoué à 90,22 %, et non à 100 %, car certaines lectures provenaient de son cache. Deux faits comptent surtout pour un service d’IA :

  • Workers AI a fait échouer toutes les requêtes d’inférence, même si ses modèles fonctionnaient bien. Il « dépend de Workers KV pour distribuer la configuration et les informations de routage » (Cloudflare).
  • AI Gateway a fait échouer jusqu’à 97 % des requêtes. Les équipes utilisent une passerelle pour passer d’un fournisseur de modèles à un autre. Elle a échoué à cause de son propre stockage de configuration. Une solution de repli qui partage une dépendance avec ce qu’elle protège échoue avec lui.

Le rapport indique qu’Access « est conçu pour refuser l’accès en cas de panne ». C’est la seule nouvelle idée de cette page.

Pensez à deux portes pendant une panne d’électricité. Une porte coupe-feu s’ouvre pour laisser les gens sortir : elle autorise en cas de panne. La porte d’un coffre-fort reste verrouillée : elle refuse en cas de panne. Chacune protège ce qui compte le plus dans son cas.

Le problème. Chaque vérification exige des données : une connexion exige une identité, une étape de triage exige la réponse du modèle. Quand les données sont illisibles, la vérification doit faire quelque chose. Si personne n’a choisi à l’avance, le code choisit par accident.

L’idée. Décidez, pour chaque vérification, ce qui arrive quand ses données manquent :

  • Refuser en cas de panne : refuser. Access a refusé toutes les connexions par identité; les règles sont restées sûres et les utilisateurs ont attendu.
  • Autoriser en cas de panne : laisser passer. Les « interrupteurs d’arrêt » de Cloudflare laissaient les visiteurs passer ses pages de vérification. Le coût, selon le rapport : un jeton valide pouvait servir plusieurs fois.
  • Transférer à une personne en cas de panne : confier le travail à quelqu’un qui peut décider sans les données, comme le fait TRIAGE_FALLBACK=person dans le cours.
Une vérification qui ne peut pas lire ce dont elle a besoin, comme une politique, une identité ou une réponse du modèle, a trois choix. Refuser en cas de panne : refuser; Access, où toutes les connexions par identité échouent, les règles restent sûres et les utilisateurs attendent. Autoriser en cas de panne : laisser passer; l'interrupteur d'arrêt de Turnstile, où les visiteurs passent et un jeton fonctionne plusieurs fois. Transférer à une personne en cas de panne : confier à une personne; le mode personne de Larkfield, sans brouillon, mais une personne voit chaque billet. La troisième case a une bordure épaisse.
Trois réponses à une question : que fait une vérification quand elle ne peut pas obtenir ses données?
Description textuelle du diagramme

Refuser en cas de panne bloque l’accès, comme Access l’a fait. Autoriser en cas de panne laisse tout passer, comme l’interrupteur d’arrêt de Turnstile l’a fait, avec un coût. Transférer à une personne confie le travail à quelqu’un qui peut décider sans les données : le mode personne de Larkfield, plus loin sur cette page.

Chez Larkfield, l’API accepte chaque billet de soutien pendant une panne du fournisseur : elle autorise la réception en cas de panne. L’étape de triage attend le modèle : elle refuse de décider en cas de panne. Quand choisir chaque option : refusez quand une autorisation incorrecte cause des dommages, et autorisez quand le blocage en cause davantage. Transférez à une personne quand elle peut décider. Chaque choix a un coût; nommez-le.

Rédigez maintenant review/PIR-EXT-001-cloudflare-2025-06-12.md à partir de templates/review-template.md, qui contient les sections de PIR-001. L’analyse ne cherche pas de coupable : elle nomme des systèmes et des conditions, jamais une personne.

  1. L’en-tête : les rapports, leur gravité (P1, puis P0) et la nôtre : SEV-1, car de nombreux clients ne pouvaient pas être servis.
  2. Le résumé, en quatre ou cinq phrases, dont une phrase « notre interprétation » sur le fournisseur non nommé.
  3. Ce que montrent les rapports : chaque chiffre avec ce qu’il compte. « 90,22 % des requêtes » et « un pic de 97 % » sont des types de chiffres différents.
  4. La chronologie de votre CSV, avec les durées et les événements entre lesquels elles sont mesurées.
  5. La réponse, section par section d’un guide d’exploitation.
  6. Les causes et les conditions contributives, la cause d’abord; puis les actions, chacune avec son responsable, et comment savoir que le problème est corrigé.

Voici la section sur la réponse de l’analyse terminée, au cœur de la comparaison avec Larkfield :

Section du guide d’exploitation Ce que montrent les rapports
Détection Cloudflare : une équipe a vu son propre produit tomber en panne à +0 et a déclaré un incident; la première alerte est arrivée à +13. Google : triage en moins de 2 minutes.
Triage Cloudflare a regroupé les incidents des équipes en un seul à +14, après avoir constaté la cause commune. Google a trouvé la cause fondamentale en environ 10 minutes.
Atténuation Google : un « bouton rouge » préparé a désactivé le chemin de code défaillant. Cloudflare ne pouvait pas corriger le stockage. L’entreprise a réduit les dommages dans chaque produit : interrupteurs d’arrêt, règles dégradées, charge réduite sur KV.
Escalade Cloudflare : P1 à +14, P0 à +29. La première publication d’état publique de Google est arrivée à +57, tardivement, car la page d’état fonctionnait sur les systèmes défaillants.
Vérifications du rétablissement Cloudflare : SLO revenus à leur niveau d’avant l’incident. Google : région par région, avec un ralentissement causé par ses propres redémarrages.

Les causes, en bref. Chez Google : une vérification de quotas sans gestion des erreurs ni indicateur de fonctionnalité, des données copiées dans chaque région en quelques secondes, et des redémarrages sans délai d’attente croissant aléatoire. Chez Cloudflare : un seul stockage pour plusieurs produits, chez un seul fournisseur pendant une migration.

Ce que cela nous apprend. Aucun rapport ne montre de preuves après le rétablissement ni de dates pour ses actions. De l’extérieur, nous ne pouvons pas vérifier que les actions sont terminées. Nous pouvons seulement modifier le degré de dépendance de notre propre service envers ces systèmes.

Rédigez maintenant review/larkfield-mapping.md. La dépendance du même type que nous partageons est le fournisseur de modèles hébergés. Chaque billet exige un appel de triage pour obtenir une équipe, une décision sur le besoin d’une personne et un brouillon. Nous ne voyons pas les propres dépendances du fournisseur, comme les clients de Cloudflare ne voyaient pas le fournisseur de Workers KV. Nous prévoyons donc une longue panne du fournisseur, quelle qu’en soit la cause.

Le parcours d'un billet chez Larkfield. L'API accepte le billet avec 202, et sa page d'état indique que les réponses prennent plus de temps. Le billet attend dans la file de tâches de PostgreSQL, où drafts-late se déclenche vers 3 minutes. Le processus et son disjoncteur, où provider-circuit-open se déclenche en moins de 1 minute, effectuent l'appel de triage au fournisseur de modèles hébergés. Celui-ci et ses propres dépendances, que nous ne voyons pas, sont dessinés avec une bordure épaisse. Une nouvelle flèche part du processus : mode personne après 5 minutes de disjoncteur ouvert. Elle mène à la file des agents, où une personne voit chaque billet.
La même structure chez Larkfield : un fournisseur de modèles hébergés, avec des dépendances que nous ne voyons pas. Les alertes se déclenchent en quelques minutes; la nouvelle flèche est le changement apporté par cette analyse.
Description textuelle du diagramme

Le billet est accepté immédiatement et attend dans la file; la page d’état indique que les réponses prennent plus de temps. Le disjoncteur arrête les appels au fournisseur défaillant, dont Larkfield ne voit pas les propres dépendances. Deux alertes se déclenchent en quelques minutes. La nouvelle flèche, le mode personne, envoie les billets aux agents après 5 minutes de disjoncteur ouvert.

Quelles alertes se déclencheraient. Le cours a enregistré une panne d’exercice du fournisseur : 5 minutes, provoquée volontairement, sauvegardée dans outage.jsonl.gz. Ses alertes servent de preuves :

Alerte Se déclenche? Quand, après le début de la panne (Grafana) Guide d’exploitation
provider-circuit-open (SEV-2, Kwame) oui 0,85 minute provider-outage
drafts-late (SEV-2, Amira) oui 3,28 minutes provider-outage
draft-fast-burn non elle compte les billets terminés, et aucun ne se termine bad-release
accept-fast-burn non l’API a accepté chaque billet tickets-refused

Si vous avez votre projet de cours, vous pouvez voir les deux alertes et le disjoncteur dans la chronologie de la panne d’exercice :

Fenêtre de terminal
python -m ops incident data/telemetry/outage.jsonl.gz

Elle indique la panne à +5,1 minutes, provider-circuit-open à +5,7 et drafts-late à +8,2, selon les règles du projet. Les règles de Grafana se sont déclenchées à +5,9 et +8,4.

Ce que cela nous apprend. La détection prendrait moins d’une minute, alors que la première alerte de Cloudflare a pris 13 minutes. Nous avons une dépendance et un disjoncteur qui la surveille. La lacune se trouve dans les objectifs, pas dans les alertes. Le SLO des brouillons exige un brouillon valide en moins de 10 minutes. Pendant une longue panne, il est dépassé pour chaque billet en attente, et aucune alerte ne les compte.

Une référence de base : le guide tel qu’il est rédigé

Section intitulée « Une référence de base : le guide tel qu’il est rédigé »

Le guide provider-outage a été testé pendant la panne d’exercice. La file a atteint un pic de 315 billets, le plus ancien a attendu 354 secondes, et le SLO des brouillons a tenu. Sa mesure d’atténuation indique « ne rien faire aux processus », car le disjoncteur garde les billets en sécurité dans la file. Les agents lisent la file manuellement pour chercher des mots comme feu, fumée, brûlure et enfant.

Que fait-il pendant une panne aussi longue que celle de Cloudflare? Larkfield reçoit 822 billets par jour, un des faits fixes du cours. Nous l’utilisons comme moyenne; les heures chargées en donneraient davantage.

Exécutez du Python dans votre navigateur

Une panne de la durée de celle de Cloudflare au rythme de Larkfield

L’encadré calcule les billets qui arrivent pendant une panne de 156 minutes et ceux qui attendent plus de 10 minutes. Il affiche ensuite combien ont besoin d’une personne et quelle part du budget hebdomadaire des brouillons une panne utilise. Essayez ensuite 5, 148 et 262 minutes.

La sortie :

tickets during the outage: 89
wait more than 10 minutes: 83
of those, need a person: 21
draft budget used: 145% of the week's 57.5

Ce que cela nous apprend. Avec outage = 5, aucun billet n’attend plus de 10 minutes, comme pendant l’exercice. À 156 minutes, environ 83 billets dépassent le SLO des brouillons : une semaine et demie de budget en un après-midi. Pire, environ 21 d’entre eux ont besoin d’une personne, et seule la lecture manuelle peut les repérer. Un seul billet ayant besoin d’une personne qui ne rejoint personne constitue un SEV-1. (L’estimation suppose que la file se vide immédiatement; pendant la panne d’exercice, cela a pris environ 2 minutes.)

Une comparaison équitable exige une seule mesure pour toutes les options. Le parcours de sécurité n’a aucun budget d’erreur; Kwame choisit donc une mesure de sécurité. Il s’agit des billets ayant besoin d’une personne qui attendent plus de 10 minutes avant d’atteindre la file des agents, pendant une panne de 156 minutes. Il montre aussi les brouillons et le coût, pour qu’aucune option ne cache son prix.

Option Billets ayant besoin d’une personne qui attendent plus de 10 minutes Billets sans brouillon Ce que cela coûte
A. Le guide tel qu’il est rédigé (la référence de base) environ 21, sauf si la lecture manuelle les repère environ 83 rien de nouveau
B. Un deuxième fournisseur de modèles, utilisé automatiquement en repli 0 s’il est réellement indépendant; environ 21 s’il partage une dépendance 0, ou environ 83 un deuxième contrat; son modèle doit d’abord franchir notre barrière de mise en production; nous ne voyons pas ses dépendances
C. Mode personne : après 5 minutes de disjoncteur ouvert, chaque billet en attente ou nouveau est envoyé à une personne, jusqu’à la fermeture du disjoncteur 0 (chacun attend au plus environ 5 minutes avant le changement) environ 89 : aucun brouillon les agents trient manuellement environ 89 billets, soit environ 67 de plus que d’habitude; chaque billet reçoit la priorité 1

L’option B semble la plus solide, mais le rapport met en garde contre une confiance aveugle. AI Gateway, conçu pour ce type de changement, a échoué jusqu’à 97 %. Un deuxième modèle chez le même fournisseur partage toutes les dépendances du premier. Et un nouveau modèle est une nouvelle mise en production : il doit donc d’abord franchir la barrière de Barrières d’évaluation.

Kwame recommande l’option C, le mode humain après 5 minutes avec le disjoncteur ouvert, et Amira et Grace l’acceptent. Elle ne demande rien en dehors de notre service et réutilise la solution de repli existante. Elle protège le parcours sans budget d’erreur : la sécurité. Elle ne sauve pas le SLO des brouillons. Rien sous notre contrôle ne peut le sauver tant que le fournisseur est en panne.

La modification va dans review/provider-outage-runbook-change.md, avec chaque nouvelle ligne marquée (nouveau). La section sur l’atténuation gagne ceci :

- (new) Person mode. When the breaker has been open for 5 minutes, the worker sends every
waiting and new ticket to a person (needs_human true, priority 1, outcome sent_to_person),
with no team and no draft. It stops when the breaker closes.
- (new) In person mode every ticket has priority 1, so the hand scan for safety words is how
safety tickets come first.
- (new) Do not switch to another model or provider during the outage. A model that has not
passed the release gate is an unreviewed release.

Les actions : Amira construit le mode humain. Il sera prêt quand une panne d’exercice de 20 minutes ne laissera aucun billet nécessitant une personne attendre plus de 10 minutes. Grace prépare son équipe à environ 90 billets supplémentaires lors d’une longue panne. Kwame garde l’option B pour une expérience ultérieure. Une question reste ouverte : une longue panne devrait-elle devenir SEV-1 après un délai fixe, comme celle de Cloudflare est devenue P0 à +29?

Une méthode n’est utile que si elle fonctionne avec le rapport suivant. Prenez le compte rendu d’OpenAI : un fournisseur de modèles hébergés en panne, la dépendance exacte de Larkfield. Saisissez sa chronologie dans data/openai-2024-12-11.csv (PST correspond à UTC−8) et exécutez le même script :

Fenêtre de terminal
python3 draw_timeline.py data/openai-2024-12-11.csv

La fin de la sortie :

Phases (minutes from the impact start to the first event of each kind):
OpenAI: impact starts 23:16 UTC; detection -3, diagnosis +0, mitigation +11, recovery +80, impact-end +262
OpenAI: impact lasted 4 h 22 min (262 min) by this timeline
Une chronologie d'OpenAI les 11 et 12 décembre 2024 en UTC, sur une piste avec une bande ombrée d'impact de 23 h 16 à 3 h 38. Le déploiement commence à moins 25 minutes, les alertes se déclenchent à moins 3, l'impact commence et la cause racine est trouvée à plus 0, le déploiement se termine à plus 4, le trafic est déplacé à plus 11, l'impact est maximal à plus 24, le premier groupe de serveurs revient à plus 80, l'API revient en grande partie à plus 140, ChatGPT revient en grande partie à plus 149, ChatGPT et Sora reviennent à plus 225, l'impact se termine à plus 262.
Les nouvelles données, représentées par le même script : la panne d'OpenAI du 11 décembre 2024, selon son propre compte rendu.
Description textuelle du diagramme

Les alertes se sont déclenchées 3 minutes avant que les clients soient touchés, et la cause était connue immédiatement. Le premier groupe de serveurs n’a été rétabli qu’à plus 80, et l’impact s’est terminé à plus 262.

Ce que cela nous apprend. La détection était précoce, et la cause était connue immédiatement. Mais la correction nécessitait le plan de contrôle qui était en panne : un « effet de verrouillage », selon le rapport. Pour Larkfield, les deux mêmes alertes se déclencheraient. Définissez outage = 262 dans le bloc ci-dessus. Environ 144 billets attendent plus de 10 minutes, dont 36 nécessitent une personne. Le SLO des brouillons consomme 250 % du budget d’une semaine. Avec le mode humain, aucun des 36 billets n’attend plus de 10 minutes, et les agents trient environ 150 billets manuellement. La recommandation tient toujours, mais le coût augmente pour l’équipe de Grace. PIR-EXT-002 est l’analyse courte.

  • La détection n’était le problème dans aucune des trois pannes. Le temps a servi à atténuer l’impact et à rétablir le service. Pour Larkfield aussi, la lacune concernait les actions à prendre durant la deuxième heure.
  • Une correction et un rétablissement sont deux événements. Consignez les deux, et prouvez le rétablissement avec des éléments concrets.
  • Les chiffres viennent des fournisseurs eux-mêmes, chacun les calculant à sa façon, dans l’entreprise qui a subi la panne. Les chiffres de Larkfield sont des estimations fondées sur un taux moyen.
  • Deux pannes ne constituent pas un historique de fiabilité. Ne classez pas les fournisseurs à partir de ces pannes.
  • Citez, ne copiez pas. Les rapports ne sont pas les nôtres. Ajoutez des liens, indiquez les sources et citez seulement de courts passages, comme cette page le fait.
  • Aucun blâme. Les rapports nomment leurs auteurs. Une analyse nomme les systèmes et les conditions, jamais les personnes qui ont rédigé le rapport ou fait la modification.
  • Identifiez chaque déduction. « Notre interprétation » n’est pas un fait. Le lien entre Google et Cloudflare est très probable, mais aucune des deux entreprises ne l’affirme.
  • Ne testez pas le service d’autrui pour vérifier un rapport. Lisez; ne sondez pas.
  • Présentez les heures avec rigueur. Convertissez les fuseaux horaires, marquez les heures approximatives et précisez quels événements délimitent une durée.

Ce projet montre à un employeur que vous pouvez transformer un long rapport public en chronologie vérifiée. Il montre aussi une analyse sans blâme et une modification chiffrée du guide d’exploitation.

Quoi mettre dans le dépôt :

public-outage-pir/
README.md what it is, how to run the script, the three reports with links
dataset.md the sources, the licences, the changes you made, the limits
LICENSE MIT for the script; CC0 for your CSVs and documents
draw_timeline.py checks and draws a timeline CSV
data/ one CSV per incident, each row with its source
review/ the reviews, the mapping and the runbook change
out/ the charts

Poussez-le sur GitHub avec le graphique chronologique et le tableau des options en haut du README. Précisez quelles affirmations sont « notre interprétation ».

En entrevue, dites-le en deux phrases. « J’ai reconstruit la chronologie de la panne de Cloudflare de juin 2025 à partir des rapports de deux entreprises, puis un script a vérifié chaque fuseau horaire. Ensuite, je l’ai appliquée à un service de billets utilisant l’IA et recommandé une modification du guide d’exploitation, avec son coût. »

Allez plus loin :

  • Analysez la panne de Cloudflare du 18 novembre 2025, où un fichier de caractéristiques d’apprentissage automatique a fait planter le serveur mandataire.
  • Construisez le mode humain dans votre propre projet de cours et prouvez son fonctionnement avec une panne d’exercice de 20 minutes.

Vérifiez votre compréhension

Le rapport de Cloudflare indique que la panne a duré 2 heures et 28 minutes. Votre chronologie indique 2 h 36 min. Quelle durée mettez-vous dans l'analyse, et qu'écrivez-vous?

Afficher la réponse

Écrivez celle que vous pouvez vérifier : 2 h 36 min. Précisez ce qu’elle mesure : du début de l’impact (17 h 52 UTC) à sa fin (20 h 28 UTC), dans le tableau du rapport. Ajoutez que le rapport indique 2 heures et 28 minutes. Il ne précise pas quels deux événements délimitent cette durée. Ne devinez pas la raison. La règle de l’analyse : une durée va toujours du début à la fin de l’impact.

Vérifiez votre compréhension

Tomás propose : « Ajoutons un deuxième modèle chez notre fournisseur comme solution de repli. Passons automatiquement à ce modèle quand le disjoncteur s'ouvre. » Que répondez-vous, avec des preuves tirées du rapport?

Afficher la réponse

Un deuxième modèle chez le même fournisseur partage toutes les dépendances du premier. Il subirait donc la même panne. Le rapport montre ce mécanisme : AI Gateway, conçu pour acheminer les requêtes entre fournisseurs, a eu jusqu’à 97 % d’échecs. Son propre magasin de configuration en était la cause. Un fournisseur vraiment distinct pourrait aider. Mais son modèle doit d’abord franchir la barrière de mise en production, et nous ne pouvons pas voir ses dépendances. C’est donc une expérience ultérieure, pas la modification à faire maintenant.

Vérifiez votre compréhension

Vérification pratique : exécutez le script sur votre CSV de Cloudflare. Quelles lignes de sortie prouvent la cohérence de votre chronologie, et quels chiffres l'analyse cite-t-elle pour Cloudflare?

Afficher la réponse

Les vérifications doivent se terminer par no problem found (aucun problème trouvé). Chaque ligne avec une heure doit être convertie et vérifiée : 23 sur 28 dans le CSV terminé. La ligne des phases de Cloudflare donne la détection à +0, l’escalade à +14 et la fin de l’impact à +156. L’analyse cite le P1 à +14, le P0 à +29 tiré de la chronologie et la durée de 156 minutes. La ligne de Google montre ses heures approximatives avec ~, que l’analyse marque avec ≈.

Récapitulatif

  • Vous avez reconstruit une chronologie de deux entreprises à partir de leurs rapports, avec une ligne sourcée par événement. Un script a vérifié chaque conversion de fuseau horaire.
  • Cloudflare a détecté la panne immédiatement et a augmenté le niveau de gravité à +14 et +29. Elle ne pouvait pas corriger la cause. Elle a réduit les dommages produit par produit jusqu’au rétablissement du fournisseur, après 2 h 36 min.
  • La chaîne explique les chiffres : les produits qui lisent Workers KV à chaque requête ont presque entièrement cessé de fonctionner. Workers AI et AI Gateway en faisaient partie.
  • Une vérification doit autoriser en cas d’échec, bloquer en cas d’échec ou passer à une personne. Chaque choix a un coût.
  • Les alertes de Larkfield se déclencheraient en quelques minutes. Son guide d’exploitation laisserait environ 21 billets nécessitant une personne en attente lors d’une panne de même durée.
  • Le mode humain après 5 minutes avec le disjoncteur ouvert ramène ce nombre à 0. Il coûte les brouillons et environ 67 billets supplémentaires pour les agents. Il a tenu avec de nouvelles données : la panne d’OpenAI de 4 h 22 min.

Ensuite, le travail final : un dossier d’exploitation pour un classificateur de billets et un assistant documentaire.

Leçon suivante : Travail final