Analyse post-incident d'une panne publique
- Étude de cas 2
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Cette étude de cas applique les guides d'exploitation et l'analyse sans blâme du module 6 à une vraie panne documentée publiquement. Vous reconstituez sa chronologie à partir de deux rapports publics, rédigez l'analyse selon le format du cours et examinez ce qu'elle signifie pour Larkfield.
Étude de cas 2 sur 2 · MLOps et LLMOps : exploiter l'IA en productionAnalyse post-incident d'une panne publique
1. Définir la responsabilité opérationnelle
2. Versionner et reproduire le système
3. Instrumenter une télémétrie utile
4. Surveiller les changements de comportement
5. Mettre en production et améliorer en toute sécurité
6. Gérer les incidents et la passation
Ce que vous saurez faire
Lisez un vrai rapport de panne comme une équipe d’exploitation lit ses propres rapports d’incident. Vous reconstituerez la chronologie à partir de deux rapports publics, puis la vérifierez avec un petit script. Vous rédigerez ensuite l’analyse selon le format de ce cours. Enfin, vous examinerez les conséquences pour Larkfield : quelles alertes se déclencheraient, quelle dépendance nous partageons et quel changement nous apporterions.
Cette étude de cas est un travail écrit, pas un carnet (notebook) Jupyter. Vous saisissez les faits des rapports dans un CSV, avec une ligne et une source par événement. Un petit script les vérifie et les représente. Le reste consiste à lire et à écrire, dans les formats de Larkfield. Le projet terminé forme une réponse complète.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise l’ensemble du cours. Voici les leçons les plus importantes :
- Les SLO, le budget d’erreur et les niveaux de gravité, dans Objectifs de service.
- Les responsables et les personnes à appeler en premier, dans Responsabilité et soutien.
- Le format du guide d’exploitation (détection, triage, atténuation, escalade, vérifications du rétablissement), dans Guides d’exploitation.
- Le disjoncteur, la file d’attente et le message d’état lors d’une panne de fournisseur, dans Pannes des fournisseurs et des dépendances. Le disjoncteur lui-même vient de Contenir les défaillances, dans le cours sur la mise à l’échelle.
- Le format d’analyse et PIR-001, dans Tirer des leçons après un incident.
La page présente une nouvelle idée : autoriser ou bloquer en cas d’échec, quand une vérification ne peut pas obtenir ses données.
Ce qu’il vous faut sur votre ordinateur
- Un navigateur pour lire les rapports.
- Python 3.10 ou une version plus récente. Le script utilise seulement la bibliothèque standard. Aucun environnement virtuel ni aucune installation supplémentaire n’est nécessaire.
- Pour une vérification facultative dans « Appliquer le cas à Larkfield » : votre projet de cours à la fin du module 6, avec la télémétrie enregistrée dans
data/telemetry/.
Testé sur macOS avec Python 3.12.13, à partir de nouvelles copies des deux fichiers zip. Les commandes Windows sont fournies, mais n’ont pas été testées.
La situation
Section intitulée « La situation »Une panne majeure fait les manchettes. De nombreux sites et applications ont cessé de fonctionner pendant environ deux heures et demie, tout comme des produits d’IA. Chez Larkfield, rien n’a été touché : le service de billets de soutien n’utilise ni Cloudflare ni Google Cloud.
Sam demande : « Ce n’était pas notre panne. Pourquoi y consacrer une matinée? » Grace reformule la question du cours : « Est-ce que ça pourrait nous arriver, et est-ce qu’on le saurait? »
Kwame est responsable des contrats avec les fournisseurs. Il est donc responsable de cette analyse. Amira est responsable du service et de ses guides d’exploitation. Les agents de Grace reçoivent les billets qui nécessitent une personne. La décision revient à Amira et Grace : Larkfield doit-elle modifier son guide d’exploitation pour les pannes de fournisseur, et comment?
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Vous créerez le dossier public-outage-pir/ :
| Fichier | Son contenu |
|---|---|
data/cloudflare-2025-06-12.csv |
la chronologie des deux entreprises, une ligne par événement, chacune avec sa source |
review/PIR-EXT-001-cloudflare-2025-06-12.md |
l’analyse, selon le format de PIR-001 |
review/larkfield-mapping.md |
nos alertes et guides d’exploitation, la dépendance commune, trois options selon une même mesure, le changement retenu |
review/provider-outage-runbook-change.md |
le guide d’exploitation de Larkfield pour les pannes de fournisseur, avec ce changement |
data/openai-2024-12-11.csv, review/PIR-EXT-002-openai-2024-12-11.md |
la même méthode appliquée à un nouveau rapport |
PIR-EXT désigne une analyse d’incident externe. Larkfield numérote ses propres analyses PIR-001, PIR-002, et ainsi de suite. Les deux séries restent donc distinctes.
Préparer le projet
Section intitulée « Préparer le projet »-
Téléchargez le projet de départ depuis l’encadré en haut de cette page. Décompressez-le dans votre dossier de projets. Vous obtenez le dossier
public-outage-pir. -
Dans VS Code, choisissez File > Open Folder (fichier, ouvrir un dossier) et ouvrez
public-outage-pir. Ouvrez ensuite un terminal : Terminal > New Terminal (terminal, nouveau terminal). -
Vérifiez votre version de Python :
Fenêtre de terminal python3 --versionFenêtre de terminal python --versionIl vous faut la version 3.10 ou une version plus récente. La page utilise
python3; sous Windows, tapez plutôtpython. -
Ouvrez les trois rapports dans votre navigateur. Gardez leurs onglets ouverts : vous les lirez plusieurs fois.
Les données
Section intitulée « Les données »Les preuves se trouvent dans trois rapports. Aucune entreprise n’a publié de fichiers de données sur ces pannes. Les rapports constituent donc les données.
- Cloudflare, Panne des services Cloudflare du 12 juin 2025 : effets par produit, chronologie en UTC, cause et actions.
- Google Cloud, incident ow5i3PPK96RduMcb1SsW : mises à jour de l’état, « mini-rapport d’incident » et rapport complet.
- OpenAI, Problèmes avec l’API, ChatGPT et Sora : compte rendu : le nouveau rapport à traiter à la fin.
Kwame a comparé trois rapports. La panne de Cloudflare du 12 juin 2025 a touché deux entreprises. De même, Larkfield dépend d’un fournisseur de modèles qui dépend d’autres fournisseurs. La panne d’OpenAI concerne le fournisseur de modèles lui-même. C’est donc le nouveau rapport à traiter. La panne de Cloudflare du 18 novembre 2025 est restée interne à une entreprise : une option pour « aller plus loin ».
Le dictionnaire des données
Section intitulée « Le dictionnaire des données »Chaque ligne du CSV représente un événement de l’incident :
| Colonne | Signification | Exemple |
|---|---|---|
time_utc |
le moment de l’événement, converti en UTC par vous | 2025-06-12T17:49Z |
stated |
l’heure telle que le rapport l’indique | 10:49 PDT, within 10 minutes |
approx |
yes (oui) si le rapport indique « ~ » ou « dans les »; day (jour) si seul le jour est connu; sinon no (non) |
no |
org |
l’entreprise : une bande du graphique | Google Cloud |
kind |
change (changement), trigger (déclencheur), impact-start (début des effets), detection (détection), diagnosis (diagnostic), escalation (escalade), mitigation (atténuation), communication (communication), impact (effets), recovery (rétablissement) ou impact-end (fin des effets) |
impact-start |
label |
une courte étiquette pour le graphique, de 24 caractères ou moins | Impact starts |
event |
l’événement dans vos propres mots, pas ceux du rapport | API requests fail with 503 errors |
source |
l’URL du rapport et la section qui décrit l’événement | https://status.cloud.google.com/… (Mini Incident Report) |
Les valeurs de kind suivent les sections du guide d’exploitation. La chronologie répond donc déjà aux questions du guide.
Premières vérifications
Section intitulée « Premières vérifications »Le CSV de départ contient quatre lignes : les deux débuts des effets, la première détection de Cloudflare et la fin des effets chez Cloudflare. Exécutez le script sur ce fichier :
python3 draw_timeline.py data/cloudflare-2025-06-12.csvLa sortie :
Checks of data/cloudflare-2025-06-12.csv 4 events, 2 organizations: Google Cloud, Cloudflare stated times converted and checked: 4 of 4 (the others are relative, like 'within 10 minutes', or a day) approximate times: 0 no problem found
Timeline (UTC; minutes from the organization's impact start; ~ = approximate): 06-12 17:49 +0 Google Cloud impact-start Impact starts 06-12 17:52 +0 Cloudflare impact-start Impact starts 06-12 17:52 +0 Cloudflare detection WARP team declares 06-12 20:28 +156 Cloudflare impact-end Impact ends
Phases (minutes from the impact start to the first event of each kind): Google Cloud: impact starts 17:49 UTC Cloudflare: impact starts 17:52 UTC; detection +0, impact-end +156 Cloudflare: impact lasted 2 h 36 min (156 min) by this timeline
Wrote out/cloudflare-2025-06-12.svg and out/cloudflare-2025-06-12-narrow.svgCe que cela nous indique. Le script a lu la colonne stated, l’a convertie et l’a comparée à time_utc. Google utilise l’heure du Pacifique des États-Unis. En juin, elle correspond à UTC−7. Ainsi, 10 h 49 PDT correspond à 17 h 49 UTC. Faites maintenant exprès l’erreur la plus courante : saisissez l’heure de Google comme si elle était en UTC (2025-06-12T10:49Z). Le script s’arrête :
PROBLEM line 2: stated '10:49 PDT' is 17:49 UTC, but time_utc says 10:49...Fix the problems first; no chart was written.Cette seule erreur placerait la panne de Google sept heures avant celle de Cloudflare. Le lien entre elles disparaîtrait.
La première lecture de Kwame révèle trois autres éléments qui changent l’analyse :
- Cloudflare ne nomme pas le fournisseur. Le billet parle seulement d’« un fournisseur infonuagique tiers ». Le lien avec Google Cloud est notre interprétation, fondée sur les heures et la presse. Les effets chez Google commencent 3 minutes plus tôt. Aucun des deux rapports ne fait ce lien. L’analyse le précise donc chaque fois.
- La durée annoncée ne correspond pas au tableau. Cloudflare écrit que la panne « a duré 2 heures et 28 minutes ». Sa propre chronologie va de 17 h 52 à 20 h 28 : 2 h 36 minutes. Le rapport ne précise pas les deux événements utilisés pour calculer sa durée.
- Google donne trois durées. La page d’état indique de 10 h 51 à 18 h 18 PDT. Le mini-rapport indique de 10 h 49 à 13 h 49 PDT, soit « 3 heures ». Le rapport complet indique « jusqu’à environ 2 h 40 minutes » pour sa plus grande région. Chaque durée mesure quelque chose de différent.
L’analyse fixe donc une règle : une durée va toujours du début à la fin des effets, selon les définitions du CSV.
Définir le problème
Section intitulée « Définir le problème »L’unité est un événement, avec son heure et sa source. Les questions correspondent aux sections de l’analyse : chronologie, chaîne de dépendances, effets visibles pour les utilisateurs, causes et actions, conséquences pour Larkfield.
Les règles de preuve. Chaque fait sur la panne vient des rapports et indique sa source. Nous indiquons « notre interprétation » pour notre propre raisonnement. Les chiffres de Larkfield viennent des exécutions enregistrées et des faits établis du cours. Chaque hypothèse est nommée.
Explorer ce qu’exige l’analyse
Section intitulée « Explorer ce qu’exige l’analyse »La chronologie
Section intitulée « La chronologie »Complétez le reste du CSV. Décrivez chaque événement dans vos propres mots. Google donne certaines heures seulement sous la forme « dans les 2 minutes » ou « ~25 minutes ». Comptez-les à partir de 17 h 49 UTC, le début du mini-rapport, et marquez-les approx (approximatif). Le CSV terminé contient 28 lignes. Exécutez le script de nouveau :
python3 draw_timeline.py data/cloudflare-2025-06-12.csvLa fin de la sortie :
Phases (minutes from the impact start to the first event of each kind): Google Cloud: impact starts 17:49 UTC; detection ~+2, diagnosis ~+10, mitigation ~+25, recovery +119, impact-end +180 Google Cloud: impact lasted 3 h 00 min (180 min) by this timeline Google Cloud: the last recovery is 7 h 29 min after the impact start Cloudflare: impact starts 17:52 UTC; detection +0, escalation +14, mitigation +51, recovery +151, impact-end +156 Cloudflare: impact lasted 2 h 36 min (156 min) by this timelineOuvrez out/cloudflare-2025-06-12.svg dans votre navigateur. C’est le graphique ci-dessous.
Description textuelle du diagramme
Les répercussions chez Google durent de 17 h 49 à 20 h 49. Celles de Cloudflare durent de 17 h 52 à 20 h 28, à l’intérieur de cette période. Google effectue le triage, trouve la cause fondamentale et applique le correctif en environ 40 minutes. Les événements de Cloudflare s’étalent sur toute sa bande. L’entreprise détecte le problème immédiatement et le fait remonter en moins de 29 minutes. Quatre mesures d’atténuation suivent, mais le rétablissement n’arrive qu’avec celui du stockage.
Ce que cela nous apprend. Comparez les pistes :
- La détection a été rapide dans les deux cas. Google effectuait le triage en environ 2 minutes. Chez Cloudflare, une équipe a vu son propre produit tomber en panne à +0; la première alerte est arrivée à +13.
- L’escalade a suivi la cause commune. Cloudflare a regroupé les incidents des équipes en un seul à +14. L’entreprise a relevé la priorité à P0 à +29, « lorsque la gravité des répercussions devient claire ».
- Un correctif n’est pas un rétablissement. Google avait déployé son correctif vers +40, mais son produit de service d’IA s’est rétabli en dernier, à +449. Le redémarrage des tâches a surchargé leur propre base de données : un « effet de troupeau ». La solution, des attentes avec gigue, se trouve dans Livraison et nouvelles tentatives, dans le cours sur la mise à l’échelle.
- Cloudflare ne pouvait pas corriger la cause. L’entreprise a réduit les dommages produit par produit, puis s’est rétablie avec le fournisseur.
La chaîne de dépendances
Section intitulée « La chaîne de dépendances »La chronologie indique quand. La chaîne indique comment la panne s’est propagée.
Pensez à une panne d’électricité dans une rue. Le four de la boulangerie s’arrête, tout comme le guichet automatique et le feu de circulation. Différentes entreprises partagent une chose qu’aucune ne contrôle.
Chez Cloudflare, cette chose est Workers KV, un stockage clé-valeur utilisé par plusieurs produits pour la configuration, l’identité et les fichiers. Son stockage central dépendait du fournisseur infonuagique externe.
Description textuelle du diagramme
Une mauvaise politique de quotas a fait planter Service Control de Google, et les requêtes à ses API ont échoué. Le lien avec le fournisseur tiers de Cloudflare est notre interprétation. Workers KV a ensuite fait échouer chaque lecture absente de son cache. Les produits qui lisent KV ont échoué à leur tour : Access, puis WARP, Gateway et le Dashboard par son intermédiaire; Workers AI et AutoRAG; AI Gateway. Les produits qui partagent seulement une partie du stockage ont moins échoué.
La chaîne explique les chiffres. Le rapport donne un chiffre pour chaque produit, selon sa propre mesure :
- Lit sa configuration ou ses données dans Workers KV
- Partage une partie du stockage ou répond surtout depuis un cache (notre regroupement)
Description textuelle du graphique
Access: 100% (identity-based logins that failed). Workers AI: 100% (inference requests that failed). Pages: 100% (peak error rate (about 100%)). AI Gateway: 97% (peak error rate). Workers KV: 90.22% (requests that failed in the window). D1: 22% (peak average error rate). Durable Objects: 22% (peak average error rate (SQLite-backed)). Workers for Platforms: 10% (peak error rate (about 10%)). Workers: 2% (peak error rate (about 2%)). Les cinq premiers lisent leur configuration ou leurs données dans Workers KV à chaque requête et ont presque entièrement échoué. Les quatre derniers partagent seulement une partie du stockage ou répondent à la plupart des requêtes depuis un cache. Ils ont beaucoup moins échoué.
Ce que cela nous apprend. L’ampleur des échecs dépendait de la façon dont chaque produit utilisait le stockage. Les produits qui lisent KV à chaque requête ont presque entièrement échoué. KV lui-même a échoué à 90,22 %, et non à 100 %, car certaines lectures provenaient de son cache. Deux faits comptent surtout pour un service d’IA :
- Workers AI a fait échouer toutes les requêtes d’inférence, même si ses modèles fonctionnaient bien. Il « dépend de Workers KV pour distribuer la configuration et les informations de routage » (Cloudflare).
- AI Gateway a fait échouer jusqu’à 97 % des requêtes. Les équipes utilisent une passerelle pour passer d’un fournisseur de modèles à un autre. Elle a échoué à cause de son propre stockage de configuration. Une solution de repli qui partage une dépendance avec ce qu’elle protège échoue avec lui.
Autoriser ou refuser en cas de panne
Section intitulée « Autoriser ou refuser en cas de panne »Le rapport indique qu’Access « est conçu pour refuser l’accès en cas de panne ». C’est la seule nouvelle idée de cette page.
Pensez à deux portes pendant une panne d’électricité. Une porte coupe-feu s’ouvre pour laisser les gens sortir : elle autorise en cas de panne. La porte d’un coffre-fort reste verrouillée : elle refuse en cas de panne. Chacune protège ce qui compte le plus dans son cas.
Le problème. Chaque vérification exige des données : une connexion exige une identité, une étape de triage exige la réponse du modèle. Quand les données sont illisibles, la vérification doit faire quelque chose. Si personne n’a choisi à l’avance, le code choisit par accident.
L’idée. Décidez, pour chaque vérification, ce qui arrive quand ses données manquent :
- Refuser en cas de panne : refuser. Access a refusé toutes les connexions par identité; les règles sont restées sûres et les utilisateurs ont attendu.
- Autoriser en cas de panne : laisser passer. Les « interrupteurs d’arrêt » de Cloudflare laissaient les visiteurs passer ses pages de vérification. Le coût, selon le rapport : un jeton valide pouvait servir plusieurs fois.
- Transférer à une personne en cas de panne : confier le travail à quelqu’un qui peut décider sans les données, comme le fait
TRIAGE_FALLBACK=persondans le cours.
Description textuelle du diagramme
Refuser en cas de panne bloque l’accès, comme Access l’a fait. Autoriser en cas de panne laisse tout passer, comme l’interrupteur d’arrêt de Turnstile l’a fait, avec un coût. Transférer à une personne confie le travail à quelqu’un qui peut décider sans les données : le mode personne de Larkfield, plus loin sur cette page.
Chez Larkfield, l’API accepte chaque billet de soutien pendant une panne du fournisseur : elle autorise la réception en cas de panne. L’étape de triage attend le modèle : elle refuse de décider en cas de panne. Quand choisir chaque option : refusez quand une autorisation incorrecte cause des dommages, et autorisez quand le blocage en cause davantage. Transférez à une personne quand elle peut décider. Chaque choix a un coût; nommez-le.
L’analyse, dans le format du cours
Section intitulée « L’analyse, dans le format du cours »Rédigez maintenant review/PIR-EXT-001-cloudflare-2025-06-12.md à partir de templates/review-template.md, qui contient les sections de PIR-001. L’analyse ne cherche pas de coupable : elle nomme des systèmes et des conditions, jamais une personne.
- L’en-tête : les rapports, leur gravité (P1, puis P0) et la nôtre : SEV-1, car de nombreux clients ne pouvaient pas être servis.
- Le résumé, en quatre ou cinq phrases, dont une phrase « notre interprétation » sur le fournisseur non nommé.
- Ce que montrent les rapports : chaque chiffre avec ce qu’il compte. « 90,22 % des requêtes » et « un pic de 97 % » sont des types de chiffres différents.
- La chronologie de votre CSV, avec les durées et les événements entre lesquels elles sont mesurées.
- La réponse, section par section d’un guide d’exploitation.
- Les causes et les conditions contributives, la cause d’abord; puis les actions, chacune avec son responsable, et comment savoir que le problème est corrigé.
Voici la section sur la réponse de l’analyse terminée, au cœur de la comparaison avec Larkfield :
| Section du guide d’exploitation | Ce que montrent les rapports |
|---|---|
| Détection | Cloudflare : une équipe a vu son propre produit tomber en panne à +0 et a déclaré un incident; la première alerte est arrivée à +13. Google : triage en moins de 2 minutes. |
| Triage | Cloudflare a regroupé les incidents des équipes en un seul à +14, après avoir constaté la cause commune. Google a trouvé la cause fondamentale en environ 10 minutes. |
| Atténuation | Google : un « bouton rouge » préparé a désactivé le chemin de code défaillant. Cloudflare ne pouvait pas corriger le stockage. L’entreprise a réduit les dommages dans chaque produit : interrupteurs d’arrêt, règles dégradées, charge réduite sur KV. |
| Escalade | Cloudflare : P1 à +14, P0 à +29. La première publication d’état publique de Google est arrivée à +57, tardivement, car la page d’état fonctionnait sur les systèmes défaillants. |
| Vérifications du rétablissement | Cloudflare : SLO revenus à leur niveau d’avant l’incident. Google : région par région, avec un ralentissement causé par ses propres redémarrages. |
Les causes, en bref. Chez Google : une vérification de quotas sans gestion des erreurs ni indicateur de fonctionnalité, des données copiées dans chaque région en quelques secondes, et des redémarrages sans délai d’attente croissant aléatoire. Chez Cloudflare : un seul stockage pour plusieurs produits, chez un seul fournisseur pendant une migration.
Ce que cela nous apprend. Aucun rapport ne montre de preuves après le rétablissement ni de dates pour ses actions. De l’extérieur, nous ne pouvons pas vérifier que les actions sont terminées. Nous pouvons seulement modifier le degré de dépendance de notre propre service envers ces systèmes.
Faire le lien avec Larkfield
Section intitulée « Faire le lien avec Larkfield »Rédigez maintenant review/larkfield-mapping.md. La dépendance du même type que nous partageons est le fournisseur de modèles hébergés. Chaque billet exige un appel de triage pour obtenir une équipe, une décision sur le besoin d’une personne et un brouillon. Nous ne voyons pas les propres dépendances du fournisseur, comme les clients de Cloudflare ne voyaient pas le fournisseur de Workers KV. Nous prévoyons donc une longue panne du fournisseur, quelle qu’en soit la cause.
Description textuelle du diagramme
Le billet est accepté immédiatement et attend dans la file; la page d’état indique que les réponses prennent plus de temps. Le disjoncteur arrête les appels au fournisseur défaillant, dont Larkfield ne voit pas les propres dépendances. Deux alertes se déclenchent en quelques minutes. La nouvelle flèche, le mode personne, envoie les billets aux agents après 5 minutes de disjoncteur ouvert.
Quelles alertes se déclencheraient. Le cours a enregistré une panne d’exercice du fournisseur : 5 minutes, provoquée volontairement, sauvegardée dans outage.jsonl.gz. Ses alertes servent de preuves :
| Alerte | Se déclenche? | Quand, après le début de la panne (Grafana) | Guide d’exploitation |
|---|---|---|---|
provider-circuit-open (SEV-2, Kwame) |
oui | 0,85 minute | provider-outage |
drafts-late (SEV-2, Amira) |
oui | 3,28 minutes | provider-outage |
draft-fast-burn |
non | elle compte les billets terminés, et aucun ne se termine | bad-release |
accept-fast-burn |
non | l’API a accepté chaque billet | tickets-refused |
Si vous avez votre projet de cours, vous pouvez voir les deux alertes et le disjoncteur dans la chronologie de la panne d’exercice :
python -m ops incident data/telemetry/outage.jsonl.gzElle indique la panne à +5,1 minutes, provider-circuit-open à +5,7 et drafts-late à +8,2, selon les règles du projet. Les règles de Grafana se sont déclenchées à +5,9 et +8,4.
Ce que cela nous apprend. La détection prendrait moins d’une minute, alors que la première alerte de Cloudflare a pris 13 minutes. Nous avons une dépendance et un disjoncteur qui la surveille. La lacune se trouve dans les objectifs, pas dans les alertes. Le SLO des brouillons exige un brouillon valide en moins de 10 minutes. Pendant une longue panne, il est dépassé pour chaque billet en attente, et aucune alerte ne les compte.
Une référence de base : le guide tel qu’il est rédigé
Section intitulée « Une référence de base : le guide tel qu’il est rédigé »Le guide provider-outage a été testé pendant la panne d’exercice. La file a atteint un pic de 315 billets, le plus ancien a attendu 354 secondes, et le SLO des brouillons a tenu. Sa mesure d’atténuation indique « ne rien faire aux processus », car le disjoncteur garde les billets en sécurité dans la file. Les agents lisent la file manuellement pour chercher des mots comme feu, fumée, brûlure et enfant.
Que fait-il pendant une panne aussi longue que celle de Cloudflare? Larkfield reçoit 822 billets par jour, un des faits fixes du cours. Nous l’utilisons comme moyenne; les heures chargées en donneraient davantage.
Exécutez du Python dans votre navigateur
Une panne de la durée de celle de Cloudflare au rythme de Larkfield
L’encadré calcule les billets qui arrivent pendant une panne de 156 minutes et ceux qui attendent plus de 10 minutes. Il affiche ensuite combien ont besoin d’une personne et quelle part du budget hebdomadaire des brouillons une panne utilise. Essayez ensuite 5, 148 et 262 minutes.
Tab ajoute quatre espaces. Appuyez sur Esc, puis sur Tab, pour quitter la zone. Ctrl+Enter exécute le code.
La sortie :
tickets during the outage: 89wait more than 10 minutes: 83of those, need a person: 21draft budget used: 145% of the week's 57.5Ce que cela nous apprend. Avec outage = 5, aucun billet n’attend plus de 10 minutes, comme pendant l’exercice. À 156 minutes, environ 83 billets dépassent le SLO des brouillons : une semaine et demie de budget en un après-midi. Pire, environ 21 d’entre eux ont besoin d’une personne, et seule la lecture manuelle peut les repérer. Un seul billet ayant besoin d’une personne qui ne rejoint personne constitue un SEV-1. (L’estimation suppose que la file se vide immédiatement; pendant la panne d’exercice, cela a pris environ 2 minutes.)
Des solutions, une seule mesure
Section intitulée « Des solutions, une seule mesure »Une comparaison équitable exige une seule mesure pour toutes les options. Le parcours de sécurité n’a aucun budget d’erreur; Kwame choisit donc une mesure de sécurité. Il s’agit des billets ayant besoin d’une personne qui attendent plus de 10 minutes avant d’atteindre la file des agents, pendant une panne de 156 minutes. Il montre aussi les brouillons et le coût, pour qu’aucune option ne cache son prix.
| Option | Billets ayant besoin d’une personne qui attendent plus de 10 minutes | Billets sans brouillon | Ce que cela coûte |
|---|---|---|---|
| A. Le guide tel qu’il est rédigé (la référence de base) | environ 21, sauf si la lecture manuelle les repère | environ 83 | rien de nouveau |
| B. Un deuxième fournisseur de modèles, utilisé automatiquement en repli | 0 s’il est réellement indépendant; environ 21 s’il partage une dépendance | 0, ou environ 83 | un deuxième contrat; son modèle doit d’abord franchir notre barrière de mise en production; nous ne voyons pas ses dépendances |
| C. Mode personne : après 5 minutes de disjoncteur ouvert, chaque billet en attente ou nouveau est envoyé à une personne, jusqu’à la fermeture du disjoncteur | 0 (chacun attend au plus environ 5 minutes avant le changement) | environ 89 : aucun brouillon | les agents trient manuellement environ 89 billets, soit environ 67 de plus que d’habitude; chaque billet reçoit la priorité 1 |
L’option B semble la plus solide, mais le rapport met en garde contre une confiance aveugle. AI Gateway, conçu pour ce type de changement, a échoué jusqu’à 97 %. Un deuxième modèle chez le même fournisseur partage toutes les dépendances du premier. Et un nouveau modèle est une nouvelle mise en production : il doit donc d’abord franchir la barrière de Barrières d’évaluation.
La recommandation
Section intitulée « La recommandation »Kwame recommande l’option C, le mode humain après 5 minutes avec le disjoncteur ouvert, et Amira et Grace l’acceptent. Elle ne demande rien en dehors de notre service et réutilise la solution de repli existante. Elle protège le parcours sans budget d’erreur : la sécurité. Elle ne sauve pas le SLO des brouillons. Rien sous notre contrôle ne peut le sauver tant que le fournisseur est en panne.
La modification va dans review/provider-outage-runbook-change.md, avec chaque nouvelle ligne marquée (nouveau). La section sur l’atténuation gagne ceci :
- (new) Person mode. When the breaker has been open for 5 minutes, the worker sends every waiting and new ticket to a person (needs_human true, priority 1, outcome sent_to_person), with no team and no draft. It stops when the breaker closes.- (new) In person mode every ticket has priority 1, so the hand scan for safety words is how safety tickets come first.- (new) Do not switch to another model or provider during the outage. A model that has not passed the release gate is an unreviewed release.Les actions : Amira construit le mode humain. Il sera prêt quand une panne d’exercice de 20 minutes ne laissera aucun billet nécessitant une personne attendre plus de 10 minutes. Grace prépare son équipe à environ 90 billets supplémentaires lors d’une longue panne. Kwame garde l’option B pour une expérience ultérieure. Une question reste ouverte : une longue panne devrait-elle devenir SEV-1 après un délai fixe, comme celle de Cloudflare est devenue P0 à +29?
De bout en bout avec de nouvelles données
Section intitulée « De bout en bout avec de nouvelles données »Une méthode n’est utile que si elle fonctionne avec le rapport suivant. Prenez le compte rendu d’OpenAI : un fournisseur de modèles hébergés en panne, la dépendance exacte de Larkfield. Saisissez sa chronologie dans data/openai-2024-12-11.csv (PST correspond à UTC−8) et exécutez le même script :
python3 draw_timeline.py data/openai-2024-12-11.csvLa fin de la sortie :
Phases (minutes from the impact start to the first event of each kind): OpenAI: impact starts 23:16 UTC; detection -3, diagnosis +0, mitigation +11, recovery +80, impact-end +262 OpenAI: impact lasted 4 h 22 min (262 min) by this timelineDescription textuelle du diagramme
Les alertes se sont déclenchées 3 minutes avant que les clients soient touchés, et la cause était connue immédiatement. Le premier groupe de serveurs n’a été rétabli qu’à plus 80, et l’impact s’est terminé à plus 262.
Ce que cela nous apprend. La détection était précoce, et la cause était connue immédiatement. Mais la correction nécessitait le plan de contrôle qui était en panne : un « effet de verrouillage », selon le rapport. Pour Larkfield, les deux mêmes alertes se déclencheraient. Définissez outage = 262 dans le bloc ci-dessus. Environ 144 billets attendent plus de 10 minutes, dont 36 nécessitent une personne. Le SLO des brouillons consomme 250 % du budget d’une semaine. Avec le mode humain, aucun des 36 billets n’attend plus de 10 minutes, et les agents trient environ 150 billets manuellement. La recommandation tient toujours, mais le coût augmente pour l’équipe de Grace. PIR-EXT-002 est l’analyse courte.
Constats et limites
Section intitulée « Constats et limites »- La détection n’était le problème dans aucune des trois pannes. Le temps a servi à atténuer l’impact et à rétablir le service. Pour Larkfield aussi, la lacune concernait les actions à prendre durant la deuxième heure.
- Une correction et un rétablissement sont deux événements. Consignez les deux, et prouvez le rétablissement avec des éléments concrets.
- Les chiffres viennent des fournisseurs eux-mêmes, chacun les calculant à sa façon, dans l’entreprise qui a subi la panne. Les chiffres de Larkfield sont des estimations fondées sur un taux moyen.
- Deux pannes ne constituent pas un historique de fiabilité. Ne classez pas les fournisseurs à partir de ces pannes.
Utilisation responsable
Section intitulée « Utilisation responsable »- Citez, ne copiez pas. Les rapports ne sont pas les nôtres. Ajoutez des liens, indiquez les sources et citez seulement de courts passages, comme cette page le fait.
- Aucun blâme. Les rapports nomment leurs auteurs. Une analyse nomme les systèmes et les conditions, jamais les personnes qui ont rédigé le rapport ou fait la modification.
- Identifiez chaque déduction. « Notre interprétation » n’est pas un fait. Le lien entre Google et Cloudflare est très probable, mais aucune des deux entreprises ne l’affirme.
- Ne testez pas le service d’autrui pour vérifier un rapport. Lisez; ne sondez pas.
- Présentez les heures avec rigueur. Convertissez les fuseaux horaires, marquez les heures approximatives et précisez quels événements délimitent une durée.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Ce projet montre à un employeur que vous pouvez transformer un long rapport public en chronologie vérifiée. Il montre aussi une analyse sans blâme et une modification chiffrée du guide d’exploitation.
Quoi mettre dans le dépôt :
public-outage-pir/ README.md what it is, how to run the script, the three reports with links dataset.md the sources, the licences, the changes you made, the limits LICENSE MIT for the script; CC0 for your CSVs and documents draw_timeline.py checks and draws a timeline CSV data/ one CSV per incident, each row with its source review/ the reviews, the mapping and the runbook change out/ the chartsPoussez-le sur GitHub avec le graphique chronologique et le tableau des options en haut du README. Précisez quelles affirmations sont « notre interprétation ».
En entrevue, dites-le en deux phrases. « J’ai reconstruit la chronologie de la panne de Cloudflare de juin 2025 à partir des rapports de deux entreprises, puis un script a vérifié chaque fuseau horaire. Ensuite, je l’ai appliquée à un service de billets utilisant l’IA et recommandé une modification du guide d’exploitation, avec son coût. »
Allez plus loin :
- Analysez la panne de Cloudflare du 18 novembre 2025, où un fichier de caractéristiques d’apprentissage automatique a fait planter le serveur mandataire.
- Construisez le mode humain dans votre propre projet de cours et prouvez son fonctionnement avec une panne d’exercice de 20 minutes.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le rapport de Cloudflare indique que la panne a duré 2 heures et 28 minutes. Votre chronologie indique 2 h 36 min. Quelle durée mettez-vous dans l'analyse, et qu'écrivez-vous?
Afficher la réponse
Écrivez celle que vous pouvez vérifier : 2 h 36 min. Précisez ce qu’elle mesure : du début de l’impact (17 h 52 UTC) à sa fin (20 h 28 UTC), dans le tableau du rapport. Ajoutez que le rapport indique 2 heures et 28 minutes. Il ne précise pas quels deux événements délimitent cette durée. Ne devinez pas la raison. La règle de l’analyse : une durée va toujours du début à la fin de l’impact.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás propose : « Ajoutons un deuxième modèle chez notre fournisseur comme solution de repli. Passons automatiquement à ce modèle quand le disjoncteur s'ouvre. » Que répondez-vous, avec des preuves tirées du rapport?
Afficher la réponse
Un deuxième modèle chez le même fournisseur partage toutes les dépendances du premier. Il subirait donc la même panne. Le rapport montre ce mécanisme : AI Gateway, conçu pour acheminer les requêtes entre fournisseurs, a eu jusqu’à 97 % d’échecs. Son propre magasin de configuration en était la cause. Un fournisseur vraiment distinct pourrait aider. Mais son modèle doit d’abord franchir la barrière de mise en production, et nous ne pouvons pas voir ses dépendances. C’est donc une expérience ultérieure, pas la modification à faire maintenant.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vérification pratique : exécutez le script sur votre CSV de Cloudflare. Quelles lignes de sortie prouvent la cohérence de votre chronologie, et quels chiffres l'analyse cite-t-elle pour Cloudflare?
Afficher la réponse
Les vérifications doivent se terminer par no problem found (aucun problème trouvé). Chaque ligne avec une heure doit être convertie et vérifiée : 23 sur 28 dans le CSV terminé. La ligne des phases de Cloudflare donne la détection à +0, l’escalade à +14 et la fin de l’impact à +156. L’analyse cite le P1 à +14, le P0 à +29 tiré de la chronologie et la durée de 156 minutes. La ligne de Google montre ses heures approximatives avec ~, que l’analyse marque avec ≈.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Vous avez reconstruit une chronologie de deux entreprises à partir de leurs rapports, avec une ligne sourcée par événement. Un script a vérifié chaque conversion de fuseau horaire.
- Cloudflare a détecté la panne immédiatement et a augmenté le niveau de gravité à +14 et +29. Elle ne pouvait pas corriger la cause. Elle a réduit les dommages produit par produit jusqu’au rétablissement du fournisseur, après 2 h 36 min.
- La chaîne explique les chiffres : les produits qui lisent Workers KV à chaque requête ont presque entièrement cessé de fonctionner. Workers AI et AI Gateway en faisaient partie.
- Une vérification doit autoriser en cas d’échec, bloquer en cas d’échec ou passer à une personne. Chaque choix a un coût.
- Les alertes de Larkfield se déclencheraient en quelques minutes. Son guide d’exploitation laisserait environ 21 billets nécessitant une personne en attente lors d’une panne de même durée.
- Le mode humain après 5 minutes avec le disjoncteur ouvert ramène ce nombre à 0. Il coûte les brouillons et environ 67 billets supplémentaires pour les agents. Il a tenu avec de nouvelles données : la panne d’OpenAI de 4 h 22 min.
Ensuite, le travail final : un dossier d’exploitation pour un classificateur de billets et un assistant documentaire.
Leçon suivante : Travail final