Scénarios de défaillance
- Leçon 14
- 55 min
- Module 5 : Concevoir pour les défaillances et la croissance
Où nous en sommes
Dans le module 4, nous avons mesuré nos options et gardé la conception simple et économique qui respecte les cibles. Mais une conception n'est pas terminée tant que nous ne savons pas ce qui arrive quand une partie tombe en panne. Dans cette leçon, nous examinons six défaillances sur papier : ce que voient les utilisateurs, comment l'équipe les détecte, ce qui limite les dégâts et qui intervient. Nous commençons par une famille qui prépare un long trajet en voiture.
Leçon 14 sur 19 · Conception de systèmes d'IA et maîtrise des coûtsScénarios de défaillance
1. Commencer par les besoins
2. Concevoir l'architecture de bout en bout
3. Estimer les ressources et le coût
4. Optimiser avec des compromis mesurés
5. Concevoir pour les défaillances et la croissance
6. Présenter la proposition
Ce que vous saurez faire
Repérez ce qui peut mal tourner dans la conception avant que quelqu’un la réalise. Vous examinez sur papier six défaillances de l’assistant partagé. Pour chacune, vous notez ce que voient les utilisateurs, comment l’équipe la détecte, ce qui limite les dégâts et qui intervient. Ensuite, vous trouvez le composant dont tout dépend. Vous choisissez une mesure d’atténuation adaptée à sa taille.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les huit composants de la conception et leurs responsables, dans Limites des services : Les parties de Larkfield.
- Les attributs de qualité Q2 (disponibilité), Q7 (reprise) et Q8 (budget), dans Attributs de qualité.
- La charge de travail de la minute la plus occupée, dans Calculer la charge de travail, et l’hypothèse de 10 % de réponses trouvées dans le cache, dans Cache et traitement par lots.
- Le fonctionnement d’un disjoncteur, dans Contenir les défaillances du cours Mettre à l’échelle les API et les charges de travail d’IA. C’est utile, mais pas obligatoire.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier
design-packavec son environnement virtuel actif, etpython -m pytest -qqui affiche42 passed(42 tests réussis) : l’instantanéend-of-m04. - Le dossier des laboratoires
nextia-learning-labsà côté.
Cette leçon ajoute un document au dossier de conception, sans ajouter de code. Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont écrites, mais non testées.
Un voyage en voiture bien préparé
Section intitulée « Un voyage en voiture bien préparé »Une famille prévoit un long trajet. Avant de partir, elle pose quelques questions sur les problèmes possibles. Et si un pneu crevait? Elle apporte un pneu de secours, et le père sait comment le changer. Et si une route était fermée? Le téléphone contient une carte, et la mère la consulte chaque heure. Et si les clés de la voiture étaient perdues? Il n’y a qu’un seul jeu de clés. Sans les clés, tout le reste devient inutile.
Pour les clés, la famille a deux choix. Elle peut apporter une deuxième voiture, ce qui coûte très cher. Ou elle peut confier une clé de secours à la grand-mère, qui peut l’apporter en deux heures. Cette clé coûte quelques dollars, mais il faut accepter un délai de deux heures. Pour des vacances, cela suffit.
Chaque problème possible comporte quatre éléments : ce qui arrive, comment vous le remarquez, ce que vous faites et qui intervient. Les clés sont un élément dont tout dépend. La famille a choisi une mesure d’atténuation peu coûteuse et adaptée au risque, pas la plus complète.
Le problème : « rien ne tombera en panne »
Section intitulée « Le problème : « rien ne tombera en panne » »Kwame présente la conception à l’équipe. Tomás est détendu. « Le fournisseur du modèle est une grande entreprise. La base de données est un service géré. Rien ne tombera en panne, donc on n’a pas besoin de plan. »
Les cours précédents ont déjà montré des défaillances de ce genre.
Une panne du fournisseur, mesurée. Dans le cours sur la mise à l’échelle, le fournisseur du modèle est tombé en panne pendant 20 secondes. Trente tâches attendaient dans la file, et chacune a fait cinq tentatives. Le fournisseur a reçu 30 × 5 = 150 appels, qui ont tous échoué. Quand le fournisseur est revenu, les 30 tâches avaient déjà échoué définitivement. Avec un disjoncteur, la même panne n’a coûté que 8 appels, et les 30 tâches ont ensuite réussi.
Une erreur d’autorisation, construite. Supposons qu’Amira crée le cache de réponses du module 4 avec une clé contenant seulement le texte de la question, sans le locataire. Un agent de Larkfield demande « Combien de temps prennent les remboursements? », et la réponse est enregistrée. Ensuite, un client de Bramble Books pose la même question. Le cache renvoie la réponse de Larkfield, avec sa politique de remboursement et ses citations. Aucune erreur n’apparaît, et un client lit un document privé d’une autre boutique. (Ce cas est construit pour montrer le risque. La clé du cache de la conception inclut le locataire.)
Aucune de ces défaillances n’est rare. Les deux surviennent en fonctionnement normal. Les prévenir coûte peu une fois qu’on les a décrites.
L’idée : des scénarios de défaillance et une revue sur table
Section intitulée « L’idée : des scénarios de défaillance et une revue sur table »Un scénario de défaillance est un court récit d’un problème. Pour chaque scénario, la conception précise cinq éléments :
- Ce que voient les utilisateurs. « Les réponses échouent », « chaque réponse est lente », « un document manque ».
- Le signal de détection. Une mesure et un seuil, par exemple « la proportion d’erreurs du fournisseur sur 5 minutes dépasse 5 % ». Une plainte d’un client n’est pas un signal : elle arrive trop tard.
- La mesure d’atténuation. Ce qui limite les dégâts : un délai d’expiration, un disjoncteur, une file, une transaction, un test.
- Le responsable. Une personne qui intervient. « L’équipe » n’est pas un responsable.
- La reprise. Comment le système revient à la normale, et si des données sont perdues.
Les ingénieurs appellent cette liste les modes de défaillance d’un système. Une revue sur table permet de les trouver et de les vérifier. L’équipe s’assoit autour d’une table avec la conception et examine une défaillance, minute par minute. « Le fournisseur répond 503. Qu’est-ce qui se passe ensuite? Qui le remarque? » Les responsables des mesures d’urgence utilisent le même nom pour leurs exercices sur papier. Rien ne tombe en panne et rien ne coûte d’argent, mais les lacunes deviennent visibles.
Voici deux autres termes. Un point de défaillance unique est un composant sans solution de secours : s’il tombe en panne, tout le système s’arrête. Les clés de la voiture en étaient un. Une mesure d’atténuation proportionnée respecte le risque et le budget, comme la clé de secours plutôt qu’une deuxième voiture.
Un petit exemple : cinq minutes sans le fournisseur
Section intitulée « Un petit exemple : cinq minutes sans le fournisseur »Prenez la première défaillance et examinez-la avec des chiffres. Le fournisseur tombe en panne pendant 5 minutes, à la minute la plus occupée d’une journée du scénario de base.
Description textuelle du diagramme
Minute 0 : le fournisseur du modèle répond 503 à chaque appel. Après 5 appels échoués de suite, le disjoncteur s’ouvre : pendant 30 secondes, l’API n’appelle pas le fournisseur. Les utilisateurs voient « réessayez dans une minute », et les nouveaux téléversements attendent dans la file. À la minute 5, la proportion de réponses 5xx sur 5 minutes dépasse 5 %, donc l’alerte appelle Amira. Elle consulte la page d’état du fournisseur et informe Grace, pour que le service de soutien soit au courant. Quand le fournisseur revient, un appel d’essai réussit et le disjoncteur se ferme. Le processus traite ensuite les téléversements en attente, et aucune donnée n’est perdue.
Calculez maintenant ce que perdent les utilisateurs. Toutes les valeurs viennent du dossier de conception :
- La minute la plus occupée du scénario de base compte 0,268 question par seconde : 0,268 × 60 = 16,1 questions par minute.
- Le cache de réponses traite 10 % de ces questions sans le fournisseur (l’hypothèse du module 4). Donc 16,1 × 0,9 = 14,5 questions par minute nécessitent le fournisseur.
- Cinq minutes de panne : 14,5 × 5 = environ 72 questions reçoivent « réessayez dans une minute ».
- Q2 exige une réponse à 99,5 % des questions du mois. Le mois de base compte 43 950 questions, donc 0,5 % peuvent échouer : 43 950 × 0,005 = 220 questions par mois.
- Cette panne utilise 72 des 220 questions permises : 33 % de la limite mensuelle.
La conception tolère donc une panne de cinq minutes par mois. Quatre pannes de ce genre en un mois enfreindraient Q2. Le disjoncteur ne sauve pas ces 72 réponses : rien ne le peut tant que le fournisseur est en panne. Mais il garde les tâches en attente actives et arrête les appels inutiles. Et le message « réessayez » indique aux gens quoi faire.
Larkfield : le tableau des modes de défaillance
Section intitulée « Larkfield : le tableau des modes de défaillance »Kwame mène la revue sur table avec Amira, Mei et Grace. Ils prennent les cinq défaillances du plan et en ajoutent une : la perte de la base de données elle-même. Le résultat est un nouveau fichier dans le dossier de conception, decisions/failure-modes.md.
Exercice guidé : ajouter les modes de défaillance au dossier de conception
Section intitulée « Exercice guidé : ajouter les modes de défaillance au dossier de conception »-
Dans votre dossier
design-pack, avec l’environnement actif, créez le dossierdecisionset copiez le fichier de l’instantanéend-of-m05.Fenêtre de terminal S=../nextia-learning-labs/C26/snapshots/end-of-m05mkdir decisionscp "$S/decisions/failure-modes.md" decisions/Fenêtre de terminal $S = "..\nextia-learning-labs\C26\snapshots\end-of-m05"New-Item -ItemType Directory decisionsCopy-Item "$S\decisions\failure-modes.md" decisions\L’instantané est
end-of-m05, pasend-of-m04: les fichiers de ce module viennent de la fin de ce module. -
Comptez les défaillances du tableau. Chaque ligne commence par
| F:Fenêtre de terminal grep -c "^| F" decisions/failure-modes.mdFenêtre de terminal (Select-String -Pattern '^\| F' decisions\failure-modes.md).Count6 -
Ouvrez
decisions/failure-modes.mddans votre éditeur. Lisez une ligne de gauche à droite : défaillance, ce que voient les utilisateurs, signal de détection, mesure d’atténuation, responsable, reprise. Vérifiez ensuite qu’aucune cellule n’est vide. -
Lancez les tests. Le fichier est un document, donc le résultat ne change pas :
Fenêtre de terminal python -m pytest -q.......................................... [100%]42 passed in 0.07sAu module 6, la vérification du dossier de conception lit ce fichier. Elle exige au moins cinq défaillances, chacune avec un responsable, une mesure d’atténuation et un signal.
Voici le tableau sous forme d’image de la conception. Chaque défaillance se trouve à côté du composant où elle commence :
Description textuelle du diagramme
L’outil de soutien appelle l’API de l’assistant. L’API utilise PostgreSQL, qui contient les enregistrements, les vecteurs, la file de tâches et le cache de réponses. Elle appelle aussi le fournisseur du modèle. Les téléversements passent par le stockage de fichiers, puis par le processus d’ingestion. Celui-ci écrit dans PostgreSQL et appelle aussi le fournisseur du modèle. Les défaillances se trouvent à côté de leurs composants. F1, la panne du fournisseur ou 429, se situe chez le fournisseur du modèle, sous la responsabilité de Kwame. F2, la base de données lente, et F6, la base de données perdue, se situent dans PostgreSQL, sous la responsabilité de Mei. F3, la file engorgée, et F4, l’ingestion partielle, se situent dans le processus, sous la responsabilité de Mei. F5, l’erreur d’autorisation, se situe dans l’API, sous la responsabilité de Kwame. PostgreSQL a une bordure épaisse, car chaque réponse et chaque tâche en dépendent.
Lire le tableau, une défaillance à la fois
Section intitulée « Lire le tableau, une défaillance à la fois »Le tableau est volontairement court. Chaque ligne contient un nombre qu’une machine peut surveiller et le nom d’une personne.
F1, panne du fournisseur ou 429. C’est le petit exemple ci-dessus. Un code 429 signifie « trop de requêtes » : le quota du fournisseur est de 100 appels et 100 000 jetons (tokens) par minute. Dans le scénario de base, la minute la plus occupée utilise environ 14 appels. Un code 429 est donc peu probable aujourd’hui. Dans le scénario élevé, la minute la plus occupée dépasse déjà le quota; Plan de croissance prévoit ce cas. Responsable : Kwame, car il gère la relation avec le fournisseur du modèle, comme dans le tableau des composants du module 2. Il parle au fournisseur et demande un quota plus élevé. Amira gère la solution de repli : elle est responsable du code de l’API, avec le délai d’expiration et le disjoncteur. L’alerte l’appelle donc.
F2, base de données lente. Les utilisateurs voient que chaque réponse est lente. Le signal est le p95 de la requête de recherche qui dépasse 100 ms. Le cours sur les bases de données a mesuré une recherche HNSW à 0,22 ms sur 10 000 vecteurs. Donc 100 ms indique un problème, pas seulement une forte activité. Un pool de connexions (pool) avec un délai d’expiration empêche une requête lente de bloquer toutes les requêtes. Dans un service géré, choisir un serveur plus puissant se fait par un réglage. Responsable : Mei.
F3, file engorgée. Les utilisateurs voient qu’un nouveau document n’est pas disponible pour la recherche. Le signal est l’âge de la plus ancienne tâche en attente qui dépasse 15 minutes. Dans le scénario de base, le processus travaille environ 25 secondes par mois. Une file engorgée signifie donc rarement « trop de travail »; elle signifie « le processus est bloqué ». La réponse au téléversement indique « traitement en cours ». Chaque locataire a une limite de tâches en attente, donc une boutique ne peut pas remplir la file pour tous. Responsable : Mei.
F4, ingestion partielle. Le processus s’arrête au milieu d’un document. Sans précautions, certains segments sont nouveaux et d’autres sont anciens. La mesure d’atténuation consiste à utiliser une seule transaction pour les segments, les vecteurs et le passage à la nouvelle version. Soit tout change, soit rien ne change. Le bail de la tâche la remet ensuite dans la file, comme dans le cours sur la mise à l’échelle. Responsable : Mei.
F5, erreur d’autorisation. Les utilisateurs voient une réponse privée qui ne leur est pas destinée, comme dans le cas construit du cache ci-dessus. La sécurité au niveau des lignes dans la base de données forme la deuxième protection. Elle filtre chaque requête par locataire, même quand le code l’oublie. Le cours sur l’authentification a mesuré une requête à 4,3 ms sans cette protection et à 4,4 ms avec elle. La mise en production s’arrête quand un test d’accès échoue. Responsable : Kwame, car une fuite est autant un problème d’affaires qu’un problème de code. La reprise est la plus lente : contenir la fuite, informer le locataire et trouver chaque réponse touchée dans le journal d’audit.
F6, base de données perdue ou corrompue. L’assistant s’arrête complètement. Cette ligne mérite sa propre section.
Le point de défaillance unique
Section intitulée « Le point de défaillance unique »Regardez l’image à nouveau. Chaque réponse, chaque tâche, chaque accès au cache et chaque vérification d’autorisation passent par PostgreSQL. Si cette base de données est perdue, rien ne fonctionne. PostgreSQL est donc le point de défaillance unique de la conception. Le fournisseur du modèle en est un deuxième pour les réponses. Mais le disjoncteur et le message « réessayez » limitent déjà ses dégâts.
La mesure d’atténuation complète est la haute disponibilité : un deuxième serveur de base de données attend en secours. Il prend le relais quand le premier tombe en panne. Tomás la propose immédiatement. Avant d’accepter, regardez le prix. La documentation du fournisseur précise deux choses. La haute disponibilité exige un serveur General Purpose (usage général), pas le petit Burstable (capacité extensible) B1ms de la conception. Et elle facture un serveur de secours de la même taille.
Description textuelle du graphique
Un diagramme à trois colonnes : B1ms (actuel), un D2ds et deux D2ds, abréviation de D2ds_v5. Le serveur de la conception, un Burstable B1ms, coûte 13,50 $ US par mois. Un General Purpose D2ds_v5 coûte 144,25 $ US. La haute disponibilité exige deux D2ds_v5 : un serveur et son serveur de secours de même taille. Ils coûtent 288,50 $ US. Les prix changent : consultez la page actuelle.
Les chiffres, avec chaque valeur visible :
- La conception : un B1ms, 0,0185 × 730 heures = 13,50 $ US par mois.
- La haute disponibilité : deux D2ds_v5, 2 × 0,1976 × 730 = 288,50 $ US par mois, environ 21 fois plus.
- Le coût mensuel total passerait à 51,90 − 13,50 + 288,50 = 326,90 $ US. Q8, le budget d’Omar, est de 150 $ US par mois. La haute disponibilité à elle seule le dépasse.
Regardez maintenant ce qu’apporte le serveur de secours. Q2 exige une réponse à 99,5 % des questions pendant les heures d’ouverture des boutiques. Q2 compte les questions, mais une restauration arrête l’assistant pendant un certain temps. Pour obtenir une estimation approximative, convertissez le 0,5 % en temps. Les boutiques ouvrent 12 heures par jour, donc un mois de 30 jours compte 360 heures d’ouverture. 0,5 % de ce temps représente 1,8 heure : environ 108 minutes par mois. Si une restauration prend un peu plus d’une heure, une restauration par mois respecte encore Q2. (La prochaine leçon estime ce temps.)
À cette taille, la mesure d’atténuation proportionnée est donc une restauration testée, pas un deuxième serveur. C’est la clé de secours, pas la deuxième voiture. Kwame l’inscrit dans le tableau sous F6, avec un déclencheur pour la réexaminer : « Réévaluer quand Q2 dépasse 99,9 %. » La prochaine leçon fixe les objectifs de restauration et vérifie si un plan peut les atteindre.
Quand tenir une revue sur table
Section intitulée « Quand tenir une revue sur table »Faites-en une avant de construire, quand un changement coûte encore peu. Recommencez après chaque incident réel et quand un nouvel élément entre dans la conception. Pour une conception de cette taille, une heure avec les responsables autour d’une table suffit.
Ne tentez pas de dresser la liste de toutes les défaillances possibles. Commencez par celles que le plan et les cours précédents ont montrées : fournisseur, base de données, file d’attente, ingestion et autorisations. Les gens lisent un tableau de six lignes; personne n’en lit un de soixante.
Ce que cela coûte. La revue prend du temps aux responsables. La plupart des mesures d’atténuation coûtent peu ici : un délai maximal, un disjoncteur, une transaction, un test. Les mesures coûteuses, comme un serveur de secours, exigent un prix et une cible qui les justifie.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Le client est le signal de détection
Symptôme : un document manque dans les réponses depuis deux jours. Personne ne le savait avant qu’Ines envoie un courriel de colère.
Cause : la ligne du mode de défaillance indiquait « les utilisateurs le signalent » comme signal de détection. Les utilisateurs le signalent tard, ou jamais.
Solution : écrivez un signal qu’une machine surveille, avec un seuil : « la plus ancienne tâche en attente dépasse 15 minutes ». Nommez la personne que l’alerte appelle.
Erreur courante
« L'équipe » est responsable de la défaillance
Symptôme : pendant une panne, Amira et Mei pensent chacune que l’autre s’en occupe. Trente minutes passent.
Cause : la colonne du responsable indique « l’équipe » ou « l’ingénierie ».
Solution : écrivez un nom par ligne, et une deuxième personne pour les vacances. Le responsable ne fait pas tout le travail. Il s’assure que quelqu’un le fait.
Erreur courante
Le fichier n'est pas dans l'instantané
Symptôme : cp indique No such file or directory (aucun fichier ou dossier de ce nom) pour failure-modes.md.
Cause : S pointe vers l’instantané end-of-m04, qui n’a pas de dossier decisions.
Solution : définissez S à ../nextia-learning-labs/C26/snapshots/end-of-m05 et copiez de nouveau.
Réinitialisation. Si votre dossier ne fonctionne plus, copiez l’instantané end-of-m04 comme l’indique le README des instantanés, puis répétez les étapes ci-dessus.
À vous de jouer : une septième défaillance
Section intitulée « À vous de jouer : une septième défaillance »Le tableau n’a pas de ligne pour le stockage de fichiers. Il contient les fichiers originaux de chaque locataire, que le processus d’ingestion lit. Écrivez la ligne F7, « un fichier supprimé par erreur, ou une perte du stockage de fichiers », avec les six colonnes. Gardez votre ligne dans vos notes et laissez le fichier du dossier tel quel, pour qu’il reste identique à l’instantané.
Afficher une solution détaillée
| ID | Défaillance | Ce que voient les utilisateurs | Signal de détection | Atténuation | Responsable | Reprise |
|---|---|---|---|---|---|---|
| F7 | Un fichier supprimé par erreur, ou une perte du stockage de fichiers | les réponses fonctionnent encore (les segments et les vecteurs sont dans PostgreSQL), mais une nouvelle ingestion ou le téléchargement de l’original échoue | une vérification hebdomadaire : chaque version actuelle d’un document a son fichier (la vérification des « fichiers manquants » du cours sur les bases de données) | suppression logique et versions dans le stockage de fichiers; la restauration de la base de données ne récupère pas les fichiers | Mei | restaurer la version précédente du fichier; s’il n’en existe aucune, demander au locataire de le téléverser de nouveau |
L’élément important est l’atténuation. Une restauration de base de données récupère les lignes, pas les fichiers. Le cours Bases de données et stockage pour les applications d’IA gardait les fichiers dans le stockage objet pour cette raison. Sa leçon Restauration et conservation les vérifiait séparément.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez les cinq éléments d'un scénario de défaillance et expliquez pourquoi une plainte de client est un mauvais signal de détection.
Afficher la réponse
Un scénario de défaillance indique ce que voient les utilisateurs, le signal de détection, l’atténuation, le responsable et la reprise. Une plainte de client arrive tard, ou jamais : beaucoup d’utilisateurs cessent simplement d’utiliser l’assistant. Un bon signal est une mesure avec un seuil qu’une machine surveille. Exemples : « la proportion de 5xx sur 5 minutes dépasse 5 % » ou « la plus ancienne tâche en attente dépasse 15 minutes ». L’alerte appelle une personne nommée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : le fournisseur est en panne pendant 10 minutes au moment le plus chargé d'une journée de base. Combien de questions échouent, et quelle part du quota mensuel de Q2 utilisent-elles?
Afficher la réponse
Environ 14,5 questions par minute nécessitent le fournisseur : 16,1 questions, moins les 10 % auxquelles le cache répond. Dix minutes : 14,5 × 10 = 145 questions en échec. Le mois permet 43 950 × 0,5 % = 220 échecs. Cette panne utilise donc 145 ÷ 220 = 66 % du quota. Une deuxième panne de même ampleur dans le même mois ferait dépasser la limite de Q2.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás veut une base de données à haute disponibilité « parce que c'est un point de défaillance unique ». Donnez un fait en faveur de sa proposition et deux chiffres contre elle, puis dites ce que vous proposez plutôt.
Afficher la réponse
Pour : PostgreSQL est un point de défaillance unique, car chaque réponse et chaque tâche en ont besoin. Contre : deux serveurs D2ds_v5 coûtent environ 288,50 $ US par mois en calcul. Le B1ms de la conception coûte 13,50 $ US, soit environ 21 fois moins. Le total mensuel passerait aussi de 51,90 $ US à environ 326,90 $ US, au-delà du budget de 150 $ US d’Omar. Q2 permet environ 108 minutes d’indisponibilité par mois pendant les heures d’ouverture des magasins. Une restauration d’environ une heure respecte donc cette limite. Proposez maintenant une restauration testée à un instant précis. Réévaluez la haute disponibilité quand Q2 dépassera 99,9 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un scénario de défaillance indique ce que voient les utilisateurs, un signal de détection avec un seuil, une atténuation, un responsable et la reprise. Une revue sur table le parcourt sur papier, minute par minute.
- Le fichier
decisions/failure-modes.mddu dossier en contient six : panne du fournisseur ou 429 (Kwame; Amira active la solution de repli); base de données lente, accumulation dans la file d’attente, ingestion partielle et perte de la base de données (Mei); erreur d’autorisation (Kwame). - Une panne du fournisseur de cinq minutes au moment le plus chargé fait échouer environ 72 questions : 33 % du quota mensuel de Q2, qui est de 220. Le disjoncteur ne peut pas les sauver, mais il sauve les tâches en attente.
- PostgreSQL est le point de défaillance unique. La haute disponibilité coûte environ 288,50 $ US par mois en calcul contre 13,50 $ US, et dépasserait le budget. La mesure d’atténuation proportionnée est une restauration testée.
python -m pytest -qaffiche encore42 passed(42 tests réussis) : cette leçon a ajouté un document, pas du code.
Ensuite, vous décidez combien de temps l’assistant peut rester indisponible après la perte de la base de données, et combien de données récentes il peut perdre.
Leçon suivante : Objectifs de reprise