Aller au contenu
English

Quand la passerelle tombe en panne

  • Leçon 13
  • 45 min
  • Module 4 : La passerelle de modèles

Où nous en sommes

Dans les trois dernières leçons, nous avons placé chaque appel de modèle derrière une seule porte. Elle vérifie l'identité, les limites et les données. Tomás pose donc une question légitime : si la passerelle s'arrête, tous les agents s'arrêtent-ils aussi? Et une mauvaise règle a touché deux applications en même temps. Dans cette leçon, nous arrêtons une réplique, le plan de contrôle et un fournisseur pendant une heure rejouée. Nous voyons quels choix de conception déterminent ce qui fonctionne encore. Nous commençons par les guichets automatiques d'une banque.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Construisez la passerelle pour qu’elle ne soit pas un point de défaillance unique. Utilisez plusieurs répliques derrière une seule adresse, une configuration en cache et un mode de défaillance par niveau de risque. Prévoyez des fournisseurs de repli et des changements progressifs. Mesurez ensuite ce qui fonctionne encore quand chaque partie s’arrête.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

  • Le chemin, les limites et les garde-fous de la passerelle, présentés dans les trois leçons précédentes de ce module. Commencez par Une seule porte pour les appels de modèles.
  • Ce qu’est un niveau de risque, présenté dans Le contenu d’un enregistrement. Le flux de travail présente un risque élevé, le triage et le juge un risque moyen, l’assistant documentaire un risque faible.

Ce qu’il vous faut sur votre ordinateur

  • Le projet dans l’état où la dernière leçon l’a laissé (159 tests réussis), avec les deux vraies règles comme garde-fous.
  • Deux terminaux dans ~/projects/ai-estate, avec l’environnement virtuel actif dans les deux. Les ports 8320 à 8325 doivent être libres.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows et Linux sont écrites, mais n’ont pas été exécutées.

Une banque possède plusieurs guichets automatiques dans une ville. Si un guichet tombe en panne, vous allez au suivant : personne ne dit que la banque est en panne. Chaque guichet continue aussi de fonctionner un moment quand sa connexion au siège social coupe. Il verse de petits montants à partir de ce qu’il sait déjà. Mais il refuse un gros virement, car seul le siège social peut effectuer la vérification nécessaire.

Quand la banque modifie le logiciel des guichets, elle ne les modifie pas tous à la même minute. Elle essaie d’abord dans une succursale. Si le nouveau logiciel échoue, seuls les clients de cette succursale le remarquent, et la banque revient à la version précédente.

Une banque, une seule façon d’obtenir de l’argent comptant, mais pas un seul guichet. Voilà toute l’idée de cette leçon.

Tomás dit : « Une passerelle est un point de défaillance unique, alors n’en utilisez pas. » Avec la passerelle que vous avez construite jusqu’ici, il a raison. Arrêtez-la et envoyez un billet de soutien :

Fenêtre de terminal
python -m estate down gateway
python -m apps.replay ticket-triage --units 1 --via gateway

Le rejeu se termine par une longue trace d’erreur, dont la dernière ligne est :

httpx.ConnectError: [Errno 61] Connection refused

Sur Linux, le numéro est 111; sur Windows, 10061 (non testé). Un processus s’est arrêté, et chaque application a perdu ses modèles. Dans la dernière leçon, une mauvaise ligne dans config/gateway.yaml a arrêté deux applications en même temps. C’est la portée d’un changement : le nombre de requêtes qu’il touche avant que quelqu’un l’arrête.

Mais sans passerelle, chaque application doit gérer ses propres nouvelles tentatives, sa région de repli, sa clé et ses limites. Cinq équipes construisent cinq versions, et le résumé hebdomadaire n’en construit aucune. Leurs défaillances touchent moins d’applications, mais chacune est différente, et personne ne les voit ensemble. La question est donc de construire la passerelle pour qu’une défaillance n’arrête pas tout. Arrêtez maintenant le parc : python -m estate down.

L’idée : une seule porte logique, pas une seule machine

Section intitulée « L’idée : une seule porte logique, pas une seule machine »

La passerelle est une seule porte logique : chaque application connaît une adresse, et un seul ensemble de règles s’applique. Derrière cette adresse, il n’y a pas une seule machine. Le guide de Microsoft sur les passerelles devant plusieurs déploiements de modèles dit la même chose : « déployez plusieurs instances de la passerelle ». La passerelle de Larkfield repose sur cinq choix de conception :

Les applications connaissent une adresse, 127.0.0.1:8322/v1. C'est la porte d'entrée, dans une boîte nommée « Une seule porte logique : la passerelle de modèles ». La porte d'entrée vérifie l'état des répliques et envoie chaque requête à une réplique saine : a, b ou c. Chacune possède sa propre configuration en cache. Le plan de contrôle, avec le registre, les jetons et les versions de configuration, envoie la configuration à la passerelle. Chaque réplique l'interroge toutes les 2 s, et les changements sont aussi envoyés directement. La passerelle écrit dans un seul magasin d'utilisation, avec un compteur partagé par agent et par équipe. Elle appelle azure dans East US 2, avec une ligne pointillée vers azure-canada comme solution de repli, une deuxième région simulée.
Une seule porte logique : une adresse et un ensemble de règles, servis par plusieurs répliques qui conservent chacune une copie de la configuration.
Description textuelle du diagramme

Les applications connaissent une adresse. Derrière elle, une porte d’entrée envoie chaque requête à l’une des trois répliques, a, b et c. Elle ignore toute réplique qui échoue à sa vérification d’état. Chaque réplique conserve sa propre copie de la configuration. Le plan de contrôle publie la configuration : chaque réplique l’interroge toutes les 2 secondes. Les changements leur sont aussi envoyés directement. Toutes les répliques écrivent dans un seul magasin d’utilisation et partagent donc un compteur par agent et par équipe. Elles appellent le fournisseur dans East US 2 et utilisent une deuxième région comme solution de repli.

  1. Plusieurs répliques sans état derrière une porte d’entrée. Les compteurs sont dans le magasin d’utilisation partagé, et les règles viennent du plan de contrôle. Toute réplique peut donc traiter toute requête, et une réplique peut s’arrêter.
  2. Une configuration en cache dans chaque réplique. Une réplique interroge le plan de contrôle toutes les 2 secondes. Elle conserve la dernière copie valide, en mémoire et sur disque. Si le plan de contrôle s’arrête, elle continue avec sa copie, jusqu’à une limite, max_stale_seconds.
  3. Un mode de défaillance par niveau de risque. Quand un contrôle ne peut pas s’exécuter, le mode ouvert (fail open) traite l’appel sans ce contrôle, en le marquant comme dégradé. Le mode fermé (fail closed) refuse l’appel. Larkfield a choisi selon le niveau de risque.
  4. Un fournisseur de repli. Quand un fournisseur échoue, la passerelle essaie le fournisseur suivant de l’association.
  5. Des changements de configuration progressifs. Une nouvelle version va d’abord à une réplique, la réplique pilote, ou canary. Elle revient à la version précédente si son taux d’erreur est trop élevé.

Exemple détaillé : quel âge une copie peut-elle avoir?

Section intitulée « Exemple détaillé : quel âge une copie peut-elle avoir? »

Le plan de contrôle s’arrête à 12 h 00 min 00 s. La dernière interrogation réussie de la réplique a remonte à 11 h 59 min 59 s. Elle continue de l’interroger toutes les 2 secondes, et chaque interrogation échoue. L’âge de sa copie détermine ce qui arrive :

Heure Âge de la copie État Triage des billets (moyen) Flux de soutien (élevé)
12 h 00 min 03 s 4 s à jour (au plus 2 interrogations + 1 s) traité traité
12 h 00 min 30 s 31 s périmée (moins de 60 s) traité, comme d’habitude traité, comme d’habitude
12 h 01 min 01 s 62 s expirée (plus de 60 s) traité, marqué comme dégradé (mode ouvert) refusé : 503 control_unavailable (contrôle indisponible) (mode fermé)

Pendant la première minute, les applications ne voient pas la panne du plan de contrôle. Après la limite, chaque niveau reçoit sa propre réponse. Soixante secondes est une valeur d’exercice. Un vrai parc compare deux risques : une vieille copie qui manque une suspension et un mode de défaillance qui commence trop tôt.

Le mode ouvert a un coût, et le cours a mesuré chaque coût sur le vrai code :

Niveau de risque Mode Pendant que le contrôle ne peut pas s’exécuter Ce que le mode ouvert signifie ici
faible (assistant documentaire) mode ouvert les appels passent, marqués x-gateway-degraded (passerelle dégradée) chaque réplique compte à partir du dernier total lu, plus ses propres appels : avec trois répliques, jusqu’à trois fois le budget restant. Les garde-fous fonctionnent encore (leur code est dans la réplique). Une nouvelle suspension n’arrive pas
moyen (triage des billets, juge des mises en production) mode ouvert la même chose la même chose
élevé (flux de soutien, serveurs d’outils) mode fermé 503 control_unavailable non utilisé : aucune écriture sans tous les contrôles. Le flux de travail confie ses tâches à des personnes

Ce tableau se trouve dans docs/failure-modes.md dans le projet. Les mêmes modes s’appliquent quand le magasin d’utilisation est en panne. Un enregistrement peut définir son propre mode de défaillance.

  1. Copiez la porte d’entrée, le tableau des modes de défaillance, les commandes de configuration progressive, l’outil de trafic, les tests et le nouveau README :

    Fenêtre de terminal
    S=../nextia-learning-labs/C32/snapshots/end-of-m04
    cp $S/gateway/front.py gateway/
    cp $S/docs/failure-modes.md docs/
    cp $S/estate/cli/config.py estate/cli/
    cp $S/apps/traffic.py apps/
    cp $S/tests/test_front.py $S/tests/test_config_cache.py $S/tests/test_rollout.py $S/tests/test_services.py tests/
    cp $S/README.md $S/.env.example .
  2. Exécutez les tests : python -m pytest -q. La dernière ligne indique 172 passed, 1 deselected (172 réussis, 1 exclu). Votre projet est maintenant identique à l’instantané end-of-m04.

  3. Démarrez le parc :

    Fenêtre de terminal
    python -m estate up
    provsim up (process 71680) http://127.0.0.1:8320
    control up (process 71681) http://127.0.0.1:8321
    replica-a up (process 71682) http://127.0.0.1:8323
    replica-b up (process 71683) http://127.0.0.1:8324
    replica-c up (process 71684) http://127.0.0.1:8325
    front up (process 71685) http://127.0.0.1:8322/front

    Le parc démarre maintenant trois répliques et une porte d’entrée, car le projet contient gateway/front.py. L’adresse des applications, le port 8322, n’a pas changé : la porte d’entrée l’a pris.

  4. Envoyez six billets et voyez quelles répliques les ont traités :

    Fenêtre de terminal
    python -m apps.replay ticket-triage --units 6 --via gateway
    python -m estate usage --by replica

    Le rejeu se termine par status {200: 12} (état : 12 réponses 200). Dans --by replica, les répliques b et c ont maintenant environ 4 appels chacune, et la réplique a a le reste. Les leçons précédentes n’avaient que la réplique a.

  5. Demandez à une réplique si sa copie de la configuration est à jour :

    Fenêtre de terminal
    curl -s http://127.0.0.1:8323/ready
    {"replica":"a","config":"v6.r19","freshness":"fresh","age_s":1.0,"last_error":"","usage_store":"up","pending_rows":0}

    Vos numéros de version diffèrent si vous avez publié plus souvent.

Exercice guidé : arrêter une réplique et le plan de contrôle pendant une heure

Section intitulée « Exercice guidé : arrêter une réplique et le plan de contrôle pendant une heure »

L’outil apps/traffic.py envoie une heure comprimée du trafic de Larkfield à travers la passerelle. Le service de triage, le flux de travail et l’assistant documentaire envoient leurs vraies requêtes enregistrées, environ 2 par seconde. Toutes les 10 secondes, il affiche ce que chaque application a reçu. Vous arrêtez des parties du parc dans le deuxième terminal, aux moments indiqués ci-dessous.

  1. Dans le terminal 1, démarrez le trafic :

    Fenêtre de terminal
    python -m apps.traffic --seconds 150
  2. Vers 20 secondes, dans le terminal 2, arrêtez la réplique b :

    Fenêtre de terminal
    python -m estate down replica-b
  3. Vers 45 secondes, arrêtez le plan de contrôle :

    Fenêtre de terminal
    python -m estate down control
  4. Vers 60 secondes, demandez à la réplique a l’âge de sa copie avec curl -s http://127.0.0.1:8323/ready. Envoyez ensuite une question documentaire, qui nécessite un nouveau jeton : python -m apps.replay doc-assistant --units 1 --via gateway.

  5. Vers 110 secondes, interrogez de nouveau la réplique a.

  6. Vers 140 secondes, redémarrez le plan de contrôle :

    Fenêtre de terminal
    python -m estate up control
  7. Quand le trafic se termine, redémarrez la réplique b avec python -m estate up.

L’exécution du cours. Terminal 1, le trafic (requêtes rejouées; l’heure est comprimée, alors observez l’ordre des événements, pas le débit) :

Traffic through the gateway for 150 s, about 2 requests a second (Ctrl+C stops)
10 s | triage ok 20 | workflow - | documents - | replicas a 7, b 7, c 6
20 s | triage ok 16 | workflow ok 4 | documents - | replicas a 7, b 6, c 7
30 s | triage ok 16 | workflow ok 3 | documents - | replicas a 9, c 10
40 s | triage ok 19 | workflow ok 1 | documents - | replicas a 10, c 10
50 s | triage ok 17 | workflow ok 1 | documents ok 1 | replicas a 10, c 9
60 s | triage ok 18 | workflow - | documents ok 2 | replicas a 10, c 10
70 s | triage ok 16 | workflow - | documents ok 3 | replicas a 9, c 10
80 s | triage ok 16 | workflow - | documents ok 4 | replicas a 10, c 10
90 s | triage ok 14 | workflow ok 3 | documents ok 2 | replicas a 10, c 9
100 s | triage ok 20 | workflow - | documents - | replicas a 10, c 10
110 s | triage degraded 9, ok 8 | workflow - | documents degraded 2 | replicas a 9, c 10
120 s | triage degraded 16 | workflow control_unavailable 2 | documents degraded 2 | replicas a 10, c 10
130 s | triage degraded 17 | workflow control_unavailable 1 | documents degraded 1 | replicas a 10, c 9
140 s | triage degraded 20 | workflow - | documents - | replicas a 10, c 10
150 s | triage degraded 5, ok 12 | workflow - | documents ok 2 | replicas a 9, c 10
Total: triage degraded 67, ok 192 | workflow control_unavailable 3, ok 12 | documents degraded 5, ok 14

Terminal 2, les deux réponses de la réplique a, vers 61 et 111 secondes :

{"replica":"a","config":"v6.r19","freshness":"stale","age_s":16.4,"last_error":"ConnectError: All connection attempts failed","usage_store":"up","pending_rows":0}
{"replica":"a","config":"v6.r19","freshness":"expired","age_s":66.5,"last_error":"ConnectError: All connection attempts failed","usage_store":"up","pending_rows":6}

Lisez les résultats phase par phase :

  • La réplique b s’arrête (20 s). Seules a et c répondent ensuite, et aucun appel n’a échoué. La porte d’entrée ignore toute réplique qui échoue à sa vérification d’état.
  • Le plan de contrôle s’arrête (45 s). Pendant 60 secondes, toutes les applications sont servies, le flux de travail aussi, à partir des copies en cache. La copie de la réplique a est stale (périmée), âgée de 16,4 s.
  • La copie expire (vers 105 s). Le triage et l’assistant documentaire passent en mode ouvert : les appels sont traités, marqués degraded (dégradés). Le flux de travail passe en mode fermé : control_unavailable, et ses tâches vont à des personnes. La réplique a conserve 6 lignes d’utilisation qui attendent le magasin (pending_rows, lignes en attente).
  • Un nouveau jeton (60 s). La question documentaire de l’étape 4 s’est terminée par httpx.ConnectError: [Errno 61] Connection refused (connexion refusée). Un nouveau jeton vient du plan de contrôle. Les applications qui avaient déjà un jeton ont continué.
  • Le plan de contrôle revient (140 s). Une interrogation plus tard, les copies sont de nouveau à jour.

L’équipe du cours a aussi exécuté cet exercice avec un plantage plutôt qu’un arrêt propre. Elle a tué la réplique b avec SIGKILL. Le simulateur répondait à la vitesse enregistrée des vrais modèles, donc des appels étaient en cours. Le graphique montre cette exécution, avec un point toutes les 10 secondes :

  • avec réponse
  • avec réponse, dégradés (mode ouvert)
  • refusés ou échoués
Mesuré : vrais processus sur le portable de l'équipe du cours, 160 s, requêtes rejouées à leur vitesse enregistrée; réplique b tuée à 20 s, plan de contrôle arrêté à 45 s et redémarré à 140 s; max_stale_seconds 60.
Description textuelle du graphique

Trois courbes sur 160 secondes, en appels par tranche de 10 secondes. La courbe des appels avec réponse reste près de 20 de 0 à 100 secondes. Elle traverse le plantage de la réplique à 20 secondes et l’arrêt du plan de contrôle à 45 secondes. Entre 100 et 140 secondes, elle tombe à 0, et la courbe des appels dégradés monte à environ 20. Le service de triage et l’assistant documentaire sont passés en mode ouvert. Après 140 secondes, la courbe des appels avec réponse revient près de 20. La courbe des appels refusés ou échoués reste entre 0 et 2 : 2 appels en cours sur la réplique b lors du plantage (502 replica_failed, non renvoyés), 5 appels du flux de travail refusés quand la configuration était trop vieille (mode fermé), et 2 refus enregistrés du filtre de contenu du fournisseur. Répliques : a 175, b 14, c 174 appels.

Deux appels ont échoué, et seulement ceux-là : ils étaient sur la réplique b quand elle a planté. La porte d’entrée ne renvoie pas une telle requête, car elle a peut-être déjà atteint le fournisseur. Un appel de modèle n’est pas une écriture, mais il coûte de l’argent, et une deuxième réponse peut différer. L’application reçoit donc 502 replica_failed (échec de la réplique) et décide. Une connexion refusée est différente : la requête n’a jamais atteint la réplique. La porte d’entrée l’envoie donc à la suivante.

Explorer

Qu'est-ce qui fonctionne encore quand une partie s'arrête?

Résultat
503 control_unavailable
Contrôles passés
6 / 10
Réplique
a, b ou c

Arrêtée au contrôle 7 sur 11 : Mode de défaillance. 503 control_unavailable: A control cannot run (the configuration is 90 s old (limit 60 s)): high risk fails closed. Le flux confie la tâche à une personne. Mesuré : après max_stale_seconds, le tri 70 et les documents 1 sont passés en mode dégradé (ouvert) ; les 5 appels du flux ont été refusés (fermé).

  • passe
  • passe, dégradé ou avec un repli
  • arrête la requête
  • non atteint
Flux de support, sa requête habituelle, plan de contrôle arrêté 90 s
#ContrôleCe que la passerelle a trouvé
1ConfigurationLe plan de contrôle ne répond plus depuis 90 s : la réplique utilise son instantané en cache.
2IdentitéUn jeton d’accès valide pour la passerelle de modèles (sub : support-workflow).
3Enregistrementsupport-workflow est enregistré et actif (risque high).
4Capacitéstrong-reasoning figure dans l’enregistrement et dans le catalogue ; le contrat offre ce que la requête demande.
5Classe de donnéesPas d’en-tête X-Data-Class : la passerelle prend personal, la classe la plus sensible de l’enregistrement.
6Coupe-circuitsAucun coupe-circuit n’arrête cet agent ni cette capacité.
7Mode de défaillance503 control_unavailable: A control cannot run (the configuration is 90 s old (limit 60 s)): high risk fails closed.
8LimitesNon atteint : un contrôle précédent a répondu.
9Garde-fousNon atteint : un contrôle précédent a répondu.
10RoutageNon atteint : un contrôle précédent a répondu.
11Enregistrement de l’usageUne ligne d’usage pour le refus aussi : résultat refused, contrôle failure_mode.

Calculé à partir des règles de la passerelle ; les résultats concordent avec les exécutions mesurées.

Calculé à partir des règles de la passerelle, des enregistrements et de config/gateway.yaml; les notes mesurées citent les exécutions du cours.
Description textuelle de l’explorateur

Choisissez un agent et une requête, comme dans la première leçon de ce module, puis ce qui est en panne ou bloque. Les choix sont : rien, réplique b, plan de contrôle pendant 30 ou 90 secondes, magasin d’utilisation, région East US 2, deux régions, arrêt d’urgence de la capacité, budget mensuel ou limite de débit. Les 11 contrôles s’allument dans l’ordre. Si le plan de contrôle est en panne depuis 90 secondes, le flux de travail s’arrête au contrôle 7, le mode de défaillance. Il reçoit 503 control_unavailable, car le risque élevé utilise le mode fermé. L’assistant documentaire et le service de triage passent, marqués comme dégradés, car ils utilisent le mode ouvert. Si le plan de contrôle est en panne depuis 30 secondes, tout le monde passe : la copie en cache respecte encore sa limite. Si East US 2 est en panne, chaque agent passe par la deuxième région. Si les deux régions sont en panne, chaque agent s’arrête au contrôle 10, la route, avec 503 no_provider_available. Chaque application applique sa propre solution de repli : le triage envoie le billet à une personne, le flux de travail confie la tâche à une personne, et l’assistant documentaire dit « réessayez plus tard ».

Une panne de fournisseur n’est pas une défaillance de passerelle

Section intitulée « Une panne de fournisseur n’est pas une défaillance de passerelle »

Quand le fournisseur échoue, la passerelle essaie les solutions de repli de l’association, que chaque application devrait autrement construire elle-même. Elle utilise le repli pour les réponses 429, les erreurs 5xx et les délais dépassés, mais pas pour une réponse 4xx. Un autre fournisseur refuserait la même mauvaise requête. Après 3 échecs consécutifs, un disjoncteur ignore un fournisseur pendant 10 secondes.

  1. Arrêtez la région East US 2 du simulateur et envoyez trois billets :

    Fenêtre de terminal
    python -m provsim control azure down
    python -m apps.replay ticket-triage --units 3 --via gateway
    python -m estate usage --last 1

    Le rejeu se termine par status {200: 6} (état : 6 réponses 200). La ligne d’utilisation indique provider azure-canada (fournisseur azure-canada) et fallback 1 (repli 1). La deuxième région est simulée : les mêmes enregistrements répondent, comme le feraient les mêmes modèles dans une autre région.

  2. Arrêtez tous les fournisseurs et envoyez trois billets et une tâche du flux de travail :

    Fenêtre de terminal
    python -m provsim control '*' down
    python -m apps.replay ticket-triage --units 3 --via gateway

    Le rejeu se termine par status {503: 6} (état : 6 réponses 503) et no_provider_available x6 (aucun fournisseur disponible, 6 fois). La ligne d’utilisation d’un tel appel indique outcome failed (résultat : échec), check_name route (contrôle : route) et No provider answered for embed: last error 503 azure-canada is unavailable (a simulated outage). (aucun fournisseur n’a répondu pour embed : dernière erreur 503, azure-canada est indisponible, une panne simulée). Exécutez le flux de travail sur T-90104 avec RESOLVER_PROVIDER=gateway, comme dans la deuxième leçon de ce module. Il se termine par Stopped: provider_error. No proposal: the ticket goes to a person. (arrêt : erreur de fournisseur; aucune proposition, le billet va à une personne).

  3. Rétablissez les fournisseurs et envoyez trois billets en même temps :

    Fenêtre de terminal
    python -m provsim control '*' normal
    python -m apps.replay ticket-triage --units 3 --via gateway

    Dans l’exécution du cours, les 6 appels ont encore reçu no_provider_available. Le disjoncteur ignore chaque fournisseur pendant 10 secondes après son dernier échec. Attendez 10 secondes et rejouez : status {200: 6}. Si 10 secondes se sont déjà écoulées au moment du rejeu, les appels passent immédiatement.

Le cours a trouvé un vrai bogue ici. Dans le mois rejoué, le disjoncteur comptait d’abord les secondes réelles pendant que le rejeu avançait de plusieurs heures. Il a refusé 1 280 appels après la fin de la panne. Un disjoncteur qui utilise la mauvaise horloge est une vraie catégorie de bogue. La correction a été d’utiliser l’horloge du parc partout.

Dans le mois rejoué, East US 2 était en panne de 10 h à 11 h le 17 septembre, une panne simulée. La deuxième région a fourni 123 réponses, et aucun appel n’a échoué. De 11 h à 11 h 30, les deux régions étaient en panne. Alors, 35 appels de triage, 2 appels du flux de travail et 3 questions documentaires n’avaient aucun fournisseur. Le service de triage a envoyé ses billets dans la file d’une personne. Le flux de travail a confié ses tâches à des personnes, et l’assistant documentaire a dit « réessayez plus tard ».

Modifications par étapes : la portée d’une mauvaise règle

Section intitulée « Modifications par étapes : la portée d’une mauvaise règle »

La mauvaise règle de la dernière leçon a touché toutes les applications à la fois. Envoyez-la maintenant à la réplique canari seulement, puis laissez la surveillance décider :

  1. Ajoutez la même ligne long-numbers à config/gateway.yaml, comme dans la dernière leçon. Publiez-la sur le canari seulement :

    Fenêtre de terminal
    python -m estate config publish --stage canary --note "a new guardrail: long numbers"
    python -m estate config status
    Published version 7 (canary replicas first).
    Told 3 of 3 gateway replicas to refresh now.
    stable version 6 | candidate 7 on the canary since …
    replica a runs v7.r20 last seen …
    replica b runs v6.r20 last seen …
    replica c runs v6.r20 last seen …

    Le cours omet les heures. L’état indique aussi les cinq dernières versions. Seule la réplique a exécute la version 7.

  2. Envoyez dix billets : python -m apps.replay ticket-triage --units 10 --via gateway. Seuls les appels que la porte d’entrée dirige vers la réplique a peuvent être bloqués. L’exécution du cours s’est terminée avec status {200: 16, 400: 4} : 4 appels bloqués sur 20, contre 12 sur 20 dans la dernière leçon.

  3. Laissez la surveillance décider :

    Fenêtre de terminal
    python -m estate config watch
    {
    "candidate": 7,
    "canary": [
    "a"
    ],
    "seen": 6,
    "errors": 4,
    "error_rate": 0.6667,
    "state": "rolled back to v6"
    }

    La surveillance compte les erreurs du canari avec la version candidate. Elle promeut la version après 40 requêtes avec au plus 5 % d’erreurs. Elle revient à la version précédente dès que les erreurs dépassent 5 % de 40, ici après 6 requêtes.

  4. Retirez la ligne de config/gateway.yaml, puis publiez de nouveau : python -m estate config publish --note "the two guardrails, after the canary".

Le cours a mesuré la même mauvaise règle de cinq façons, sur deux heures de trafic de Larkfield rejouées. La règle est simulée, les requêtes sont rejouées, et la règle a été déployée à 9 h 30. « Une personne » signifie que quelqu’un lit une alerte et revient à la version précédente après 15 minutes, une hypothèse.

Règle simulée (bloquer 6 chiffres ou plus), trafic rejoué aux débits de Larkfield; « une personne » revient à la version précédente après 15 minutes (une hypothèse); « automatique » vérifie les 40 dernières requêtes.
Description textuelle du graphique

Cinq barres. A, toutes les répliques à la fois, une personne revient à la version précédente après 15 minutes : 18 requêtes bloquées (triage 14, flux de travail 4). B, toutes à la fois, retour automatique à la version précédente : 5. C, par étapes sur une réplique sur trois, surveillance automatique : 4. D, par étapes, une personne après 15 minutes : 6. E, sans passerelle partagée, la même règle dans le code du service de triage, une personne après 15 minutes : 14, toutes pour le triage.

Une passerelle partagée propage une mauvaise modification à toutes les applications : 18 contre 14. Mais le déploiement par étapes et la surveillance automatique limitent davantage ses effets qu’une erreur dans une seule application : 4. Sans passerelle, aucun canari ne couvre le code des cinq applications, et chaque équipe trouve ses propres bogues seule.

La passerelle détient les clés des fournisseurs de tout le parc et voit chaque requête. C’est la cible la plus précieuse :

  • Seule la passerelle lit les clés dans state/secrets.json. Les applications détiennent seulement leurs propres identifiants. Dans Trouver l’IA non enregistrée, une règle de trafic sortant bloque les autres chemins réseau vers le fournisseur. La leçon sur le déploiement du module 7 prévoit quand révoquer les anciennes clés de fournisseur des applications.
  • Accès strict à la porte elle-même. Ici, /admin/refresh et /admin/faults répondent à n’importe qui sur votre ordinateur. Dans un vrai parc, seul le plan de contrôle peut les appeler, avec son propre identifiant.
  • Dépendances aux versions fixées et vérifiées. requirements.txt fixe chaque version. Toute modification du code de la passerelle passe par une révision et le canari.
  • Aucun texte de requête : prompts: keep: never.

La passerelle est donc une dépendance partagée critique, comme le fournisseur d’identité ou le DNS, et on l’exploite comme telle. Elle dispose de plusieurs répliques et d’une copie en cache de ce dont elle a besoin. Elle prévoit une réponse pour chaque panne et reçoit les modifications par étapes.

Erreur courante

Une réplique redémarre pendant que le plan de contrôle est en panne

Symptôme : vous redémarrez la réplique a (python -m estate down replica-a, puis python -m estate up replica-a) pendant que le plan de contrôle est arrêté. Les appels du flux de travail vers cette réplique sont aussitôt refusés :

{"error":{"code":"control_unavailable","message":"A control cannot run (the configuration came from disk, and the store has not answered since): high risk fails closed.","type":"gateway","check":"failure_mode"}}

Les appels de l’assistant documentaire passent, avec x-gateway-degraded: fail open (low risk): the configuration came from disk, and the store has not answered since (mode dégradé, autorisation en cas de panne à faible risque : la configuration vient du disque, et le stockage n’a pas répondu depuis).

Cause : une réplique qui démarre sans le plan de contrôle utilise sa copie sur disque, state/gateway/a-config.json. Elle ne peut pas connaître l’âge de cette copie et la considère donc immédiatement comme expirée. Elle bloque les appels à risque élevé et autorise ceux à risque faible ou moyen. Les autres répliques ont encore leurs copies en mémoire et fonctionnent comme avant pendant au plus 60 secondes.

Diagnostic : curl -s http://127.0.0.1:8323/ready indique "freshness":"expired" (fraîcheur : expirée) et "age_s":null (âge en secondes : inconnu), et last_error (dernière erreur) indique l’interrogation échouée.

Rétablissement : python -m estate up control. Deux secondes plus tard, /ready indique "freshness":"fresh" (fraîcheur : à jour). Ne redémarrez pas les répliques pendant que le plan de contrôle est en panne, sauf si c’est nécessaire.

À vous de jouer : un mode de défaillance pour une panne de fournisseur

Section intitulée « À vous de jouer : un mode de défaillance pour une panne de fournisseur »

Les deux régions sont en panne pendant 30 minutes. Ce n’est pas une défaillance des contrôles de la passerelle, donc config/gateway.yaml ne détermine pas la réponse. Chaque responsable d’application décide quoi faire avec 503 no_provider_available (aucun fournisseur disponible).

  1. Lisez docs/failure-modes.md et les deux enregistrements, registrations/ticket-triage.yaml et registrations/support-workflow.yaml : leurs niveaux de risque et leur autonomie.
  2. Pour le service de triage et le flux de remboursement, notez votre choix. L’application peut-elle utiliser un autre modèle de Larkfield, comme le modèle local gemma3:4b? Ou confie-t-elle son travail à des personnes?
  3. Écrivez une raison pour chaque choix, à partir des preuves du cours.
  4. Comparez avec la vérification des connaissances ci-dessous.

Vérifiez votre compréhension

Tomás dit : « Une passerelle partagée est un point de défaillance unique, donc il ne faut pas en utiliser. » Quand a-t-il raison, et pourquoi a-t-il tort pour la passerelle de Larkfield? Utilisez les mesures du cours.

Afficher la réponse

Il a raison pour une passerelle construite comme un seul processus : à son arrêt, chaque application a reçu « Connection refused » (connexion refusée). Il a tort pour des répliques derrière une seule adresse, avec une configuration en cache et un mode de défaillance par niveau. Dans l’exécution mesurée, la réplique b a planté et seuls ses 2 appels en cours ont échoué. Sans le plan de contrôle, tous les appels sont passés pendant 60 secondes. Ensuite, les appels à risque faible ou moyen sont passés en mode dégradé. Seuls les 5 appels du flux de travail ont été refusés, volontairement. Une mauvaise modification touche encore toutes les applications (18 appels bloqués, contre 14 dans une seule application). On déploie donc les modifications par étapes : 4 avec le canari.

Vérifiez votre compréhension

Pendant la panne du stockage, l'assistant documentaire autorise les appels. Que perd-il exactement, et pourquoi est-ce acceptable pour lui, mais pas pour le flux de travail?

Afficher la réponse

Ses appels passent avec la dernière configuration et portent la mention de mode dégradé. Chaque réplique compte son budget à partir du dernier total lu, plus ses propres appels. Avec trois répliques, elle pourrait donc dépenser jusqu’à trois fois le montant restant. Une suspension effectuée entre-temps ne lui parvient pas. Les garde-fous fonctionnent toujours, car leur code se trouve dans la réplique. C’est acceptable pour un agent à faible risque qui lit des documents internes et ne modifie rien. Le flux de travail propose des remboursements et des réexpéditions. Une écriture sans tous les contrôles est interdite : il bloque donc les appels et confie ses tâches à des personnes.

Vérifiez votre compréhension

Vérification de fin : choisissez et justifiez le mode de défaillance du service de triage et du flux de remboursement pendant une panne de fournisseur, lorsque la deuxième région est aussi en panne.

Afficher la réponse

D’abord, les deux utilisent le repli vers la deuxième région. Elle exécute les mêmes modèles, donc leurs évaluations restent valides : 123 réponses le 17 septembre, et aucun appel échoué. Quand aucune région ne reste, le service de triage continue au sens des activités de l’entreprise. Il présente un risque moyen et suggère seulement une équipe. Le billet rejoint donc la file d’une personne sans IA, et seule la rapidité diminue (35 billets ce jour-là). Le flux de remboursement présente un risque élevé : il propose des remboursements et des réexpéditions. Il bloque donc l’opération : aucune proposition, et la tâche revient à une personne. Aucun des deux ne devrait passer à un modèle sans preuves pour sa tâche. Sur les tâches du cours sur les agents, gemma3:4b en a réussi 28 sur 70, et le minimum du flux de travail est de 0,95.

Récapitulatif

  • Une porte logique n’est pas une seule machine : des répliques sans état derrière une adresse, une configuration en cache dans chacune, et un stockage d’utilisation partagé.
  • Sans le plan de contrôle, tous les appels sont passés pendant 60 secondes. Ensuite, les appels à risque faible ou moyen ont été autorisés en mode dégradé, et ceux à risque élevé ont été bloqués. L’autorisation en cas de panne entraîne des budgets comptés par réplique et des suspensions manquées; les garde-fous fonctionnent toujours.
  • Une panne de fournisseur déclenche les solutions de repli. Quand il n’en reste aucune, chaque responsable d’application décide : la file d’une personne pour le triage, aucune proposition pour le flux de travail.
  • Une mauvaise modification par une passerelle partagée : 18 appels bloqués avec un déploiement simultané, 4 avec le canari, 14 dans une seule application.
  • La passerelle détient toutes les clés : protégez son accès, fixez les versions de ses dépendances, ne conservez aucun texte de requête.

Votre projet maintenant : identique à l’instantané end-of-m04, avec une porte d’entrée, trois répliques, une configuration par étapes et 172 tests réussis. Chaque appel de modèle est maintenant vérifié, limité et enregistré, et la passerelle résiste à ses propres pannes. Mais les agents ne font pas qu’appeler des modèles. Les remboursements et réexpéditions du flux de travail sont des appels d’outils, et la passerelle de modèles ne les voit jamais. Ensuite, dans le module 5, vous placez une passerelle devant les outils.

Leçon suivante : Une passerelle pour les outils