Aller au contenu
English

Recommandation de capacité

  • Leçon 19
  • 50 min
  • Module 6 : Valider et justifier les changements

Où nous en sommes

Dans les deux dernières leçons, nous avons conçu des tests de charge et comparé des configurations de façon juste, avec des médianes et des écarts. Mais un nombre mesuré sur un ordinateur portable peut voyager jusqu'à une réunion et devenir une promesse sur la production. Dans cette leçon, nous transformons les tests en une recommandation qu'un gestionnaire peut appliquer, et qui n'affirme rien que les tests ne peuvent appuyer. L'étiquette de consommation d'une voiture neuve montre pourquoi.

Ce que vous saurez faire

Transformez vos tests de charge en une recommandation qu’un gestionnaire peut appliquer. Elle nomme un changement dont les tests ont montré l’utilité, la prochaine limite et les mesures nécessaires avant le prochain changement. N’affirmez rien que les tests ne peuvent appuyer.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 50 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet après Comparer les configurations : python -m pytest affiche 176 passed, 1 deselected (176 tests réussis, 1 non sélectionné).
  • Vos propres résultats des deux dernières leçons : la pointe de trafic et la comparaison avec son fichier --json.

Après cette leçon, votre projet correspond à l’instantané end-of-m06 : la fin du projet du cours. Cette leçon n’exécute aucun nouveau test de charge. Ses chiffres viennent des mesures du cours sur un seul ordinateur peu sollicité, avec le fournisseur simulé.

Une voiture neuve porte une étiquette indiquant sa consommation, par exemple « 5,2 litres aux 100 km ». Le chiffre est honnête. Un laboratoire l’a mesuré, avec la voiture sur des rouleaux, selon un programme de vitesse et une température fixes. Les petits caractères le précisent.

Puis une famille monte une route de montagne avec cette voiture, un coffre de toit, en hiver. Elle consomme 8 litres. L’étiquette ne mentait pas. C’était une mesure prise dans des conditions précises, que la famille a lue comme une promesse pour sa propre route.

Un test de charge sur votre portable est l’étiquette de consommation de votre service : honnête dans ses conditions. Cette leçon propose une recommandation qui garde les conditions près des chiffres. Ainsi, personne ne la lit comme une promesse pour la production.

Le problème : un chiffre de portable sorti de son contexte

Section intitulée « Le problème : un chiffre de portable sorti de son contexte »

Tomás a lu les mesures du cours et écrit une ligne pour Kwame :

« La conception asynchrone a traité 27 billets de soutien par seconde sur un portable. La production a 10 serveurs, donc 270 par seconde. La minute la plus chargée du Vendredi fou est à 1,5 par seconde. Nous avons 180 fois la capacité nécessaire. »

Chaque chiffre a été mesuré. Mais chaque étape du raisonnement enfreint une condition du test :

  • Les 27 par seconde ont été obtenus sans quota. Le cours a désactivé le quota exprès, comme si le compte en avait un beaucoup plus élevé. Avec le quota enregistré, le fournisseur accepte 100 appels de clavardage par minute : au plus 50 billets par minute, ou 0,83 par seconde.
  • Le quota s’applique au compte, pas au serveur. Dix serveurs partagent les mêmes 100 appels par minute. Donc, dix serveurs obtiennent encore un traitement d’IA pour 0,83 billet par seconde.
  • Le fournisseur était simulé. Le simulateur ne ralentit pas sous la charge. Le vrai fournisseur, oui. Une réponse prenait environ 1,10 seconde seule, 1,17 seconde avec 16 appels en cours et 1,42 seconde avec 40.
  • La base de données a des limites que dix serveurs atteignent d’abord. Dans Limites des dépendances, 12 processus avec des pools de connexions (pools) de 10 demandaient 120 connexions. PostgreSQL en permet 100.

Donc, « 180 fois » n’est pas juste un peu trop optimiste. C’est une affirmation qu’aucun test n’a établie. Au Vendredi fou, la vraie limite représente environ la moitié de la demande de la minute la plus chargée.

La demande du modèle de charge de travail (dix fois l'heure et la minute les plus chargées du grand jeu de données) et le maximum permis par le quota enregistré. La minute la plus chargée exige presque le double du quota.
Description textuelle du graphique

Trois barres. L’heure la plus chargée du Vendredi fou apporte 1 010 billets, soit environ 16.8 par minute en moyenne. Le quota du fournisseur de 100 appels de clavardage par minute permet au plus 50 billets par minute. Chaque billet exige deux appels de clavardage. La minute la plus chargée du Vendredi fou apporte 90 billets. L’heure respecte le quota; la minute la plus chargée, non.

Ce que cela nous dit. En moyenne, le quota suffit : 17 billets par minute contre 50. Durant les minutes les plus chargées, il ne suffit pas : 90 contre 50. Le Vendredi fou pose donc une question de pointes de trafic. Que fait le service des billets que le quota ne permet pas de traiter immédiatement? La file d’attente et sa limite répondent à cette question.

L’idée : chaque affirmation repose sur des hypothèses

Section intitulée « L’idée : chaque affirmation repose sur des hypothèses »

Une recommandation de capacité est un court document de décision. Elle indique quoi changer, pourquoi et ce qui reste inconnu. Ses chiffres viennent de tests de charge, et chaque test de charge comporte des hypothèses. Elles concernent la charge de travail, le quota du fournisseur, le coût d’un billet et l’endroit où le test s’est exécuté. La solidité d’une affirmation dépend des hypothèses qui la soutiennent.

Pour chaque affirmation, posez donc deux questions. Sur quelles hypothèses repose-t-elle? Le test respectait-il ces hypothèses, ou les supposait-il simplement? Une affirmation sur le comportement du système reste généralement valable quand on passe du portable à la production. « Le quota est la première limite », « sans file d’attente, une pointe fait perdre des billets » en sont des exemples. « Avec une limite, les refus sont explicites » en est un autre. Une affirmation sur un chiffre absolu en production ne reste pas valable. La production change la machine, le réseau et le fournisseur.

Une fiche de résultats en deux parties. À gauche, quatre hypothèses de charge de travail en orange. A, charge de travail : le Vendredi fou représente 10 fois l'heure la plus chargée, soit 1 010 billets dans l'heure (0,28 par seconde) et 90 dans la minute la plus chargée. B, quota du fournisseur : 100 appels de clavardage par minute, chaque billet en exige 2, donc au plus 50 billets par minute. C, chaque billet : 2 appels de clavardage et 1 plongement, environ 2,2 secondes, jetons et prix tels qu'enregistrés. D, lieu d'exécution : un portable, fournisseur simulé, petit jeu de données, tests de 30 à 80 secondes, 3 à 5 répétitions. À droite, cinq affirmations avec leurs preuves et les hypothèses qui les soutiennent. En vert, appuyées ici : avec une file d'attente limitée, une pointe ne fait perdre aucun billet, les billets supplémentaires reçoivent 503 et Retry-After (preuve : 10 billets par seconde pendant 30 secondes, sans file environ 245 perdus sur 300, limite de 100 aucun perdu et 127 à 128 refusés; repose sur B et D). Le quota est la prochaine limite, plus de processus ne terminent pas plus de traitements d'IA (50 billets par minute, peu importe les processus, la minute la plus chargée en apporte 90; repose sur A, B et C). Coût de l'IA d'environ 0,00006 $ US par billet, environ 0,06 $ US pour l'heure la plus chargée (nombres de jetons multipliés par les prix datés, une estimation; repose sur A et C). En rouge, non appuyées : « La production peut traiter 27 billets par seconde » (27 par seconde était le résultat du portable sans quota avec le fournisseur simulé; repose sur D). « Le vrai fournisseur répond en 2,2 secondes au Vendredi fou » (le simulateur ne ralentit pas, le vrai fournisseur était 30 % plus lent avec 40 appels en cours; repose sur C et D).
La fiche de résultats de performance liée aux hypothèses de charge de travail. Chaque affirmation nomme les hypothèses qui la soutiennent. Les affirmations vertes portent sur des comportements et des rapports montrés par les tests. Les rouges exigent des conditions qu'aucun test ici ne réunissait.
Description textuelle du diagramme

La colonne de gauche présente les quatre hypothèses, A à D, avec leurs chiffres. La partie droite présente cinq affirmations. Chacune a ses preuves et les lettres des hypothèses qui la soutiennent. Les tests du cours appuient les trois affirmations vertes. La file d’attente limitée ne perd aucun billet pendant une pointe. Le quota est la prochaine limite. Le coût de l’IA est d’environ 0,00006 $ US par billet. Les deux affirmations rouges ne sont pas appuyées. L’une transforme un chiffre de portable en chiffre de production. L’autre suppose que le vrai fournisseur est aussi rapide sous charge que le simulateur.

Regardez la lettre D. Chaque test s’est exécuté sur un seul portable, donc chaque affirmation mesurée repose sur cette hypothèse. Les affirmations vertes restent valables malgré D. Elles comparent deux conceptions dans les mêmes conditions, ou découlent uniquement du quota. Les affirmations rouges exigent que D corresponde à la production, ce qui n’est pas le cas.

Amira a rédigé la recommandation pour Omar et Kwame dans docs/capacity-report.md. C’est l’exemple détaillé du cours, et chaque chiffre vient des mesures du cours. Ses parties sont celles de toute recommandation de capacité :

  1. La question, en une phrase : le service peut-il accepter les billets du Vendredi fou et traiter chacun avec l’IA, sans en perdre?
  2. La charge de travail, tirée de docs/workload.md : les hypothèses A, B et C de la fiche de résultats.
  3. Ce que nous avons mesuré : quatre configurations sous des charges de travail précisées. La conception du module 1 perdait les billets que le fournisseur refusait. Sans file d’attente, une pointe de 10 billets par seconde en perdait environ 245 sur 300. Une file sans limite acceptait les 300 et prenait des minutes à se vider. Une limite de 100 en acceptait 172 ou 173. Elle refusait les autres avec 503 queue_full (file pleine) et un Retry-After (délai avant une nouvelle tentative) de 88 à 128 secondes.
  4. La recommandation : la file d’attente avec une limite, et le disjoncteur activé. C’est l’amélioration démontrée : la même pointe, mesurée de la même façon, est passée d’environ 245 billets perdus à aucun.
  5. Le coût : environ 0,00006 $ US par billet traité avec l’IA, environ 0,06 $ US pour l’heure la plus chargée.
  6. Le prochain goulot d’étranglement : le quota du fournisseur, avec les mesures à prendre avant le prochain changement.
  7. Ce que ce test ne dit pas.

Les gens sautent souvent les dernières parties, mais elles rendent le rapport digne de confiance. Les voici :

docs/capacity-report.md (the end)
## The next bottleneck
The provider's quota. Before the next change, measure: the real provider's times under our load
(the simulator does not slow down with load; the real provider was about 30% slower with 40 calls
in flight), and the quota after an increase is granted.
## What a real run must measure before a production claim
A run on the real platform, in a disposable copy of production, with a budget and a deletion
afterwards: the replicas over time, their cold starts and the scale-down delay; the managed
database's connections and CPU; the real provider's times and refusals at our arrival rate; and
the cost per hour of the machines. This course did not make that run.
## What this test does not say
It ran on one laptop with a simulated provider and the small data. It does **not** say how many
tickets production hardware can handle, or how a real provider behaves on Black Friday. It shows
the shape: where tickets are lost, and which limit comes first.

Kwame demande : « Pourquoi nommer un goulot d’étranglement que nous ne corrigeons pas? » Parce que la prochaine décision en dépend. Larkfield peut demander un quota plus élevé au fournisseur. Elle peut aussi accepter que les billets des pointes attendent quelques minutes leur réponse d’IA. Dans les deux cas, le rapport indique quoi mesurer d’abord.

Ce qu’une vraie exécution dans le nuage devrait mesurer

Section intitulée « Ce qu’une vraie exécution dans le nuage devrait mesurer »

Le cours prévoyait une exécution réelle sur une plateforme infonuagique, mais ne l’a pas faite. Ce cours n’a donc aucun chiffre pour les réplicas, les démarrages à froid ou le délai de stabilisation dans le nuage. Le rapport le précise. Signaux de mise à l’échelle a montré la mise à l’échelle automatique uniquement par une simulation sur votre ordinateur.

Une vraie exécution est un test de charge comme ceux de Concevoir un test de charge, avec les mêmes quatre parties. Son environnement est une copie jetable de la production, avec la même plateforme, les mêmes tailles et les mêmes paramètres. Elle a un budget, des étiquettes sur chaque ressource et une suppression finale que vous vérifiez. Ses mesures sont celles qu’un portable ne peut pas fournir :

Mesure Pourquoi le portable ne peut pas la fournir
Réplicas au fil du temps, démarrage à froid d’un nouveau réplica, délai avant la réduction de capacité Les processus du portable sont locaux et ont démarré en environ 0,28 seconde; un conteneur sur une plateforme démarre autrement
Connexions, processeur et temps des requêtes de la base de données gérée Le PostgreSQL du portable s’exécutait dans Docker, sans réseau entre lui et l’API
Temps du vrai fournisseur et réponses 429 à votre rythme d’arrivée Le simulateur ne ralentit pas sous la charge, et son quota est une copie du quota enregistré
Coût par heure des machines et de la base de données Le portable n’a aucune facture
Temps de réseau entre les services Tout s’exécutait sur une seule machine sur le portable

Même cette exécution ne répond que pour sa propre charge de travail et sa propre journée. Un vrai test d’endurance de plusieurs heures et une deuxième exécution un autre jour montrent si les chiffres sont stables.

Exercice guidé : lisez le rapport, puis rédigez le vôtre

Section intitulée « Exercice guidé : lisez le rapport, puis rédigez le vôtre »
  1. Copiez le rapport depuis l’instantané : cp ../nextia-learning-labs/C21/snapshots/end-of-m06/docs/capacity-report.md docs/. Sur Windows : Copy-Item ..\nextia-learning-labs\C21\snapshots\end-of-m06\docs\capacity-report.md docs\.
  2. Exécutez les tests : python -m pytest. Attendez-vous à 176 passed, 1 deselected : le rapport n’est pas du code, donc rien ne change.
  3. Lisez docs/capacity-report.md. Pour chaque chiffre, notez les lettres (A à D) des hypothèses qui le soutiennent.
  4. Copiez docs/benchmark-template.md vers docs/my-capacity-report.md.
  5. Remplissez-le avec vos propres résultats : la pointe de Concevoir un test de charge et la comparaison de Comparer les configurations. Incluez la sortie de scripts.machine et la charge moyenne de chaque exécution.
  6. Sous « What it means » (ce que cela signifie), écrivez exactement une amélioration démontrée, avec les chiffres avant et après. Puis écrivez le prochain goulot d’étranglement, avec ses preuves.
  7. Ajoutez une section « Ce que ce test ne dit pas ». Nommez au moins deux choses que seule une vraie exécution pourrait mesurer.
Afficher un court exemple des étapes 6 et 7

Cet exemple utilise les mesures du cours et la comparaison de l’auteur dans la dernière leçon. Vos chiffres seront différents.

  • Amélioration démontrée : la file d’attente limitée. La pointe était de 10 billets par seconde pendant 30 secondes (quota activé, 2 processus, 3 répétitions). Sans file, environ 245 billets sur 300 ont été perdus; avec une limite de 100, aucun.
  • Prochain goulot d’étranglement : le quota du fournisseur. Au plus 50 billets par minute sont traités avec l’IA, et la minute la plus chargée du Vendredi fou en apporte 90. Preuve : avec le quota activé, un deuxième processus n’a pas augmenté le travail terminé par seconde au-delà de la plage des répétitions.
  • Ce que ce test ne dit pas : combien de billets par seconde la production peut accepter. À quelle vitesse le vrai fournisseur répond à 2 billets par seconde. Combien de temps un nouveau réplica prend pour démarrer sur la plateforme. Chaque mesure exige une vraie exécution dans une copie jetable de la production.

Vérification de fin : les affirmations qu’un test ne peut pas appuyer

Section intitulée « Vérification de fin : les affirmations qu’un test ne peut pas appuyer »

Voici la vérification de fin du module. Tomás a écrit une première version du résumé pour Omar. Indiquez si chaque phrase est appuyée par les tests du cours ou non appuyée, et dites pourquoi. Puis réécrivez les phrases non appuyées pour qu’elles disent ce que les tests ont montré.

  1. « Avec la file d’attente et une limite de 100, aucun billet n’est perdu pendant une pointe. Les clients supplémentaires reçoivent un 503 avec un Retry-After. »
  2. « La production traitera 270 billets par seconde. »
  3. « Plus de processus ne termineraient pas plus de traitements d’IA tant que le quota est de 100 appels de clavardage par minute. »
  4. « Le p95 de la réponse d’IA au Vendredi fou sera de 3 secondes. »
  5. « Le traitement d’IA coûte environ 0,06 $ US par 1 000 billets aux prix dans prices.py. »
Afficher la réponse
  1. Appuyée, pour la pointe mesurée : 10 billets par seconde pendant 30 secondes, quota activé, 2 processus, 3 répétitions. 172 ou 173 ont été acceptés, 127 ou 128 ont reçu 503 queue_full avec un Retry-After, et aucun n’a été perdu. Gardez les conditions près de l’affirmation.
  2. Non appuyée. Aucun test n’a été exécuté en production. Le quota limite le traitement d’IA à 0,83 billet par seconde pour le compte entier. Réécriture : « Le quota du fournisseur limite le traitement d’IA à 50 billets par minute, peu importe le nombre de serveurs. Nous n’avons pas mesuré le matériel de production. »
  3. Appuyée comme comportement. Le quota s’applique au compte. Avec le quota activé, la comparaison n’a montré aucun gain avec un deuxième processus. Ce n’est pas une mesure des processus de production. Ajoutez : « mesuré sur un seul portable avec le fournisseur simulé ».
  4. Non appuyée. Environ 3 secondes était le p95 d’une requête sur le portable avec la conception du module 1, sans file et avec peu d’utilisateurs. Au Vendredi fou, un billet de la minute la plus chargée attend le quota. Le vrai fournisseur était aussi plus lent sous la charge. Réécriture : « Dans la minute la plus chargée, la réponse d’IA d’un billet peut attendre des minutes dans la file. Nous n’avons pas mesuré le vrai fournisseur à ce rythme. »
  5. Appuyée comme estimation. Elle vient des nombres de jetons et des prix datés. Le simulateur compte les jetons comme dans les enregistrements. Ajoutez : « les prix changent : vérifiez la page actuelle du fournisseur; machines et base de données non comprises ».

Erreur courante

Le chiffre sans ses conditions

Symptôme : une diapositive ou un message de clavardage cite un de vos chiffres, par exemple « 27 billets par seconde ». Quelqu’un planifie avec ce chiffre. Personne ne se souvient que le quota était désactivé.

Cause : le chiffre est sorti du document, mais ses conditions sont restées derrière. Un chiffre de test de charge n’a de sens qu’avec sa charge de travail, sa configuration et sa machine.

Diagnostic : pour chaque chiffre cité, retrouvez l’exécution source. Vérifiez quatre choses : la charge de travail, le mode du quota, la machine et le nombre de répétitions. S’il en manque une, le chiffre ne peut pas appuyer une décision.

Correction : écrivez chaque chiffre dans une phrase avec ses conditions. Par exemple : « 27 billets par seconde, conception asynchrone, 64 utilisateurs, quota désactivé, fournisseur simulé, un portable, 3 répétitions ». Ajoutez « Ce que ce test ne dit pas » dans chaque rapport. Si quelqu’un a besoin d’un chiffre de production, recommandez une vraie exécution plutôt qu’une supposition.

Quand rédiger une recommandation, et ce que cela coûte

Section intitulée « Quand rédiger une recommandation, et ce que cela coûte »

Rédigez-en une avant chaque décision de capacité : nouvelle taille d’instance, demande de quota, limite de file d’attente ou événement comme le Vendredi fou. Faites court : une page, une amélioration démontrée, un prochain goulot d’étranglement. Un long rapport avec dix recommandations cache celle qui compte.

Ne rédigez pas de recommandation à partir d’un seul essai, d’un ordinateur occupé ou d’un test sans charge de travail définie. Dites plutôt « nous ne savons pas encore ». C’est un résultat valide, qui indique au lecteur quelle mesure mérite qu’on y consacre des ressources.

Le coût, c’est l’honnêteté sur les limites. Un rapport qui dit « ce test ne montre pas comment la production se comporte » peut sembler faible. C’est le contraire : le lecteur peut faire confiance à chaque phrase qui reste.

Vérifiez votre compréhension

Pourquoi « avec une limite, une pointe de trafic ne perd aucun billet » est-il plus solide que « la production traite 27 billets par seconde », si les deux affirmations viennent de tests sur le même portable?

Afficher la réponse

La première affirmation compare deux conceptions dans les mêmes conditions et décrit un comportement : ce que le service fait des billets qu’il ne peut pas accepter. Ce comportement vient du code et du quota, pas de la vitesse du portable. La deuxième affirmation donne un nombre absolu. Il dépend de la machine, du mode du quota (désactivé dans ce test), du fournisseur simulé et du réseau. Tous ces éléments changent en production.

Vérifiez votre compréhension

Larkfield obtient un quota de 300 appels de clavardage par minute. Quelles affirmations du tableau de résultats devez-vous mesurer de nouveau, et lesquelles restent valides?

Afficher la réponse

Le quota est l’hypothèse B. Vous devez donc mesurer de nouveau chaque affirmation qui repose sur B. Le quota permet alors 150 billets par minute, plus que les 90 de la minute la plus occupée. La prochaine limite pourrait donc être les processus, la base de données ou la vitesse du fournisseur réel. L’affirmation « ajouter des processus n’aide pas » pourrait ne plus être vraie. Le coût par billet reste valide : il repose sur A et C, pas sur le quota. Refaites la comparaison avec le nouveau quota avant de changer le nombre de processus.

Vérifiez votre compréhension

Vérification pratique : présentez l'amélioration démontrée et le prochain goulot d'étranglement de votre rapport, chacun en une phrase avec ses conditions.

Afficher la réponse

Par exemple : « Avec une file limitée à 100, une pointe de 10 billets par seconde pendant 30 secondes n’a perdu aucun billet. Sans file d’attente, elle en a perdu environ 245 sur 300 (quota activé, 2 processus, fournisseur simulé, un portable, 3 essais). » Et : « Le prochain goulot d’étranglement est le quota du fournisseur : 50 billets par minute contre 90 pendant la minute la plus occupée du Vendredi fou. Un deuxième processus n’a pas augmenté le travail terminé par seconde. » Vos nombres diffèrent; les conditions doivent figurer.

Récapitulatif

  • Une recommandation de capacité présente une amélioration démontrée, le prochain goulot d’étranglement, les mesures nécessaires avant le prochain changement et ce que le test ne montre pas.
  • Chaque affirmation repose sur des hypothèses : la charge de travail, le quota, le coût et la durée d’un billet, et l’environnement du test. Nommez-les à côté de l’affirmation.
  • Les affirmations sur les tendances et les comparaisons restent valides lors du passage du portable à la production. Les nombres absolus pour la production ne le restent pas.
  • Le quota du fournisseur limite le travail d’IA de Larkfield à 50 billets par minute, quel que soit le nombre de serveurs. La minute la plus occupée du Vendredi fou en apporte 90.
  • Une affirmation sur la production exige un essai réel dans une copie jetable de l’environnement de production. Ce cours n’en a pas réalisé, et son rapport le précise.

Leçon suivante : Plan de capacité à partir d'une trace de trafic publique