Aller au contenu
English

Calculer la charge de travail

  • Leçon 8
  • 55 min
  • Module 3 : Estimer les ressources et le coût

Où nous en sommes

Dans le module 2, nous avons choisi une architecture simple : une application modulaire et une base de données, avec le locataire dans chaque flux. Mais la question d'Omar reste ouverte : combien cela coûtera-t-il? Dans cette leçon, nous transformons la demande du module 1 en quatre nombres qui entraînent des coûts et fixent des limites, chacun étant une multiplication que vous pouvez vérifier à la main. Nous commençons par un café à l'heure du dîner.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Transformez la demande du module 1 en quatre nombres qui entraînent des coûts et fixent des limites. Ce sont les questions par mois, les réponses en cours au moment le plus chargé, les jetons par mois et la croissance du stockage. Chaque étape est une multiplication que vous pouvez vérifier à la main.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

  • Les plages de demande et la minute la plus chargée (0,268 question par seconde dans le scénario de base), tirées de Hypothèses de demande.
  • Les étapes d’une réponse (créer le plongement de la question, chercher, rédiger la réponse), tirées de Limites des services.
  • Le débit, la latence et la règle qui les relie, tirés de Latence et capacité dans Mettre à l’échelle les API et les charges de travail d’IA. Cette leçon utilise la même règle pour dimensionner une conception qui n’existe pas encore.

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier design-pack avec son environnement virtuel actif, et python -m pytest -q qui affiche 16 passed (16 tests réussis) : l’instantané end-of-m02.
  • Le dossier des laboratoires nextia-learning-labs à côté. Vous y copiez cinq nouveaux fichiers du calculateur.

Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais non testées.

Un petit café se remplit à l’heure du dîner. Au moment le plus chargé, deux clients entrent chaque minute. Chacun reste environ 15 minutes : ils commandent, mangent et paient. De combien de places le café a-t-il besoin?

La propriétaire n’a pas besoin du total de la journée pour le savoir. Il lui faut deux nombres : le rythme des arrivées et la durée du séjour de chaque personne. Deux personnes par minute × 15 minutes = 30 personnes à l’intérieur en même temps. Avec 20 places, dix personnes restent debout. Si chaque personne reste seulement 5 minutes, 10 places suffisent.

Le café répond aussi à d’autres questions avec de simples multiplications. Combien de café faut-il pour un mois? Tasses par jour × 30. Combien d’espace faut-il pour les reçus d’une année? Reçus par jour × taille d’un reçu × 365. Rien de tout cela n’est compliqué. Il faut les bons nombres, dans les bonnes unités, dans le bon ordre.

Amira doit dimensionner l’API de l’assistant, et Kwame doit vérifier la limite du fournisseur de modèles. Le fichier de demande indique 1 465 questions par jour. Trois personnes en tirent trois tailles différentes :

  • Tomás : « Les 1 465 questions pourraient arriver en même temps. Prévoyons 1 465 réponses simultanées. »
  • Omar : « Une journée compte 86 400 secondes. 1 465 ÷ 86 400 = 0,017 question par seconde. Chacune prend 2,18 s, donc 0,037 réponse à la fois. Un tout petit serveur, et aucune limite à craindre. »
  • Kwame : « Ni l’un ni l’autre. Les questions ne se répartissent pas également sur la journée, et elles n’arrivent pas toutes ensemble. »

Le nombre d’Omar ne tient pas au pire moment. Le cours sur la mise à l’échelle a montré cette défaillance. Son fournisseur autorisait un nombre fixe d’appels au modèle par minute. Quand la charge dépassait ce quota, le fournisseur refusait une partie des appels, et le débit cessait d’augmenter. Une moyenne quotidienne ne montre jamais cela, car le quota est par minute, pas par jour.

Le dimensionnement exige donc le moment le plus chargé, pas la journée. Et la conception exige plusieurs tailles : la facture dépend des volumes mensuels, et la base de données dépend de la croissance.

Le calcul de la charge de travail transforme la demande en travail que le système doit accomplir. Quatre nombres comptent pour un assistant documentaire :

  1. Volume : questions par mois = questions par jour × 30. La plupart des prix sont mensuels ou unitaires, donc le modèle de coûts exige des volumes mensuels.
  2. Simultanéité : réponses en cours au moment le plus chargé = taux d’arrivée × temps dans le système. « En cours » signifie commencées, mais pas encore terminées. Ce sont les places du café.
  3. Jetons par mois : questions par mois × jetons par réponse. Les fournisseurs de modèles facturent par jeton et limitent les jetons par minute.
  4. Croissance du stockage : nouveaux enregistrements par mois × octets par enregistrement. Le stockage coûte de l’argent, et les sauvegardes et restaurations prennent plus de temps quand les données augmentent.

La règle de simultanéité porte un nom : la loi de Little, d’après John Little, qui l’a démontrée en 1961. Le cours sur la mise à l’échelle l’utilisait pour prédire le débit à partir d’un test de charge. Ici, vous l’utilisez dans l’autre sens : des arrivées prévues à la capacité nécessaire à la conception.

Un flux de gauche à droite. Demande, scénario de base : 1 465 questions par jour, tirées de demand.toml. Multiplié par 30 jours, cela donne le volume : 43 950 questions par mois. L'heure et la minute les plus chargées du module 1 donnent 0,268 question par seconde; multiplié par 2,18 secondes dans le système, cela donne la simultanéité : 0,58 réponse en cours. Le volume multiplié par 946,5 jetons d'entrée et 152,75 de sortie donne les jetons : 41,6 millions en entrée et 6,7 millions en sortie par mois. Le volume multiplié par 372 octets par réponse donne la croissance du stockage : 16,4 Mo par mois. Les quatre résultats ont des bordures épaisses.
De la demande de base aux quatre nombres de la charge de travail. Chaque flèche représente une multiplication par une valeur mesurée ou supposée.
Description textuelle du diagramme

Le diagramme commence par la demande de base, soit 1 465 questions par jour pour les deux boutiques. Multiplié par 30 jours, cela donne le volume, soit 43 950 questions par mois. Une flèche relie le volume aux jetons : 946,5 en entrée et 152,75 en sortie par réponse donnent 41,6 millions en entrée et 6,7 millions en sortie par mois. Une autre flèche mène à la croissance du stockage : 372 octets par réponse donnent 16,4 Mo par mois. Un chemin distinct relie la demande à la minute la plus chargée, soit 0,268 question par seconde. Multiplié par 2,18 secondes dans le système, cela donne la simultanéité : 0,58 réponse en cours. Des cadres épais indiquent les quatre résultats.

Chaque flèche multiplie par un nombre, et chaque nombre appartient à l’une des trois catégories. Les 30 jours et les 1 465 questions sont des hypothèses. Les 2,18 s, les jetons et les 372 octets sont mesurés. Aucun prix ne figure encore : les prix viennent dans la prochaine leçon.

Voici la loi de Little pour l’assistant, avec chaque valeur visible.

Taux d’arrivée. Le module 1 a calculé la minute la plus chargée du scénario de base. L’heure la plus chargée compte 1 465 × 0,123 = 180 questions. La minute la plus chargée compte 180 ÷ 3 600 × 5,35 = 0,268 question par seconde.

Temps dans le système. Une réponse passe par trois étapes mesurées, les mêmes que le flux de requêtes du module 2 :

Étape Durée médiane Catégorie
Créer le plongement de la question (embed-small) 0,34 s mesurée, appels de l’équipe du cours
Chercher et reclasser 20 passages 0,32 s mesurée, cours sur le RAG, sur le processeur d’un portable
Rédiger la réponse (chat-small) 1,52 s mesurée, appels de l’équipe du cours
Temps dans le système 2,18 s somme des trois médianes

En cours. 0,268 par seconde × 2,18 s = 0,58 réponse en même temps.

Des arrivées de 0,268 question par seconde, à la minute la plus chargée du scénario de base, multipliées par le temps dans le système. Le temps dans le système est un encadré de trois étapes : créer le plongement de la question, 0,34 seconde; chercher et reclasser, 0,32 seconde; rédiger la réponse, 1,52 seconde; au total, 2,18 secondes. Le résultat : 0,58 réponse en cours à la fois, avec une bordure épaisse.
La loi de Little pour l'assistant à la minute la plus chargée du scénario de base : taux d'arrivée × temps dans le système = réponses en cours.
Description textuelle du diagramme

À gauche, les questions arrivent à raison de 0,268 par seconde, à la minute la plus chargée du scénario de base. Au milieu, chaque question passe 2,18 secondes dans le système. Créer son plongement prend 0,34 s, chercher et reclasser prend 0,32 s, et rédiger la réponse prend 1,52 s. À droite se trouve le produit : 0,58 réponse en cours en même temps.

Moins d’une réponse est en cours au moment le plus chargé. La plupart du temps, l’API attend la prochaine question. Comparez les trois estimations du problème : 1 465 pour Tomás, 0,037 pour Omar et 0,58 en réalité. Tomás est environ 2 500 fois trop haut; Omar est 16 fois trop bas.

Les 2,18 s ont deux limites qu’il faut reconnaître. D’abord, ce nombre additionne trois médianes d’exécutions distinctes; personne n’a mesuré une réponse complète de bout en bout. Ensuite, le temps de recherche vient d’un portable, pas d’un serveur infonuagique. Les deux suffisent pour un premier dimensionnement. La cible de latence Q1, mesurée en production, les remplace plus tard.

Les trois autres nombres suivent le même principe. Kwame écrit chacun avec ses entrées, pour qu’Omar puisse le vérifier :

  • Volume. 1 465 questions par jour × 30 jours = 43 950 questions par mois.
  • Jetons. Chaque réponse de chat-small lit 946,5 jetons (la question et cinq passages) et écrit 152,75 jetons, deux moyennes mesurées. Donc 43 950 × 946,5 = 41,6 millions de jetons d’entrée et 43 950 × 152,75 = 6,7 millions de jetons de sortie par mois. Chaque question reçoit aussi un plongement : 43 950 × 15,51 jetons = 0,68 million de jetons de plongement. Le calculateur montre 0,69 million, car il crée aussi les plongements des documents modifiés.
  • Stockage actuel. Chaque réponse sauvegardée, avec sa question, prend 372 octets (mesurés; une vraie ligne ajoute quelques identifiants). Un mois de réponses : 43 950 × 372 octets = 16,3 Mo. Les segments et vecteurs des documents prennent environ 2,0 Mo. Cela correspond à 14 016 mots × 28,37 segments par 1 000 mots × 4 800 octets par vecteur, plus le texte des segments.
  • Croissance du stockage. Chaque mois ajoute à nouveau les réponses, plus 11 documents modifiés d’environ 1 515 octets chacun : +16,4 Mo par mois.

Deux choses ressortent. Ce sont les réponses, pas les documents, qui remplissent la base de données. Et l’ensemble reste petit : après un an, quelques centaines de mégaoctets, environ 1 % de la plus petite taille de base de données, 32 Go.

Exercice guidé : ajouter le calcul de la charge de travail à votre dossier

Section intitulée « Exercice guidé : ajouter le calcul de la charge de travail à votre dossier »

Vous ajoutez le code de charge de travail du calculateur et le fichier de conception, l’exécutez et vérifiez ses nombres à la main.

  1. Dans le terminal, dans votre dossier design-pack, avec l’environnement actif, copiez deux fichiers de code et deux fichiers de tests depuis l’instantané end-of-m03 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C26/snapshots/end-of-m03
    cp "$S/costmodel/design.py" "$S/costmodel/workload.py" costmodel/
    cp "$S/tests/helpers.py" "$S/tests/test_workload.py" tests/

    design.py lit le fichier de conception. workload.py effectue les calculs de cette leçon. Les tests vérifient chaque règle.

  2. Exécutez la commande de charge de travail. Le fichier de conception manque encore, donc la commande s’arrête avec un message clair :

    Fenêtre de terminal
    python -m costmodel workload
    Input problem: design.toml is missing (expected at …/design-pack/design.toml)
  3. Copiez le fichier de conception. Si vous avez ouvert un nouveau terminal, définissez de nouveau S comme à l’étape 1.

    Fenêtre de terminal
    cp "$S/design.toml" .
  4. Ouvrez design.toml et lisez-le. Les tables du haut contiennent les choix du module 2 : le modèle, la taille de base de données, l’API et le processus. Une réplique de l’API fonctionne toujours; le processus fonctionne seulement quand il y a du travail. La table [assumptions] contient des plages appuyées par des preuves, comme dans demand.toml. Ses quatre premières lignes :

    [assumptions]
    busy_hours_per_day = [8, 12, 18]
    log_kb_per_question = [1, 4, 10]
    retry_share = [0.0, 0.02, 0.05]
    cache_hit_share = [0.0, 0.0, 0.0]

    cache_hit_share vaut 0 dans les trois scénarios. Le flux de requêtes du module 2 comprend un cache de réponses, mais personne ne connaît encore la fréquence des questions répétées. Le module 4 mesure ce qu’un accès au cache économise. D’ici là, le dossier suppose aucun accès réussi au cache.

  5. Exécutez de nouveau la commande de charge de travail :

    Fenêtre de terminal
    python -m costmodel workload
    Workload, scenario base, month 0 (2 tenants)
    questions per month 43,950
    busiest hour 180.2 questions
    busiest minute 0.268 questions per second
    time in the system 2.18 s (embed the question + search + answer, medians)
    in flight at the peak 0.58 = 0.268/s x 2.18 s
    chat calls, busiest min. 16.1 (provider quota: 100 per minute)
    documents 61 (11 changed per month)
    tokens per month chat-small 41.60M in / 6.72M out, embed-small 0.69M in / 0.00M out
    storage now files 0.3 MB, chunks and vectors 2.0 MB, answers and logs in the database 16.3 MB
    storage growth 16.4 MB per month
    ingestion worker 25 s busy per month

    Trouvez les quatre nombres du petit exemple : 43 950 questions, 0,58 en cours, 41,60 millions et 6,72 millions de jetons, et 16,4 Mo par mois. La sortie est de 6,72 millions de jetons, pas 6,71 millions, car les 11 résumés de documents écrivent aussi environ 2 000 jetons.

  6. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q
    ...................... [100%]
    22 passed in 0.03s

    Six nouveaux tests réussissent. L’un d’eux, test_concurrency_is_arrival_rate_times_time_in_the_system, est la loi de Little écrite en code.

Vérifiez vous-même une autre ligne : le processus d’ingestion. Il y a 11 modifications de documents par mois. Chacune prend 0,39 s pour créer le plongement et 1,89 s pour résumer, deux médianes mesurées. Donc 11 × (0,39 + 1,89) = 25 secondes de travail par mois. Le processus reste inactif le reste du mois, ce qui explique sa réduction à zéro dans le module 2.

La ligne chat calls, busiest min. (appels de clavardage, minute la plus chargée) compare la conception à la première limite qu’elle peut atteindre. Chaque question exige un appel de clavardage. À la minute la plus chargée : 0,268 par seconde × 60 = 16,1 appels de clavardage. Le quota du fournisseur pour chat-small est de 100 appels par minute et 100 000 jetons par minute. Le cours sur la mise à l’échelle a lu les deux dans les en-têtes de limitation du fournisseur, pour le compte de l’équipe du cours. Le quota de votre compte peut être différent.

Les appels ne sont pas la seule limite. Chaque appel utilise aussi des jetons : 946,5 en entrée + 152,75 en sortie = 1 099 jetons. À la minute la plus chargée : 16,1 × 1 099 = environ 17 700 jetons, soit 18 % du quota de jetons. Le scénario de base utilise donc de 16 % à 18 % des deux quotas.

Demandez maintenant le scénario haut, aujourd’hui et dans un an :

Fenêtre de terminal
python -m costmodel workload --scenario high
python -m costmodel workload --scenario high --month 12
Workload, scenario high, month 0 (2 tenants)
questions per month 167,400
busiest hour 1,116.0 questions
busiest minute 2.480 questions per second
time in the system 2.18 s (embed the question + search + answer, medians)
in flight at the peak 5.41 = 2.480/s x 2.18 s
chat calls, busiest min. 148.8 (provider quota: 100 per minute)
…
Workload, scenario high, month 12 (4 tenants)
questions per month 416,220
busiest hour 2,774.8 questions
busiest minute 6.166 questions per second
time in the system 2.18 s (embed the question + search + answer, medians)
in flight at the peak 13.45 = 6.166/s x 2.18 s
chat calls, busiest min. 370.0 (provider quota: 100 per minute)
…

Le … indique les lignes omises ici; votre terminal les affiche. Le graphique place les appels de clavardage de tous les scénarios à côté du quota :

  • Bas
  • Base
  • Haut
  • Quota
Appels de clavardage à la minute la plus chargée, maintenant et au mois 12 (M12), comparés au quota du fournisseur de 100 par minute. Le scénario haut dépasse déjà le quota aujourd'hui.
Description textuelle du graphique

Un graphique à six colonnes. Maintenant : scénario bas, 2,0; de base, 16,1; haut, 148,8 appels de clavardage à la minute la plus chargée. Au mois 12 : scénario de base, 25,3; haut, 370,0. La dernière colonne, grise, est le quota du fournisseur : 100 appels par minute. Le scénario haut atteint environ une fois et demie le quota maintenant, et presque quatre fois au mois 12. Le scénario de base reste à environ un quart du quota ou moins.

C’est la réponse honnête à la demande de Tomás : « concevoir pour un million d’utilisateurs ». Dans le scénario haut, de 5 à 13 réponses sont en cours, et une petite réplique de l’API attend surtout le fournisseur. Les serveurs ne sont pas le problème. Le quota du fournisseur est la première limite, et le scénario haut le dépasse dès le mois 0. Kwame l’inscrit dans la proposition comme un risque avec une action : demander un quota plus élevé avant un lancement en page d’accueil. Le module 5 en fait un signal de croissance.

Utilisez-le avant tout calcul de coût ou dimensionnement, puis chaque fois que la demande ou une durée mesurée change. Il prend quelques minutes et montre quelle limite arrive en premier.

Ne l’utilisez pas comme une promesse. Il donne des moyennes sur la minute la plus chargée, pas ce qui se passe à l’intérieur de cette minute. Des pointes de quelques secondes, des appels lents au fournisseur et des tentatives répétées peuvent augmenter le nombre réel de réponses en cours. Les durées p95 donnent une deuxième estimation prudente : 0,268 × (0,48 + 0,32 + 3,79) = environ 1,2 en cours. Un test de charge, comme dans le cours sur la mise à l’échelle, remplace l’estimation quand le système existe.

Le coût est faible : une page de multiplications que tout le monde peut vérifier. Le risque est une mauvaise entrée, comme une durée en millisecondes lue comme des secondes. Le résultat est alors beaucoup trop grand, comme le montre la prochaine section.

Erreur courante

Taux et durées dans des unités différentes

Symptôme : la loi de Little donne un nombre beaucoup trop grand. Par exemple, 16,1 questions × 2,18 = 35,1 réponses en cours, soixante fois plus que les 0,58 du calculateur.

Cause : 16,1 est par minute, mais 2,18 est en secondes. Les unités ne s’annulent pas, donc le résultat n’est pas un nombre de réponses. La même erreur arrive avec les millisecondes : 0,268 × 2 180 ms = 584.

Correction : écrivez l’unité à côté de chaque nombre et convertissez d’abord. 16,1 par minute ÷ 60 = 0,268 par seconde; 0,268 par seconde × 2,18 secondes = 0,58. Les secondes s’annulent, et le résultat est un nombre.

Erreur courante

Une proportion écrite en pourcentage dans design.toml

Symptôme : vous écrivez retry_share = [0, 2, 5], pour dire 2 % et 5 %. Le calculateur s’arrête :

Input problem: design.toml: cache_hit_share and retry_share are shares below 1

Cause : une proportion de 2 signifierait que le dossier envoie chaque appel au modèle deux fois de plus. Le calculateur refuse une proportion de 1 ou plus.

Correction : écrivez des proportions : [0.0, 0.02, 0.05]. Si la preuve d’une hypothèse ne commence pas par verified: (vérifié) ou assumed: (supposé), le calculateur s’arrête de la même façon et indique la ligne.

Réinitialisation. Si votre dossier ne fonctionne plus, copiez l’instantané end-of-m03 comme l’indique le README des instantanés. Il contient tout le contenu de ce module.

La question laissée ouverte par Omar au module 1 revient. Si l’assistant apparaît sur la page d’accueil de Larkfield, il prévoit 1 600 clients posant des questions par jour dans le scénario de base, plutôt que 800. Au module 1, vous avez calculé la nouvelle demande : 2 665 questions par jour pour les deux boutiques.

Avant de lancer quoi que ce soit, prédisez trois nombres : les questions par mois, les réponses en cours à la minute la plus chargée et les appels de clavardage durant cette minute. Ensuite, dans demand.toml, changez la valeur de base de customers_per_day de Larkfield à 1600. Exécutez python -m costmodel workload, puis remettez la valeur initiale.

Afficher la réponse
  • Volume : 2 665 × 30 = 79 950 questions par mois.
  • Minute la plus chargée : 2 665 × 0,123 ÷ 3 600 × 5,35 = 0,487 par seconde. Réponses en cours : 0,487 × 2,18 = 1,06.
  • Appels de clavardage : 0,487 × 60 = 29,2 durant la minute la plus chargée, soit moins du tiers du quota.
Workload, scenario base, month 0 (2 tenants)
questions per month 79,950
busiest hour 327.8 questions
busiest minute 0.487 questions per second
time in the system 2.18 s (embed the question + search + answer, medians)
in flight at the peak 1.06 = 0.487/s x 2.18 s
chat calls, busiest min. 29.2 (provider quota: 100 per minute)
documents 61 (11 changed per month)
tokens per month chat-small 75.68M in / 12.21M out, embed-small 1.24M in / 0.00M out
storage now files 0.3 MB, chunks and vectors 2.0 MB, answers and logs in the database 29.7 MB
storage growth 29.8 MB per month
ingestion worker 25 s busy per month

Chaque nombre qui dépend des questions augmente de 82 %, comme la demande. Les documents et le processus ne changent pas : la page d’accueil apporte des questions, pas des documents. Malgré cela, environ une réponse est en cours à la minute la plus chargée. Le quota reste loin d’être atteint dans le scénario de base. Remettez la valeur à 800.

Vérifiez votre compréhension

Faites une prédiction avec la loi de Little : à la minute la plus chargée, les questions arrivent à un rythme de 0,5 par seconde. Chaque réponse passe 3 secondes dans le système. Combien de réponses sont en cours? Ensuite, dites lequel des deux nombres un modèle plus performant, mais plus lent, changerait, et dans quel sens.

Afficher la réponse

0,5 par seconde × 3 s = 1,5 réponse en cours. Un modèle plus lent change le temps passé dans le système, pas le taux d’arrivée. Les questions arrivent au même rythme, quel que soit le modèle qui y répond. La médiane mesurée de chat-strong est de 2,48 s plutôt que 1,52 s. Le temps passé dans le système passe donc de 2,18 s à environ 3,15 s. Il y a alors plus de réponses en cours en même temps, et chacune garde sa connexion plus longtemps.

Vérifiez votre compréhension

Omar lit les résultats du calcul de charge et dit : « Notre base de données augmente de 16,4 Mo par mois. Le stockage est donc notre plus grand risque. » Utilisez les nombres de cette leçon pour appuyer ou contester cette affirmation, et nommez la limite atteinte en premier.

Afficher la réponse

Contestez cette affirmation. Une croissance de 16,4 Mo par mois représente quelques centaines de mégaoctets après un an. C’est environ 1 % de la taille minimale de la base de données, soit 32 Go. Dans le scénario de base, rien n’approche d’une limite. La première limite est le quota du fournisseur. Le scénario élevé exige déjà aujourd’hui 148,8 appels de clavardage à la minute la plus chargée, contre un quota de 100. Le stockage devient important plus tard pour les sauvegardes et les temps de restauration (module 5). Mais ce n’est pas le premier risque.

Récapitulatif

  • Calculer la charge de travail transforme la demande en quatre nombres : volume mensuel, nombre de réponses simultanées au moment le plus chargé, jetons (tokens) par mois et croissance du stockage. Chacun résulte d’une multiplication dont les valeurs d’entrée sont visibles.
  • Loi de Little : réponses en cours = taux d’arrivée × temps passé dans le système. Scénario de base : 0,268 par seconde × 2,18 s = 0,58. Gardez les mêmes unités.
  • Le temps passé dans le système, 2,18 s, est la somme de trois médianes mesurées : création du plongement (embedding), 0,34 s; recherche, 0,32 s; réponse, 1,52 s.
  • Scénario de base par mois : 43 950 questions, 41,6 millions de jetons d’entrée et 6,7 millions de jetons de sortie, et +16,4 Mo de stockage.
  • La première limite est le quota du fournisseur de 100 appels de clavardage par minute. Le scénario de base en utilise environ 16 %, le scénario élevé 149 % aujourd’hui et 370 % au mois 12.
  • python -m pytest -q affiche 22 passed (22 tests réussis).

Ensuite, vous transformez ce travail en argent : le coût mensuel de la conception, ligne par ligne.

Leçon suivante : Modèle de coûts