Calculer la charge de travail
- Leçon 8
- 55 min
- Module 3 : Estimer les ressources et le coût
Où nous en sommes
Dans le module 2, nous avons choisi une architecture simple : une application modulaire et une base de données, avec le locataire dans chaque flux. Mais la question d'Omar reste ouverte : combien cela coûtera-t-il? Dans cette leçon, nous transformons la demande du module 1 en quatre nombres qui entraînent des coûts et fixent des limites, chacun étant une multiplication que vous pouvez vérifier à la main. Nous commençons par un café à l'heure du dîner.
Leçon 8 sur 19 · Conception de systèmes d'IA et maîtrise des coûtsCalculer la charge de travail
1. Commencer par les besoins
2. Concevoir l'architecture de bout en bout
3. Estimer les ressources et le coût
4. Optimiser avec des compromis mesurés
5. Concevoir pour les défaillances et la croissance
6. Présenter la proposition
Ce que vous saurez faire
Transformez la demande du module 1 en quatre nombres qui entraînent des coûts et fixent des limites. Ce sont les questions par mois, les réponses en cours au moment le plus chargé, les jetons par mois et la croissance du stockage. Chaque étape est une multiplication que vous pouvez vérifier à la main.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les plages de demande et la minute la plus chargée (0,268 question par seconde dans le scénario de base), tirées de Hypothèses de demande.
- Les étapes d’une réponse (créer le plongement de la question, chercher, rédiger la réponse), tirées de Limites des services.
- Le débit, la latence et la règle qui les relie, tirés de Latence et capacité dans Mettre à l’échelle les API et les charges de travail d’IA. Cette leçon utilise la même règle pour dimensionner une conception qui n’existe pas encore.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier
design-packavec son environnement virtuel actif, etpython -m pytest -qqui affiche16 passed(16 tests réussis) : l’instantanéend-of-m02. - Le dossier des laboratoires
nextia-learning-labsà côté. Vous y copiez cinq nouveaux fichiers du calculateur.
Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais non testées.
Un café à l’heure du dîner
Section intitulée « Un café à l’heure du dîner »Un petit café se remplit à l’heure du dîner. Au moment le plus chargé, deux clients entrent chaque minute. Chacun reste environ 15 minutes : ils commandent, mangent et paient. De combien de places le café a-t-il besoin?
La propriétaire n’a pas besoin du total de la journée pour le savoir. Il lui faut deux nombres : le rythme des arrivées et la durée du séjour de chaque personne. Deux personnes par minute × 15 minutes = 30 personnes à l’intérieur en même temps. Avec 20 places, dix personnes restent debout. Si chaque personne reste seulement 5 minutes, 10 places suffisent.
Le café répond aussi à d’autres questions avec de simples multiplications. Combien de café faut-il pour un mois? Tasses par jour × 30. Combien d’espace faut-il pour les reçus d’une année? Reçus par jour × taille d’un reçu × 365. Rien de tout cela n’est compliqué. Il faut les bons nombres, dans les bonnes unités, dans le bon ordre.
Le problème : une journée n’est pas une taille
Section intitulée « Le problème : une journée n’est pas une taille »Amira doit dimensionner l’API de l’assistant, et Kwame doit vérifier la limite du fournisseur de modèles. Le fichier de demande indique 1 465 questions par jour. Trois personnes en tirent trois tailles différentes :
- Tomás : « Les 1 465 questions pourraient arriver en même temps. Prévoyons 1 465 réponses simultanées. »
- Omar : « Une journée compte 86 400 secondes. 1 465 ÷ 86 400 = 0,017 question par seconde. Chacune prend 2,18 s, donc 0,037 réponse à la fois. Un tout petit serveur, et aucune limite à craindre. »
- Kwame : « Ni l’un ni l’autre. Les questions ne se répartissent pas également sur la journée, et elles n’arrivent pas toutes ensemble. »
Le nombre d’Omar ne tient pas au pire moment. Le cours sur la mise à l’échelle a montré cette défaillance. Son fournisseur autorisait un nombre fixe d’appels au modèle par minute. Quand la charge dépassait ce quota, le fournisseur refusait une partie des appels, et le débit cessait d’augmenter. Une moyenne quotidienne ne montre jamais cela, car le quota est par minute, pas par jour.
Le dimensionnement exige donc le moment le plus chargé, pas la journée. Et la conception exige plusieurs tailles : la facture dépend des volumes mensuels, et la base de données dépend de la croissance.
L’idée : quatre nombres tirés de la demande
Section intitulée « L’idée : quatre nombres tirés de la demande »Le calcul de la charge de travail transforme la demande en travail que le système doit accomplir. Quatre nombres comptent pour un assistant documentaire :
- Volume : questions par mois = questions par jour × 30. La plupart des prix sont mensuels ou unitaires, donc le modèle de coûts exige des volumes mensuels.
- Simultanéité : réponses en cours au moment le plus chargé = taux d’arrivée × temps dans le système. « En cours » signifie commencées, mais pas encore terminées. Ce sont les places du café.
- Jetons par mois : questions par mois × jetons par réponse. Les fournisseurs de modèles facturent par jeton et limitent les jetons par minute.
- Croissance du stockage : nouveaux enregistrements par mois × octets par enregistrement. Le stockage coûte de l’argent, et les sauvegardes et restaurations prennent plus de temps quand les données augmentent.
La règle de simultanéité porte un nom : la loi de Little, d’après John Little, qui l’a démontrée en 1961. Le cours sur la mise à l’échelle l’utilisait pour prédire le débit à partir d’un test de charge. Ici, vous l’utilisez dans l’autre sens : des arrivées prévues à la capacité nécessaire à la conception.
Description textuelle du diagramme
Le diagramme commence par la demande de base, soit 1 465 questions par jour pour les deux boutiques. Multiplié par 30 jours, cela donne le volume, soit 43 950 questions par mois. Une flèche relie le volume aux jetons : 946,5 en entrée et 152,75 en sortie par réponse donnent 41,6 millions en entrée et 6,7 millions en sortie par mois. Une autre flèche mène à la croissance du stockage : 372 octets par réponse donnent 16,4 Mo par mois. Un chemin distinct relie la demande à la minute la plus chargée, soit 0,268 question par seconde. Multiplié par 2,18 secondes dans le système, cela donne la simultanéité : 0,58 réponse en cours. Des cadres épais indiquent les quatre résultats.
Chaque flèche multiplie par un nombre, et chaque nombre appartient à l’une des trois catégories. Les 30 jours et les 1 465 questions sont des hypothèses. Les 2,18 s, les jetons et les 372 octets sont mesurés. Aucun prix ne figure encore : les prix viennent dans la prochaine leçon.
Un petit exemple : les réponses en cours
Section intitulée « Un petit exemple : les réponses en cours »Voici la loi de Little pour l’assistant, avec chaque valeur visible.
Taux d’arrivée. Le module 1 a calculé la minute la plus chargée du scénario de base. L’heure la plus chargée compte 1 465 × 0,123 = 180 questions. La minute la plus chargée compte 180 ÷ 3 600 × 5,35 = 0,268 question par seconde.
Temps dans le système. Une réponse passe par trois étapes mesurées, les mêmes que le flux de requêtes du module 2 :
| Étape | Durée médiane | Catégorie |
|---|---|---|
| Créer le plongement de la question (embed-small) | 0,34 s | mesurée, appels de l’équipe du cours |
| Chercher et reclasser 20 passages | 0,32 s | mesurée, cours sur le RAG, sur le processeur d’un portable |
| Rédiger la réponse (chat-small) | 1,52 s | mesurée, appels de l’équipe du cours |
| Temps dans le système | 2,18 s | somme des trois médianes |
En cours. 0,268 par seconde × 2,18 s = 0,58 réponse en même temps.
Description textuelle du diagramme
À gauche, les questions arrivent à raison de 0,268 par seconde, à la minute la plus chargée du scénario de base. Au milieu, chaque question passe 2,18 secondes dans le système. Créer son plongement prend 0,34 s, chercher et reclasser prend 0,32 s, et rédiger la réponse prend 1,52 s. À droite se trouve le produit : 0,58 réponse en cours en même temps.
Moins d’une réponse est en cours au moment le plus chargé. La plupart du temps, l’API attend la prochaine question. Comparez les trois estimations du problème : 1 465 pour Tomás, 0,037 pour Omar et 0,58 en réalité. Tomás est environ 2 500 fois trop haut; Omar est 16 fois trop bas.
Les 2,18 s ont deux limites qu’il faut reconnaître. D’abord, ce nombre additionne trois médianes d’exécutions distinctes; personne n’a mesuré une réponse complète de bout en bout. Ensuite, le temps de recherche vient d’un portable, pas d’un serveur infonuagique. Les deux suffisent pour un premier dimensionnement. La cible de latence Q1, mesurée en production, les remplace plus tard.
La charge de travail de Larkfield, étape par étape
Section intitulée « La charge de travail de Larkfield, étape par étape »Les trois autres nombres suivent le même principe. Kwame écrit chacun avec ses entrées, pour qu’Omar puisse le vérifier :
- Volume. 1 465 questions par jour × 30 jours = 43 950 questions par mois.
- Jetons. Chaque réponse de chat-small lit 946,5 jetons (la question et cinq passages) et écrit 152,75 jetons, deux moyennes mesurées. Donc 43 950 × 946,5 = 41,6 millions de jetons d’entrée et 43 950 × 152,75 = 6,7 millions de jetons de sortie par mois. Chaque question reçoit aussi un plongement : 43 950 × 15,51 jetons = 0,68 million de jetons de plongement. Le calculateur montre 0,69 million, car il crée aussi les plongements des documents modifiés.
- Stockage actuel. Chaque réponse sauvegardée, avec sa question, prend 372 octets (mesurés; une vraie ligne ajoute quelques identifiants). Un mois de réponses : 43 950 × 372 octets = 16,3 Mo. Les segments et vecteurs des documents prennent environ 2,0 Mo. Cela correspond à 14 016 mots × 28,37 segments par 1 000 mots × 4 800 octets par vecteur, plus le texte des segments.
- Croissance du stockage. Chaque mois ajoute à nouveau les réponses, plus 11 documents modifiés d’environ 1 515 octets chacun : +16,4 Mo par mois.
Deux choses ressortent. Ce sont les réponses, pas les documents, qui remplissent la base de données. Et l’ensemble reste petit : après un an, quelques centaines de mégaoctets, environ 1 % de la plus petite taille de base de données, 32 Go.
Exercice guidé : ajouter le calcul de la charge de travail à votre dossier
Section intitulée « Exercice guidé : ajouter le calcul de la charge de travail à votre dossier »Vous ajoutez le code de charge de travail du calculateur et le fichier de conception, l’exécutez et vérifiez ses nombres à la main.
-
Dans le terminal, dans votre dossier
design-pack, avec l’environnement actif, copiez deux fichiers de code et deux fichiers de tests depuis l’instantanéend-of-m03:Fenêtre de terminal S=../nextia-learning-labs/C26/snapshots/end-of-m03cp "$S/costmodel/design.py" "$S/costmodel/workload.py" costmodel/cp "$S/tests/helpers.py" "$S/tests/test_workload.py" tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C26\snapshots\end-of-m03"Copy-Item "$S\costmodel\design.py", "$S\costmodel\workload.py" costmodel\Copy-Item "$S\tests\helpers.py", "$S\tests\test_workload.py" tests\design.pylit le fichier de conception.workload.pyeffectue les calculs de cette leçon. Les tests vérifient chaque règle. -
Exécutez la commande de charge de travail. Le fichier de conception manque encore, donc la commande s’arrête avec un message clair :
Fenêtre de terminal python -m costmodel workloadInput problem: design.toml is missing (expected at …/design-pack/design.toml) -
Copiez le fichier de conception. Si vous avez ouvert un nouveau terminal, définissez de nouveau
Scomme à l’étape 1.Fenêtre de terminal cp "$S/design.toml" .Fenêtre de terminal Copy-Item "$S\design.toml" . -
Ouvrez
design.tomlet lisez-le. Les tables du haut contiennent les choix du module 2 : le modèle, la taille de base de données, l’API et le processus. Une réplique de l’API fonctionne toujours; le processus fonctionne seulement quand il y a du travail. La table[assumptions]contient des plages appuyées par des preuves, comme dansdemand.toml. Ses quatre premières lignes :[assumptions]busy_hours_per_day = [8, 12, 18]log_kb_per_question = [1, 4, 10]retry_share = [0.0, 0.02, 0.05]cache_hit_share = [0.0, 0.0, 0.0]cache_hit_sharevaut 0 dans les trois scénarios. Le flux de requêtes du module 2 comprend un cache de réponses, mais personne ne connaît encore la fréquence des questions répétées. Le module 4 mesure ce qu’un accès au cache économise. D’ici là, le dossier suppose aucun accès réussi au cache. -
Exécutez de nouveau la commande de charge de travail :
Fenêtre de terminal python -m costmodel workloadWorkload, scenario base, month 0 (2 tenants)questions per month 43,950busiest hour 180.2 questionsbusiest minute 0.268 questions per secondtime in the system 2.18 s (embed the question + search + answer, medians)in flight at the peak 0.58 = 0.268/s x 2.18 schat calls, busiest min. 16.1 (provider quota: 100 per minute)documents 61 (11 changed per month)tokens per month chat-small 41.60M in / 6.72M out, embed-small 0.69M in / 0.00M outstorage now files 0.3 MB, chunks and vectors 2.0 MB, answers and logs in the database 16.3 MBstorage growth 16.4 MB per monthingestion worker 25 s busy per monthTrouvez les quatre nombres du petit exemple : 43 950 questions, 0,58 en cours, 41,60 millions et 6,72 millions de jetons, et 16,4 Mo par mois. La sortie est de 6,72 millions de jetons, pas 6,71 millions, car les 11 résumés de documents écrivent aussi environ 2 000 jetons.
-
Exécutez les tests :
Fenêtre de terminal python -m pytest -q...................... [100%]22 passed in 0.03sSix nouveaux tests réussissent. L’un d’eux,
test_concurrency_is_arrival_rate_times_time_in_the_system, est la loi de Little écrite en code.
Vérifiez vous-même une autre ligne : le processus d’ingestion. Il y a 11 modifications de documents par mois. Chacune prend 0,39 s pour créer le plongement et 1,89 s pour résumer, deux médianes mesurées. Donc 11 × (0,39 + 1,89) = 25 secondes de travail par mois. Le processus reste inactif le reste du mois, ce qui explique sa réduction à zéro dans le module 2.
Vérifier la limite du fournisseur
Section intitulée « Vérifier la limite du fournisseur »La ligne chat calls, busiest min. (appels de clavardage, minute la plus chargée) compare la conception à la première limite qu’elle peut atteindre. Chaque question exige un appel de clavardage. À la minute la plus chargée : 0,268 par seconde × 60 = 16,1 appels de clavardage. Le quota du fournisseur pour chat-small est de 100 appels par minute et 100 000 jetons par minute. Le cours sur la mise à l’échelle a lu les deux dans les en-têtes de limitation du fournisseur, pour le compte de l’équipe du cours. Le quota de votre compte peut être différent.
Les appels ne sont pas la seule limite. Chaque appel utilise aussi des jetons : 946,5 en entrée + 152,75 en sortie = 1 099 jetons. À la minute la plus chargée : 16,1 × 1 099 = environ 17 700 jetons, soit 18 % du quota de jetons. Le scénario de base utilise donc de 16 % à 18 % des deux quotas.
Demandez maintenant le scénario haut, aujourd’hui et dans un an :
python -m costmodel workload --scenario highpython -m costmodel workload --scenario high --month 12Workload, scenario high, month 0 (2 tenants) questions per month 167,400 busiest hour 1,116.0 questions busiest minute 2.480 questions per second time in the system 2.18 s (embed the question + search + answer, medians) in flight at the peak 5.41 = 2.480/s x 2.18 s chat calls, busiest min. 148.8 (provider quota: 100 per minute) …Workload, scenario high, month 12 (4 tenants) questions per month 416,220 busiest hour 2,774.8 questions busiest minute 6.166 questions per second time in the system 2.18 s (embed the question + search + answer, medians) in flight at the peak 13.45 = 6.166/s x 2.18 s chat calls, busiest min. 370.0 (provider quota: 100 per minute) …Le … indique les lignes omises ici; votre terminal les affiche. Le graphique place les appels de clavardage de tous les scénarios à côté du quota :
- Bas
- Base
- Haut
- Quota
Description textuelle du graphique
Un graphique à six colonnes. Maintenant : scénario bas, 2,0; de base, 16,1; haut, 148,8 appels de clavardage à la minute la plus chargée. Au mois 12 : scénario de base, 25,3; haut, 370,0. La dernière colonne, grise, est le quota du fournisseur : 100 appels par minute. Le scénario haut atteint environ une fois et demie le quota maintenant, et presque quatre fois au mois 12. Le scénario de base reste à environ un quart du quota ou moins.
C’est la réponse honnête à la demande de Tomás : « concevoir pour un million d’utilisateurs ». Dans le scénario haut, de 5 à 13 réponses sont en cours, et une petite réplique de l’API attend surtout le fournisseur. Les serveurs ne sont pas le problème. Le quota du fournisseur est la première limite, et le scénario haut le dépasse dès le mois 0. Kwame l’inscrit dans la proposition comme un risque avec une action : demander un quota plus élevé avant un lancement en page d’accueil. Le module 5 en fait un signal de croissance.
Quand utiliser le calcul de la charge de travail
Section intitulée « Quand utiliser le calcul de la charge de travail »Utilisez-le avant tout calcul de coût ou dimensionnement, puis chaque fois que la demande ou une durée mesurée change. Il prend quelques minutes et montre quelle limite arrive en premier.
Ne l’utilisez pas comme une promesse. Il donne des moyennes sur la minute la plus chargée, pas ce qui se passe à l’intérieur de cette minute. Des pointes de quelques secondes, des appels lents au fournisseur et des tentatives répétées peuvent augmenter le nombre réel de réponses en cours. Les durées p95 donnent une deuxième estimation prudente : 0,268 × (0,48 + 0,32 + 3,79) = environ 1,2 en cours. Un test de charge, comme dans le cours sur la mise à l’échelle, remplace l’estimation quand le système existe.
Le coût est faible : une page de multiplications que tout le monde peut vérifier. Le risque est une mauvaise entrée, comme une durée en millisecondes lue comme des secondes. Le résultat est alors beaucoup trop grand, comme le montre la prochaine section.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Taux et durées dans des unités différentes
Symptôme : la loi de Little donne un nombre beaucoup trop grand. Par exemple, 16,1 questions × 2,18 = 35,1 réponses en cours, soixante fois plus que les 0,58 du calculateur.
Cause : 16,1 est par minute, mais 2,18 est en secondes. Les unités ne s’annulent pas, donc le résultat n’est pas un nombre de réponses. La même erreur arrive avec les millisecondes : 0,268 × 2 180 ms = 584.
Correction : écrivez l’unité à côté de chaque nombre et convertissez d’abord. 16,1 par minute ÷ 60 = 0,268 par seconde; 0,268 par seconde × 2,18 secondes = 0,58. Les secondes s’annulent, et le résultat est un nombre.
Erreur courante
Une proportion écrite en pourcentage dans design.toml
Symptôme : vous écrivez retry_share = [0, 2, 5], pour dire 2 % et 5 %. Le calculateur s’arrête :
Input problem: design.toml: cache_hit_share and retry_share are shares below 1Cause : une proportion de 2 signifierait que le dossier envoie chaque appel au modèle deux fois de plus. Le calculateur refuse une proportion de 1 ou plus.
Correction : écrivez des proportions : [0.0, 0.02, 0.05]. Si la preuve d’une hypothèse ne commence pas par verified: (vérifié) ou assumed: (supposé), le calculateur s’arrête de la même façon et indique la ligne.
Réinitialisation. Si votre dossier ne fonctionne plus, copiez l’instantané end-of-m03 comme l’indique le README des instantanés. Il contient tout le contenu de ce module.
À vous de jouer : encore la page d’accueil
Section intitulée « À vous de jouer : encore la page d’accueil »La question laissée ouverte par Omar au module 1 revient. Si l’assistant apparaît sur la page d’accueil de Larkfield, il prévoit 1 600 clients posant des questions par jour dans le scénario de base, plutôt que 800. Au module 1, vous avez calculé la nouvelle demande : 2 665 questions par jour pour les deux boutiques.
Avant de lancer quoi que ce soit, prédisez trois nombres : les questions par mois, les réponses en cours à la minute la plus chargée et les appels de clavardage durant cette minute. Ensuite, dans demand.toml, changez la valeur de base de customers_per_day de Larkfield à 1600. Exécutez python -m costmodel workload, puis remettez la valeur initiale.
Afficher la réponse
- Volume : 2 665 × 30 = 79 950 questions par mois.
- Minute la plus chargée : 2 665 × 0,123 ÷ 3 600 × 5,35 = 0,487 par seconde. Réponses en cours : 0,487 × 2,18 = 1,06.
- Appels de clavardage : 0,487 × 60 = 29,2 durant la minute la plus chargée, soit moins du tiers du quota.
Workload, scenario base, month 0 (2 tenants) questions per month 79,950 busiest hour 327.8 questions busiest minute 0.487 questions per second time in the system 2.18 s (embed the question + search + answer, medians) in flight at the peak 1.06 = 0.487/s x 2.18 s chat calls, busiest min. 29.2 (provider quota: 100 per minute) documents 61 (11 changed per month) tokens per month chat-small 75.68M in / 12.21M out, embed-small 1.24M in / 0.00M out storage now files 0.3 MB, chunks and vectors 2.0 MB, answers and logs in the database 29.7 MB storage growth 29.8 MB per month ingestion worker 25 s busy per monthChaque nombre qui dépend des questions augmente de 82 %, comme la demande. Les documents et le processus ne changent pas : la page d’accueil apporte des questions, pas des documents. Malgré cela, environ une réponse est en cours à la minute la plus chargée. Le quota reste loin d’être atteint dans le scénario de base. Remettez la valeur à 800.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Faites une prédiction avec la loi de Little : à la minute la plus chargée, les questions arrivent à un rythme de 0,5 par seconde. Chaque réponse passe 3 secondes dans le système. Combien de réponses sont en cours? Ensuite, dites lequel des deux nombres un modèle plus performant, mais plus lent, changerait, et dans quel sens.
Afficher la réponse
0,5 par seconde × 3 s = 1,5 réponse en cours. Un modèle plus lent change le temps passé dans le système, pas le taux d’arrivée. Les questions arrivent au même rythme, quel que soit le modèle qui y répond. La médiane mesurée de chat-strong est de 2,48 s plutôt que 1,52 s. Le temps passé dans le système passe donc de 2,18 s à environ 3,15 s. Il y a alors plus de réponses en cours en même temps, et chacune garde sa connexion plus longtemps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar lit les résultats du calcul de charge et dit : « Notre base de données augmente de 16,4 Mo par mois. Le stockage est donc notre plus grand risque. » Utilisez les nombres de cette leçon pour appuyer ou contester cette affirmation, et nommez la limite atteinte en premier.
Afficher la réponse
Contestez cette affirmation. Une croissance de 16,4 Mo par mois représente quelques centaines de mégaoctets après un an. C’est environ 1 % de la taille minimale de la base de données, soit 32 Go. Dans le scénario de base, rien n’approche d’une limite. La première limite est le quota du fournisseur. Le scénario élevé exige déjà aujourd’hui 148,8 appels de clavardage à la minute la plus chargée, contre un quota de 100. Le stockage devient important plus tard pour les sauvegardes et les temps de restauration (module 5). Mais ce n’est pas le premier risque.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Calculer la charge de travail transforme la demande en quatre nombres : volume mensuel, nombre de réponses simultanées au moment le plus chargé, jetons (tokens) par mois et croissance du stockage. Chacun résulte d’une multiplication dont les valeurs d’entrée sont visibles.
- Loi de Little : réponses en cours = taux d’arrivée × temps passé dans le système. Scénario de base : 0,268 par seconde × 2,18 s = 0,58. Gardez les mêmes unités.
- Le temps passé dans le système, 2,18 s, est la somme de trois médianes mesurées : création du plongement (embedding), 0,34 s; recherche, 0,32 s; réponse, 1,52 s.
- Scénario de base par mois : 43 950 questions, 41,6 millions de jetons d’entrée et 6,7 millions de jetons de sortie, et +16,4 Mo de stockage.
- La première limite est le quota du fournisseur de 100 appels de clavardage par minute. Le scénario de base en utilise environ 16 %, le scénario élevé 149 % aujourd’hui et 370 % au mois 12.
python -m pytest -qaffiche22 passed(22 tests réussis).
Ensuite, vous transformez ce travail en argent : le coût mensuel de la conception, ligne par ligne.
Leçon suivante : Modèle de coûts