Aller au contenu
English

Construire ou acheter

  • Leçon 13
  • 55 min
  • Module 4 : Optimiser avec des compromis mesurés

Où nous en sommes

Dans les deux leçons précédentes, nous avons testé le modèle et le cache, chacun avec une mesure. Il reste une question : devons-nous exploiter une partie nous-mêmes, ou payer un fournisseur pour le faire? L'heure d'une machine peut coûter moins cher sans que le total soit plus bas. Dans cette leçon, nous présentons tous les coûts, y compris le temps des personnes, comme du pain du magasin comparé à du pain de votre four.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Décidez si vous voulez exploiter une partie vous-même ou payer un fournisseur pour le faire. Présentez tous les coûts : la machine à son prix courant et le temps de travail selon une hypothèse explicite. Vous comparez une base de données gérée à un serveur que vous exploitez. Vous comparez aussi un modèle hébergé à un modèle sur votre propre GPU. Vous terminez ensuite le module par une comparaison équitable de trois conceptions.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 55 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre dossier design-pack de la dernière leçon, où python -m pytest -q affiche 35 passed (35 tests réussis).

Aucun modèle local ne s’exécute dans cette leçon. Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais non testées.

Vous pouvez acheter un pain pour 4 dollars ou en faire un à la maison. La farine, la levure et l’électricité coûtent environ 1 dollar. Le pain maison coûte donc 75 % moins cher, si vous comptez seulement les ingrédients.

Mais un pain prend environ trois heures, dont une heure de travail : mélanger, façonner et nettoyer. Si votre heure vaut 20 dollars, le pain maison coûte 21 dollars. Et si le four tombe en panne, vous le réparez. Faire du pain maison est rentable quand vous faites plusieurs pains à la fois, quand vous aimez ça ou quand aucun magasin ne vend le pain voulu. Pour un pain par semaine, le magasin l’emporte.

Chaque question construire ou acheter suit cette logique. « Construire » signifie que vous exploitez la partie vous-même sur des machines louées. « Acheter » signifie qu’un fournisseur l’exploite et vous vend le résultat. La liste de prix présente les ingrédients. Votre temps ne figure sur aucune liste de prix.

Tomás a deux propositions, chacune avec un vrai prix courant.

« Une machine virtuelle Linux B2s coûte 0,0464 $ US par heure. PostgreSQL géré de même taille, B2s, coûte 0,074 $ US par heure. La machine virtuelle coûte 37 % moins cher. Exploitons PostgreSQL nous-mêmes. »

« Et le modèle : une machine GPU avec un NVIDIA T4 coûte 0,584 $ US par heure. Ensuite, les réponses sont gratuites. Aucune facture de jetons, jamais. »

Les deux affirmations sont vraies, et les deux mènent à une facture plus élevée. La première oublie le disque et le travail que le service géré fait pour vous. La seconde oublie que « gratuit par réponse » exige une machine en marche tout le mois, et des gens pour l’exploiter. Pour le constater, la comparaison doit inclure chaque élément du coût.

Le coût total d’exploitation d’une option comprend ses machines aux prix courants et le temps nécessaire pour les exploiter. Le temps de travail est une hypothèse : heures par mois × coût par heure. Personne ne peut mesurer les heures d’Amira avant que le système existe. Le dossier les présente donc sous forme de plage, avec une justification pour chaque valeur. Vous fixez votre propre taux.

Un service géré exige aussi du travail. Quelqu’un doit encore lire les alertes et tester une restauration. Mais le fournisseur s’occupe du reste : système d’exploitation, mises à jour, sauvegardes et restauration à un instant donné.

Deux cases côte à côte. PostgreSQL géré, vous achetez : le fournisseur exploite le serveur, le système d'exploitation, les mises à jour, les sauvegardes et la restauration à un instant donné; Mei lit les alertes et teste une restauration chaque trimestre, environ 1 heure par mois (hypothèse). PostgreSQL sur votre propre machine virtuelle, vous construisez : le fournisseur fournit la machine et le disque; Mei et Amira gèrent le système d'exploitation, les mises à jour de PostgreSQL, les sauvegardes, la surveillance et les tests de restauration, environ 6 heures par mois (hypothèse).
Qui fait quoi. Acheter une base de données gérée confie la majeure partie du travail d'exploitation au fournisseur; construire le confie à votre équipe. Les heures sont les hypothèses du dossier.
Description textuelle du diagramme

À gauche, PostgreSQL géré. Le fournisseur exploite le serveur, son système d’exploitation, les mises à jour, les sauvegardes et la restauration à un instant donné. Mei lit les alertes et teste une restauration chaque trimestre : environ 1 heure par mois, selon une hypothèse. À droite, PostgreSQL sur une machine virtuelle que l’équipe exploite. Le fournisseur fournit seulement la machine et le disque. Mei et Amira gèrent le système d’exploitation, les mises à jour de PostgreSQL, les sauvegardes, la surveillance et les tests de restauration : environ 6 heures par mois, selon une hypothèse.

Une seconde idée aide pour le modèle : le seuil de rentabilité. C’est le volume où deux options coûtent la même chose. Un modèle hébergé coûte par jeton : zéro sans question, puis davantage à chaque question. Votre propre GPU coûte la même chose chaque mois, occupé ou non. Sous le seuil de rentabilité, le modèle hébergé coûte moins cher; au-dessus, votre propre GPU coûte moins cher. Mais seulement si un GPU peut accomplir autant de travail.

Voici la comparaison des bases de données, avec toutes les valeurs visibles. Les prix sont les prix courants pour Canada Central. Les heures et le taux (60 $ US par heure) sont les hypothèses de base du dossier. Larkfield paie son personnel en dollars canadiens; le dossier convertit le taux en dollars américains, comme les prix du nuage.

Acheter : PostgreSQL géré, B1ms (1 vCore, 2 GiB, le choix de la conception depuis le module 3)

  • Machine : 0,0185 × 730 heures = 13,50, plus 32 GB de stockage × 0,1265 = 4,05. Total 17,55 $ US.
  • Travail humain : 1 heure × 60 = 60,00 $ US.
  • Total : 77,55 $ US par mois.

Construire : PostgreSQL sur une machine virtuelle, B2s (2 vCPU, 4 GiB, avec un disque premium P10 de 128 GiB)

  • Machine : 0,0464 × 730 = 33,87, plus le disque à 19,71. Total 53,58 $ US.
  • Travail humain : 6 heures × 60 = 360,00 $ US.
  • Total : 413,58 $ US par mois.

L’heure de la machine virtuelle coûte moins cher, mais le serveur géré est plus petit. Le disque seul coûte plus cher que le stockage géré. Même à taille égale, un B2s géré coûte 0,074 × 730 + 4,05 = 58,07 $ US. C’est proche des 53,58 $ US de la machine virtuelle. La différence importante est le travail humain : cinq heures de plus par mois, soit 300 $ US.

Exercice guidé : construire ou acheter dans le dossier

Section intitulée « Exercice guidé : construire ou acheter dans le dossier »
  1. Dans votre dossier design-pack, avec l’environnement actif, copiez le dernier fichier de code du module et les tests du module.

    Fenêtre de terminal
    S=../nextia-learning-labs/C26/snapshots/end-of-m04
    cp "$S/costmodel/buildbuy.py" costmodel/
    cp "$S/tests/test_options.py" tests/

    Ouvrez la section [labour] (travail humain) à la fin de design.toml. Chaque valeur est une plage (basse, de base, haute). Chacune a une justification dans [labour.evidence] qui commence par assumed: (hypothèse).

  2. Comparez les options du scénario de base :

    Fenêtre de terminal
    python -m costmodel buildbuy
    Build versus buy (base; machine = list prices, people = your labour assumptions)
    option machine people total US$ per month
    managed PostgreSQL (B1ms) 17.55 60.00 77.55
    PostgreSQL on your own VM (B2s) 53.58 360.00 413.58
    hosted model (chat-small, tokens) 7.52 0.00 7.52
    own model on a T4 GPU VM 426.32 600.00 1,026.32
    The own model pays for itself above 6,000,994 questions a month (now: 43,950); one GPU writes at most about 509,067 answers a month at the ASSUMED speed, and its quality is not measured.

    Les deux premières lignes reprennent le petit exemple. La ligne du modèle hébergé représente les jetons de réponse des 43 950 questions; elle ne soustrait pas les accès au cache.

  3. Examinez le scénario haut. Le scénario haut du dossier utilise aussi les valeurs hautes du travail humain. Cela signifie plus d’heures, un taux de 100 $ US et un GPU plus rapide, à 60 jetons par seconde.

    Fenêtre de terminal
    python -m costmodel buildbuy --scenario high
    Build versus buy (high; machine = list prices, people = your labour assumptions)
    option machine people total US$ per month
    managed PostgreSQL (B1ms) 17.55 200.00 217.55
    PostgreSQL on your own VM (B2s) 53.58 1,200.00 1,253.58
    hosted model (chat-small, tokens) 28.63 0.00 28.63
    own model on a T4 GPU VM 426.32 2,000.00 2,426.32
    The own model pays for itself above 14,186,932 questions a month (now: 167,400); one GPU writes at most about 1,018,134 answers a month at the ASSUMED speed, and its quality is not measured.
  4. Utilisez votre propre taux. Dans design.toml, remplacez le taux par une plage autour du coût réel d’une heure pour votre équipe, par exemple :

    rate_per_hour = [20, 30, 50]

    Exécutez de nouveau python -m costmodel buildbuy :

    Build versus buy (base; machine = list prices, people = your labour assumptions)
    option machine people total US$ per month
    managed PostgreSQL (B1ms) 17.55 30.00 47.55
    PostgreSQL on your own VM (B2s) 53.58 180.00 233.58
    hosted model (chat-small, tokens) 7.52 0.00 7.52
    own model on a T4 GPU VM 426.32 300.00 726.32
    The own model pays for itself above 4,246,864 questions a month (now: 43,950); one GPU writes at most about 509,067 answers a month at the ASSUMED speed, and its quality is not measured.

    Diviser le taux par deux divise la colonne du travail humain par deux, sans changer l’ordre des options. Remettez la ligne à [40, 60, 100].

  5. Exécutez les tests et la vérification du style :

    Fenêtre de terminal
    python -m pytest -q
    ruff check .
    .......................................... [100%]
    42 passed in 0.07s
    All checks passed!

    Votre dossier correspond maintenant à l’instantané end-of-m04. Un des nouveaux tests s’appelle test_the_cheapest_machine_is_not_the_cheapest_total : il vérifie que le temps de travail constitue la plus grande part du coût de votre propre base de données.

Les quatre totaux du scénario de base, côte à côte :

Coût total d'exploitation du scénario de base : acheter ou construire la base de données (PostgreSQL géré ou votre machine virtuelle) et le modèle (jetons hébergés ou votre GPU T4). Prix courants plus temps de travail à un taux supposé de 60 $ US par heure. Construire coûte plus cher dans les deux comparaisons, surtout en travail humain.
Description textuelle du graphique

Un graphique à quatre colonnes. PostgreSQL géré coûte 77,55 $ US par mois, machine et travail humain compris. PostgreSQL sur votre propre machine virtuelle coûte 413,58 $ US. Les jetons du modèle hébergé coûtent 7,52 $ US. Votre modèle sur une machine GPU T4 coûte 1 026,32 $ US. Dans chaque paire, la colonne « construire » est beaucoup plus haute.

La base de données. Acheter coûte 77,55 $ US par mois, construire 413,58 $ US. Avec votre propre taux, les chiffres changent, mais l’ordre reste le même. Même avec zéro heure, le coût de la machine virtuelle (53,58 $ US) dépasse celui du serveur géré (17,55 $ US), pour ces tailles. Kwame garde la base de données gérée. Il écrit la raison avec son hypothèse : « environ 5 heures de plus par mois de notre temps, et une restauration à construire nous-mêmes ».

Le modèle. Le modèle hébergé coûte 7,52 $ US par mois en jetons. Une machine T4 coûte 426,32 $ US par mois avant tout travail humain. Son vrai coût par réponse passe facilement inaperçu. À la vitesse supposée de 30 jetons par seconde, un GPU qui écrit tout le mois fournit environ 509 000 réponses. Cela donne 426,32 ÷ 509 067 = 0,00084 $ US par réponse pour la machine seule. C’est cinq fois les 0,000171 $ US de chat-small. Même à 60 jetons par seconde, le coût serait de 0,00042 $ US, plus du double du prix hébergé.

Le seuil de rentabilité mérite un graphique, car les volumes couvrent trois puissances de dix :

  • Acheter le modèle
  • Votre modèle, un GPU
  • Votre modèle, assez de GPU
Coût mensuel des réponses pour des volumes de 10 000 à 15,8 millions de questions, avec deux axes logarithmiques. Sur papier, un GPU atteint le seuil de rentabilité à environ 6,0 millions de questions. Mais un GPU produit seulement environ 509 000 réponses par mois à la vitesse supposée. Avec assez de GPU, votre modèle reste plus cher que le modèle hébergé.
Description textuelle du graphique

Un graphique en courbes avec deux axes logarithmiques. L’axe horizontal montre les questions par mois, de 10 000 à environ 15,8 millions; le scénario de base actuel est de 43 950. La courbe du modèle hébergé monte régulièrement : 1,71 $ US à 10 000 questions, 171 $ US à 1 million, environ 2 711 $ US à 15,8 millions. La ligne pointillée d’un GPU T4 reste à 1 026,32 $ US et croise la courbe hébergée à environ 6,0 millions de questions. Mais un GPU produit au plus environ 509 000 réponses par mois. Une troisième courbe ajoute donc un GPU par tranche de 509 000 questions : 1 026,32 $ US jusqu’à 509 000, 1 452,64 $ US à 1 million et 6 142,16 $ US à 6,3 millions. Cette troisième courbe reste au-dessus de la courbe hébergée à tous les volumes.

La ligne pointillée montre la réponse sur papier : votre modèle « devient rentable au-delà de 6,0 millions de questions par mois ». La conception en compte 43 950, environ 137 fois moins. Et la réponse sur papier est inaccessible : à 6 millions de questions, il faut 12 GPU, pas un. Avec assez de GPU, votre modèle coûte plus cher que le modèle hébergé à chaque volume du graphique. Cela tient à la vitesse et au travail humain supposés. Sa qualité est aussi inconnue : le cours a mesuré seulement chat-small et chat-strong.

L’autohébergement n’est donc pas une question de prix à cette taille. D’autres raisons peuvent justifier une mesure : des données qui doivent rester dans votre réseau ou un modèle qu’aucun fournisseur ne vend.

Achetez une partie qui ne distingue pas votre produit, lorsqu’un fournisseur l’exploite bien à votre taille. Ici, il s’agit de la base de données et du modèle. Le prix géré comprend du travail que vous devriez autrement faire, et pourriez oublier, comme des sauvegardes testées.

Construisez une partie quand le fournisseur ne peut pas répondre à un besoin, ou quand cette partie est le produit lui-même. Un volume élevé et stable peut aussi le justifier, s’il garde vos machines occupées. Mesurez alors d’abord votre propre débit; ne prenez pas une vitesse dans un blogue.

La comparaison elle-même coûte peu : un tableau et une heure d’hypothèses honnêtes. Écrivez les heures de travail et le taux à côté du résultat pour qu’Omar puisse les modifier. Écrivez aussi un déclencheur pour réexaminer la décision. Pour le modèle, c’est un volume proche du seuil de rentabilité. Pour la base de données, c’est un besoin auquel le service géré ne peut pas répondre.

Erreur courante

Une plage dans le mauvais ordre

Symptôme : vous fixez le taux à [40, 30, 100], et python -m costmodel buildbuy affiche :

Input problem: 'rate_per_hour': low <= base <= high is not true for [40, 30, 100]

Cause : chaque plage du dossier suit l’ordre bas, de base, haut. Ici, la valeur de base (30) est inférieure à la valeur basse (40).

Correction : écrivez les trois valeurs dans l’ordre, par exemple [20, 30, 50]. Cette vérification empêche une faute de frappe de transformer le scénario bas en scénario coûteux.

Erreur courante

L'heure moins chère qui coûte plus

Symptôme : la proposition déplace la base de données vers une machine virtuelle pour économiser 37 % par heure. Après trois mois, l’équipe a consacré 18 heures aux mises à jour et à une sauvegarde échouée.

Cause : la comparaison comptait seulement le prix horaire de la machine. Elle omettait le disque (19,71 $ US par mois) et le temps de travail.

Correction : comparez les coûts totaux d’exploitation : machine plus travail humain, chacun avec sa source. Inscrivez les heures dans le fichier de conception comme une hypothèse avec une plage, comme le fait [labour].

Réinitialisation. Si votre dossier ne fonctionne plus, copiez l’instantané end-of-m04 comme l’explique le README des instantanés.

Exercice du module : comparer équitablement trois conceptions

Section intitulée « Exercice du module : comparer équitablement trois conceptions »

Ce module a comparé les options une à la fois. Une proposition compare des conceptions complètes, avec la même charge de travail et les mêmes cibles. La règle d’une comparaison équitable : une charge de travail, une vérification de qualité, une liste de prix et le temps de travail pour chaque option.

Un exemple détaillé : trois conceptions, scénario de base. Les cibles sont Q4, au moins 85 % de réponses correctes, et Q1, un p95 d’au plus 6 s pour la réponse complète. Q8 limite la facture du nuage à 150 $ US par mois. Le coût d’exploitation ajoute le travail humain pour la base de données.

  • A, la conception de fin de cours : chat-small, 10 % d’accès au cache, PostgreSQL géré. Facture du nuage de 51,90 $ US (costs). Travail humain de 60,00. Coût d’exploitation 51,90 + 60,00 = 111,90 $ US.
  • B, avec routage : la même avec model = "routed". Facture du nuage de 77,89 $ US (options). Travail humain de 60,00. Coût d’exploitation 137,89 $ US.
  • C, votre base de données : conception A avec PostgreSQL sur une machine virtuelle. Facture du nuage 51,90 − 17,55 + 53,58 = 87,93 $ US : retirez le serveur et le stockage gérés, ajoutez la machine virtuelle et le disque. Travail humain de 360,00. Coût d’exploitation 447,93 $ US.
Conception Q4 réponses correctes Q1 estimation du p95 Q8 facture du nuage Coût d’exploitation
A : chat-small, BD gérée 86,6 % : respectée 4,59 s : respectée 51,90 $ US : respectée 111,90 $ US
B : avec routage, BD gérée 86,6 % : respectée 4,82 s : respectée 77,89 $ US : respectée 137,89 $ US
C : chat-small, votre BD 86,6 % : respectée 4,59 s : respectée 87,93 $ US : respectée 447,93 $ US

Les trois respectent toutes les cibles. Le coût détermine donc le choix : A. Notez ce que le tableau ne montre pas. La conception C exige aussi un plan de sauvegarde et de restauration que l’équipe construit. Objectifs de reprise, dans le module 5, planifie la restauration.

Votre tâche. Faites la même comparaison pour le scénario haut, au mois 0, avec les hypothèses hautes du dossier. Utilisez python -m costmodel options --scenario high et python -m costmodel buildbuy --scenario high. Pour la conception C, retirez la ligne de la machine de la base de données gérée et ajoutez celle de la machine virtuelle, comme ci-dessus. Dites quelles conceptions respectent chaque cible et laquelle vous recommandez.

Afficher une solution détaillée

Les commandes donnent les factures du nuage et le travail humain :

Model routing: the same 67 questions, the same search results (measured), high workload (cost model)
design correct US$/question p50 s p95 s US$/month
chat-small only 86.6% 0.000171 1.52 3.79 75.81
chat-strong only 85.8% 0.003197 2.48 6.56 448.12
routed (small first) 86.6% 0.000815 1.76 4.02 155.07
Cheapest design with the best measured quality: chat-small only

D’après buildbuy --scenario high : travail humain de 200,00 $ US pour la base de données gérée et de 1 200,00 $ US pour votre base de données; machines à 17,55 et 53,58.

Conception Q4 Q1 Q8 facture du nuage Coût d’exploitation
A : chat-small, BD gérée 86,6 % : respectée 4,59 s : respectée 75,81 $ US : respectée 75,81 + 200,00 = 275,81 $ US
B : avec routage, BD gérée 86,6 % : respectée 4,82 s : respectée 155,07 $ US : non respectée 155,07 + 200,00 = 355,07 $ US
C : chat-small, votre BD 86,6 % : respectée 4,59 s : respectée 75,81 − 17,55 + 53,58 = 111,84 $ US : respectée 111,84 + 1 200,00 = 1 311,84 $ US

La conception B dépasse maintenant le budget. Dans le scénario haut, la part des jetons du modèle fort pousse la facture du nuage au-delà de 150 $ US. La conception C reste dans le budget, car Q8 compte seulement la facture du nuage. Mais son coût d’exploitation est presque cinq fois celui de A. La recommandation reste A.

Un autre chiffre doit figurer dans la réponse. Dans le scénario haut, la minute la plus occupée de la conception A exige 104,2 appels de clavardage, pour un quota de 100 (workload --scenario high). La conception B ajouterait des appels à chat-strong. Aucune conception de ce tableau ne résout le problème du quota; Plan de croissance, dans le module 5, le planifie.

Vérifiez votre compréhension

Vérification de fin de module : expliquez, avec deux exemples du module, pourquoi le prix le plus bas par appel ou par heure ne garantit pas le coût d'exploitation total le plus bas.

Afficher la réponse

Un prix par appel ou par heure exclut les coûts fixes et le travail des personnes. D’abord, votre propre modèle sur un GPU T4 n’entraîne aucune facture de jetons. Chaque réponse est donc « gratuite ». Mais la machine coûte 426,32 $ US par mois, même sans questions, et le travail ajoute environ 600 $ US. Cela donne 1 026,32 $ US, contre 7,52 $ US de jetons hébergés pour les mêmes 43 950 questions. Ensuite, une machine virtuelle B2s coûte 0,0464 $ US par heure, soit 37 % de moins qu’un serveur B2s géré. Mais elle nécessite un disque (19,71 $ US) et environ 6 heures de travail par mois. Cela donne 413,58 $ US, contre 77,55 $ US pour la base de données gérée. Le coût d’exploitation total additionne les machines, les coûts fixes et le travail sur un mois, au volume réel.

Vérifiez votre compréhension

Prédisez : vous réduisez le tarif du travail à 0 $ US par heure (l'équipe travaille gratuitement). Votre propre base de données sur une machine virtuelle devient-elle moins chère que la base gérée? Utilisez les lignes des machines.

Afficher la réponse

Non. Sans coût du travail, les totaux correspondent aux lignes des machines. La machine virtuelle B2s avec son disque P10 coûte 53,58 $ US. Le serveur B1ms géré avec 32 Go de stockage coûte 17,55 $ US. L’option gérée reste moins chère pour ces tailles. Une machine virtuelle et un disque plus petits pourraient changer cela. Mais le temps de travail représente la plus grande différence dans toute situation réelle.

Vérifiez votre compréhension

Tomás dit : « Le dossier dit que notre propre modèle devient rentable au-delà de 6,0 millions de questions par mois. Quand on y arrive, on change. » Que manque-t-il à son plan?

Afficher la réponse

Deux choses. D’abord, la capacité. Un GPU T4 produit au plus environ 509 000 réponses par mois à la vitesse supposée de 30 jetons par seconde. Donc, 6 millions de questions nécessitent environ 12 GPU. Le coût dépasse alors largement celui du modèle hébergé. À cette vitesse, la machine seule coûte 0,00084 $ US par réponse, cinq fois le coût des jetons de chat-small. Ensuite, la vitesse et la qualité sont des hypothèses. Personne n’a mesuré un modèle autohébergé sur les questions de Grace. Le plan exige une vitesse mesurée et une évaluation de la qualité avant tout changement.

Récapitulatif

  • Construire ou acheter : comparez le coût d’exploitation total. Il comprend les machines aux prix affichés et le temps de travail, une hypothèse avec une plage ([labour] dans design.toml). Fixez votre propre tarif.
  • Base de données, scénario de base : B1ms géré à 77,55 $ US (17,55 + 60,00), contre PostgreSQL sur une machine virtuelle B2s à 413,58 $ US (53,58 + 360,00). L’heure de la machine virtuelle coûte moins cher; le total, non.
  • Modèle : jetons hébergés à 7,52 $ US, contre un GPU T4 à 1 026,32 $ US (426,32 + 600,00). Sur papier, le seuil de rentabilité se situe à environ 6,0 millions de questions par mois. Un GPU produit seulement environ 509 000 réponses à la vitesse supposée, et personne n’a mesuré sa qualité.
  • Une comparaison équitable des conceptions utilise une même charge de travail, une même vérification de qualité et une même liste de prix. Elle inclut aussi le temps de travail. La conception A de fin de cours, chat-small avec une base de données gérée, respecte Q1, Q4 et Q8 au moindre coût. La conception avec routage ne respecte pas Q8 dans le scénario élevé.
  • python -m pytest -q affiche 42 passed (42 tests réussis). Votre dossier correspond maintenant à l’instantané end-of-m04.

Le module 4 en un paragraphe. Vous avez testé trois façons de modifier les plus gros postes de la facture, chacune avec une mesure. Un modèle plus puissant n’a pas amélioré les 67 réponses de Grace : chat-small 86,6 %, chat-strong 85,8 %. Le routage n’a changé aucun résultat et a augmenté le coût mensuel de 50 %. Les échecs viennent de la recherche, des documents et des requêtes (prompts), pas du modèle. Un cache de réponses coûte presque rien et économise peu d’argent. Avec un taux supposé de réponses trouvées en cache de 10 %, le scénario de base coûte 51,90 $ US. Sa vraie valeur est la marge disponible sous le quota du fournisseur. Le traitement par lots a rendu les plongements (embeddings) 6,4 fois plus rapides au même prix. Enfin, construire votre propre base de données ou modèle coûte plus cher qu’acheter, une fois le temps de travail inclus. La conception de fin de cours utilise chat-small, un cache et des services gérés.

Ensuite, le module 5 examine les défaillances : une panne du fournisseur, une base de données lente, une ingestion partielle. Il fixe des objectifs de reprise et un plan de croissance avec des déclencheurs.

Leçon suivante : Scénarios de défaillance