Modèle de coûts
- Leçon 9
- 60 min
- Module 3 : Estimer les ressources et le coût
Où nous en sommes
Dans la leçon précédente, nous avons transformé la demande en travail : 43 950 questions et 41,6 millions de jetons d'entrée par mois. Mais du travail n'est pas encore de l'argent, et une facture a plusieurs types de lignes. Dans cette leçon, nous calculons le coût mensuel à partir de ses facteurs, la quantité multipliée par le prix courant moins la quantité gratuite, et nous trouvons la ligne dominante. Nous commençons par une facture de téléphone.
Leçon 9 sur 19 · Conception de systèmes d'IA et maîtrise des coûtsModèle de coûts
1. Commencer par les besoins
2. Concevoir l'architecture de bout en bout
3. Estimer les ressources et le coût
4. Optimiser avec des compromis mesurés
5. Concevoir pour les défaillances et la croissance
6. Présenter la proposition
Ce que vous saurez faire
Calculez le coût mensuel de la conception à partir de ses éléments. Multipliez la quantité de chaque facteur par son prix courant, en retirant toute quantité gratuite. Trouvez ensuite le facteur dominant, car c’est là qu’une économie compte.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les chiffres de charge de travail (43 950 questions, 41,6 millions de jetons d’entrée par mois), tirés de Calculer la charge de travail.
- Les trois types de chiffres et la liste de prix
prices.toml, présentés dans Préparer le dossier de conception. - Les huit éléments et leurs responsables, présentés dans Limites des services. Chaque élément ajoute une ou plusieurs lignes à la facture.
Ce qu’il vous faut sur votre ordinateur
- Votre dossier
design-packde la leçon précédente, avecpython -m pytest -qqui affiche22 passed(22 tests réussis).
Testé avec Python 3.12 sur macOS (Apple silicon). Les commandes Windows (PowerShell) et Linux sont fournies, mais non testées.
Une facture de téléphone
Section intitulée « Une facture de téléphone »Regardez une facture de téléphone. Elle contient trois types de lignes.
- Des frais mensuels : 20 dollars, même pendant un mois où vous n’utilisez jamais le téléphone.
- Utilisation × prix : 3 Go de données supplémentaires × 5 dollars par Go = 15 dollars.
- Une quantité incluse : les 10 premiers Go de données sont inclus. Vous payez seulement ce que vous utilisez au-delà.
Pour vérifier la facture, vous n’avez pas besoin de connaître le fonctionnement interne de la compagnie de téléphone. Il vous faut la quantité de chaque ligne, son prix et sa quantité incluse. Ensuite, vous additionnez les lignes. Pour réduire la facture, cherchez d’abord la plus grosse ligne. Un prix plus bas pour une ligne de 50 cents n’aide pas.
Une facture de services infonuagiques contient exactement ces trois types de lignes. Cette leçon en construit une pour l’assistant.
Le problème : le prix affiché n’est pas la facture
Section intitulée « Le problème : le prix affiché n’est pas la facture »Tomás a une estimation rapide. « Le coût de l’IA, ce sont les jetons. chat-small coûte 0,10 $ US par million de jetons d’entrée et 0,50 $ US par million de jetons de sortie. Chaque réponse lit 946,5 jetons et en écrit 152,75. Donc une réponse coûte 0,0000946 + 0,0000764 = 0,00017 $ US. Avec 43 950 questions par mois, ça fait 7,52 $ US. L’assistant coûte moins de dix dollars par mois. »
Son calcul est juste. Sa facture est fausse. L’assistant a aussi besoin d’une API qui attend les questions tout le mois. Il lui faut un serveur de base de données qui fonctionne à toute heure, et du stockage avec une taille minimale. Aucun de ces éléments ne figure dans le prix des jetons. Dans le modèle de cette leçon, le même mois coûte 52,67 $ US : sept fois le chiffre de Tomás. Les jetons en représentent 14 %.
L’erreur inverse est tout aussi courante. La liste de prix publique des services de la conception contient 1 112 lignes. Une personne débutante essaie de toutes les chiffrer. La plupart ne s’appliquent pas. Celles qui s’appliquent ne coûtent souvent rien, car elles restent dans une quantité gratuite. Sans structure, personne ne peut vérifier le résultat.
L’idée : une ligne par facteur de coût
Section intitulée « L’idée : une ligne par facteur de coût »Un facteur de coût est un élément dont la quantité détermine une ligne de la facture. Par exemple : jetons, heures de base de données, gigaoctets stockés, données de journaux ou requêtes. Un modèle de coûts liste les facteurs de la conception, chacun avec trois éléments :
- la quantité par mois, tirée du calcul de la charge de travail ou d’un choix de conception;
- le prix courant par unité, tiré de la liste de prix du fournisseur;
- la quantité gratuite, si la page de prix en indique une, retirée avant d’appliquer le prix.
Chaque ligne devient alors : coût = (quantité − quantité gratuite) × prix. Si la quantité est inférieure à la quantité gratuite, la ligne vaut 0. Le coût mensuel est la somme de toutes les lignes. Le facteur dont la ligne est la plus élevée est le facteur dominant.
Le nom « facteur » explique pourquoi cette liste existe. Quand une quantité change, sa ligne change. Vous voyez ainsi quel élément de la conception a causé ce changement.
Description textuelle du diagramme
Le flux commence par une quantité mensuelle tirée du calcul de la charge de travail : 41,6 millions de jetons d’entrée pour les réponses. Il la multiplie par le prix de prices.toml, soit 0,10 $ US par million de jetons. Ensuite, il retire toute quantité gratuite indiquée sur la page de prix; les jetons n’en ont aucune. Le résultat est le coût d’un facteur : 4,16 $ US par mois. La somme des 14 facteurs donne le coût mensuel, soit 52,67 $ US.
Un petit exemple : trois lignes de la facture
Section intitulée « Un petit exemple : trois lignes de la facture »Voici trois lignes de la conception, une de chaque type, avec toutes les valeurs visibles. Les quantités viennent de la leçon précédente; les prix, de prices.toml.
Des frais mensuels : le serveur de base de données. La conception utilise PostgreSQL sur un petit serveur Burstable B1ms. « Burstable » désigne le type de serveur le moins cher du fournisseur. Il convient au travail léger avec de courtes périodes d’activité intense. Son prix courant est de 0,0185 $ US l’heure, et il fonctionne à toute heure du mois. Les listes de prix infonuagiques utilisent 730 heures pour un mois (365 × 24 ÷ 12). Donc 0,0185 × 730 = 13,50 $ US par mois, que les boutiques posent une question ou un million.
Utilisation × prix : les jetons des réponses. 41,6 millions de jetons d’entrée × 0,10 $ US par million = 4,16 $ US. 6,71 millions de jetons de sortie × 0,50 $ US par million = 3,36 $ US. Ensemble : 7,52 $ US par mois. C’est le chiffre de Tomás : correct, mais pour une seule ligne.
Une quantité incluse : les journaux. Chaque question écrit environ 4 Ko de journaux (logs) : une ligne de requête, une trace et une ligne d’audit. C’est une hypothèse, avec une plage de 1 à 10 Ko. 43 950 × 4 Ko = 0,18 Go par mois. La page de prix indique que les 5 premiers Go par mois sont gratuits. Comme 0,18 Go est inférieur à 5 Go, la ligne vaut 0,00 $ US.
Les trois lignes montrent trois comportements différents. Les frais ne varient pas avec l’utilisation. Les jetons augmentent avec chaque question. Les journaux ne coûtent rien jusqu’à un volume environ 28 fois plus grand, puis leur coût commence à augmenter.
Le tableau des facteurs de coût de Larkfield
Section intitulée « Le tableau des facteurs de coût de Larkfield »Kwame écrit tous les facteurs de la conception dans un tableau. C’est le tableau principal du module : chaque ligne montre d’où vient son chiffre.
| Facteur | Quantité par mois (cas de base) | Prix courant | Quantité gratuite | $ US par mois |
|---|---|---|---|---|
| Calcul : API | 1 réplique, 0,5 vCPU, 1 Gio, tout le mois; active 12 h par jour (hypothèse) | vCPU actif 0,000034 $ US/s, inactif 0,000004/s; mémoire 0,000004/Gio-s | 180 000 vCPU-s, 360 000 Gio-s | 27,43 |
| Serveur de base de données | 730 heures de B1ms | 0,0185 $ US/h | aucune | 13,50 |
| Jetons du modèle : réponses | 41,6 M en entrée, 6,71 M en sortie (chat-small) | 0,10 / 0,50 $ US par million | aucune | 7,52 |
| Stockage de base de données | 32 Go alloués (la taille minimale; 18,3 Mo utilisés) | 0,1265 $ US/Go-mois | aucune | 4,05 |
| Nouvelles tentatives | 2 % des appels au modèle envoyés à nouveau (hypothèse) | les mêmes prix de jetons | aucune | 0,15 |
| Jetons du modèle : plongements des questions | 0,68 M (embed-small) | 0,02 $ US par million | aucune | 0,01 |
| Jetons du modèle : ingestion, résumés | 11 documents modifiés | les mêmes prix de jetons | aucune | 0,00 |
| Calcul : processus d’ingestion | 25 s de travail | comme l’API | partage la quantité gratuite | 0,00 |
| Sauvegardes de base de données | 18,3 Mo × 2 (hypothèse) | 0,105 $ US/Go-mois | jusqu’à 32 Go (100 % du stockage) | 0,00 |
| Stockage de fichiers | 0,3 Mo de documents | 0,02 $ US/Go-mois | aucune | 0,00 |
| Requêtes | 43 950 | 0,40 $ US par million | 2 millions par mois | 0,00 |
| Journaux | 0,18 Go | 2,76 $ US/Go | 5 Go par mois | 0,00 |
| Réseau sortant | 0,04 Go de réponses | 0,08 $ US/Go | 100 Go par mois | 0,00 |
| Total | 52,67 |
Les prix sont les prix courants de la liste publique d’Azure. Les modèles sont dans East US 2; l’infrastructure est dans Canada Central, où se trouvent les deux boutiques. Les prix changent : vérifiez la page actuelle avant d’utiliser un prix dans une vraie proposition. Notez la date de vérification.
La première ligne mérite une explication. La réplique de l’API fonctionne tout le mois pour éviter une attente au démarrage lors de la première question. Quand elle traite des requêtes, le fournisseur facture le prix du vCPU actif. Quand elle attend, il facture un prix inactif beaucoup plus bas. La conception suppose 12 heures d’activité par jour. Le fournisseur facture la mémoire en tout temps. Après la quantité gratuite, cela donne 15,91 + 2,59 + 8,93 = 27,43 $ US. Les heures inactives coûtent peu, mais pas la mémoire utilisée en continu.
Description textuelle du graphique
Un graphique à six colonnes. La réplique de l’API coûte 27,43 $ US par mois et le serveur de base de données, 13,50 $ US. Les jetons des réponses coûtent 7,52 $ US, le stockage de base de données, 4,05 $ US, et les nouvelles tentatives, 0,15 $ US. Les neuf autres facteurs coûtent ensemble 0,02 $ US (chacun est arrondi à 0,01 ou 0,00 dans le tableau). Le total est de 52,67 $ US. Les deux premières colonnes sont beaucoup plus hautes que les autres.
La réponse à « quel facteur domine? » est Calcul : API, à 52 %. Avec le serveur de base de données, les deux lignes de fonctionnement continu représentent 78 % de la facture. Les jetons, que la plupart des gens appellent « le coût de l’IA », occupent la troisième ligne.
Exercice guidé : ajouter le modèle de coûts à votre dossier
Section intitulée « Exercice guidé : ajouter le modèle de coûts à votre dossier »-
Dans votre dossier
design-pack, avec l’environnement actif, copiez le code des coûts et ses tests depuis l’instantanéend-of-m03.Fenêtre de terminal S=../nextia-learning-labs/C26/snapshots/end-of-m03cp "$S/costmodel/costs.py" costmodel/cp "$S/tests/test_costs.py" tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C26\snapshots\end-of-m03"Copy-Item "$S\costmodel\costs.py" costmodel\Copy-Item "$S\tests\test_costs.py" tests\Ouvrez
costmodel/costs.py. Chaque facteur tient en quelques lignes : une quantité deworkload.py, un prix deprices.toml, et_after_freequand une quantité gratuite existe. -
Affichez le coût mensuel :
Fenêtre de terminal python -m costmodel costsMonthly cost, scenario base, month 0 (2 tenants, 43,950 questions)Driver US$ per month shareCompute: API 27.43 52.1%Database server 13.50 25.6%Model tokens: answers 7.52 14.3%Database storage 4.05 7.7%Retries 0.15 0.3%Model tokens: question embeddings 0.01 0.0%Model tokens: summaries 0.00 0.0%Compute: ingestion worker 0.00 0.0%File storage 0.00 0.0%Model tokens: ingestion 0.00 0.0%Database backups 0.00 0.0%Requests 0.00 0.0%Logs 0.00 0.0%Network out 0.00 0.0%Total 52.67Biggest driver: Compute: API (52% of the total)Comparez-le au tableau de Kwame : les mêmes 14 facteurs et le même total.
-
Affichez le cas bas et le cas haut :
Fenêtre de terminal python -m costmodel costs --scenario lowpython -m costmodel costs --scenario highLes dernières lignes de chacun :
Monthly cost, scenario low, month 0 (2 tenants, 11,850 questions)…Total 40.54Biggest driver: Compute: API (52% of the total)Monthly cost, scenario high, month 0 (2 tenants, 167,400 questions)Driver US$ per month shareCompute: API 37.15 43.8%Model tokens: answers 28.63 33.8%Database server 13.50 15.9%Database storage 4.05 4.8%Retries 1.43 1.7%…Total 84.83Biggest driver: Compute: API (44% of the total) -
Exécutez les tests :
Fenêtre de terminal python -m pytest -q............................ [100%]28 passed in 0.04sUn nouveau test,
test_free_amounts_make_small_drivers_zero, vérifie les journaux, le réseau et les requêtes. Dans le cas de base, ils restent dans leurs quantités gratuites.
Vérifiez le cas haut à la main. Il compte 3,8 fois plus de questions que le cas de base : 167 400 ÷ 43 950. Les jetons des réponses augmentent du même facteur : 7,52 × 3,81 = 28,63. Le serveur de base de données reste à 13,50. La ligne de l’API passe de 27,43 à 37,15 pour une autre raison. Le cas haut suppose 18 heures d’activité par jour plutôt que 12. Davantage d’heures sont donc facturées au prix actif.
Le facteur dominant change avec le volume
Section intitulée « Le facteur dominant change avec le volume »Le facteur dominant n’est pas une propriété fixe de la conception. Il dépend du volume. Le graphique compare le cas de base actuel au cas haut au mois 12. À ce moment, quatre boutiques posent 416 220 questions par mois :
- Base, maintenant
- Haut, mois 12
Description textuelle du graphique
Un graphique à trois paires de colonnes. Réplique de l’API : 27,43 $ US dans le cas de base actuel, 37,15 $ US dans le cas haut au mois 12. Jetons du modèle avec nouvelles tentatives : 7,68 $ US maintenant, 74,89 $ US au mois 12. Serveur, stockage et sauvegardes de base de données : 17,55 $ US dans les deux cas. Dans le cas haut au mois 12, les jetons forment la colonne la plus haute, environ deux fois celle de l’API.
Dans le cas de base, une économie sur la réplique de l’API ou la base de données compte le plus. Dans le cas haut au mois 12, les jetons représentent 58 % du total de 129,60 $ US. Un modèle moins cher, ou moins de jetons par réponse, aurait alors le plus d’effet. Le module 4 teste les deux avec des mesures réelles.
Regardez une autre ligne de ce cas haut : les journaux. 416 220 questions × 10 Ko = 4,2 Go, juste sous les 5 Go gratuits. Un peu plus de trafic, ou des lignes de journaux plus longues, et les journaux commencent à coûter. Chaque Go supplémentaire coûte alors 2,76 $ US. Les quantités incluses cachent un facteur jusqu’au jour où il apparaît sur la facture.
Quand construire un modèle de coûts
Section intitulée « Quand construire un modèle de coûts »Construisez-le dès que vous avez une charge de travail et une liste d’éléments, avant tout achat de service. Il répond à « combien? », mais aussi à « où un changement aiderait-il? ». Reconstruisez-le quand un prix, un choix de conception ou une mesure change. Le calculateur réduit cette tâche à un changement d’une ligne.
Ne le confondez pas avec la facture. Un modèle de coûts est une prévision fondée sur les prix courants. Les vraies factures ajoutent des taxes, des rabais et des services que vous avez oubliés. Certains prix dépendent aussi de détails absents de la liste de prix. Par exemple, la liste contient des prix de jetons pour le « contexte long », sans préciser où commence « long ». La première vraie facture met le modèle à l’épreuve. Comparez-les chaque mois, ligne par ligne, et corrigez le modèle là où ils diffèrent.
Le coût du modèle est faible : un tableau et un script. Sans lui, une équipe peut passer des semaines à économiser quelques cents sur la troisième ligne, sans changer la première.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Une taille inférieure au minimum de la page de prix
Symptôme : vous définissez storage_gb = 10 dans design.toml, car les données n’occupent que 18 Mo. Le total descend à 49,88 $ US, et un test échoue :
FAILED tests/test_costs.py::test_the_database_server_is_its_hourly_price_for_a_month1 failed, 27 passed in 0.05sCause : la taille de stockage minimale de la base de données gérée est de 32 Go (pg_min_storage_gb dans prices.toml). Vous ne pouvez pas acheter 10 Go. Le modèle affiche donc maintenant un prix que vous ne pouvez pas obtenir. Le calculateur multiplie ce qu’indique design.toml; le test connaît le minimum.
Correction : rétablissez storage_gb = 32. Si une page de prix indique une taille minimale, utilisez au moins ce minimum dans le modèle, même si vos besoins sont moindres.
Erreur courante
Un nom de prix avec une faute de frappe
Symptôme : vous changez la base de données pour price = "pg_b1m_hour", et la commande se termine par une erreur Python :
server = price[design.database_price] * HOURS_PER_MONTH ~~~~~^^^^^^^^^^^^^^^^^^^^^^^KeyError: 'pg_b1m_hour'Cause : la valeur doit être le nom d’une table dans prices.toml. pg_b1m_hour n’existe pas; le nom correct est pg_b1ms_hour. Le calculateur vérifie les plages et les preuves, mais pas ce nom. Vous voyez donc l’erreur de Python plutôt qu’un message « Input problem » (problème d’entrée).
Correction : copiez le nom depuis prices.toml. La dernière ligne de l’erreur, KeyError: '…', montre le nom qui n’a pas été trouvé.
Réinitialisation. Si votre dossier ne fonctionne plus, copiez l’instantané end-of-m03 comme l’indique le README des instantanés.
À vous de jouer : un serveur de base de données plus gros
Section intitulée « À vous de jouer : un serveur de base de données plus gros »Mei craint que le serveur B1ms soit trop petit. Elle demande combien coûterait un Burstable B2s. Son prix courant est de 0,074 $ US l’heure, dans prices.toml sous le nom pg_b2s_hour.
Avant d’exécuter quoi que ce soit, prédisez la nouvelle ligne du serveur, le nouveau total et le nouveau facteur dominant. Ensuite, changez price sous [database] dans design.toml pour "pg_b2s_hour". Exécutez python -m costmodel costs et python -m pytest -q, puis rétablissez la valeur.
Afficher la réponse
Serveur de base de données : 0,074 × 730 = 54,02 $ US par mois. Le total : 52,67 − 13,50 + 54,02 = 93,18 $ US. Le calculateur arrondit chaque ligne; votre résultat à la main peut donc différer d’un cent. Rien d’autre ne change : les autres lignes ne dépendent pas de la taille du serveur.
Monthly cost, scenario base, month 0 (2 tenants, 43,950 questions) Driver US$ per month share Database server 54.02 58.0% Compute: API 27.43 29.4% Model tokens: answers 7.52 8.1% Database storage 4.05 4.3%… Total 93.18Biggest driver: Database server (58% of the total)Le serveur de base de données devient le facteur dominant. Un seul choix a augmenté la facture de 77 %, sans aucun changement de charge de travail. Voilà pourquoi un choix de conception doit avoir une raison. Avec 0,58 réponse en cours et 18 Mo de données, aucune mesure ne justifie encore un serveur plus gros.
Les tests affichent 1 failed, 27 passed (1 test échoué, 27 réussis) : test_the_database_server_is_its_hourly_price_for_a_month vérifie le serveur choisi dans le dossier, B1ms. Rétablissez la valeur "pg_b1ms_hour", et les tests réussissent à nouveau.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás dit : « Le modèle coûte 7,52 $ US par mois, donc l'assistant coûte environ 7,52 $ US par mois. » Nommez deux facteurs de coût qu'il a oubliés. Expliquez pourquoi chacun coûte de l'argent même sans questions, et donnez le total du modèle de coûts.
Afficher la réponse
N’importe lesquels de ces trois facteurs. La réplique de l’API (27,43 $ US) fonctionne tout le mois pour que la première question n’attende pas. Le serveur de base de données (13,50 $ US) fonctionne chaque heure au tarif de 0,0185 $ US. Le stockage de la base de données (4,05 $ US) impose un minimum de 32 Go, même avec 18 Mo de données. Les trois se paient à l’heure ou au mois, et non par question. Le total du modèle de coûts est de 52,67 $ US par mois dans le scénario de base. Les jetons des réponses représentent 14 % de ce total.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : le volume des journaux par question double, passant de 4 Ko à 8 Ko dans le scénario de base. Que devient la ligne `Logs` (journaux), et pourquoi? À quel volume de questions les journaux commenceraient-ils à coûter de l'argent avec 8 Ko par question?
Afficher la réponse
La ligne Logs reste à 0,00 $ US. 43 950 × 8 Ko = 0,35 Go par mois, toujours sous les 5 Go gratuits. Les journaux commencent à coûter de l’argent au-delà de 5 Go ÷ 8 Ko = 625 000 questions par mois. C’est environ 14 fois le volume actuel. Au-delà, chaque Go supplémentaire coûte 2,76 $ US. Une quantité gratuite donne l’impression qu’un facteur de coût est gratuit jusqu’à ce que le volume dépasse cette quantité.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un facteur de coût est une quantité qui détermine une ligne de la facture. Chaque ligne correspond à (quantité − quantité gratuite) × prix courant. Le modèle de coûts est la somme de toutes les lignes.
- Trois types de lignes : frais fixes (serveur de base de données, 0,0185 × 730 = 13,50 $ US), utilisation × prix (jetons des réponses, 7,52 $ US) et utilisation au-delà d’une quantité incluse. Les journaux, le réseau et les requêtes coûtent 0 $ US à ce volume.
- La conception de Larkfield coûte 52,67 $ US par mois dans le scénario de base (faible : 40,54; élevé : 84,83). Le facteur de coût dominant est la réplique de l’API qui fonctionne en permanence (52 %). Avec le serveur de base de données, les deux lignes liées au fonctionnement permanent représentent 78 %.
- Le facteur de coût dominant change avec le volume : dans le scénario élevé du mois 12, les jetons représentent 58 % des 129,60 $ US.
- Les prix changent : consultez la page actuelle. La première vraie facture met le modèle de coûts à l’épreuve.
python -m pytest -qaffiche28 passed(28 tests réussis).
Ensuite, vous transformez le coût mensuel en chiffres dont Omar a besoin pour fixer un prix : le coût par question et par boutique.
Leçon suivante : Économie unitaire