Coût par 1 000 messages
- Leçon 23
- 30 min
- Module 5 : Les LLM comme classificateurs
Où nous en sommes
Le tableau comparatif place maintenant les modèles hébergés, locaux et de raisonnement à côté des classificateurs locaux. Leurs coûts utilisent différentes unités : jetons, secondes et mémoire. Dans cette leçon, nous les convertissons en un coût par 1 000 messages, avec un tableau de prix daté.
Leçon 23 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitCoût par 1 000 messages
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Comparez tous les modèles sur une même facture : le coût par 1 000 messages. Il vient des jetons et d’un tableau de prix daté, ou des secondes de calcul, plus le coût des erreurs. Ajoutez ensuite les coûts qui ne sont pas en dollars : le temps par message, la limite de débit et la confidentialité des messages. C’est ainsi que vous choisissez une option LLM, ou aucune.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter lit le tableau des prix. Il calcule le coût par 1 000 messages à partir des jetons enregistrés pour trois requêtes (prompts) hébergées. Il place le coût d’exécution à côté du coût des erreurs. Il vérifie ensuite l’effet d’une limite de débit et du temps par message sur toute une boîte de réception. Vous n’avez besoin ni de compte ni de clé. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le tableau des coûts et l’option « tout transférer à une personne », dans Le coût de chaque erreur.
- Les coûts par modèle et les calculs annuels, dans Ce que coûte le gain d’exactitude.
- Les trois options LLM de ce module : hébergé, local et de raisonnement.
Ce qu’il vous faut sur votre ordinateur
- Rien si vous utilisez le carnet. Ce module ne modifie aucun fichier de votre projet
larkroute.
Testé sur macOS (Apple silicon) avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1, dans Jupyter. Colab, Kaggle et Windows n’ont pas été testés.
Trois soumissions pour une même tâche
Section intitulée « Trois soumissions pour une même tâche »Le bureau de poste de Larkfield demande à trois entreprises de trier ses lettres. La première propose un prix par feuille lue. La deuxième propose un prix par heure de travail d’un commis. La troisième loue une machine et ne facture rien par lettre. On ne peut pas comparer ces soumissions telles quelles.
La gestionnaire convertit chacune dans la même unité : dollars par 1 000 lettres. Elle ajoute ensuite le coût des erreurs de chaque entreprise, l’attente pour chaque lettre et si les lettres quittent le bâtiment. C’est seulement après qu’elle choisit.
Le problème : des coûts dans différentes unités
Section intitulée « Le problème : des coûts dans différentes unités »Ce module a ajouté trois types de LLM au tableau comparatif. Chacun utilise sa propre unité :
- le LLM hébergé facture par million de jetons, avec un prix différent pour l’entrée et la sortie;
- le modèle de raisonnement facture aussi par jeton, à un prix supérieur, et ajoute des jetons de raisonnement cachés;
- le LLM local ne coûte rien par appel, mais utilise des secondes de calcul et des gigaoctets de mémoire.
Tomás compare seulement le prix par jeton. « Le petit modèle hébergé coûte 10 cents par million de jetons d’entrée, donc il est presque gratuit. Le modèle local est gratuit. » Ces deux phrases omettent la majeure partie de la facture. Il nous faut un chiffre pour chaque ligne, puis les coûts qu’aucun chiffre ne représente.
L’idée : un coût par 1 000 messages
Section intitulée « L’idée : un coût par 1 000 messages »Le coût par 1 000 messages comprend deux parties :
- le coût d’exécution : le coût pour exécuter le modèle, calculé avec les jetons et les prix, ou les secondes et un prix par heure de processeur;
- le coût des erreurs : le coût des mauvaises destinations, calculé à partir du tableau des coûts.
Leur somme constitue la colonne total du tableau comparatif. Nous examinons ensuite trois coûts hors de ce chiffre : le temps par message, la limite de débit et la confidentialité.
Petit exemple détaillé : des jetons et des secondes aux dollars
Section intitulée « Petit exemple détaillé : des jetons et des secondes aux dollars »Le tableau des prix des enregistrements du cours est daté, comme tout prix. Chat-small coûte 0,10 $ US par million de jetons d’entrée et 0,50 $ US par million de jetons de sortie. Chat-strong coûte 2,00 $ US et 10,00 $ US. Les prix changent souvent : vérifiez la page des prix actuels du fournisseur avant de les utiliser. Pour les modèles locaux, le cours suppose 0,05 $ US par heure de processeur.
| Modèle | Moyenne des jetons d’entrée | Moyenne des jetons de sortie | Calcul pour 1 000 messages | Coût d’exécution par 1 000 |
|---|---|---|---|---|
| LLM hébergé, noms des destinations seulement | 186 | 33 | 1 000 × (186 × 0,10 + 33 × 0,50) ÷ 1 000 000 | 0,035 $ US |
| LLM hébergé, avec peu d’exemples | 717 | 31,8 | 1 000 × (717 × 0,10 + 31,8 × 0,50) ÷ 1 000 000 | 0,088 $ US |
| Modèle de raisonnement (messages difficiles) | 732,9 | 47,2 | 1 000 × (732,9 × 2,00 + 47,2 × 10,00) ÷ 1 000 000 | 1,94 $ US |
| Qwen2.5-1.5B local, scores des destinations | 7,75 s par message | 1 000 × 7,75 ÷ 3 600 × 0,05 | 0,108 $ US | |
| Encodeur réglé finement | 6,7 ms par message | 1 000 × 0,0067 ÷ 3 600 × 0,05 | 0,0001 $ US |
Les jetons de sortie du modèle de raisonnement comprennent ses jetons de raisonnement cachés, soit 13 en moyenne ici. Le coût du modèle local dépend entièrement du prix supposé du temps de calcul. Sur un ordinateur que Larkfield possède déjà et laisse inutilisé, il est proche de zéro.
Larkfield : la facture complète
Section intitulée « Larkfield : la facture complète »Ajoutez maintenant les erreurs. Voici la facture du LLM hébergé avec exemples, sur les 2 000 messages de test :
| Partie de la facture | Messages | Coût unitaire | Par 1 000 messages |
|---|---|---|---|
| Coût d’exécution (jetons) | 2 000 appels | environ 0,00009 $ US | 0,088 $ US |
| Message destiné à une équipe, transféré à une personne | 22 | 2 $ US | 22,0 $ US |
| Mauvaise file d’attente | 37 | 4 $ US | 74,0 $ US |
| Message urgent dans la mauvaise file | 2 | 20 $ US | 20,0 $ US |
| Total | 116,1 $ US |
Le coût d’exécution représente moins de 0,1 % du total. Larkfield reçoit environ 23 725 messages par année, comme dans Ce que coûte le gain d’exactitude. À ce volume, les jetons coûtent environ 2 $ US par année. Les erreurs coûtent environ 2 750 $ US par année. Pour cette boîte de réception, le coût d’exécution du modèle est minuscule comparé au coût de ses erreurs.
Toutes les lignes jusqu’ici : coût et exactitude
Section intitulée « Toutes les lignes jusqu’ici : coût et exactitude »Voici le tableau comparatif jusqu’à ce module, sous forme d’un seul graphique. Chaque point représente une méthode appliquée aux messages de test. L’exactitude est sur l’axe horizontal, et le coût total par 1 000 messages est sur l’axe vertical, à échelle logarithmique. Chaque étape multiplie le coût par 10. Avant de regarder, faites une prédiction : quelles options LLM coûteront moins cher que tout transférer à une personne?
Description textuelle du diagramme
Le graphique place chaque méthode selon son exactitude, à l’horizontale, et son coût total par 1 000 messages de test, à la verticale. L’échelle des coûts est logarithmique, de 50 à 10 000 $ US. Une ligne rouge pointillée à 1 500 $ US représente tout transférer à une personne. En bas à droite, sous la ligne, se trouvent les meilleures méthodes. Ce sont l’encodeur réglé finement (0,980, 103,0 $ US) et le LLM hébergé avec exemples (0,970, 116,1 $ US). TF-IDF avec régression logistique suit (0,962, 296,0 $ US). Les autres modèles entraînés sont des points gris près d’eux. Le LLM hébergé avec les noms des destinations seulement est à 0,765 et 1 049,0 $ US, juste sous la ligne. Toutes les options LLM locales sont au-dessus de la ligne. Qwen2.5-1.5B est à 0,734 et 3 232,1 $ US avec les scores des destinations. Avec une réponse JSON, il est à 0,368 et 5 223,1 $ US. Les deux mesures portent sur un échantillon de 500 messages. Qwen3-0.6B est à 0,194 et 3 410,0 $ US avec les scores des destinations. Avec une réponse JSON, il est à 0,282 et 7 198,3 $ US. La référence de base par règles ou transfert à une personne et les deux modèles zéro exemple sans LLM sont aussi au-dessus de la ligne, en gris.
Deux options LLM hébergées sont sous la ligne : avec peu d’exemples (few-shot) et, de justesse, zéro exemple (zero-shot). Aucun LLM local ne l’est. L’option la moins chère reste l’encodeur réglé finement, qui fonctionne sur l’ordinateur de Larkfield. Le modèle de raisonnement n’a pas de ligne : il a traité seulement les 130 messages difficiles.
Temps par message
Section intitulée « Temps par message »L’argent n’est pas le seul coût. Un client qui utilise le clavardage attend chaque réponse. Un modèle lent a besoin de plus de machines aux heures de pointe.
Description textuelle du diagramme
Un point par méthode, sur une échelle logarithmique où chaque étape est 10 fois plus lente. TF-IDF avec régression logistique prend 0,16 milliseconde par message. L’encodeur réglé finement prend 6,7 ms, et GLiClass, 21 ms. Qwen3-0.6B avec les scores des destinations prend 453 ms. Le LLM hébergé prend 1,2 seconde avec les noms des destinations seulement et 1,7 seconde avec des exemples. Le modèle de raisonnement prend 2,0 secondes sur les cas difficiles. Qwen3-0.6B prend 2,1 secondes pour produire du JSON. Qwen2.5-1.5B prend 5,2 secondes pour produire du JSON et 7,7 secondes avec les scores des destinations. Ces deux mesures portent sur un échantillon de 500 messages.
Tous les LLM sont des centaines à des milliers de fois plus lents que les classificateurs entraînés. Le LLM hébergé avec exemples prend environ 250 fois plus de temps que l’encodeur réglé finement, et environ 10 000 fois plus que TF-IDF. Les temps des modèles hébergés comprennent aussi le réseau et varient : les 10 % d’appels avec exemples les plus lents prenaient au moins 5,3 secondes.
Limites de débit
Section intitulée « Limites de débit »Un fournisseur hébergé limite ce qu’un compte peut envoyer : un nombre de requêtes et un nombre de jetons par minute. Supposons que votre compte puisse envoyer 200 000 jetons par minute. C’est une hypothèse : les limites varient selon le fournisseur, le modèle et le compte. La requête avec peu d’exemples utilise environ 749 jetons par message, donc :
- 200 000 ÷ 749 = environ 267 messages par minute au maximum;
- un appel à la fois, à 1,71 s chacun : environ 2 107 messages par heure.
Larkfield reçoit environ 65 messages par jour. Aucune de ces limites ne pose donc problème. Un magasin peut recevoir des milliers de messages en une heure lors d’une vente, d’une grève ou d’un lancement de produit. Les appels doivent alors s’exécuter en parallèle, attendre et réessayer. Le cours Créer des applications fiables avec les API de LLM enseigne cela dans Gérer les limites du fournisseur.
Confidentialité
Section intitulée « Confidentialité »Avec un modèle hébergé, le message entier quitte Larkfield : les mots du client, le numéro de commande, parfois une adresse ou un nom. Avant qu’un modèle hébergé puisse acheminer de vrais messages, Larkfield doit avoir un contrat avec le fournisseur qui couvre ces données. Ses propres règles de confidentialité doivent aussi le permettre. Dans ce cours, seuls des messages synthétiques ont été envoyés. Les modèles locaux et les classificateurs entraînés gardent chaque message sur l’ordinateur de Larkfield.
Quelle option LLM convient au routeur de Larkfield?
Section intitulée « Quelle option LLM convient au routeur de Larkfield? »Rassemblez les chiffres, tranche par tranche :
| Sur cette boîte de réception | Exactitude | Anglais | Français | Total par 1 000 | Temps | Les données quittent Larkfield |
|---|---|---|---|---|---|---|
| Encodeur réglé finement | 0,980 | 0,980 | 0,978 | 103,0 $ US | 6,7 ms | non |
| LLM hébergé, avec peu d’exemples | 0,970 | 0,973 | 0,961 | 116,1 $ US | 1,7 s | oui |
| LLM hébergé, noms des destinations seulement | 0,765 | 0,757 | 0,784 | 1 049,0 $ US | 1,2 s | oui |
| Qwen2.5-1.5B local, scores des destinations (échantillon) | 0,734 | 0,736 | 0,729 | 3 232,1 $ US | 7,7 s | non |
| Modèle de raisonnement | seulement sur les 130 messages difficiles : 97 corrects | 1,94 $ US pour l’exécution | 2,0 s | oui |
Comme seul routeur, aucune option LLM ne convient ici. L’encodeur réglé finement est plus exact dans les deux langues, moins cher, environ 250 fois plus rapide, et garde les données confidentielles. Le LLM hébergé avec exemples suit de près. Il a un atout : une confiance écrite que nous avons vérifiée (ECE de 0,008). Cela en fait une bonne deuxième étape pour les messages dont un modèle peu coûteux est incertain. Le module 6 construit cette cascade et trouve le total le plus bas du cours : 94,3 $ US par 1 000 messages.
Exercice guidé : une facture pour chaque modèle
Section intitulée « Exercice guidé : une facture pour chaque modèle »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter, en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(Prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, lisez le tableau des prix et son avertissement : les prix changent souvent.
- Dans la section 3, exécutez la cellule. Le LLM avec peu d’exemples affiche
116.1au total et0.088pour l’exécution. - Dans la section 4, exécutez la cellule. Vous voyez
at most 267 messages a minute(au maximum 267 messages par minute) etabout 2107 messages an hour(environ 2 107 messages par heure).
À vous de jouer : jetons multipliés par les prix
Section intitulée « À vous de jouer : jetons multipliés par les prix »Dans la section 2 du carnet, complétez per_1000(mode, model). Cette fonction retourne le coût de 1 000 appels en dollars, à partir des jetons moyens des réponses enregistrées et des prix du modèle. Faites d’abord une prédiction : combien de fois le modèle de raisonnement coûte-t-il plus cher que la requête avec peu d’exemples?
Afficher la réponse
def per_1000(mode, model): answers = pd.read_json(f"data/recordings/llm-{mode}.jsonl", lines=True) price = prices["models"][model] return round(1000 * (answers["tokens_in"].mean() * price["input"] + answers["tokens_out"].mean() * price["output"]) / 1e6, 4){'zero-shot': np.float64(0.0351), 'few-shot': np.float64(0.0876), 'reasoning': np.float64(1.9376)}Le modèle de raisonnement coûte environ 22 fois plus cher par message que la requête avec peu d’exemples (1,9376 ÷ 0,0876). Les deux requêtes ont environ la même entrée. La différence vient du prix par jeton, 20 fois supérieur, et des jetons de sortie supplémentaires.
Erreur courante
Une estimation des coûts qui compte seulement les jetons
Symptôme : une révision des coûts indique « LLM hébergé : 0,088 $ US par 1 000 messages; encodeur réglé finement : 0,0001 $ US ». Quelqu’un conclut que le choix importe peu : les deux sont presque gratuits. Un mois plus tard, les équipes de soutien signalent plus de messages dans les mauvaises files qu’avant.
Cause : l’estimation compte seulement le coût d’exécution. Sur cette boîte de réception, il représente moins de 0,1 % du total du LLM avec peu d’exemples. Les erreurs constituent la vraie facture : 116,0 $ US par 1 000 pour le LLM, contre 103,0 $ US pour l’encodeur. Le LLM avec les noms des destinations seulement coûte 1 049,0 $ US. Une requête moins chère qui fait plus d’erreurs coûte plus cher.
Solution : indiquez toujours le coût total par 1 000 messages, avec les mêmes données de test et le même tableau des coûts. Présentez le coût d’exécution dans une colonne. Ajoutez le temps par message, la limite de débit et la destination des données. Datez le tableau des prix, car les prix changent.
Conséquence dans le travail en IA : les coûts des LLM sont faciles à voir sur la facture du fournisseur. Les coûts des erreurs se répartissent entre plusieurs équipes et n’arrivent jamais sur une seule facture. Si vous ne les mettez pas dans le tableau, personne ne le fera.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Calculez le coût d'exécution par 1 000 messages de la requête avec peu d'exemples. Utilisez ses nombres moyens de jetons (717 en entrée, 31,8 en sortie) et les prix de chat-small (0,10 $ US et 0,50 $ US par million de jetons). Quelle part de son total de 116,1 $ US représente-t-il?
Afficher la réponse
1 000 × (717 × 0,10 + 31,8 × 0,50) ÷ 1 000 000 = 1 000 × (71,7 + 15,9) ÷ 1 000 000 = 0,0876 $ US, soit environ 0,088 $ US par 1 000 messages. Cela donne 0,088 ÷ 116,1 = environ 0,08 % du total. Le reste, soit 116,0 $ US, correspond au coût des erreurs. Il s’agit de 22 messages destinés à une équipe transférés à une personne, de 37 mauvaises files d’attente et de 2 messages urgents dans la mauvaise file.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás dit que le modèle local est gratuit, parce qu'il n'y a pas de prix par appel. Que coûte-t-il pour cette boîte de réception? Donnez trois coûts.
Afficher la réponse
D’abord, ses erreurs. Sur l’échantillon de 500 messages, Qwen2.5-1.5B avec des scores par destination coûte 3 232,1 $ US par 1 000 messages. C’est plus cher que de tout transférer à une personne. Ensuite, le temps de calcul : 7,7 secondes par message. Au prix supposé de 0,05 $ US par heure de processeur, cela représente environ 0,108 $ US par 1 000 messages. C’est plus que les jetons du LLM hébergé. Enfin, la mémoire et la vitesse : environ 3,8 Go pendant son fonctionnement, et seulement un message toutes les quelques secondes par machine. Son véritable avantage est la confidentialité, que l’encodeur réglé finement offre aussi.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quelle option de LLM, s'il y en a une, a sa place dans le routeur de Larkfield? Répondez avec l'exactitude par langue et le coût.
Afficher la réponse
Aucune comme seul routeur. L’encodeur réglé finement atteint une exactitude de 0,980 en anglais et de 0,978 en français. Il coûte 103,0 $ US par 1 000 messages. Il prend 6,7 ms et garde les données chez Larkfield. La meilleure option de LLM, le LLM hébergé avec des exemples, atteint 0,973 et 0,961 et coûte 116,1 $ US. Il prend 1,7 seconde par message et envoie chaque message à un fournisseur. Mais sa confiance déclarée a été vérifiée (ECE de 0,008). Il peut donc servir de deuxième étape d’une cascade pour les messages incertains. Le module 6 mesure le coût de cette cascade à 94,3 $ US par 1 000 messages.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le coût par 1 000 messages = coût d’exécution + coût des erreurs. Le coût d’exécution vient des jetons × un tableau de prix daté, ou des secondes × un prix par heure de processeur.
- Coûts d’exécution par 1 000 messages ici : modèle hébergé avec noms de destination seulement, 0,035 $ US; avec peu d’exemples, 0,088 $ US; avec raisonnement, 1,94 $ US. Qwen2.5-1.5B local : environ 0,108 $ US (prix du processeur supposé).
- Dans cette boîte de réception, le coût d’exécution représente moins de 0,1 % du total de 116,1 $ US du LLM avec peu d’exemples. Les erreurs constituent la facture.
- Temps : chaque LLM est des centaines à des milliers de fois plus lent que les classificateurs entraînés. Les limites de débit plafonnent le nombre de messages par minute. Confidentialité : un modèle hébergé reçoit chaque message.
- Aucun LLM local ne coûte moins cher que de tout transférer à une personne. Comme seul routeur, aucune option de LLM ne surpasse l’encodeur réglé finement (0,980, 103,0 $ US).
- Le LLM hébergé avec des exemples est une bonne deuxième étape pour les messages incertains.
Le module 6 part de ce qu’un routeur attend vraiment d’un modèle : une décision et une probabilité, pas une phrase.
Leçon suivante : Demander une décision, pas du texte