Ce que coûte le gain d'exactitude
- Leçon 18
- 30 min
- Module 4 : Plongements et petits modèles réglés finement
Où nous en sommes
Le tableau comparatif contient maintenant des règles, TF-IDF, des plongements, un encodeur réglé finement et deux modèles zéro exemple. Certains sont plus exacts, et tous ont un coût. Dans cette leçon, nous comparons temps d'entraînement, vitesse, taille et travail de réentraînement au gain sur la mesure pondérée par les coûts.
Leçon 18 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitCe que coûte le gain d'exactitude
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Choisissez un modèle en tenant compte de ce que l’entreprise paie. Un modèle plus exact réduit le coût des erreurs. Mais il coûte du temps d’entraînement, de la vitesse, de la mémoire et du travail chaque fois que les destinations changent. Avant de choisir, réunissez les deux côtés au même endroit, en dollars quand c’est possible.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le tableau des coûts et le coût par 1 000 messages, dans Le coût de chaque erreur.
- Les lignes de ce module : Plongements de phrases pour la classification, Régler finement un petit encodeur sur CPU, Des modèles de plongement plus récents et Classification zéro exemple sans LLM.
- Pourquoi un petit jeu de données de test fait varier les coûts, dans le cas d’échec de Bayes naïf, régression logistique et SVM linéaire.
Ce qu’il vous faut sur votre ordinateur
- Rien. Cette leçon n’a pas de carnet (notebook) Jupyter : elle utilise les nombres mesurés dans les leçons précédentes.
Une nouvelle machine de tri pour le bureau de poste
Section intitulée « Une nouvelle machine de tri pour le bureau de poste »Le gestionnaire du bureau de poste peut acheter une nouvelle machine de tri. Le vendeur affirme qu’elle fait une erreur sur 50 lettres, contre une sur 26 pour l’ancienne machine. Le gain semble évident.
Le gestionnaire pose d’autres questions. Combien nous coûte une erreur? Combien de lettres trions-nous chaque jour? Combien de temps la machine prend-elle par lettre? Quelle est sa taille? Et quand le bureau de poste ajoute un nouveau type de courrier, qui entraîne la machine? Combien de temps cela prend-il? Le nombre du vendeur est réel, mais ce n’est qu’une ligne de la facture.
Le problème : l’exactitude est une colonne parmi plusieurs
Section intitulée « Le problème : l’exactitude est une colonne parmi plusieurs »Tomás a une règle simple : « Utiliser le modèle le plus exact. » Pour cette boîte de réception, c’est l’encodeur réglé finement, à 0,980. Grace pose les mêmes questions que le gestionnaire. TF-IDF avec régression logistique atteint 0,962, s’entraîne en quelques secondes et ne nécessite aucun modèle neuronal. Est-ce que 1,8 point d’exactitude vaut un modèle de 470 Mo, une tâche d’entraînement et une nouvelle compétence dans l’équipe?
L’exactitude seule ne permet pas de répondre. Les erreurs n’ont pas toutes le même coût, et le modèle a des coûts autres que les erreurs. Il nous faut la facture complète.
L’idée : les coûts par modèle
Section intitulée « L’idée : les coûts par modèle »Le tableau comparatif contient déjà une partie de la facture : le coût total par 1 000 messages. Il additionne le coût des erreurs, tiré du tableau des coûts, et le coût d’exécution. Le cours suppose un coût de 0,05 $ US par heure de CPU. À ce prix, chaque modèle local de ce module coûte moins d’un cent par 1 000 messages à exécuter. Seul le lent modèle NLI fait exception, à environ 1,2 cents. Coût par 1 000 messages, dans le module 5, montre comment calculer le coût d’exécution de chaque type de modèle, même hébergé.
L’autre partie revient chaque fois que le modèle change :
- temps d’entraînement, une fois par version;
- taille : disque, mémoire, temps de téléchargement;
- vitesse : le temps par message, traité un à la fois, qui détermine si le service répond assez vite;
- travail de réentraînement : ce qu’une personne doit faire quand une nouvelle destination ou de nouvelles étiquettes arrivent, et les compétences nécessaires;
- explication : pouvez-vous montrer à Grace pourquoi un message est allé à une équipe?
Ces coûts par modèle demandent quelques lignes de jugement à côté du nombre.
Un petit exemple : passer du coût par 1 000 au coût annuel
Section intitulée « Un petit exemple : passer du coût par 1 000 au coût annuel »La boîte de réception de Larkfield reçoit environ 65 messages par jour : 10 000 messages en 153 jours. Cela donne 65 × 365 = 23 725 messages par année, soit 23,725 milliers. Pour convertir un coût par 1 000 messages en coût annuel, multipliez-le par 23,725 :
| Méthode | Coût par 1 000 | × 23,725 | Erreurs et révisions par année |
|---|---|---|---|
| Tout transférer à une personne | 1 500,0 $ US | 1 500,0 × 23,725 | 35 588 $ US |
| TF-IDF + régression logistique | 296,0 $ US | 296,0 × 23,725 | 7 023 $ US |
| TF-IDF + SVM linéaire | 175,0 $ US | 175,0 × 23,725 | 4 152 $ US |
| Encodeur réglé finement | 103,0 $ US | 103,0 × 23,725 | 2 444 $ US |
- Tout transférer à une personne
- TF-IDF + régression logistique (LR) ou SVM linéaire
- Encodeur réglé finement
Description textuelle du graphique
Un graphique à colonnes avec quatre colonnes. Tout transférer à une personne coûte 35 588 $ US par année. TF-IDF avec régression logistique coûte 7 023 $ US, TF-IDF avec un SVM linéaire 4 152 $ US et l’encodeur réglé finement 2 444 $ US. Chaque modèle économise la majeure partie du coût de lecture de tous les messages. Les différences entre les modèles représentent quelques milliers de dollars par année.
L’encodeur réglé finement économise environ 4 579 $ US par année par rapport à TF-IDF avec régression logistique. Il économise environ 1 708 $ US par rapport au SVM linéaire. Ce sont les nombres à comparer au travail supplémentaire. Ils reposent sur deux hypothèses : le tableau des coûts du cours et le volume des mois de test. Avec vos propres coûts et votre volume, le même calcul donne vos nombres.
Larkfield : toutes les lignes jusqu’ici
Section intitulée « Larkfield : toutes les lignes jusqu’ici »Voici le tableau comparatif sous forme de graphique, avec chaque méthode jusqu’à ce module. L’axe des coûts est logarithmique : chaque pas est un multiple (100, 1 000, 10 000). Ainsi, 103 $ US et 6 570 $ US tiennent dans un seul graphique.
Description textuelle du diagramme
L’axe horizontal représente l’exactitude sur les messages de test, de 0,3 à 1,0. L’axe vertical représente le coût par 1 000 messages de test en dollars US, sur une échelle logarithmique de 50 à 10 000. Une ligne rouge pointillée à 1 500 représente le transfert de tout à une personne. Sous la ligne, à droite : l’encodeur réglé finement à une exactitude de 0,980 et un coût de 103, le point le plus bas. TF-IDF avec un SVM linéaire à 0,966 et 175, TF-IDF avec régression logistique à 0,962 et 296, TF-IDF avec Bayes naïf à 0,943 et 441, et les règles fortes avec régression logistique à 0,932 et 443. L’ancien modèle de plongement avec régression logistique à 0,920 et 779, le plus récent à 0,906 et 895. Au-dessus de la ligne : règles ou personne à 0,555 et 1 757,8, GLiClass zéro exemple à 0,516 et 4 431, et NLI zéro exemple à 0,329 et 6 570.
Le graphique présente trois groupes :
- Au-dessus de la ligne rouge : les méthodes qui coûtent plus qu’une personne qui lit tout. Les règles et les deux modèles zéro exemple. Ce ne sont pas des routeurs pour cette boîte de réception.
- Les plongements figés, entre 779 $ US et 895 $ US : meilleurs qu’une personne, moins bons que chaque modèle TF-IDF.
- Le coin inférieur droit : les modèles TF-IDF et l’encodeur réglé finement. Ici, de petits gains d’exactitude donnent de grandes réductions de coût, car les dernières erreurs incluent les plus coûteuses.
Le reste de la facture
Section intitulée « Le reste de la facture »Pour les trois candidats sérieux, voici les coûts par modèle :
| TF-IDF + régression logistique | Plongements figés + LR | Encodeur réglé finement | |
|---|---|---|---|
| Exactitude (test) | 0,962 | 0,920 | 0,980 |
| Coût par 1 000 (test) | 296,0 $ US | 779,0 $ US | 103,0 $ US |
| Coût par 1 000 (validation) | 472,0 $ US | 955,0 $ US | 204,0 $ US |
| Temps d’entraînement | environ 3 s | environ 1 minute pour produire les plongements, puis moins de 1 s | 327 s (3 époques) |
| Temps par message, traité un à la fois | environ 0,1 ms | 6,8 ms | 6,7 ms |
| Taille sur disque | environ 2,1 Mo | 470,6 Mo | 470,6 Mo + 43,3 Mo |
| Une nouvelle destination arrive | ajouter des étiquettes, réentraîner en quelques secondes | ajouter des étiquettes, réentraîner en quelques secondes | ajouter des étiquettes, réentraîner pendant environ 6 minutes, vérifier la perte, versionner le point de contrôle |
| Pourquoi cette destination? | les mots les plus importants (route explain) |
difficile à expliquer | difficile à expliquer |
| Compétences dans l’équipe | scikit-learn | sentence-transformers | PyTorch et Transformers |
Lisez-le colonne par colonne :
- TF-IDF + régression logistique coûte le moins à maintenir : minuscule, instantané, facile à réentraîner et à expliquer. Ses erreurs coûtent presque trois fois plus que celles de l’encodeur.
- Les plongements figés perdent sur cette boîte de réception : plus d’erreurs, un gros modèle, rien à gagner. Ils ont leur place avec peu d’étiquettes (Peu d’étiquettes avec des plongements), pas ici.
- L’encodeur réglé finement gagne sur les erreurs de test et de validation (204,0 $ US contre 472,0 $ US). Le gain ne vient donc pas d’un seul jeu de données de test chanceux. Il exige une tâche d’entraînement de 6 minutes et un modèle environ 250 fois plus gros que TF-IDF. Il répond plus lentement (seulement 7 ms quand même) et demande des compétences que l’équipe doit conserver.
La vitesse ne pose pas problème à 65 messages par jour. Même 7 ms par message représente moins d’une demi-seconde de CPU par jour. Elle compterait pour un service qui doit répondre à des milliers de messages par seconde.
Ce que vaut le gain d’exactitude
Section intitulée « Ce que vaut le gain d’exactitude »L’encodeur réglé finement économise environ 4 579 $ US par année en erreurs par rapport à TF-IDF avec régression logistique, aux coûts du cours. De l’autre côté, quelqu’un doit consacrer quelques heures, une fois, à préparer le script d’entraînement, le point de contrôle et les tests. Ensuite, chaque changement d’étiquettes demande environ 6 minutes de CPU et une vérification des scores. Dans la plupart des entreprises, ce travail coûte moins que l’économie réalisée. Dans une entreprise où personne ne connaît PyTorch, ce n’est pas forcément le cas.
Deux mises en garde avant de décider :
- Cette boîte de réception est plus facile qu’une vraie. Sur de vrais messages, chaque méthode obtient des scores plus bas, et les écarts peuvent changer. Les études de cas Router des questions bancaires et Trouver ce que le robot ne sait pas traiter permettent de vérifier les méthodes sur de vraies données.
- Le jeu de données de test est petit pour les messages rares et coûteux. Il contient 12 prises de contrôle de compte. Une prise de contrôle de plus ou de moins fait varier le coût de 100 $ US par 1 000. Comparez aussi sur les données de validation, comme dans le tableau ci-dessus.
Quand payer pour plus d’exactitude
Section intitulée « Quand payer pour plus d’exactitude »- Payez quand l’économie sur les erreurs, avec vos coûts et votre volume, dépasse clairement le travail ajouté, en validation et en test.
- Ne payez pas pour un gain présent dans un seul jeu de données, ou provenant d’un ou deux messages coûteux.
- Ne payez pas pour une exactitude sans effet sur l’entreprise : si chaque message va aussi à une personne, un gain d’un point ne change rien.
- Pensez aux personnes : un modèle qu’une seule personne peut réentraîner représente un risque, quelle que soit son exactitude.
À vous : recommandez un modèle
Section intitulée « À vous : recommandez un modèle »Grace demande à Priya une recommandation pour la boîte de réception de Larkfield, parmi trois modèles. Les choix sont TF-IDF avec régression logistique, les plongements figés avec régression logistique et l’encodeur réglé finement. Écrivez votre recommandation en quatre ou cinq phrases. Donnez les preuves (exactitude, coût par 1 000 en test et en validation, prises de contrôle trouvées). Indiquez aussi le coût d’exécution et de réentraînement. Faites d’abord une prédiction : lequel serait le plus facile à maintenir pour l’équipe de Grace?
Afficher une réponse modèle
Recommandez l’encodeur réglé finement. Sur cette boîte de réception, il fait 41 erreurs sur 2 000 messages de test, contre 76 pour TF-IDF et 159 pour les plongements figés. Il trouve les 12 prises de contrôle de compte. Il coûte 103,0 $ US par 1 000 en test contre 296,0 $ US pour TF-IDF, et 204,0 $ US contre 472,0 $ US en validation. Le gain se maintient donc sur les deux jeux de données. À environ 65 messages par jour, cela économise environ 4 579 $ US par année en erreurs, aux coûts du cours. Chaque nouvelle version exige une tâche d’entraînement de 6 minutes sur le CPU d’un portable. Il faut aussi 514 Mo sur disque, environ 7 ms par message et quelqu’un qui peut utiliser PyTorch. Gardez TF-IDF + régression logistique comme solution de repli et outil d’explication (route explain), et abandonnez les plongements figés pour cette boîte de réception.
TF-IDF avec régression logistique est aussi une bonne réponse si personne dans l’équipe ne peut maintenir un modèle neuronal. Il coûte plus en erreurs et beaucoup moins en travail. Dans les deux cas, la réponse nomme les preuves et le coût.
Erreur courante
Le modèle le plus exact, sans plan pour le réentraîner
Symptôme : une histoire construite. Tomás règle finement l’encodeur sur son portable et copie les poids sur le serveur. Le routeur s’améliore aussitôt. Trois mois plus tard, Grow Hub est lancé, et il faut une nouvelle destination. Personne ne peut réentraîner le modèle : le code d’entraînement était dans le carnet de Tomás. Il est en congé, et personne n’a noté la révision du modèle de base.
Cause : le choix tenait compte seulement de l’exactitude et du coût des erreurs. Personne n’a compté le coût de la prochaine version : scripts, versions fixées, vérifications et personnes capables de les exécuter.
Correction : avant de choisir un modèle, notez comment le réentraîner. Nommez le script, la version des données et le modèle de base à version fixée. Notez la perte et les scores de validation attendus, ainsi que la personne qui l’exécute. Comptez ce travail dans la décision. Le module 9 l’intègre au projet : route train (entraîner) avec une version du modèle et une version des étiquettes. Puis route release (mettre en production) compare une nouvelle version à l’ancienne.
Conséquence pour le travail en IA : un modèle n’est pas un achat unique. Les destinations changent, des produits sont lancés et les étiquettes s’améliorent. Le modèle qui gagne aujourd’hui doit être facile à reconstruire demain. Sinon, son exactitude diminue sans que personne puisse la corriger.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Convertissez les 103,0 $ US par 1 000 messages de l'encodeur réglé finement et les 296,0 $ US de TF-IDF en coût annuel pour Larkfield. Montrez le calcul et dites de quoi dépend le résultat.
Afficher la réponse
Larkfield reçoit environ 65 messages par jour, donc 65 × 365 = 23 725 par année, soit 23,725 milliers. L’encodeur : 103,0 × 23,725 ≈ 2 444 $ US par année. TF-IDF : 296,0 × 23,725 ≈ 7 023 $ US par année. La différence est d’environ 4 579 $ US par année. Elle dépend du tableau des coûts du cours (hypothèses) et du volume. Elle suppose aussi que les données de test ressemblent aux futurs messages. Or, elles ne contiennent que 12 prises de contrôle de compte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
GLiClass zéro exemple atteint 0,516 et ne demande ni étiquettes ni entraînement. Pourquoi est-il au-dessus de la ligne rouge du graphique? A-t-il une place dans le routeur de Larkfield?
Afficher la réponse
Ses erreurs coûtent 4 431,0 $ US par 1 000 messages, environ trois fois plus que tout transférer à une personne (1 500,0 $ US). La moitié des destinations sont incorrectes, et la plupart des messages needs_person (besoin d’une personne) vont à une équipe. Comme routeur, il n’a pas sa place. Il peut aider au premier jour d’une nouvelle destination : il liste les messages probablement liés à Grow Hub pour que Chloé les étiquette d’abord. Il en a trouvé 31 sur 80, et 84 % de ses réponses sur les appareils étaient correctes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Nommez trois coûts de l'encodeur réglé finement que le coût total par 1 000 messages ne montre pas, avec les nombres de ce module.
Afficher la réponse
Entraînement : 327 secondes de CPU pour chaque nouvelle version, plus la vérification de la perte de validation et des scores. Taille : 470,6 Mo pour le modèle de base plus 43,3 Mo de poids modifiés, contre environ 2,1 Mo pour TF-IDF. Vitesse : 6,7 ms par message, contre environ 0,1 ms. Il faut aussi des compétences (PyTorch et Transformers). Pour l’explication, il n’a pas de mots importants à montrer à Grace, alors que TF-IDF a route explain.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Évaluez un modèle sur la facture complète : coût des erreurs et coût d’exécution par message. Ajoutez ensuite temps d’entraînement, taille, vitesse, travail de réentraînement, explication et compétences par modèle.
- Convertissez les coûts par 1 000 en coûts annuels avec votre volume : à environ 65 messages par jour, multipliez par 23,725. L’encodeur économise environ 4 579 $ US par année par rapport à TF-IDF + régression logistique, aux coûts du cours.
- Sur cette boîte de réception, l’encodeur réglé finement est la meilleure ligne jusqu’ici : 0,980, 103,0 $ US par 1 000 en test et 204,0 $ US en validation. Il exige une tâche d’entraînement de 6 minutes, 514 Mo et une compétence en PyTorch.
- Les règles et les deux modèles zéro exemple coûtent plus qu’une personne qui lit tout. Les plongements figés perdent face à TF-IDF avec 6 000 étiquettes.
- Cette boîte de réception est plus facile qu’une vraie, et ses données de test contiennent seulement 12 prises de contrôle de compte. Vérifiez sur les données de validation et sur de vraies données avant de promettre une économie.
Jusqu’ici, chaque modèle était local et entraîné ou ajusté par nous. Ensuite, nous demandons à un LLM hébergé de router les messages à partir des noms de destinations. Nous verrons ce qu’un LLM ajoute et ce qu’il coûte.
Leçon suivante : Classification zéro exemple avec un LLM