Le coût de chaque erreur
- Leçon 3
- 35 min
- Module 1 : Le problème du routage et son coût
Où nous en sommes
Nous avons un système d'étiquettes : six équipes et « besoin d'une personne ». Les erreurs n'ont pas toutes le même coût. Une prise de contrôle de compte manquée coûte beaucoup plus qu'une révision supplémentaire. Dans cette leçon, nous attribuons un coût à chaque cellule de la matrice de confusion. Nous obtenons ainsi la mesure que le cours utilise pour choisir une méthode.
Leçon 3 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLe coût de chaque erreur
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Attribuez un coût à chaque type d’erreur de routage. Additionnez les coûts pour obtenir un seul nombre : le coût par 1 000 messages. L’exactitude compte chaque erreur de la même façon. Elle peut donc mener au choix d’un routeur plus coûteux.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les sept destinations de Larkfield, les sujets et
needs_person(besoin d’une personne), présentés dans Concevoir les étiquettes. - Une matrice de confusion compte, pour chaque étiquette réelle, combien de fois un modèle a prédit chaque étiquette. Les métriques de classification, dans le cours d’apprentissage automatique, l’explique avec deux étiquettes. Cette leçon en utilise sept.
- Un seuil transforme une probabilité en décision, comme l’explique Le compromis entre précision et rappel. Cette leçon explique la seule idée dont elle a besoin.
Ce qu’il vous faut sur votre ordinateur
Rien. L’explorateur fonctionne dans cette page. Vous referez vous-même les mêmes calculs dans la prochaine leçon.
Deux lettres qui arrivent en retard
Section intitulée « Deux lettres qui arrivent en retard »Retournons au bureau de poste. Un matin, deux lettres se retrouvent dans le mauvais casier. La première est une carte d’anniversaire. Elle arrive avec un jour de retard, sans grande conséquence. La deuxième vient d’un hôpital et indique la date d’une opération. Elle arrive avec un jour de retard, et le patient manque son rendez-vous.
Dans les deux cas, c’est « une lettre dans le mauvais casier ». Si le bureau de poste compte seulement ses erreurs, les deux journées semblent identiques. Mais la perte réelle du bureau de poste est très différente. Une bonne gestionnaire ne demande pas « combien de lettres ont été mal acheminées? ». Elle demande « combien nos erreurs ont-elles coûté? ». Elle sait aussi que certaines lettres doivent passer par une personne, même si cela prend plus de temps. Une erreur sur ces lettres coûte trop cher.
Le problème : l’exactitude compte chaque erreur de la même façon
Section intitulée « Le problème : l’exactitude compte chaque erreur de la même façon »L’exactitude est la proportion des messages qu’un routeur envoie à la bonne destination. Elle est facile à lire et traite toutes les erreurs de la même façon. Voici un petit exercice que nous avons construit : dix messages et trois routeurs.
| Messages | Routeur A | Routeur B | Routeur C |
|---|---|---|---|
| 4 questions sur la livraison | toutes correctes | 1 vers orders |
toutes correctes |
| 3 questions sur les retours | toutes correctes | 1 vers product |
toutes correctes |
| 2 questions sur la facturation | toutes correctes | toutes correctes | 1 en révision |
| 1 prise de contrôle de compte (urgent) | vers billing |
correcte | en révision |
| Exactitude | 9 sur 10 | 8 sur 10 | 8 sur 8 décisions |
| Coût des erreurs | 200 $ US | 8 $ US | 3 $ US |
Le routeur A a la meilleure exactitude, mais il est de loin le plus coûteux. Sa seule erreur est une prise de contrôle de compte envoyée dans la file d’attente de facturation. Pendant que le message y attend, quelqu’un d’autre utilise le compte du client. Le routeur B fait deux erreurs peu coûteuses : deux messages normaux dans la mauvaise file, à 4 $ US chacun. Le routeur C transfère à une personne les deux messages pour lesquels il hésite, à 1,50 $ US chacun. Il ne fait aucune erreur.
Si vous choisissez selon l’exactitude, vous choisissez le routeur A. Si vous choisissez selon le coût, vous choisissez le routeur C. Ce cours choisit selon le coût.
Le tableau des coûts de Larkfield
Section intitulée « Le tableau des coûts de Larkfield »Pour calculer les coûts, Larkfield a besoin d’un nombre pour chaque type d’erreur. Grace et Priya se sont entendues sur ces valeurs. Ce sont des hypothèses pour le cours, chacune accompagnée d’une raison, et non des mesures. Vous pouvez les modifier dans le fichier config/costs.json du projet. Vous le ferez dans la prochaine leçon.
| Ce qui se passe | Coût ($ US) | Pourquoi |
|---|---|---|
| Une personne révise le message et l’achemine | 1,50 | Environ 1 minute d’un agent payé 28 $ US l’heure, et quelques heures d’attente |
| Un message dans la file de la mauvaise équipe | 4 | La mauvaise équipe le lit et le déplace (environ 2 minutes), et le client attend environ un jour de plus |
| Un message urgent dans la mauvaise file | 20 | Un jour de plus pour un message urgent : une commande perdue, une rétrofacturation ou parfois un client perdu |
| Une prise de contrôle de compte qui n’atteint pas l’équipe des comptes | 200 | Quelqu’un d’autre utilise le compte pendant que le message attend : commandes, travail de récupération et confiance du client |
Un message needs_person envoyé à une équipe |
40 | Un problème de sécurité, une menace juridique ou une plainte remontée reçoit une réponse normale d’équipe : plainte aggravée et risque |
Un message destiné à une équipe envoyé à needs_person |
2 | Une personne expérimentée lit un message normal et le transmet : environ 4 minutes |
| La bonne destination | 0 |
Regardez l’étendue des coûts. L’erreur la moins coûteuse coûte 2 $ US, et la plus coûteuse, 200 $ US : un facteur de 100. Un routeur avec une exactitude légèrement inférieure peut donc coûter beaucoup moins s’il ne manque jamais une prise de contrôle de compte.
Le coût d’un message, étape par étape
Section intitulée « Le coût d’un message, étape par étape »Pour chaque message, le cours détermine son coût avec les mêmes questions, dans cet ordre. Le premier « oui » décide.
Description textuelle du diagramme
Le diagramme est une colonne de six questions. Chaque question a une flèche « oui » vers un coût à droite, et une flèche « non » vers la question suivante. Première question : la destination prédite est-elle la bonne? Si oui, le coût est de 0 $ US. Deuxième : le message est-il allé en révision? Si oui, 1,50 $ US : une personne le lit et l’achemine. Troisième : est-il allé à needs_person, alors qu’une équipe était la bonne destination? Si oui, 2 $ US : une personne expérimentée le lit et le transmet. Quatrième : s’agit-il d’une prise de contrôle de compte? Si oui, 200 $ US, parce que quelqu’un d’autre utilise le compte entre-temps. Ce coût est mis en évidence. Cinquième : l’étiquette était-elle needs_person? Si oui, 40 $ US : une équipe répond à un message de sécurité ou d’ordre juridique. Sixième : le message est-il urgent? Si oui, 20 $ US : un message urgent attend un jour de plus. Si toutes les réponses sont non, le coût est de 4 $ US. La mauvaise équipe lit et déplace le message, et il attend un jour de plus.
Essayez avec quatre messages :
| Message | Étiquette | Prédiction | Coût |
|---|---|---|---|
M-109856, la question sur le remboursement de la première leçon (normal) |
returns_refunds |
product |
4 $ US |
| Une prise de contrôle de compte (urgent) | account |
billing |
200 $ US |
| La même prise de contrôle de compte | account |
needs_person |
2 $ US |
| “My son cut his hand on the swing seat” | needs_person |
product |
40 $ US |
La troisième ligne peut vous surprendre. La prise de contrôle n’a pas atteint l’équipe des comptes. Mais une personne expérimentée a lu le message d’abord et l’a transmis immédiatement. Cela coûte 4 minutes, et non un compte volé. L’ordre des questions traduit cette règle : un message qui atteint une personne est en sécurité.
Une matrice de confusion avec un coût dans chaque cellule
Section intitulée « Une matrice de confusion avec un coût dans chaque cellule »Une matrice de confusion a une ligne par étiquette (la bonne destination) et une colonne par destination prédite. Les cellules de la diagonale sont les bonnes réponses. Toutes les autres cellules représentent un type d’erreur. Maintenant, attribuez un coût à chaque cellule.
Voici un deuxième exercice que nous avons construit : 20 messages et trois destinations.
| Étiquette ↓ / prédiction → | delivery | returns_refunds | account | Coût de la ligne |
|---|---|---|---|---|
| delivery (8) | 7 | 1 normal : 4 $ US | 0 | 4 $ US |
| returns_refunds (8) | 1 urgent : 20 $ US | 7 | 0 | 20 $ US |
| account (4) | 0 | 1 prise de contrôle : 200 $ US | 3 | 200 $ US |
Le routeur a raison pour 17 messages sur 20 : une exactitude de 85 %. Ses trois erreurs coûtent 4 + 20 + 200 = 224 $ US. Par 1 000 messages, cela donne 224 ÷ 20 × 1 000 = 11 200 $ US. Une seule cellule, celle de la prise de contrôle, représente presque 90 % du coût.
La mesure unique : le coût par 1 000 messages
Section intitulée « La mesure unique : le coût par 1 000 messages »Le cours additionne le coût de chaque message des données de test et le ramène à 1 000 messages :
coût par 1 000 = (coût des révisions + coût des erreurs) ÷ nombre de messages × 1 000
Les modules suivants ajoutent un élément : le coût pour exécuter le routeur. Cela comprend, par exemple, le temps de calcul ou le prix d’une réponse d’un modèle de langage. Le total réunit alors le coût des erreurs, des révisions et de l’exécution. Chaque ligne du tableau comparatif du cours présente ce total. Vous pouvez donc comparer une règle par mots-clés à un grand modèle de langage sur une même échelle.
Transférer les messages incertains à une personne
Section intitulée « Transférer les messages incertains à une personne »Un routeur ne fait pas que choisir une destination. La plupart des modèles donnent aussi une probabilité pour chaque destination. La probabilité la plus élevée indique le degré de confiance du modèle. Si elle est faible, le routeur peut envoyer le message en révision. Une personne le lit et l’achemine, pour 1,50 $ US.
Il faut un seuil pour cela. Si la probabilité la plus élevée atteint ou dépasse le seuil, le routeur décide. Si elle est inférieure, le message va en révision. Un seuil bas permet de décider pour presque tous les messages. Il économise des coûts de révision, mais conserve certaines erreurs coûteuses. Un seuil élevé envoie plus de messages en révision, à 1,50 $ US chacun, mais évite davantage d’erreurs.
L’explorateur ci-dessous utilise un vrai modèle : TF-IDF avec régression logistique. C’est un modèle classique qui apprend quels mots correspondent à quelle destination. Le module 3 le construit. Il a été entraîné sur les 6 000 messages d’entraînement de Larkfield. Il a été évalué sur les 2 000 messages de test, avec le tableau des coûts ci-dessus. Déplacez le seuil et observez les coûts.
Explorer
Le coût des erreurs et le coût des révisions
Prédisez d’abord : Le seuil commence à 0,30, où le modèle décide pour presque tous les messages. Le coût par 1 000 messages diminue-t-il si nous envoyons 10 % de messages de plus en révision? Votre réponse dépend-elle du point de départ?
- Coût total
- Erreurs
- Révisions par une personne
- Décidés par le modèle
- 1 994 (99,7 %)
- Envoyés en révision
- 6 (0,3 %)
- Exactitude des décidés
- 96,5 %
- Coût des révisions
- 9 $ US
- Coût des erreurs
- 570 $ US
- Total pour 1 000 messages
- 289,5 $ US
Messages décidés au seuil 0,3 : 1 994 décidés, 6 envoyés en révision. Chaque case : le nombre de messages et leur coût.
| Étiquette ↓ Destination prédite → | orders | delivery | returns_ | billing | product | account | needs_ | Coût de la ligne |
|---|---|---|---|---|---|---|---|---|
| orders | 275 | 432 $ US | 28 $ US | 14 $ US | 14 $ US | 28 $ US | 0 | 56 $ US |
| delivery | 832 $ US | 441 | 416 $ US | 28 $ US | 28 $ US | 14 $ US | 12 $ US | 70 $ US |
| returns_ | 328 $ US | 312 $ US | 388 | 328 $ US | 416 $ US | 28 $ US | 0 | 92 $ US |
| billing | 14 $ US | 224 $ US | 640 $ US | 256 | 0 | 0 | 0 | 68 $ US |
| product | 28 $ US | 14 $ US | 640 $ US | 0 | 278 | 14 $ US | 0 | 56 $ US |
| account | 312 $ US | 312 $ US | 0 | 2204 $ US | 0 | 187 | 0 | 228 $ US |
| needs_ | 0 | 0 | 0 | 0 | 0 | 0 | 99 | 0 $ US |
| Tous les décidés | 570 $ US | |||||||
Au seuil 0,3, le modèle décide 1 994 messages sur 2 000 et en envoie 6 (0,3 %) en révision. Les révisions coûtent 9 $ US et les erreurs qui restent coûtent 570 $ US : 289,5 $ US pour 1 000 messages. Le coût le plus bas de ce graphique est 144,2 $ US pour 1 000, au seuil 0,57.
Description textuelle de l’explorateur
L’explorateur a un curseur, le seuil de décision, de 0,30 à 1,00 par pas de 0,01. Un graphique présente trois courbes en fonction du seuil. Ce sont le coût total par 1 000 messages, le coût des erreurs et le coût des révisions. La courbe des erreurs descend quand le seuil augmente. La courbe des révisions monte, lentement d’abord, puis rapidement après 0,90. La courbe du total descend de 289,5 $ US à 0,30 jusqu’à son minimum, 144,2 $ US, à 0,57. Elle remonte ensuite à 1 500 $ US à 1,00, où tous les messages vont en révision. Sous le graphique, des tuiles donnent les valeurs exactes au seuil choisi. Elles montrent les messages traités automatiquement et ceux envoyés en révision, l’exactitude des décisions automatiques, le coût des révisions, celui des erreurs et le total. Un tableau montre la matrice de confusion des messages traités automatiquement : une ligne par étiquette et une colonne par destination prédite. Chaque cellule donne le nombre de messages et, pour une erreur, son coût. La dernière colonne donne le coût de chaque ligne. À 0,30, la ligne account coûte 228 $ US. Cela vient surtout d’une prise de contrôle de compte envoyée à billing (204 $ US dans cette cellule).
Ce que montre l’explorateur
Section intitulée « Ce que montre l’explorateur »Commencez à 0,30. Le modèle décide pour 1 994 messages et en envoie 6 en révision. Ses 70 erreurs coûtent 570 $ US, et le total est de 289,5 $ US par 1 000 messages. La ligne de ce modèle dans le tableau comparatif indique 296,0 $ US. Dans ce tableau, il décide pour tous les messages, sans aucune révision. Dans la matrice, regardez la ligne account. Une prise de contrôle est allée à billing, et cette cellule coûte à elle seule 204 $ US. Cela comprend 200 $ US pour la prise de contrôle et 4 $ US pour un message normal.
Voici la réponse à la question : cela dépend du point de départ.
- Depuis 0,30, envoyer environ 10 % de messages de plus en révision correspond à un seuil proche de 0,70. À ce seuil, 200 messages (10,0 %) vont en révision, et le total baisse à 181,0 $ US par 1 000. Les révisions coûtent plus cher, mais elles éliminent beaucoup d’erreurs coûteuses.
- Depuis 0,57, le minimum (103 messages en révision, 144,2 $ US par 1 000), ajouter 10 % correspond à un seuil proche de 0,82. Le total monte à 249,2 $ US. Les révisions supplémentaires n’évitent maintenant que quelques erreurs peu coûteuses.
- À 1,00, tous les messages vont en révision : 1 500 $ US par 1 000, le coût actuel de Larkfield.
Observez un saut en particulier : de 0,45 à 0,46, le coût des erreurs baisse de 494 $ US à 290 $ US. Le modèle se trompe sur une des 12 prises de contrôle de compte et l’envoie à billing. Sa probabilité maximale se situe entre ces deux valeurs. À 0,46, le message va plutôt en révision. Dans la matrice, la cellule de account vers billing passe de 204 $ US à 4 $ US.
Une mise en garde. Cet explorateur utilise les messages de test pour vous montrer l’idée. En pratique, vous choisissez un seuil sur les messages de validation, puis le vérifiez une fois sur les messages de test. C’est ce qu’explique le cours d’apprentissage automatique. Le module 8 fait exactement cela, avec une limite au nombre de révisions que l’équipe de Grace peut gérer.
L’exactitude peut augmenter en même temps que le coût
Section intitulée « L’exactitude peut augmenter en même temps que le coût »Le tableau des coûts change le routeur qui semble le meilleur. Voici trois vraies lignes du tableau comparatif du cours, sur les mêmes 2 000 messages de test. Vous les exécuterez vous-même dans la prochaine leçon.
Description textuelle du graphique
Un graphique à trois colonnes, sur un axe de 0 à 2 000 $ US par 1 000 messages. Tout à une personne coûte 1 500 $ US. Son exactitude est de 0, parce qu’une révision n’est pas une destination. Règles ou personne coûte 1 757,8 $ US, avec une exactitude de 0,555. TF-IDF avec régression logistique coûte 296 $ US, avec une exactitude de 0,962. La colonne des règles est la plus haute. Pourtant, les règles ont une meilleure exactitude qu’une personne qui lit tout.
« Tout à une personne » a une exactitude de 0. Ce routeur ne choisit jamais lui-même une destination, donc il n’a jamais « raison ». « Règles ou personne » laisse les règles par mots-clés choisir une destination lorsqu’une règle correspond. Il transfère le reste à une personne. Son exactitude est de 0,555. Pourtant, il coûte plus cher : 1 757,8 $ US contre 1 500 $ US par 1 000 messages. Ses règles correspondent à 76,4 % des messages de test, mais seulement 72,7 % de ces correspondances sont correctes. Chaque mauvaise correspondance coûte au moins 4 $ US, plus qu’une révision à 1,50 $ US. Une meilleure exactitude s’accompagne donc d’un coût plus élevé.
Le modèle de la troisième colonne est nettement meilleur sur les deux plans, ici. La boîte de réception de Larkfield est plus simple qu’une vraie boîte, comme l’explique la prochaine leçon. Ne considérez donc pas 0,962 comme le résultat de cette méthode pour n’importe quelle boîte de réception.
À vous de jouer : écrivez le tableau des coûts pour chaque destination
Section intitulée « À vous de jouer : écrivez le tableau des coûts pour chaque destination »Changez une chose : au lieu du coût d’un message, écrivez le coût de chaque type d’erreur pour chaque étiquette. Faites un tableau avec une ligne pour chacune des sept destinations. Pour chaque ligne, indiquez le coût lorsque le routeur envoie le message en révision, à la mauvaise équipe et à needs_person. Utilisez le tableau des coûts et la règle étape par étape ci-dessus. Portez attention aux lignes account et needs_person.
Afficher la réponse
| Étiquette | En révision | À la mauvaise équipe | À needs_person |
|---|---|---|---|
orders |
1,50 | 4 (urgent : 20) | 2 |
delivery |
1,50 | 4 (urgent : 20) | 2 |
returns_refunds |
1,50 | 4 (urgent : 20) | 2 |
billing |
1,50 | 4 (urgent : 20) | 2 |
product |
1,50 | 4 (urgent : 20) | 2 |
account |
1,50 | 4 (urgent : 20); prise de contrôle d’un compte : 200 | 2 |
needs_person |
1,50 | 40 | (correct : 0) |
Deux lignes diffèrent des autres. Dans la ligne account, une prise de contrôle de compte coûte 200 $ US dans toute mauvaise équipe. C’est vrai même si un seul transfert suffit pour joindre l’équipe des comptes. Dans la ligne needs_person, chaque équipe coûte 40 $ US. Une réponse d’équipe à un message de sécurité ou d’ordre juridique aggrave la situation. Dans les deux cas, la révision à 1,50 $ US offre une protection peu coûteuse. Voilà pourquoi un routeur devrait transférer à une personne les messages incertains sur les comptes et les plaintes.
Erreur courante
Une exactitude de 100 %, et un coût trois fois plus élevé
Symptôme : Tomás règle le seuil de l’explorateur à 0,94 et sourit : « Regardez, l’exactitude des messages traités automatiquement est de 100 %. Aucune erreur. Utilisons 0,94. »
Cause : à 0,94, le modèle décide seulement pour 1 361 messages. Les 639 autres messages, presque un tiers, passent en révision à 1,50 $ US chacun. Le total est de 479,2 $ US par 1 000 messages, contre 144,2 $ US à 0,57. L’exactitude des messages traités automatiquement cache le travail transféré aux personnes.
Correction : choisissez un seuil selon le coût total par 1 000 messages, révisions comprises. Vérifiez aussi la charge de révision : l’équipe de Grace peut seulement traiter un nombre limité de révisions par jour.
Conséquence pour le travail en IA : un routeur évalué uniquement sur l’exactitude de ses décisions peut transférer ses cas difficiles aux personnes. Le rapport du modèle semble parfait, mais l’équipe de soutien reçoit trop de révisions.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Expliquez, avec un exemple de la boîte de réception, comment un routeur peut être plus exact et coûter plus cher.
Afficher la réponse
L’exactitude compte chaque erreur comme une seule erreur; le tableau des coûts ne le fait pas. « Règles ou personne » a une exactitude de 0,555 et coûte 1 757,8 $ US par 1 000 messages de test. « Tout transférer à une personne » a une exactitude de 0 et coûte 1 500 $ US. Les règles choisissent une destination pour 76,4 % des messages, et seulement 72,7 % de ces choix sont corrects. Chaque mauvais choix coûte au moins 4 $ US, plus qu’une révision à 1,50 $ US. Une prise de contrôle de compte manquée coûte 200 $ US. Le routeur plus exact coûte donc plus cher.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une prise de contrôle de compte est envoyée à needs_person plutôt qu'à account. Quel coût la règle du cours applique-t-elle, et pourquoi est-ce logique?
Afficher la réponse
2 $ US, le coût d’un message destiné à une équipe, mais envoyé à une personne expérimentée. La règle demande « Est-il allé à needs_person? » avant « Est-ce une prise de contrôle de compte? ». C’est logique, car une personne expérimentée lit d’abord le message et l’envoie immédiatement à l’équipe des comptes. Le compte ne reste pas vulnérable pendant une journée, comme ce serait le cas dans la file de facturation (200 $ US).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : dans l'explorateur, passer le seuil de 0,57 à 0,82 envoie environ 10 % de messages supplémentaires en révision. Le coût par 1 000 messages augmente-t-il ou diminue-t-il, et pourquoi?
Afficher la réponse
Il augmente, passant de 144,2 $ US à 249,2 $ US par 1 000 messages. À 0,57, les erreurs les plus coûteuses sont déjà en révision. Les révisions supplémentaires coûtent 1,50 $ US chacune, mais elles éliminent surtout des erreurs peu coûteuses à 4 $ US. À partir de 0,30, les mêmes 10 % supplémentaires (jusqu’à environ 0,70) font baisser le coût. Il passe de 289,5 $ US à 181,0 $ US. À ce seuil, les révisions interceptent des erreurs coûteuses. La réponse dépend de votre point de départ.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’exactitude compte chaque erreur comme une seule erreur. Les erreurs de Larkfield coûtent de 2 $ US à 200 $ US : un facteur de 100.
- Le tableau des coûts (hypothèses) : révision 1,50 $ US, mauvaise file 4 $ US, mauvaise file pour un message urgent 20 $ US et prise de contrôle de compte manquée 200 $ US. Un message
needs_personenvoyé à une équipe coûte 40 $ US. Un message destiné à une équipe, mais envoyé àneeds_person, coûte 2 $ US. - Une matrice de confusion pondérée par les coûts place un coût dans chaque cellule. Le cours additionne ces coûts en une mesure : le coût par 1 000 messages, révisions comprises, puis le coût d’exécution.
- Un seuil envoie les messages incertains en révision. Pour TF-IDF + régression logistique sur les messages de test, le total est de 289,5 $ US à 0,30. Il est de 144,2 $ US à 0,57. À 1,00, il est de 1 500 $ US.
- « Règles ou personne » est plus exact que « tout transférer à une personne » : 0,555 contre 0. Il coûte aussi plus cher : 1 757,8 $ US contre 1 500 $ US.
Vous pouvez maintenant juger un routeur selon le coût de ses erreurs. Mais jusqu’ici, chaque nombre provient de données que vous n’avez pas encore ouvertes. Ensuite, vous préparez le projet du cours, lisez la boîte de réception de Larkfield et son guide d’étiquetage. Vous exécutez aussi vous-même la première comparaison.
Leçon suivante : Découvrir la boîte de réception