Aller au contenu
English

Décider, faire réviser ou transférer à une personne

  • Leçon 33
  • 35 min
  • Module 8 : La confiance et les personnes dans la boucle

Où nous en sommes

Nous savons quelles valeurs de confiance sont fiables. Nous les utilisons maintenant pour décider. Dans cette leçon, nous répartissons les messages en trois zones : décider, faire réviser et transférer à une personne. Nous comptons le travail que chaque zone crée pour l'équipe de Grace. Nous gardons aussi la charge de révision sous la capacité de l'équipe.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 33 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitDécider, faire réviser ou transférer à une personne
Aperçu du cours

Ce que vous saurez faire

Répartissez les messages en trois zones selon la confiance : le routeur décide, une personne révise ou une personne expérimentée lit d’abord. Choisissez les seuils sur les messages de validation, sans dépasser le nombre de révisions que l’équipe de Grace peut assumer. Comptez ensuite le travail que chaque zone crée.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter définit les trois zones et cherche les seuils en quelques lignes de pandas. Il trace la confiance par zone et contient la tâche et le cas d’échec de cette leçon, avec des vérifications. Il installe pandas, scikit-learn et matplotlib, puis télécharge les données. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Votre projet larkroute avec les fichiers de la dernière leçon (27 tests réussissent), ou le carnet ci-dessus.

Testé sur macOS (Apple silicon) avec Python 3.12.13. Les commandes Windows n’ont pas été testées.

Retour au bureau de poste. La personne qui trie dispose maintenant de trois endroits pour une lettre, plutôt qu’un seul.

  • Si l’adresse est claire, la lettre va directement dans son casier.
  • Si l’adresse est brouillée, elle va au bureau de vérification. Un commis la lit attentivement et la place dans le bon casier. Cela prend une minute.
  • Certaines lettres vont au bureau du superviseur, même si l’adresse est claire : une lettre recommandée ou un colis qui fuit. Une personne expérimentée doit d’abord les examiner.

Le commis au bureau de vérification peut seulement lire un certain nombre de lettres par jour. Si le tri lui envoie la moitié des lettres, le bureau déborde. Les lettres attendent alors plus longtemps que si elles avaient été triées directement. Le gestionnaire fixe donc une limite : « au plus 1 lettre sur 10 aux bureaux ».

Dans le module 1, l’explorateur avait un seul seuil. Au-dessus, le modèle décidait. En dessous, une personne révisait. Il manquait deux choses.

D’abord, certains messages exigent une personne expérimentée, peu importe la confiance. Un message needs_person concerne un problème de sécurité, une menace juridique ou une plainte transmise à un niveau supérieur. Quand le modèle reconnaît ce type de message avec certitude, il ne doit pas « décider » au sens habituel. Il doit le transférer à une personne.

Ensuite, l’explorateur choisissait son seuil sur les messages de test. Son point le moins coûteux, 0,57 à 144,2 $ US par 1 000 messages, provenait des messages servant aussi à l’évaluer. Ce nombre est trop beau pour être vrai pour les 2 000 prochains messages. Vous verrez de combien à la fin de cette leçon.

Deux seuils, high et low, répartissent les messages en trois zones :

Zone Règle Ce qui se passe
Décider confiance égale ou supérieure à high Le message va directement à la destination choisie par le modèle.
Révision entre low et high Un agent le lit et l’achemine : 1,50 $ US.
Personne sous low, ou destination needs_person Une personne expérimentée le lit d’abord.

La limite de révision est la part maximale des messages que les zones de révision et de transfert à une personne peuvent contenir ensemble. C’est Grace qui la décide, pas le modèle. Son équipe peut lire environ 10 % des messages.

La recherche est ensuite simple. Essayez chaque paire de seuils sur les messages de validation. Écartez les paires qui dépassent la limite. Gardez la moins coûteuse parmi les autres. Évaluez cette paire une seule fois sur les messages de test.

Voici un exercice que nous avons construit exprès : 8 messages, high = 0,80 et low = 0,40.

Message Destination du modèle Confiance Zone Étiquette Coût
1 delivery 0,97 decide delivery 0
2 billing 0,91 decide billing 0
3 orders 0,85 decide product 4
4 needs_person 0,88 person needs_person 0
5 returns_refunds 0,66 review returns_refunds 1,50
6 product 0,52 review returns_refunds 1,50
7 account 0,35 person account 2
8 delivery 0,95 decide delivery 0

Comptez les zones : 4 décisions automatiques (50 %), 2 révisions (25 %), 2 transferts à une personne (25 %). Révision et personne regroupent 4 messages sur 8, donc cette paire dépasse largement une limite de 10 %. Le message 3 est une mauvaise décision (4 $ US). Le message 6 aurait aussi été une erreur, mais la révision l’a corrigée pour 1,50 $ US. Le message 7 a été transféré à une personne expérimentée, qui l’a acheminé : 2 $ US. C’est le coût d’un message destiné à une équipe, mais transféré à une personne. Le total est de 9 $ US pour 8 messages, soit 1 125 $ US par 1 000 messages. Les données réelles contiennent beaucoup moins de messages incertains que cet exemple.

La nouvelle commande du projet, route zones, effectue la recherche avec TF-IDF + régression logistique. Elle utilise decide(), report() et choose() de larkroute/zones.py, que vous avez copiés dans la dernière leçon.

  1. Dans le dossier de votre projet, avec l’environnement virtuel activé, copiez la commande depuis l’instantané end-of-m08. Sur macOS et Linux :

    Fenêtre de terminal
    S=../nextia-learning-labs/C36/snapshots/end-of-m08
    cp $S/larkroute/commands/zones.py larkroute/commands/

    Sur Windows (PowerShell) :

    Fenêtre de terminal
    $S = "..\nextia-learning-labs\C36\snapshots\end-of-m08"
    Copy-Item $S\larkroute\commands\zones.py larkroute\commands\
  2. Exécutez les tests. Vous voyez encore 27 passed (27 tests réussis) : les tests de zones.py accompagnaient la dernière leçon.

    Fenêtre de terminal
    python -m pytest -q
  3. Choisissez les zones avec une limite de révision de 10 %. Cela prend environ 5 secondes.

    Fenêtre de terminal
    route zones --review-max 0.10
Chosen on validation (review and person zones at most 10%): decide at 0.58 or more, send to a person below 0.00.
validation: decide 90.2%, review 5.4%, person 4.4%; errors in the decide zone 2.1%; cost 305.8 dollars per 1,000
test: decide 89.7%, review 5.6%, person 4.8%; errors in the decide zone 1.6%; cost 148.2 dollars per 1,000
At about 65 messages a day, the review and person zones are about 7 messages a day for Grace's team.
  • Décider à 0,58. Le modèle décide quand sa confiance atteint 0,58 ou plus.
  • Personne sous 0,00. Pour ce modèle, le résultat le moins coûteux ne contient aucune zone personne à faible confiance. Sa zone personne contient seulement les messages acheminés vers needs_person avec une confiance de 0,58 ou plus. Sur les données de test, cela représente 95 messages, dont 94 sont réellement needs_person.
  • Validation : 90,2 % de décisions automatiques, 5,4 % de révisions, 4,4 % de transferts à une personne. Ensemble, 9,8 % : sous la limite.
  • Test : 89,7 %, 5,6 % et 4,8 %. Ensemble, 10,4 % : un peu au-dessus de la limite. Une limite choisie sur 2 000 messages ne tient qu’approximativement sur les 2 000 suivants.
  • Erreurs dans la zone décider : 2,1 % et 1,6 % des décisions automatiques sont erronées. Ce sont les erreurs que personne ne vérifie.

Le graphique montre où se trouvent les zones sur les messages de test.

Un histogramme de la confiance de TF-IDF sur les 2 000 messages de test, en 20 classes de 0,05. Les couleurs indiquent les zones, avec une ligne pointillée à 0,58. La révision, en orange, remplit chaque barre sous 0,58 et une partie de celle de 0,55 à 0,60 : 111 messages (5,6 %). Décider, en bleu : 1 794 messages (89,7 %). Personne, en gris, se trouve au sommet des barres bleues au-dessus de 0,6 : 95 messages (4,8 %) de destination needs_person. La dernière barre, de 0,95 à 1,0, contient 1 292 messages et est coupée à 250.
La confiance de TF-IDF + régression logistique sur les 2 000 messages de test, par zone (mesurée). La confiance est très élevée pour la plupart des messages; la zone de révision forme la mince queue à gauche de 0,58.
Description textuelle du diagramme

Un histogramme avec la confiance de 0 à 1 à l’horizontale, en 20 classes de 0,05. L’axe vertical indique les messages par classe et s’arrête à 250. Une ligne pointillée marque le seuil de décision à 0,58. Chaque barre à gauche de la ligne est orange : la zone de révision, 111 messages en tout. Elle va de 1 message près de 0,15 à 25 messages entre 0,50 et 0,55. La barre de 0,55 à 0,60 contient 25 messages orange et 13 bleus. À droite de la ligne, les barres sont bleues (décisions automatiques), avec une mince partie grise au sommet. C’est la zone personne : 95 messages acheminés vers needs_person. Les barres bleues passent de 28 messages entre 0,60 et 0,65 à 205 entre 0,90 et 0,95. La dernière barre, de 0,95 à 1,00, contient 1 292 messages et est coupée au sommet du graphique. La légende indique : décider 1 794 (89,7 %), révision 111 (5,6 %), personne 95 (4,8 %).

La plupart des messages se trouvent dans la dernière barre. La zone de révision forme une mince queue à gauche. Voilà pourquoi un petit budget de révision élimine autant d’erreurs : les messages incertains sont rares, et beaucoup sont mal classés. Si le modèle avait décidé pour les 111 messages de test de la zone de révision, seulement 57,7 % auraient été corrects.

La validation indique 305,8 $ US, le test indique 148,2 $ US

Section intitulée « La validation indique 305,8 $ US, le test indique 148,2 $ US »

Les mêmes seuils coûtent deux fois plus sur les données de validation que sur celles de test. Les deux parties contiennent 2 000 messages, avec la même répartition des destinations et des langues. La section 3 du carnet compte les messages de chaque partie selon leur coût en dollars :

validation: {1.5: 109, 4.0: 32, 20.0: 2, 40.0: 2, 200.0: 1}
test : {1.5: 111, 2.0: 1, 4.0: 27, 20.0: 1}

Lisez ces valeurs comme « coût : messages ». Les révisions coûtent environ autant dans les deux parties : 109 et 111 à 1,50 $ US. La différence vient des erreurs rares et coûteuses dans la partie validation :

Erreur dans la zone décider Validation Test
Prise de contrôle d’un compte non détectée (200 $ US) 1 : 200 $ US 0
Message needs_person envoyé à une équipe (40 $ US) 2 : 80 $ US 0
Message urgent dans la mauvaise file d’attente (20 $ US) 2 : 40 $ US 1 : 20 $ US
Message normal dans la mauvaise file (4 $ US) 32 : 128 $ US 27 : 108 $ US

Une prise de contrôle d’un compte coûte 200 $ US. Sur 2 000 messages, cela représente à elle seule 100 $ US par 1 000 messages. La partie test a eu plus de chance.

Donc, les seuils choisis sur 2 000 messages subissent ce bruit. Quelques erreurs rares et coûteuses déterminent le coût d’une zone. Présentez les deux nombres. Dites à Grace « entre environ 150 $ US et 300 $ US par 1 000 messages dans cette boîte de réception ». Ne dites pas « 148,2 $ US ». Aujourd’hui, chez Larkfield, le traitement de tous les messages par une personne coûte 1 500 $ US.

Une zone représente du travail pour des personnes. L’historique contient environ 65 messages par jour.

Un flux part de « Environ 65 messages par jour » vers « TF-IDF + LR attribue une destination et une confiance à chaque message ». Il se divise en trois cases. Décider (0,58 ou plus) : environ 59 par jour, directement à une équipe; environ 1 par jour est incorrect (1,6 %). Révision (sous 0,58) : environ 4 par jour; un agent lit chacun et l'achemine, à 1,50 $ US chacun. Personne (destination needs_person) : environ 3 par jour; une personne expérimentée lit d'abord. En dessous : l'équipe de Grace lit les zones révision et personne, environ 7 par jour. La limite choisie est de 10 % : 9,8 % sur la validation, 10,4 % sur le test.
Une journée de messages dans les trois zones, selon les parts de test (mesurées) et la moyenne historique d'environ 65 messages par jour.
Description textuelle du diagramme

Un diagramme de flux. En haut : environ 65 messages par jour. Une flèche mène au modèle, qui attribue une destination et une confiance à chaque message. Trois flèches mènent à trois cases. La case bleue, décider, 0,58 ou plus : environ 59 messages par jour vont directement à une équipe. Environ 1 par jour est incorrect, soit 1,6 %. La case orange, révision, sous 0,58 : environ 4 par jour; un agent lit chacun et l’achemine, pour 1,50 $ US chacun. La case grise, personne, destination needs_person : environ 3 par jour; une personne expérimentée lit chacun d’abord. Les flèches des cases révision et personne mènent à une note : l’équipe de Grace lit ces deux zones, environ 7 messages par jour. Les seuils ont été choisis pour au plus 10 % : 9,8 % sur la validation et 10,4 % sur le test.

Environ 7 messages par jour pour l’équipe de Grace, au lieu des 65. Et environ 1 mauvaise décision par jour que personne ne vérifie. Grace peut maintenant poser une question claire : une mauvaise file par jour vaut-elle 7 révisions par jour? Le tableau des coûts dit oui. Le temps disponible de son équipe indique que c’est faisable.

L’explorateur ci-dessous reprend celui du module 1, avec la limite de Grace en plus. Sa courbe ombre les seuils qui envoient plus de 10 % des messages de test en révision. Le repère indique le seuil choisi sur la validation.

Explorer

Le seuil de décision sous une limite de révision de 10 %

  • Coût total
  • Erreurs
  • Révisions par une personne
au-delà de la limite de révision05001 0001 500Dollars pour 1 000 messages0,30,40,50,60,70,80,91Seuil de décision (probabilité la plus haute)choisi sur la validationseuil 0,58 : 148,2 $ US
au-delà de la limite de révision05001 0001 500Dollars pour 1 000 messages0,40,60,81Seuil de décision (probabilité la plus haute)choisi sur la validationseuil 0,58 : 148,2 $ US
Décidés par le modèle
1 889 (94,5 %)
Envoyés en révision
111 (5,6 %)
Exactitude des décidés
98,5 %
Coût des révisions
166,50 $ US
Coût des erreurs
130 $ US
Total pour 1 000 messages
148,2 $ US
Limite de révision 10 %
respectée

Au seuil 0,58, le modèle décide 1 889 messages sur 2 000 et en envoie 111 (5,6 %) en révision. Les révisions coûtent 166,50 $ US et les erreurs qui restent coûtent 130 $ US : 148,2 $ US pour 1 000 messages. Dans la limite de révision de 10 %, le coût le plus bas est 144,2 $ US pour 1 000, au seuil 0,57.

TF-IDF + régression logistique sur les 2 000 messages de test (mesuré). Les seuils ombrés envoient plus de 10 % des messages en révision. Les coûts sont les hypothèses du cours.
Description textuelle de l’explorateur

L’explorateur contient un curseur, le seuil de décision, de 0,30 à 1,00. Un graphique en courbes montre le coût total par 1 000 messages de test selon le seuil. Il montre aussi le coût des erreurs et celui des révisions. Les seuils d’environ 0,71 à 1,00 sont ombrés : là, plus de 10 % des messages vont en révision. Un repère à 0,58 indique « choisi sur la validation ». Sous le graphique, des tuiles donnent les valeurs exactes au seuil choisi. À 0,58 : 1 889 décisions automatiques et 111 messages envoyés en révision. Le coût de révision est de 166,5 $ US, celui des erreurs de 130 $ US. Le total est de 148,2 $ US par 1 000 messages. La limite de révision de 10 % est respectée. Une ligne d’état indique le seuil le moins coûteux sous la limite sur ces messages de test : 144,2 $ US à 0,57.

  • À 0,58, le total est de 148,2 $ US, comme la valeur affichée par route zones pour le test. 111 messages (5,6 %) vont en révision.
  • Le point le moins coûteux sur les messages de test est 0,57, à 144,2 $ US : un pas de différence. Ici, le choix de validation était proche du meilleur choix possible sur le test. C’est autant une question de chance que de compétence : la courbe de validation a ses propres irrégularités.
  • La zone ombrée commence près de 0,71. À partir de là, plus de 200 messages (10 %) vont en révision. Le total remonte : 181,0 $ US à 0,70 et 227,5 $ US à 0,80.

Il y a une différence avec route zones. L’explorateur compte seulement la zone de révision pour la limite. Les messages que le modèle achemine vers needs_person restent dans son compte de « décisions automatiques ». route zones compte révision et personne ensemble, ce qui correspond aux messages que l’équipe de Grace lit réellement.

La recherche n’a trouvé aucune zone personne à faible confiance pour TF-IDF. Les exécutions du cours ont effectué la même recherche pour l’encodeur réglé finement du module 4 (mesuré). La commande du projet n’exécute pas l’encodeur. La recherche a trouvé une véritable zone personne :

Décider Révision Personne Coût de test par 1 000
TF-IDF + LR 0,58 ou plus sous 0,58 destination needs_person 148,2 $ US
Encodeur réglé finement 0,78 ou plus de 0,40 à 0,78 sous 0,40, ou destination needs_person 74,5 $ US

Sur le test, l’encodeur décide pour 92,6 % des messages, en fait réviser 2,3 % et transfère 5,0 % à une personne. La recherche a choisi une zone personne parce que le tableau des coûts la rend peu coûteuse ici. L’examen par une personne expérimentée coûte 2 $ US pour un message destiné à une équipe. Pour un message needs_person, il ne coûte rien, alors qu’une révision coûte 1,50 $ US. Un meilleur modèle donne de meilleures zones : la moitié du coût de TF-IDF, avec moins de révisions.

Changez une chose : Grace embauche un deuxième agent

Section intitulée « Changez une chose : Grace embauche un deuxième agent »

Faites d’abord une prédiction : si l’équipe peut lire 20 % des messages, le coût sur les données de test diminuera-t-il?

Fenêtre de terminal
route zones --review-max 0.20
Chosen on validation (review and person zones at most 20%): decide at 0.74 or more, send to a person below 0.00.
validation: decide 83.8%, review 12.0%, person 4.2%; errors in the decide zone 0.7%; cost 220.0 dollars per 1,000
test: decide 83.9%, review 11.7%, person 4.4%; errors in the decide zone 0.7%; cost 197.5 dollars per 1,000
At about 65 messages a day, the review and person zones are about 11 messages a day for Grace's team.

Sur les données de validation, la limite plus élevée coûte moins cher : 220,0 $ US contre 305,8 $ US. Sur les données de test, elle coûte plus cher : 197,5 $ US contre 148,2 $ US. Les deux parties divergent encore, pour la même raison qu’avant. Les révisions supplémentaires éliminent les erreurs coûteuses des données de validation. Les données de test ne contenaient pas ces erreurs.

Avec --review-max 0.05, la commande décide à 0,33 : 444,0 $ US sur les données de validation et 290,5 $ US sur celles de test. Cela représente environ 4 messages par jour. Une équipe plus petite paie le prix des erreurs.

La section 5 du carnet (notebook) Jupyter vous demande de faire le même choix avec pandas. Écrivez l’appel à choose() avec review_max=0.20 sur les messages de validation. Placez le seuil de décision dans high_20.

Afficher la réponse
high_20, low_20, on_val_20 = choose(validation, p_val, review_max=0.20)
print(high_20, low_20, on_val_20)
0.74 0.0 {'decide': np.float64(0.838), 'review': np.float64(0.12), 'person': np.float64(0.042), 'errors_in_decide': np.float64(0.0066), 'cost_per_1000': 220.0}

La cellule de vérification affiche Check passed: high_20 is 0.74. (vérification réussie : high_20 vaut 0,74). Les fonctions zones(), report() et choose() du carnet suivent les mêmes règles que le fichier larkroute/zones.py du projet. Elles donnent donc les mêmes résultats que route zones.

Erreur courante

Seuils choisis sur les messages de test

Symptôme : Tomás dit : « Pourquoi choisir sur les données de validation? On présente les résultats des messages de test. Choisissons sur ceux-là. » La section 6 du carnet le fait. Avec la même limite de 10 %, elle décide à 0,57. Le coût sur les données de test est de 144,2 $ US, mieux que 148,2 $ US.

Cause : la recherche a essayé environ 600 paires de seuils sur les mêmes 2 000 messages de test. Elle a conservé la meilleure paire. Une partie du gain vient du bruit de ces messages. Ce choix n’a pas utilisé les messages de validation. Sur ceux-ci, les mêmes seuils coûtent 311,8 $ US.

Solution : choisissez sur les données de validation et évaluez les messages de test une seule fois, à la fin, comme route zones. Présentez ensuite le coût sur les données de test avec son bruit. Ici, les deux choix sont proches (0,57 et 0,58). Avec moins de données de test ou plus de seuils à ajuster, l’écart peut être grand.

Conséquence dans le travail en IA : un coût optimisé sur les données de test promet une économie qui ne se réalise pas le mois suivant. L’équipe fait moins confiance aux zones et recommence à lire chaque message.

Vérifiez votre compréhension

Que fait chacune des trois zones? Pourquoi un message que le modèle route vers needs_person va-t-il dans la zone personne, même si le modèle est sûr?

Afficher la réponse

Décision : la confiance atteint ou dépasse le seuil de décision, et le message va directement à la destination du modèle. Révision : la confiance se situe entre les deux seuils. Un agent lit le message et l’achemine (1,50 $ US). Personne : la confiance est sous le seuil inférieur, et une personne expérimentée lit le message en premier. Un message needs_person concerne un problème de sécurité, une menace juridique ou une plainte transmise à un niveau supérieur. Cette destination signifie « une personne expérimentée le lit en premier ». Une décision needs_person certaine est donc une décision de transférer le message à une personne. Pour TF-IDF sur les données de test, cela représente 95 messages (4,8 %).

Vérifiez votre compréhension

route zones --review-max 0.10 donne 305,8 $ US par 1 000 sur les données de validation et 148,2 $ US sur celles de test, avec les mêmes seuils. Que dites-vous à Grace, et pourquoi?

Afficher la réponse

Dites-lui que les zones coûtent environ 150 $ US à 300 $ US par 1 000 messages dans cette boîte de réception. Faire lire chaque message par une personne coûte 1 500 $ US. Les deux chiffres diffèrent parce que quelques erreurs rares et coûteuses déterminent le coût. La zone de décision des données de validation contenait une prise de contrôle de compte non détectée : 200 $ US. À elle seule, cela représente 100 $ US par 1 000 messages. Elle contenait aussi deux messages needs_person envoyés aux équipes (80 $ US) et deux messages urgents dans la mauvaise file d’attente (40 $ US). Les données de test ne contenaient aucune prise de contrôle ni erreur needs_person. Les seuils choisis sur 2 000 messages portent ce bruit. Présentez donc les deux chiffres et ne promettez pas le plus bas.

Vérifiez votre compréhension

Faites une prédiction : l'équipe de Grace peut maintenant lire 20 % des messages. route zones choisit 0,74 au lieu de 0,58. Pourquoi le coût sur les données de test peut-il passer de 148,2 $ US à 197,5 $ US malgré davantage de révisions?

Afficher la réponse

La commande choisit sur les données de validation. Les révisions supplémentaires y éliminent des erreurs coûteuses, et le coût passe de 305,8 $ US à 220,0 $ US. Sur les données de test, ces erreurs coûteuses n’étaient pas dans la zone de décision à 0,58. Les révisions supplémentaires ajoutent donc surtout 1,50 $ US chacune. Plus de révisions aident seulement là où elles détectent des erreurs coûteuses. Deux échantillons de 2 000 messages peuvent diverger sur l’endroit où se trouvent ces erreurs.

Récapitulatif

  • Trois zones : décision (confiance égale ou supérieure à high), révision (entre low et high, 1,50 $ US), personne (sous low, ou destination needs_person).
  • La limite de révision représente la capacité de l’équipe : révision et personne réunies. Choisissez les seuils sur les données de validation, sous la limite, au coût le plus bas. Évaluez-les une seule fois sur les données de test.
  • Pour TF-IDF + régression logistique avec une limite de 10 % : décidez à 0,58. Sur les données de test : décision 89,7 %, révision 5,6 %, personne 4,8 %, erreurs dans la zone de décision 1,6 %. Coût : 148,2 $ US par 1 000 (validation 305,8 $ US). Environ 7 messages par jour pour l’équipe de Grace.
  • Les seuils choisis sur 2 000 messages portent du bruit : une prise de contrôle de compte non détectée coûte 100 $ US par 1 000. Présentez les deux chiffres.
  • L’encodeur réglé finement a une véritable zone personne : il décide à partir de 0,78. Il transfère les messages sous 0,40 à une personne. Coût sur les données de test : 74,5 $ US par 1 000.
  • Choisir sur les messages de test semble meilleur (144,2 $ US), mais ce n’est pas honnête. Les messages de validation donnent 311,8 $ US pour ce choix.

Des personnes lisent maintenant les messages incertains, et certaines déplacent un message vers une autre file. Ensuite, vous transformerez ces déplacements en nouvelles étiquettes. Vous les vérifierez d’abord, car un déplacement rapide n’est pas toujours correct.

Leçon suivante : Apprendre des corrections