Aller au contenu
English

Bayes naïf, régression logistique et SVM linéaire

  • Leçon 11
  • 40 min
  • Module 3 : Références de base : règles et modèles classiques

Où nous en sommes

Nos messages sont maintenant des vecteurs TF-IDF. Un vecteur n'est pas encore une décision : il nous faut un classificateur ensuite. Dans cette leçon, nous entraînons Bayes naïf, une régression logistique et un SVM linéaire dans un pipeline scikit-learn. Nous comparons leur exactitude, leur vitesse et les mots utilisés par chacun.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 11 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitBayes naïf, régression logistique et SVM linéaire
Aperçu du cours

Ce que vous saurez faire

Ajoutez un classificateur après les nombres TF-IDF pour donner à chaque message une destination et une probabilité. Trois classificateurs classiques le font en quelques secondes. Choisissez-en un avec le tableau des coûts sur les messages de validation, puis lisez les mots qu’il utilise.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Il présente un petit exemple de Bayes naïf et entraîne les trois modèles du projet. Il choisit sur les données de validation, évalue les messages de test une seule fois et lit les principaux mots par destination. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Aucune préparation locale n’est nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’étape du projet)

Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1. Les commandes Windows n’ont pas été testées.

Au bureau de poste, la commis en chef a maintenant une semaine de feuilles de comptage. Chaque feuille contient une ligne par lettre, une colonne par mot et le sac où chaque lettre est allée. Elle entraîne trois nouveaux commis. Chacun apprend à partir des feuilles à sa façon.

Le premier commis compte. Pour chaque sac, il compte combien de fois chaque mot apparaît dans ses lettres. Pour une nouvelle lettre, il demande : « Dans quel sac ces mots sont-ils les plus fréquents? » Le deuxième commis pondère. Il donne à chaque mot un poids pour chaque sac, positif ou négatif. Pour une nouvelle lettre, il additionne les poids de ses mots. Le sac avec le plus grand total gagne. Le troisième commis trace une ligne. Il cherche la frontière entre deux sacs qui garde les lettres de chaque sac aussi loin que possible de cette frontière.

Les trois utilisent les mêmes feuilles de comptage. Ils apprennent à partir de ces feuilles de façons différentes. Cette leçon entraîne les trois sur les messages de Larkfield et les compare avec le même tableau des coûts.

Après la dernière leçon, chaque message est une ligne de 14 076 nombres TF-IDF. Cette ligne ne dit pas « delivery ». Il nous faut un classificateur. Ce modèle apprend, à partir des lignes d’entraînement étiquetées, à transformer une nouvelle ligne en destination.

Un bon classificateur de routage donne plus qu’une destination. Il donne une probabilité pour chacune des sept destinations, ce qui permet de voir quand il hésite. Le message de Grow Hub de la dernière leçon a obtenu 0,46 pour sa destination la plus probable. C’est un signe clair qu’il faut le transférer à une personne. Les trois classificateurs ci-dessous donnent des probabilités.

Une suite de cinq cases. Un message, Where is my parcel? Order LK-123456., passe au TF-IDF, qui donne un poids par mot. Puis à un classificateur, qui donne un score par destination. Puis à 7 probabilités : delivery 0,53, orders 0,29, et ainsi de suite. Puis à la destination : la plus probable, delivery.
Un pipeline : le TF-IDF transforme le message en nombres, puis le classificateur transforme ces nombres en une probabilité par destination. La destination choisie est la plus probable. Les probabilités viennent du TF-IDF avec régression logistique du projet.
Description textuelle du diagramme

Le diagramme est une chaîne de cinq cases. La première case est un message : « Where is my parcel? Order LK-123456. » Une flèche mène au TF-IDF, qui donne un poids par mot. La flèche suivante mène à un classificateur, qui donne un score par destination. La case suivante montre les 7 probabilités : delivery 0,53, orders 0,29 et des valeurs plus petites pour les autres destinations. La dernière case est la destination : celle avec la plus grande probabilité, delivery. Le court message obtient seulement 0,53 pour sa destination. Le modèle n’est donc pas très sûr.

Dans scikit-learn, un pipeline relie les étapes. Un seul fit (ajustement) apprend le vocabulaire, l’IDF et le classificateur à partir des messages d’entraînement. Un seul predict (prédiction) exécute toutes ces étapes sur de nouveaux messages. Vous avez vu les pipelines dans Prétraiter avec un pipeline. Ici, chaque classificateur a son propre pipeline, avec la même étape TF-IDF au début.

Bayes naïf est le commis qui compte. C’est le plus ancien et le plus simple des trois. Nous commençons donc par lui.

Quatre messages d’entraînement, deux destinations :

Message Destination
parcel late delivery
where parcel delivery
refund order returns_refunds
refund late returns_refunds

Comptez les mots de chaque destination. Chaque destination a 4 mots au total. Ajoutez ensuite 1 à chaque compte. Ainsi, un mot jamais vu dans une destination ne donne pas une proportion de 0. C’est ce qu’on appelle le lissage. Le vocabulaire contient 5 mots. Le total de chaque destination devient donc 4 + 5 = 9 :

Mot Compte pour delivery Proportion pour delivery Compte pour returns_refunds Proportion pour returns_refunds
late 1 (1+1)/9 = 2/9 1 (1+1)/9 = 2/9
order 0 1/9 1 2/9
parcel 2 3/9 0 1/9
refund 0 1/9 2 3/9
where 1 2/9 0 1/9

Un nouveau message arrive : late parcel. Pour chaque destination, multipliez sa proportion dans les messages d’entraînement (ici 1/2 chacune) par les proportions des mots du message :

  • delivery : 1/2 × 2/9 (late) × 3/9 (parcel) = 6/162
  • returns_refunds : 1/2 × 2/9 (late) × 1/9 (parcel) = 2/162

Le résultat pour delivery est trois fois plus grand. En probabilités dont la somme vaut 1 : delivery 6/8 = 0,75, returns_refunds 2/8 = 0,25. Le carnet vérifie ce calcul avec MultinomialNB de scikit-learn et obtient 0,75 et 0,25.

La méthode est dite naïve parce qu’elle traite chaque mot comme s’il était indépendant des autres mots du message. « Charged » et « twice » comptent chacun séparément. C’est rarement vrai, mais la méthode fonctionne bien quand même. « Bayes » désigne Thomas Bayes. Sa règle transforme « ce mot est-il fréquent dans une destination? » en « cette destination est-elle probable pour ce message? ».

Bayes naïf est très rapide : il ne fait que compter. Il s’entraîne sur 6 000 messages en 0,2 seconde. Sa faiblesse est son côté naïf. Quand plusieurs mots répètent la même idée, il compte cette idée plusieurs fois et devient trop sûr.

La régression logistique est le commis qui pondère. Pour chaque destination, elle apprend un poids pour chacune des 14 076 colonnes. Un poids positif pousse un message vers la destination. Un poids négatif l’en éloigne. Pour un nouveau message, le modèle multiplie chaque valeur TF-IDF par son poids et additionne les produits. Il obtient un score par destination. Il transforme ensuite les sept scores en sept probabilités dont la somme vaut 1. Le plus grand score obtient la plus grande probabilité.

L’entraînement cherche les poids qui maximisent les probabilités des bonnes destinations sur les messages d’entraînement. Le nom vient de la fonction logistique, la courbe en S qui transforme un score en probabilité. Comprendre la classification, dans le cours d’apprentissage automatique, la présente étape par étape.

Les poids rendent le modèle facile à expliquer. La commande du projet route explain montre les produits pour un message :

M-100001 (fr, chat): Est-ce que le livreur pourrait laisser mon colis LK-596824 chez ma voisine ?
Label: delivery. Model: delivery (1.00).
Largest weights for delivery: 'voisine' +0.36, 'ma voisine' +0.36, 'colis lk' +0.34, 'chez ma' +0.34, 'colis' +0.33, 'mon colis' +0.28, 'livreur' +0.27, 'le livreur' +0.24

« Voisine », « colis » et « livreur » poussent le message vers delivery (livraison). Ensemble, ils donnent une probabilité de 1,00. Une personne qui lit le message désignerait les mêmes mots.

Un SVM linéaire (machine à vecteurs de support) est le commis qui trace une ligne. Comme la régression logistique, il apprend un poids par colonne et par destination. Il additionne les produits pour obtenir un score. Son entraînement est différent. Il cherche la frontière entre les destinations qui laisse la plus grande marge. La marge est l’écart entre la frontière et les messages d’entraînement les plus proches de chaque destination. Seuls les messages proches de la frontière, les vecteurs de support, décident de sa position. « Linéaire » signifie que la frontière est droite : une somme pondérée, comme dans la régression logistique.

Un SVM donne des scores, pas des probabilités. Le projet l’intègre donc à CalibratedClassifierCV. Celui-ci apprend à transformer les scores en probabilités sur des parties des messages d’entraînement. L’étalonnage, qu’un module ultérieur explique en détail, signifie que les probabilités correspondent à la fréquence des bonnes réponses du modèle.

Le carnet construit les trois modèles du projet avec les paramètres de larkroute/tfidf.py et de larkroute/methods/classical.py :

models = {
"TF-IDF + Naive Bayes": make_pipeline(features(chars=False), ComplementNB(alpha=0.3)),
"TF-IDF + logistic regression": make_pipeline(features(), LogisticRegression(C=10, max_iter=3000)),
"TF-IDF + linear SVM": make_pipeline(features(), CalibratedClassifierCV(LinearSVC(C=0.5), cv=3)),
}

ComplementNB est une version de Bayes naïf qui fonctionne mieux quand les destinations ont des tailles différentes. Ici, l’historique contient 2 318 messages de livraison et seulement 491 needs_person (besoin d’une personne). features() donne les mots et les paires de mots. Avec les lettres, elle donne aussi les groupes de lettres. Bayes naïf utilise seulement les mots. C règle à quel point un modèle peut suivre les messages d’entraînement. Un C plus grand lui permet de s’y ajuster plus étroitement.

Avant de regarder, faites une prédiction : lequel des trois coûte le moins cher? Priya évalue d’abord les trois sur les messages de validation, car c’est là que nous choisissons :

method accuracy ... mistakes_per_1000 total_per_1000
0 TF-IDF + linear SVM 0.964 ... 404.0 404.0
1 TF-IDF + logistic regression 0.958 ... 472.0 472.0
2 TF-IDF + Naive Bayes 0.941 ... 510.0 510.0

Le SVM linéaire coûte le moins cher et offre la meilleure exactitude sur les données de validation. La régression logistique est deuxième, et Bayes naïf est troisième. Les trois coûtent beaucoup moins cher qu’une personne qui lit tout (1 500 $ US).

Elle évalue ensuite les messages de test une seule fois, pour le tableau comparatif :

method accuracy macro_f1 takeover_recall ... total_per_1000 ms_per_message
0 TF-IDF + linear SVM 0.966 0.969 1.000 ... 175.0 0.15
1 TF-IDF + logistic regression 0.962 0.965 0.917 ... 296.0 0.14
2 TF-IDF + Naive Bayes 0.943 0.945 0.917 ... 441.0 0.02

L’ordre est le même que sur les données de validation. C’est un bon signe : le choix n’était pas dû au hasard. Sur cette boîte de réception, le TF-IDF avec SVM linéaire atteint 0,966 et coûte 175,0 $ US par 1 000 messages. Le TF-IDF avec régression logistique atteint 0,962 et coûte 296,0 $ US. Rappelez-vous que cette boîte de réception est plus facile qu’une vraie. Sur de vrais messages de clients, les mêmes méthodes obtiennent des résultats plus faibles. L’étude de cas Router des questions bancaires les présente sur des données réelles.

Le tableau comparatif contient maintenant ses premières lignes utiles. Les voici dans une seule image, avec toutes les méthodes vues jusqu’ici :

Un nuage de points du coût par 1 000 messages de test selon l'exactitude, de 0,5 à 1,0. Une ligne rouge pointillée à 1 500 représente le transfert de tout à une personne, sans décision automatique. Règles ou personne est un point orange au-dessus de la ligne, à une exactitude de 0,555 et un coût de 1 757,8. Quatre points bleus sont regroupés en bas à droite : TF-IDF + Bayes naïf à 0,943 et 441, TF-IDF + régression logistique à 0,962 et 296, TF-IDF sur les mots seulement + régression logistique à 0,968 et 195, et TF-IDF + SVM linéaire à 0,966 et 175.
Coût selon l'exactitude sur les 2 000 messages de test, pour toutes les méthodes vues jusqu'ici. Plus bas et plus à droite, c'est mieux. Les quatre modèles TF-IDF coûtent une fraction du coût d'une personne; les règles coûtent plus cher qu'une personne.
Description textuelle du diagramme

L’axe horizontal montre l’exactitude sur les messages de test, de 0,5 à 1,0. L’axe vertical montre le coût par 1 000 messages de test en dollars US, de 0 à 1 800. Une ligne rouge pointillée à 1 500 représente le transfert de tout à une personne, sans décision automatique. La méthode règles ou personne est un point orange au-dessus de cette ligne, à une exactitude de 0,555 et un coût de 1 757,8. Quatre points bleus sont proches les uns des autres en bas à droite. Le TF-IDF avec Bayes naïf est à 0,943 et 441. Le TF-IDF avec régression logistique est à 0,962 et 296. Le TF-IDF avec régression logistique sur les mots seulement est à 0,968 et 195. Le TF-IDF avec SVM linéaire est à 0,966 et 175.

Le graphique montre deux choses. D’abord, chaque modèle entraîné coûte beaucoup moins cher que les règles et qu’une personne. Ensuite, parmi les modèles entraînés, un petit gain d’exactitude peut entraîner une grande baisse du coût. Passer de 0,962 à 0,966 représente 8 messages sur 2 000, et le coût passe de 296 à 175. Le cas d’échec ci-dessous montre pourquoi.

Un modèle linéaire conserve un poids par colonne et par destination. Vous pouvez donc lire ce qu’il a appris. Le carnet entraîne la régression logistique sur les mots seulement, pour que chaque colonne soit un mot lisible. Il liste ensuite les 5 plus grands poids de chaque destination :

Sept petits graphiques à barres, un par destination, chacun avec les 5 mots ayant les plus grands poids. orders : cancel 5,7, lk 5,6, delivery address 4,2, please cancel 4,1, one 4,1. delivery : lk 6,1, days 6,1, delivered 4,5, courier 4,4, deliver 4,0. returns_refunds : return 5,8, ago 5,4, received 4,5, weeks 4,5, est arrive 4,5. billing : card 6,0, charge 5,0, my card 4,3, vat receipt 3,9, vat 3,9. product : dimensions 4,4, stock 3,7, if 3,6, only 3,5, red 3,4. account : account 6,2, my account 5,5, mon compte 5,1, compte 5,0, mon 4,6. needs_person : speak 3,5, template 3,2, real 3,1, person 3,1, speak with 3,0.
Les 5 mots et paires de mots ayant les plus grands poids pour chaque destination, avec TF-IDF + régression logistique sur les mots. La plupart sont ceux qu'une personne choisirait; certains, comme template et red, reflètent les habitudes de cette boîte de réception.
Description textuelle du diagramme

Il y a un petit graphique à barres pour chacune des sept destinations. Chacun montre les 5 mots ou paires de mots ayant les plus grands poids, avec leurs poids. orders : cancel 5,7, lk 5,6, delivery address 4,2, please cancel 4,1, one 4,1. delivery : lk 6,1, days 6,1, delivered 4,5, courier 4,4, deliver 4,0. returns_refunds : return 5,8, ago 5,4, received 4,5, weeks 4,5, est arrive 4,5. billing : card 6,0, charge 5,0, my card 4,3, vat receipt 3,9, vat 3,9. product : dimensions 4,4, stock 3,7, if 3,6, only 3,5, red 3,4. account : account 6,2, my account 5,5, mon compte 5,1, compte 5,0, mon 4,6. needs_person : speak 3,5, template 3,2, real 3,1, person 3,1, speak with 3,0.

La plupart des mots sont ceux que Chloé choisirait : « cancel » pour orders, « courier » pour delivery, « card » et « charge » pour billing, « mon compte » pour account. Le modèle a aussi trouvé des mots qu’aucune règle n’utilisait. « Ago » et « weeks » vont avec les retours, comme dans « I sent the chair back two weeks ago » du guide. « If » va avec les questions sur les produits, comme dans « can I return it if… ». Les mots français et anglais sont côte à côte, car les messages d’entraînement contiennent les deux langues.

Certains mots reflètent les habitudes de cette boîte de réception, pas celles des clients. « Template » apparaît dans 34 messages d’entraînement, tous needs_person, dans « a real person, not another template answer ». « Red » apparaît dans 79 messages d’entraînement, tous product (produit), dans « is it available in red? ». Une vraie boîte de réception n’aurait pas exactement ces habitudes; elle en aurait d’autres. Lire les principaux mots permet de les trouver avant qu’elles vous surprennent sur de nouveaux messages.

Les trois modèles coûtent peu à exécuter :

Modèle Secondes d’entraînement (6 000 messages) Millisecondes par message Coût d’exécution par 1 000
TF-IDF + Bayes naïf 0,2 0,02 0,00 $ US
TF-IDF + régression logistique 3,0 0,14 0,00 $ US
TF-IDF + SVM linéaire 1,9 0,15 0,00 $ US

Ces durées viennent du carnet exécuté sur un portable; les vôtres seront différentes. Au tarif du cours de 0,05 $ US par heure de processeur, 1 000 messages coûtent bien moins qu’un cent. Le coût qui compte est celui des erreurs.

  • Bayes naïf pour un premier aperçu en quelques secondes, très peu de données d’entraînement ou un très grand vocabulaire. Ici, c’est le plus faible des trois (0,943, 441 $ US).
  • La régression logistique comme choix par défaut : de bonnes probabilités, des poids lisibles et route explain qui montre pourquoi elle choisit une destination. C’est le modèle principal du projet dans les prochains modules.
  • Un SVM linéaire quand son exactitude est nettement meilleure sur les données de validation, comme ici. Ses probabilités nécessitent l’étape supplémentaire d’étalonnage.

Aucun des trois ne connaît le sens d’un mot qu’il n’a jamais vu. Aucun ne lit l’ordre des mots au-delà des paires de mots. Les modules suivants ajoutent des modèles qui le font.

  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La cellule des données se termine par Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic. (Prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques.)
  3. Dans la section 1, résolvez le petit exemple sur papier. Puis exécutez la cellule. Vous voyez delivery 0.75 et returns_refunds 0.25.
  4. Dans la section 2, exécutez la cellule qui entraîne les trois modèles. Elle affiche le temps d’entraînement de chacun en secondes.
  5. Dans la section 3, écrivez votre prédiction. Puis exécutez la cellule de validation. Le SVM coûte 404.0, la régression logistique 472.0 et Bayes naïf 510.0.
  6. Dans la section 4, exécutez la cellule de test. Le SVM coûte 175.0 par 1 000 messages de test.
  7. Dans la section 5, lisez les mots principaux. Trouvez template (réponse type) dans la ligne needs_person (besoin d’une personne).
  8. Dans la section 6, exécutez la cellule. Les premiers mots sont voisine et ma voisine.

Ajoutez maintenant route explain à votre projet. La commande tient dans un fichier, larkroute/commands/explain.py. Le projet trouve chaque commande par son fichier, donc aucun autre fichier ne change.

  1. Dans votre dossier de projet larkroute, avec .venv actif, copiez la commande, son test et le nouveau README depuis l’instantané end-of-m03 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C36/snapshots/end-of-m03
    cp "$S/larkroute/commands/explain.py" larkroute/commands/
    cp "$S/tests/test_explain.py" tests/
    cp "$S/README.md" .
  2. Exécutez les tests. La dernière ligne est 16 passed (16 tests réussis) :

    Fenêtre de terminal
    python -m pytest -q
  3. Expliquez le premier message de test :

    Fenêtre de terminal
    route explain M-100001

    La dernière ligne commence par Largest weights for delivery: 'voisine' +0.36 (Poids les plus élevés pour delivery : « voisine » +0,36). La commande entraîne d’abord le modèle, ce qui prend quelques secondes.

À vous de jouer : où les deux meilleurs modèles divergent

Section intitulée « À vous de jouer : où les deux meilleurs modèles divergent »

La régression logistique et le SVM ont presque la même exactitude. Font-ils les mêmes erreurs? Faites une prédiction : sur combien des 2 000 messages de test donnent-ils des destinations différentes? Dans la section 7 du carnet, calculez disagree, puis lr_right et svm_right : combien de ces messages chaque modèle classe correctement.

Afficher la réponse
differ = lr_pred != svm_pred
truth = test["route"].to_numpy()
disagree = int(differ.sum())
lr_right = int((lr_pred[differ] == truth[differ]).sum())
svm_right = int((svm_pred[differ] == truth[differ]).sum())
print(disagree, lr_right, svm_right)
24 6 14

Les deux modèles s’accordent sur 1 976 des 2 000 messages. Sur les 24 autres, le SVM a raison 14 fois et la régression logistique 6 fois. Sur 4 messages, les deux se trompent. Toute la différence entre les deux modèles tient donc à environ deux douzaines de messages. Voyez ensuite lesquels comptent le plus.

Erreur courante

Un message explique la majeure partie de la différence

Symptôme : le SVM coûte 121 $ US de moins par 1 000 messages de test que la régression logistique (175,0 contre 296,0). Tomás dit : « Le SVM est bien meilleur. Disons à tout le monde que le SVM réduit de moitié le coût des erreurs. »

Cause : regardez les messages derrière ce chiffre. Sur les 2 000 messages de test, la différence est de 242 $ US. Et 200 $ US viennent d’un seul message : la prise de contrôle de compte M-108268. La régression logistique l’envoie à billing (facturation). route explain M-108268 montre pourquoi :

Label: account. Model: billing (0.46).
Largest weights for billing: 'card' +0.24, 'my card' +0.18, 'total' +0.17, 'was charged' +0.11, 'order total' +0.10, 'charged' +0.08, 'total was' +0.07, 'rg' +0.07
Largest weights for account: 'account' +0.18, 'the email' +0.17, 'my account' +0.16, 'email on' +0.15, 'account and' +0.14, 'an order' +0.14, 'help' +0.10, 'email' +0.09

Le client a parlé d’un courriel modifié et d’un montant porté à sa carte. Les mots liés à la facturation l’ont emporté, avec une probabilité de seulement 0,46. Les données de test contiennent seulement 12 prises de contrôle de compte. Une seule fait donc varier le coût de 100 $ US par 1 000 messages.

Correction : lisez les messages derrière une différence avant de la croire. Comparez aussi les messages de validation : le SVM y coûte également moins cher (404 contre 472). Le choix reste donc valable, mais l’écart est plus petit. Présentez la différence avec sa cause : « le SVM a trouvé une prise de contrôle de compte de plus ». Ne dites pas « le SVM réduit le coût de moitié ».

Conséquence dans le travail en IA : peu de données de test et quelques messages très coûteux font varier fortement les écarts de coût. Une équipe qui annonce « 41 % moins cher » à partir d’un seul message promet une économie absente le mois suivant. Plus tard dans ce cours, une leçon sera consacrée à la destination rare.

Vérifiez votre compréhension

Dans le petit exemple de Bayes naïf, pourquoi la méthode ajoute-t-elle 1 à chaque compte? Qu'arriverait-il au message « late parcel » sans cet ajout?

Afficher la réponse

Ajouter 1 (le lissage) empêche un mot jamais vu pour une destination de donner une proportion de 0. Sans cet ajout, parcel (colis) a un compte de 0 dans returns_refunds, donc sa proportion est de 0. Le produit complet pour returns_refunds vaut alors 0. Le modèle est donc certain à 100 % de delivery à partir d’un seul mot. Avec le lissage, returns_refunds garde une petite proportion (1/9), et les probabilités sont de 0,75 et 0,25. Sur de vraies données, un seul mot jamais vu éliminerait autrement toutes les destinations qui ne le contiennent pas.

Vérifiez votre compréhension

La régression logistique donne à « needs_person » un poids élevé pour le mot « template ». Est-ce un bon mot pour le routage? Que devriez-vous faire?

Afficher la réponse

Il fonctionne dans cette boîte de réception : « template » figure dans 34 messages d’entraînement, tous needs_person. Il vient de « a real person, not another template answer ». Mais c’est une habitude de rédaction de ces messages, pas un indice que les clients utilisent en général. Une vraie plainte demandant un gestionnaire peut ne jamais contenir « template », alors qu’un message normal pourrait le contenir. Lisez les mots principaux de chaque destination et notez ces mots. Vérifiez-les sur les messages de validation et sur de nouveaux messages. Ne faites pas confiance au modèle parce que ses mots principaux semblent judicieux. Fiez-vous aux scores sur des messages dont il n’a pas appris.

Vérifiez votre compréhension

Le SVM coûte 175,0 $ US par 1 000 messages de test et la régression logistique, 296,0 $ US. Expliquez d'où vient la majeure partie de la différence et comment vous la présenteriez à Grace.

Afficher la réponse

Elle vient surtout d’une prise de contrôle de compte (M-108268) que la régression logistique envoie à billing. Une prise de contrôle manquée coûte 200 $ US. Cela représente 100 $ US par 1 000 messages sur les 2 000 messages de test. Les deux modèles divergent sur seulement 24 messages. Le SVM coûtait aussi moins cher sur les messages de validation (404 contre 472), donc ce choix est solide. Présentez-le avec les chiffres de validation : « le SVM est un peu plus exact. Il a trouvé la prise de contrôle de compte que la régression logistique a manquée ». Ne dites pas « le SVM réduit de moitié le coût des erreurs ».

Récapitulatif

  • Un classificateur transforme un vecteur TF-IDF en une probabilité par destination. Un pipeline réunit le vectoriseur et le classificateur, pour que tous deux apprennent uniquement des messages d’entraînement.
  • Bayes naïf compte les mots par destination et multiplie leurs proportions, avec un lissage pour les mots jamais vus. La régression logistique additionne un poids par mot pour obtenir un score par destination. Un SVM linéaire trouve la frontière ayant la marge la plus large et nécessite un étalonnage pour obtenir des probabilités.
  • Sur cette boîte de réception, après sélection sur validation et une seule évaluation sur test : SVM linéaire, 0,966 (175,0 $ US par 1 000). Régression logistique : 0,962 (296,0 $ US). Bayes naïf : 0,943 (441,0 $ US). Tous coûtent une fraction du coût d’une personne (1 500 $ US).
  • Les mots principaux montrent ce qu’un modèle a appris, y compris des habitudes de cette boîte comme « template » et « red ». route explain montre les mots derrière une décision.
  • Une différence de coût peut venir d’un seul message coûteux. Lisez les messages derrière une différence avant de la présenter.

Vous pouvez maintenant entraîner et comparer des modèles classiques. Mais les règles de la première leçon connaissent encore des éléments, comme les mots liés à la sécurité. Une personne veut garantir leur prise en compte. Ensuite, nous faisons travailler les règles et un modèle ensemble, et nous mesurons s’ils s’aident ou se contredisent.

Leçon suivante : Règles et modèles ensemble