Le texte en nombres : sac de mots et TF-IDF
- Leçon 10
- 35 min
- Module 3 : Références de base : règles et modèles classiques
Où nous en sommes
Les règles lisent les mots que nous avons choisis. Un modèle a besoin du texte sous forme de nombres, et il peut choisir les mots lui-même. Dans cette leçon, nous transformons les messages en nombres avec un sac de mots et TF-IDF. Nous utilisons des n-grammes de mots et de caractères, et voyons pourquoi cette ancienne méthode reste une référence de base solide.
Leçon 10 sur 37 · Classification et routage de textes : envoyer chaque message au bon endroitLe texte en nombres : sac de mots et TF-IDF
1. Le problème du routage et son coût
2. Des étiquettes fiables
3. Références de base : règles et modèles classiques
4. Plongements et petits modèles réglés finement
5. Les LLM comme classificateurs
6. Modèles de décision, cascades et distillation
7. Des formes d'étiquettes plus difficiles
8. La confiance et les personnes dans la boucle
9. Exploiter le routeur en production
Ce que vous saurez faire
Transformez chaque message en une ligne de nombres qu’un modèle peut utiliser pour apprendre. Une règle lit seulement les mots qu’une personne a choisis. Un modèle peut pondérer chaque mot de 6 000 messages, mais seulement si les mots sont d’abord transformés en nombres.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient toutes les cellules de code, les tâches et les vérifications de cette leçon. Il construit un sac de mots et une représentation TF-IDF pour trois petits messages, puis transforme les 6 000 messages d’entraînement en nombres. Il entraîne un premier modèle avec des mots, puis avec des lettres, et lui soumet un message sur un produit inconnu. Ses cellules de préparation installent pandas et scikit-learn et téléchargent les données d’exercice. Aucune configuration locale n’est donc nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les règles par mots-clés, et pourquoi un mot n’est pas une demande, dans Règles par mots-clés et expressions régulières.
- Le tableau comparatif et sa colonne de coût, dans Découvrir la boîte de réception.
- La régression logistique et les pipelines scikit-learn sont utiles. Voyez Comprendre la classification et Prétraiter avec un pipeline dans Apprentissage automatique : du problème à un modèle fiable. Cette leçon les utilise seulement comme outils; la prochaine explique les classificateurs.
Ce qu’il vous faut sur votre ordinateur : rien pour cette leçon. Le carnet fonctionne dans Colab, Kaggle ou VS Code. Le projet ne change pas dans cette leçon.
Testé sur macOS avec Python 3.12, pandas 3.1.1 et scikit-learn 1.9.1.
Une feuille de comptage pour chaque lettre
Section intitulée « Une feuille de comptage pour chaque lettre »Retournons au bureau de poste. La commis en chef veut apprendre quelles lettres vont dans quel sac, sans écrire de règles à la main. Pendant une semaine, elle garde donc une feuille de comptage pour chaque lettre. La feuille contient une colonne pour chaque mot qu’elle a déjà vu sur une lettre. Pour chaque lettre, elle fait une marque dans la colonne de chaque mot présent.
À la fin de la semaine, elle a un grand tableau. Il contient une ligne par lettre, une colonne par mot et le sac où chaque lettre est allée. Elle peut maintenant chercher des régularités. Les lettres contenant « Paris » et « France » sont allées dans le sac bleu. Celles contenant « Paris » et « Texas » n’y sont pas allées. Elle n’a pas besoin de deviner les mots utiles à l’avance. Le tableau les montre.
La feuille oublie une chose : l’ordre des mots. « Le chien mord l’homme » et « l’homme mord le chien » reçoivent les mêmes marques. Pour trier les lettres, cela convient généralement.
Le problème : un modèle a besoin de nombres
Section intitulée « Le problème : un modèle a besoin de nombres »Les règles par mots-clés de la dernière leçon lisent seulement les mots choisis par Priya et Grace : « refund », « reçu », « smoke ». Elles ne voient jamais les autres mots du message, comme « before I buy » ou « has nothing to do with it ». Ces mots révèlent la vraie demande.
Un modèle peut faire mieux. Il peut examiner chaque mot de milliers de messages étiquetés et trouver quels mots correspondent à quelle destination. Mais un modèle calcule avec des nombres, pas avec du texte. Avant tout modèle, nous devons donc trouver comment transformer un message en une ligne de nombres. La feuille de comptage de la commis en chef est cette méthode.
L’idée : un sac de mots
Section intitulée « L’idée : un sac de mots »Un sac de mots compte chaque mot d’un message et oublie l’ordre. Le nom vient de cette image : vous versez les mots dans un sac, le secouez et comptez son contenu.
D’abord, nous découpons chaque message en jetons (tokens) : ici, les mots. Ensuite, nous créons le vocabulaire : la liste de tous les jetons présents dans l’ensemble des messages. Chaque message devient une ligne, avec une colonne par mot du vocabulaire. La valeur indique combien de fois le mot apparaît dans le message.
Un petit exemple : trois messages
Section intitulée « Un petit exemple : trois messages »Voici trois courts messages :
where is my parcelmy parcel is laterefund my order
Le vocabulaire contient sept mots, en ordre alphabétique : is, late, my, order, parcel, refund, where. Le sac de mots est ce tableau de comptes :
| is | late | my | order | parcel | refund | where | |
|---|---|---|---|---|---|---|---|
| message 1 | 1 | 0 | 1 | 0 | 1 | 0 | 1 |
| message 2 | 1 | 1 | 1 | 0 | 1 | 0 | 0 |
| message 3 | 0 | 0 | 1 | 1 | 0 | 1 | 0 |
Lisez la colonne my. Elle vaut 1 à chaque ligne. Un mot présent dans tous les messages ne peut pas aider à les distinguer. Les colonnes late, order, refund et where correspondent chacune à un seul message. Elles en disent donc le plus sur ce message. Les comptes simples traitent tous ces mots de la même façon. Nous voulons un nombre qui donne plus de poids aux mots rares.
TF-IDF : les mots rares ont plus de poids
Section intitulée « TF-IDF : les mots rares ont plus de poids »TF-IDF fait cela. Le nom comporte deux parties :
- TF, la fréquence du terme : le nombre de fois où le mot apparaît dans ce message. Ici, chaque compte vaut 1.
- IDF, la fréquence inverse de document : un poids élevé quand peu de messages contiennent le mot, et faible quand beaucoup le contiennent. « Document » est le nom général d’un texte, ici un message. « Inverse » signifie que plus de messages donnent un poids plus faible.
La valeur TF-IDF d’un mot dans un message est TF × IDF. Ensuite, chaque ligne est mise à l’échelle pour que sa longueur soit 1. Cette dernière étape permet de comparer un message court à un message long.
Toutes les valeurs du petit exemple
Section intitulée « Toutes les valeurs du petit exemple »Comptez combien des trois messages contiennent chaque mot. my apparaît dans 3 messages, is et parcel dans 2, et les quatre autres mots dans 1. scikit-learn calcule l’IDF à partir de ces comptes :
| Mot | Nombre de messages | IDF |
|---|---|---|
my |
3 | 1,000 |
is, parcel |
2 | 1,288 |
late, order, refund, where |
1 | 1,693 |
La formule est IDF = 1 + ln((1 + messages) / (1 + messages with the word)), où ln est le logarithme naturel. Vous n’avez pas besoin de la retenir. Retenez la relation : moins de messages contiennent un mot, plus son IDF est élevée.
Prenez maintenant le message 1, where is my parcel. Multipliez chaque compte par l’IDF : where 1,693, is 1,288, my 1,000, parcel 1,288. La longueur de cette ligne est 2,680 : la racine carrée de 1,693² + 1,288² + 1,000² + 1,288². Divisez chaque valeur par 2,680, et vous obtenez la ligne TF-IDF. Faites de même pour les deux autres messages :
| is | late | my | order | parcel | refund | where | |
|---|---|---|---|---|---|---|---|
| message 1 | 0,480 | 0 | 0,373 | 0 | 0,480 | 0 | 0,632 |
| message 2 | 0,480 | 0,632 | 0,373 | 0 | 0,480 | 0 | 0 |
| message 3 | 0 | 0 | 0,385 | 0,652 | 0 | 0,652 | 0 |
Dans le message 1, where pèse maintenant 0,632, et my seulement 0,373. Le mot rare compte presque deux fois plus que le mot courant. Dans le code, TfidfVectorizer de scikit-learn fait tout cela en une ligne :
tfidf = TfidfVectorizer()weights = tfidf.fit_transform(tiny)pd.DataFrame(weights.toarray(), columns=tfidf.get_feature_names_out(), index=["msg 1", "msg 2", "msg 3"]).round(3) is late my order parcel refund wheremsg 1 0.48 0.000 0.373 0.000 0.48 0.000 0.632msg 2 0.48 0.632 0.373 0.000 0.48 0.000 0.000msg 3 0.00 0.000 0.385 0.652 0.00 0.652 0.000La partie fit (ajuster) apprend le vocabulaire et l’IDF à partir des messages. La partie transform (transformer) transforme les messages en lignes. Comme pour toute étape qui apprend des données, nous l’ajustons seulement sur les messages d’entraînement.
Paires de mots et groupes de lettres
Section intitulée « Paires de mots et groupes de lettres »Un sac de mots perd l’ordre des mots, et cet ordre compte parfois. « Charged twice » en dit plus que « charged » et « twice » séparément. Nous ajoutons donc souvent des paires de mots au vocabulaire : chaque groupe de deux mots qui se suivent. Le nom général est n-gramme : un groupe de n jetons. Un mot est un 1-gramme, deux mots un 2-gramme. Dans scikit-learn, ngram_range=(1, 2) garde les mots et les paires de mots.
Nous pouvons aussi découper les mots en n-grammes de caractères : des groupes de n lettres dans un mot. Le mot parcel contient les groupes de trois lettres par, arc, rce et cel. Les groupes de lettres aident dans trois cas :
- Fautes de frappe.
delivredpartage la plupart de ses groupes de lettres avecdelivered. - Terminaisons des mots. Les mots français
rembourséetremboursementpartagentrembours. - Messages courts. Un message de clavardage de quatre mots contient peu de mots, mais beaucoup de groupes de lettres.
Le coût est la taille : les groupes de lettres créent beaucoup plus de colonnes que les mots.
Le vrai vocabulaire
Section intitulée « Le vrai vocabulaire »Faisons maintenant la même chose sur les 6 000 messages d’entraînement de Larkfield. Les paramètres TF-IDF du projet sont dans larkroute/tfidf.py, et le carnet utilise les mêmes :
words = TfidfVectorizer(ngram_range=(1, 2), min_df=2, sublinear_tf=True, strip_accents="unicode")X_train = words.fit_transform(train["text"])print(X_train.shape[0], "messages,", X_train.shape[1], "columns (words and word pairs)")6000 messages, 14076 columns (words and word pairs)Chaque paramètre a une raison. ngram_range=(1, 2) garde les mots et les paires de mots. min_df=2 garde seulement les jetons présents dans au moins 2 messages. Un jeton vu une seule fois, comme un numéro de commande, ne crée donc aucune colonne. sublinear_tf=True compte un mot présent cinq fois comme un peu plus qu’une fois, plutôt que cinq fois plus. strip_accents="unicode" enlève les accents, donc livré et livre comptent comme un seul jeton. Les groupes de 2 à 5 lettres ajoutent 24 539 colonnes.
Un message est donc une ligne de 14 076 nombres. Presque tous valent 0, car un message contient seulement quelques-uns des 14 076 mots et paires. Voici le premier message de test, un message de clavardage en français : « Est-ce que le livreur pourrait laisser mon colis LK-596824 chez ma voisine? ».
Description textuelle du diagramme
Le graphique présente les 24 colonnes non nulles du message M-100001, du poids le plus élevé au plus faible. Les poids les plus élevés sont des paires de mots : « pourrait laisser » 0,286 et « livreur pourrait » 0,277. Viennent ensuite « pourrait » 0,257, « laisser mon » 0,254, « le livreur » 0,252, « colis lk » 0,244 et « chez ma » 0,243. « Livreur », « ma voisine » et « voisine » valent chacun 0,242. Les mots courants sont en bas : « mon » 0,122, « est » 0,118, « le » 0,103 et « lk » 0,061. Presque chaque message contient un numéro de commande, donc « lk » a le poids le plus faible. Une note sous le graphique indique que les 14 052 autres colonnes valent 0.
Une ligne de nombres comme celle-ci s’appelle un vecteur : une liste de nombres dans un ordre fixe. Un vecteur ou un tableau dont presque toutes les valeurs sont 0 est dit creux. scikit-learn stocke seulement les valeurs non nulles. Ainsi, 6 000 lignes de 14 076 colonnes tiennent facilement en mémoire.
Regardez le bas du graphique. lk apparaît dans presque chaque message, car chaque numéro de commande commence par LK; son poids est donc faible. Le numéro de commande lui-même, 596824, ne crée aucune colonne. Il apparaît dans un seul message, et min_df=2 l’a éliminé. TF-IDF a fait, tout seul, ce qu’une personne ferait : ignorer les mots courants et garder les mots révélateurs.
Un premier modèle sur les nombres
Section intitulée « Un premier modèle sur les nombres »Les nombres sont prêts. Un classificateur peut maintenant apprendre à partir de ces nombres. La prochaine leçon explique comment fonctionnent trois classificateurs. Ici, nous utilisons l’un d’eux, la régression logistique, comme outil pour voir si les nombres sont utiles. Un pipeline relie le vectoriseur et le classificateur. Ainsi, un seul fit ajuste les deux à partir des messages d’entraînement :
word_model = make_pipeline(TfidfVectorizer(ngram_range=(1, 2), min_df=2, sublinear_tf=True, strip_accents="unicode"), LogisticRegression(C=10, max_iter=3000))word_model.fit(train["text"], train["route"])rows = [rt.score("TF-IDF words + logistic regression", test, word_model.predict(test["text"]))]Priya ajoute ensuite les groupes de 2 à 5 lettres aux mots, avec le même classificateur. Avant de regarder, faites une prédiction : les lettres aident-elles? Le français a de longues terminaisons, et les messages de clavardage sont courts.
Description textuelle du graphique
Un graphique à deux colonnes montre le coût des erreurs en dollars US par 1 000 messages de test, pour TF-IDF et la régression logistique. Avec les mots et les paires de mots seulement, le coût est de 195. Avec les mots et les groupes de lettres, il est de 296. L’exactitude est de 0,968 avec les mots et de 0,962 avec les mots et les lettres. Sur les messages français, elle est de 0,956 contre 0,952.
Les lettres n’ont pas aidé ici. Les mots seuls atteignent une exactitude de 0,968 sur les messages de test et coûtent 195 $ US par 1 000 messages. Avec les lettres, le modèle atteint 0,962 et coûte 296 $ US. Même les messages français donnent des résultats un peu meilleurs avec les mots seuls (0,956 contre 0,952).
C’est une vraie surprise, et cela révèle quelque chose sur cette boîte de réception. Comme l’explique Découvrir la boîte de réception, un seul modèle de langage a écrit tous les messages de Larkfield. Ils contiennent donc peu de fautes de frappe et des mots très réguliers. Une vraie boîte de réception, avec des fautes de frappe, de l’argot et des messages de clavardage très courts, est plus difficile. Les groupes de lettres y aident souvent. La seule façon de savoir est de tester les deux sur vos propres messages, comme ici. L’étude de cas Router des questions bancaires montre un modèle classique sur de vraies questions de clients.
Le TF-IDF + logistic regression du projet utilise les mots et les lettres. Priya a choisi ces paramètres sur les messages de validation. Les deux résultats y étaient presque égaux (0,958 avec les lettres, 0,959 sans). Les données de test ont ensuite montré un écart plus grand. Le cours garde le choix du projet et présente les deux lignes. Un choix fait sur les données de test rendrait le score de test trop favorable.
Quand utiliser TF-IDF
Section intitulée « Quand utiliser TF-IDF »TF-IDF est ancien : l’idée de l’IDF vient des années 1970. C’est encore le premier modèle à essayer pour la classification de textes, pour quatre raisons :
- Il coûte peu. L’entraînement sur 6 000 messages prend environ 3 secondes sur un portable. Router un message prend environ 0,1 milliseconde. Aucune carte graphique, aucun téléchargement, aucune clé.
- Il est solide quand les mots portent le sens. Les messages de soutien disent « refund », « tracking » et « password ». Les mots sont le signal.
- Il est facile à expliquer. Chaque colonne est un mot, donc vous pouvez voir quels mots un modèle utilise. La prochaine leçon le fait.
- Il fixe le niveau à dépasser. Chaque méthode plus récente de ce cours doit le battre dans le même tableau. Dans cette boîte de réception, le niveau est élevé.
Il a aussi des limites :
- Il ne connaît pas le sens. « Parcel », « package » et colis sont trois colonnes sans lien. Il apprend que chacun correspond à
deliveryseulement si les messages d’entraînement le contiennent. - Il perd l’ordre au-delà des paires de mots. « Not a refund » et « a refund » partagent la plupart de leurs colonnes.
- Il connaît seulement les mots de ses messages d’entraînement. Un nouveau mot ne reçoit aucune colonne, comme le montre le cas d’échec ci-dessous.
Exercice guidé : TF-IDF dans le carnet
Section intitulée « Exercice guidé : TF-IDF dans le carnet »- Ouvrez le carnet à partir de l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La cellule des données se termine par
Ready: 10000 messages (6000 train, 2000 validation, 2000 test), all synthetic.(prêt : 10 000 messages, dont 6 000 d’entraînement, 2 000 de validation et 2 000 de test, tous synthétiques). - Dans la section 1, prédisez quelle colonne vaut 1 dans les trois lignes. Exécutez ensuite la cellule. La colonne
myvaut 1 à chaque ligne. - Exécutez la cellule TF-IDF. Dans le message 1,
wherea le poids0.632etmyle poids0.373. - Dans la section 2, exécutez la cellule. Vous voyez
6000 messages, 14076 columns(6 000 messages, 14 076 colonnes), et les poids du premier message de test. - Dans la section 3, faites une prédiction : les résultats seront-ils meilleurs sur les messages anglais ou français? Exécutez ensuite la cellule. Vous voyez l’exactitude
0.968, le résultat anglais0.973et le résultat français0.956. - Dans la section 4, exécutez la cellule avec les groupes de lettres. L’exactitude est de
0.962.
À vous : les mots qui signifient « facturation »
Section intitulée « À vous : les mots qui signifient « facturation » »Le classificateur garde un poids pour chaque colonne et chaque destination. Un poids élevé pour billing signifie : « ce mot pousse un message vers la facturation ». Dans la section 5 du carnet, trouvez les 5 mots ou paires de mots au poids le plus élevé pour billing dans word_model. Avant d’exécuter la cellule, devinez-en deux.
Afficher la réponse
vec, clf = word_model[0], word_model[-1]row = list(clf.classes_).index("billing")names = vec.get_feature_names_out()billing_words = [str(names[i]) for i in np.argsort(-clf.coef_[row])[:5]]print(billing_words)['card', 'charge', 'my card', 'vat receipt', 'vat']Personne n’a écrit ces mots dans une règle. Le modèle les a trouvés dans les messages d’entraînement. « Vat receipt » est un signe propre à cette boîte de réception. Un de ses gabarits de facture demande un reçu de TVA. La paire apparaît donc dans 56 messages de facturation des données d’entraînement. La prochaine leçon examine ces listes pour chaque destination.
Erreur courante
Un mot que le modèle n'a jamais vu
Symptôme : durant le mois du lancement, Larkfield vend un nouveau produit, le Grow Hub. Un client écrit : « My Grow Hub won’t pair with the app, the sensor light keeps blinking ». Le modèle le route sans signaler d’erreur :
new = "My Grow Hub won't pair with the app, the sensor light keeps blinking"v = word_model[0].transform([new])print("known words and pairs in the message:", [word_model[0].get_feature_names_out()[i] for i in v.indices])print(dict(zip(word_model[-1].classes_, word_model.predict_proba([new])[0].round(2))))known words and pairs in the message: ['app', 'grow', 'keeps', 'light', 'my', 'my grow', 'the', 'the app', 'with', 'with the', 'won']{'account': 0.03, 'billing': 0.06, 'delivery': 0.46, 'needs_person': 0.07, 'orders': 0.01, 'product': 0.18, 'returns_refunds': 0.19}Le modèle choisit delivery, la probabilité la plus élevée (0,46). Le message concerne la configuration d’un appareil, pas un colis.
Cause : TF-IDF connaît seulement les mots de ses messages d’entraînement. « Hub », « pair », « sensor » et « blinking » ne créent aucune colonne. Le modèle voit donc seulement des mots courants comme « my », « the » et « keeps ». Il doit quand même choisir une destination, et il choisit avec presque aucun indice.
Solution : regardez la probabilité, pas seulement la destination. Aucune destination n’obtient même la moitié de la probabilité ici, ce qui indique que le modèle est incertain. Un module ultérieur transfère ces messages à une personne. Le module sur la production surveille les nouveaux mots et réentraîne le modèle avec des exemples étiquetés.
Conséquence dans le travail en IA : un modèle TF-IDF échoue sans avertissement devant toute nouveauté : produit, type de plainte ou langue. Son exactitude sur les anciennes données de test reste élevée, tandis que les nouveaux messages vont à la mauvaise équipe.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans les trois petits messages, « my » apparaît dans les trois et « where » dans un seul. Sans calculer, lequel reçoit le poids TF-IDF le plus élevé dans le message 1? Pourquoi est-ce utile pour le routage?
Afficher la réponse
where reçoit le poids le plus élevé (0,632 contre 0,373). La partie IDF est élevée quand peu de messages contiennent un mot. Comme my apparaît dans chaque message, son IDF est la plus petite possible (1,000). Un mot présent dans chaque message ne permet pas de les distinguer. Il devrait donc avoir un faible poids. Un mot rare en dit plus sur le sujet du message. Pour Larkfield, lk apparaît dans presque chaque message et reçoit un faible poids. Des mots comme livreur ou cancel reçoivent des poids élevés.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : vous ajoutez des groupes de 2 à 5 lettres aux variables de mots d'un modèle. Il traite une vraie boîte de réception de clavardage avec beaucoup de fautes de frappe. Ces groupes seront-ils utiles? Quel effet ont-ils eu sur la boîte de réception de Larkfield? Pourquoi les deux réponses pourraient-elles différer?
Afficher la réponse
Dans une vraie boîte de réception de clavardage avec des fautes de frappe, les groupes de lettres aident souvent. delivred et delivered partagent la plupart de leurs groupes de lettres, et les messages courts obtiennent plus de colonnes. Dans la boîte de réception de Larkfield, ils n’ont pas aidé. Les mots seuls atteignent 0,968 et 195 $ US par 1 000 messages de test. Les mots et les lettres atteignent 0,962 et 296 $ US. Un modèle de langage a rédigé les messages de Larkfield à partir de 27 gabarits. Ils contiennent donc peu de fautes de frappe et des mots réguliers. Un résultat sur une boîte de réception n’est pas une règle pour toutes les autres. Testez les deux options sur vos propres messages et choisissez à l’aide des données de validation.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un message dit « My Grow Hub won't pair with the app ». Le modèle a été entraîné avant que le Grow Hub existe. Expliquez ce que TF-IDF fait avec « Hub » et « pair ». Que devriez-vous examiner avant de vous fier à la destination?
Afficher la réponse
« Hub » et « pair » n’étaient pas dans les messages d’entraînement. Le vectoriseur n’a donc aucune colonne pour ces mots. Leur sens est perdu. Le modèle voit seulement des mots connus comme « my », « the » et « app ». Le modèle donne quand même une destination (ici delivery), mais sa probabilité la plus élevée est seulement de 0,46. Aucune destination n’atteint même la moitié. Examinez la probabilité avant de vous fier à la destination. Une faible probabilité maximale indique qu’il faut transférer le message à une personne. Étiquetez ensuite de nouveaux exemples et entraînez le modèle à nouveau.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un sac de mots transforme un message en nombres d’occurrences, avec une colonne par mot du vocabulaire, et oublie l’ordre.
- TF-IDF multiplie chaque nombre d’occurrences par l’IDF, qui est élevée pour les mots rares. Il ramène ensuite chaque ligne à une longueur de 1. Dans le petit exemple,
wherea un poids de 0,632 etmyde seulement 0,373. - Les n-grammes conservent des paires de mots (« charged twice »). Les n-grammes de caractères conservent des groupes de lettres, pour les fautes de frappe et les terminaisons de mots.
- Sur Larkfield, un message est un vecteur creux de 14 076 colonnes, dont la plupart valent 0. Dans cette boîte de réception, les mots seuls (0,968, 195 $ US par 1 000) surpassent les mots et les lettres (0,962, 296 $ US). Ses messages sont particulièrement réguliers.
- TF-IDF coûte peu, donne de bons résultats et se lit facilement. Il ne connaît pas le sens des mots. Il ne sait rien des mots absents de ses messages d’entraînement.
Vous pouvez maintenant transformer des messages en nombres. Mais une ligne de nombres n’est pas encore une décision. Ensuite, nous appliquons trois classificateurs aux mêmes nombres et comparons leurs coûts.
Leçon suivante : Bayes naïf, régression logistique et SVM linéaire