Normaliser le texte
- Leçon 11
- 35 min
- Module 4 : Comprendre la requête
Où nous en sommes
Au module 3, nous avons construit BM25 par champ et une règle pour les codes de produits. BM25 ne trouve encore que les mots exacts que les gens tapent. Les gens écrivent la même chose sous plusieurs formes : pluriels, majuscules, accents et unités. Dans cette leçon, nous normalisons et racinisons les requêtes et les produits en anglais et en français. Nous mesurons ce que chaque étape corrige et détériore.
Leçon 11 sur 30 · Recherche et classement : trouver la meilleure correspondanceNormaliser le texte
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Faites de « Cushions », « cushion » et « CUSHIONS » un même mot pour la recherche, en anglais et en français. Mesurez ensuite ce que cela corrige et détériore, requête par requête.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter écrit un petit normaliseur avec un raciniseur. Il construit deux index BM25 du catalogue : un brut et un normalisé. Il vous demande d’évaluer les deux sur les requêtes de validation en anglais. Il montre ensuite les requêtes dont les résultats se sont détériorés. Ses cellules de préparation téléchargent les données d’exercice, donc aucune préparation locale n’est nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- BM25 et la pondération des champs, vus dans BM25.
- La règle des codes et l’exécution
bm25-fields+codes, vues dans Correspondances exactes et règles. - Comment lire
search compare(une différence appariée avec son intervalle à 95 %), vu dans Créer un jeu de test qui représente vos utilisateurs.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Le projet
larkfield-searchà la fin du module 3, avec son environnement virtuel.search checkdoit se terminer parSetup check passed.(vérification de la configuration réussie). - Environ 50 Mo d’espace disque pour deux nouveaux paquets : PyStemmer et scikit-learn.
Une vendeuse qui entend le mot, pas son orthographe
Section intitulée « Une vendeuse qui entend le mot, pas son orthographe »Un client dit à la vendeuse : « J’ai besoin de coussins pour le jardin. » Un autre écrit « COUSSIN » sur une note. Un troisième dit « un coussin, 18 pouces ». La vendeuse ne s’attarde pas aux majuscules, au pluriel ou à la façon d’écrire la taille. Elle entend une seule chose : coussin.
Un moteur de recherche n’entend pas. Il compare des chaînes de caractères. Pour BM25, « cushions » et « cushion » sont deux mots différents, aussi différents que « cushion » et « lamp ». Le même client, avec le même besoin, peut donc obtenir de bons ou de mauvais résultats à cause d’un « s ».
Cette leçon apprend au moteur de recherche à entendre le mot, pas son orthographe. Vous transformez le texte de la requête et des produits en une forme standard avant de les comparer.
Le problème : une lettre change la page
Section intitulée « Le problème : une lettre change la page »Voici une vraie requête de test : « outdoor light fixtures » (une requête anglaise de WANDS). Larkfield vend 110 luminaires muraux extérieurs. Dans leurs titres et descriptions, 23 contiennent « fixture », et un seul contient « fixtures ».
L’exécution bm25-fields+codes du module 3 compare les mots exacts. « outdoor » et « light » apparaissent chacun dans plus de 3 000 produits. « fixtures » apparaît dans 182 produits, dont un seul est un luminaire mural extérieur. Les 10 premiers résultats sont donc des ampoules. Le premier est « 40 watt equivalent e12 dimmable led edison candle light bulb ». Son NDCG@10 est de 0,000.
L’exécution bm25-norm, que vous construisez dans cette leçon, transforme « fixtures » en « fixtur ». Elle transforme aussi « fixture », dans les produits, en « fixtur ». Le mot correspond maintenant. Ses cinq premiers résultats sont des luminaires muraux extérieurs, tous notés exacts, et le NDCG@10 est de 1,000.
Une lettre a fait la différence entre une page inutile et une page parfaite. Et « fixtures » n’est pas un cas rare. Les pluriels, les majuscules et les unités figurent dans tous les journaux des requêtes.
L’idée : normaliser les deux côtés
Section intitulée « L’idée : normaliser les deux côtés »Normaliser un texte signifie l’écrire sous une forme standard pour éliminer les petites différences d’écriture. Le mot vient de « norme », un standard. Vous appliquez les mêmes étapes à la requête et à chaque produit. Si vous changez un seul côté, les deux côtés ne correspondent plus.
Le projet le fait en cinq étapes. Le diagramme suit un titre de produit à travers ces étapes.
Description textuelle du diagramme
Une rangée de cases reliées par des flèches. « Texte saisi : Grey Outdoor Cushions 18’’ » mène à « 1. Minuscules : grey outdoor cushions 18’’ », puis à « 2. Suppression des accents (café devient cafe) », puis à « 3. Uniformisation des unités : grey outdoor cushions 18 inch », puis à « 4. Découpage en jetons : grey · outdoor · cushions · 18 · inch », puis à « 5. Racinisation de chaque jeton : grey · outdoor · cushion · 18 · inch ». La dernière case, avec une bordure épaisse, indique : « Les mêmes jetons que pour un produit intitulé 18 inch outdoor cushion ».
Étapes 1 et 2 : minuscules et accents
Section intitulée « Étapes 1 et 2 : minuscules et accents »La conversion en minuscules est l’étape facile : « Grey » devient « grey ». Le BM25 brut du module 3 le faisait déjà.
Les accents sont plus difficiles à traiter qu’ils en ont l’air. En français, on écrit « café », « extérieur » et « canapé ». Les gens les tapent souvent sans accents, parce que le clavier ralentit la saisie des accents. Le projet supprime donc les accents des deux côtés : « café » devient « cafe ». Il utilise une méthode Unicode standard. Chaque lettre accentuée est séparée en sa lettre de base et son accent, puis l’accent est supprimé.
La suppression des accents a un coût en français. « pêche » (le fruit ou l’activité) et « péché » (la faute morale) deviennent tous deux « peche ». Pour une boutique de produits pour la maison et le jardin, cela importe rarement. Pour une recherche dans des textes juridiques, cela pourrait compter.
Étape 3 : unités
Section intitulée « Étape 3 : unités »Les gens écrivent la même taille de plusieurs façons : 18'', 18", 18 in, 18 inch et 18 inches. Les titres des produits contiennent 18 ''. Le projet réécrit chaque forme en 18 inch, et chaque forme désignant des pieds en ft. Il ajoute aussi des espaces dans les tailles comme 24x18, qui deviennent 24 x 18.
Cette étape est une liste de règles que nous avons écrites, une par motif. Ces règles corrigent ce que vous avez prévu, et rien d’autre. Vous verrez plus bas que l’une d’elles détériore les résultats d’une vraie requête.
Étape 4 : jetons
Section intitulée « Étape 4 : jetons »Un jeton (token) est un mot que l’index stocke, comme dans L’index inversé. Le projet découpe le texte à chaque caractère qui n’est ni une lettre ni un chiffre. Ainsi, « indoor/outdoor » devient deux jetons : « indoor » et « outdoor ».
Racinisation : une racine pour plusieurs formes
Section intitulée « Racinisation : une racine pour plusieurs formes »Les étapes précédentes ne réunissent pas « cushions » et « cushion ». Pour cela, vous avez besoin de la racinisation. Elle réduit un mot à sa racine, la partie que ses formes partagent. « cushions », « cushioned » et « cushion » deviennent tous « cushion ». La racine n’a pas besoin d’être un vrai mot : « fixtures » et « fixture » deviennent tous deux « fixtur ».
Un raciniseur utilise des règles fixes sur les terminaisons des mots, écrites pour une langue. Le projet utilise les raciniseurs Snowball au moyen du paquet Python PyStemmer. Snowball propose des ensembles de règles pour l’anglais, le français et plusieurs autres langues. Voici ce que le raciniseur anglais fait à certains mots des requêtes de Larkfield. Ce sont les sorties réelles de la fonction norm du projet :
| Texte saisi | Jeton brut | Racine | Réuni avec |
|---|---|---|---|
| cushions | cushions | cushion | cushion |
| fixtures | fixtures | fixtur | fixture |
| tables | tables | tabl | table |
| lighting | lighting | light | light, lights |
| living room | living, room | live, room | live (une plante vivante) |
| oliver | oliver | oliv | olive (une couleur) |
Les trois premières lignes donnent le résultat voulu. Les trois dernières montrent le risque. Un raciniseur ne connaît pas le sens des mots. « Lighting » (un type de produit) et « light » (aussi une couleur : « light blue ») ont la même racine. « Oliver », un nom, a la même racine que « olive », une couleur.
Lemmatisation : la forme du dictionnaire
Section intitulée « Lemmatisation : la forme du dictionnaire »La lemmatisation est la version prudente de la racinisation. Elle transforme chaque mot en sa forme du dictionnaire, son lemme : « tables » devient « table », et « mice » devient « mouse ». Pour cela, elle a besoin d’un dictionnaire de la langue. Elle a souvent aussi besoin du rôle du mot dans la phrase. Dans « the lighting is soft », « lighting » est un nom. Dans « she is lighting a candle », c’est un verbe.
La lemmatisation fait moins de mauvais regroupements que la racinisation. Mais elle est plus lente et nécessite un modèle de langage ou un grand dictionnaire pour chaque langue. Les requêtes sont courtes et souvent sans grammaire (« grey cushion 18 »). Le rôle d’un mot est donc difficile à deviner. La plupart des moteurs de recherche utilisent la racinisation pour ces raisons, tout comme le projet de Larkfield.
Français : son propre raciniseur et des titres traduits automatiquement
Section intitulée « Français : son propre raciniseur et des titres traduits automatiquement »Les règles anglaises ne conviennent pas aux mots français. Le projet a donc un deuxième analyseur, norm_fr, avec le raciniseur français Snowball. « Coussins gris extérieurs » devient « coussin », « gris », « exterieur ».
Mais les titres des produits de Larkfield sont en anglais. Une requête française ne trouve rien dans un titre anglais, même avec une bonne racinisation. L’exécution bm25-norm cherche donc aussi dans un champ de titre français. Sur les 40 066 produits, 7 597 ont un titre français. Ces titres sont traduits automatiquement : un modèle de langage les a écrits à partir des titres anglais.
Larkfield : mesurer chaque étape
Section intitulée « Larkfield : mesurer chaque étape »Priya lance bm25-norm sur les 243 requêtes de test et le compare à bm25-fields+codes du module 3. Pour séparer les deux changements, elle le lance aussi sans les titres français.
Description textuelle du graphique
Trois panneaux de trois lignes chacun. Requêtes anglaises de WANDS (120) : mots exacts 0,641, avec normalisation et racinisation 0,716, avec les titres français aussi 0,709. Requêtes avec fautes d’orthographe (40) : 0,362, 0,404, 0,416. Requêtes françaises (60) : 0,178, 0,206, 0,309. Une ligne représente l’intervalle à 95 % de chaque valeur.
Lisez le graphique un groupe à la fois.
- Requêtes anglaises de WANDS. La normalisation et la racinisation font passer le NDCG@10 de 0,641 à 0,716. Les titres français le font ensuite redescendre un peu, à 0,709. Certains mots anglais apparaissent probablement aussi dans les titres français, ce qui fait remonter quelques mauvais produits.
- Requêtes avec fautes d’orthographe. Ces requêtes ont une lettre incorrecte, un problème d’exercice que nous avons créé exprès. La normalisation les aide un peu, parce que leurs autres mots correspondent maintenant mieux. Elle ne peut pas corriger le mot mal orthographié lui-même. Ce sera le sujet de la prochaine leçon.
- Requêtes françaises. La racinisation seule aide un peu. Les titres français aident le plus : de 0,206 à 0,309. Mais 0,309 reste bien en dessous des requêtes anglaises. Seuls 7 597 produits ont un titre français, et une requête française ne peut pas correspondre aux autres produits.
Sur toutes les requêtes de test, bm25-norm atteint un NDCG@10 de 0,583 (intervalle à 95 % de 0,535 à 0,627), contre 0,506 pour bm25-fields+codes. La différence appariée est de +0,077 (intervalle à 95 % de +0,050 à +0,103). Le résultat est clair : l’intervalle n’inclut pas 0. Sans les titres français, l’exécution atteint 0,559.
Mieux en moyenne, moins bien pour certaines requêtes
Section intitulée « Mieux en moyenne, moins bien pour certaines requêtes »La même comparaison révèle aussi autre chose. La normalisation a amélioré les résultats de 111 requêtes de test et détérioré ceux de 41. La moyenne masque les 41. Vous devez les examiner avant de conserver un changement.
La pire est « oliver parsons », une vraie requête de WANDS. Oliver est un nom, et une chaise Parsons est un style de chaise. Avec les mots exacts, les 10 premiers résultats comprennent huit chaises Parsons, notées partielles ou non jugées. Avec la racinisation, « oliver » devient « oliv », la racine de « olive ». Le premier résultat est maintenant « soucy upholstered side chair in olive beige », et le troisième, « olive branch wall décor ». Le NDCG@10 passe de 0,502 à 0,000.
La deuxième est « blk 18x18 seat cushions ». La règle des unités transforme « 18x18 » en « 18 x 18 ». La requête contient donc maintenant « 18 » deux fois. BM25 additionne le score de chaque mot de la requête, donc « 18 » compte deux fois. Chaque produit dont le titre contient « 18 inch » obtient maintenant un score élevé. Le premier résultat est un pouf de rangement de 18 pouces, pas un coussin de siège. Le NDCG@10 passe de 0,433 à 0,155.
Les deux échecs ont la même cause : une règle qui connaît les lettres, pas le sens des mots. Vous retrouverez cette cause dans chaque leçon de ce module.
Exercice guidé : ajouter les fichiers du module et mesurer
Section intitulée « Exercice guidé : ajouter les fichiers du module et mesurer »Ce module ajoute cinq fichiers Python au projet. Vous les copiez tous maintenant, à partir de l’instantané end-of-m04. Cette leçon explique normalise.py. Les trois prochaines leçons expliquent les autres fichiers, un par leçon.
-
Dans
larkfield-search, avec l’environnement virtuel actif, copiez les fichiers de ce module à partir de l’instantané. Ce sont le nouveau code, ses tests, la nouvelle liste de paquets et le README.Fenêtre de terminal S=../nextia-learning-labs/C38/snapshots/end-of-m04for f in requirements.txt larkfield_search/normalise.py larkfield_search/spell.py larkfield_search/synonyms.py larkfield_search/detect.py larkfield_search/runs/understand.py tests/test_understand.py README.md; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C38\snapshots\end-of-m04"foreach ($f in 'requirements.txt', 'larkfield_search\normalise.py', 'larkfield_search\spell.py', 'larkfield_search\synonyms.py', 'larkfield_search\detect.py', 'larkfield_search\runs\understand.py', 'tests\test_understand.py', 'README.md') { Copy-Item "$S\$f" $f } -
Installez les deux nouveaux paquets. Le nouveau
requirements.txtajoute PyStemmer (les raciniseurs) et scikit-learn (un classificateur pour la dernière leçon de ce module) :Fenêtre de terminal python -m pip install -r requirements.txt -
Lancez les tests :
Fenêtre de terminal python -m pytest -q........................ [100%]24 passed in 12.20sLe module 3 se terminait avec 19 tests. Les cinq nouveaux tests vérifient le code de ce module. La première exécution prend quelques secondes, parce que Python charge scikit-learn pour la première fois. Votre durée sera différente.
-
Essayez le normaliseur à la main. Démarrez Python avec
python, puis tapez les lignes après>>>:>>> from larkfield_search.normalise import fold, norm, norm_fr>>> fold("Café table, 24 inches")'cafe table, 24 inch '>>> norm("Grey Outdoor Cushions 18''")['grey', 'outdoor', 'cushion', '18', 'inch']>>> norm_fr("Coussins gris extérieurs")['coussin', 'gris', 'exterieur']>>> norm("lighting"), norm("living room")(['light'], ['live', 'room'])foldeffectue les étapes 1 à 3 (minuscules, accents, unités).normajoute les jetons et les racines anglaises;norm_frutilise le raciniseur français. Tapezexit()pour quitter Python. -
Évaluez la nouvelle exécution sur les requêtes de test :
Fenêtre de terminal search eval --run bm25-normbm25-norm on 243 test queries: NDCG@10 0.583 (95% interval 0.535 to 0.627)recall@100 0.518, MRR 0.581, zero results 1.2%, judged in the top 10 74.0%; 0.2 ms a query (p50), 0.4 ms (p95)La première exécution construit les index BM25 des champs normalisés. Elle prend quelques secondes, et les exécutions suivantes les réutilisent.
-
Comparez-la à l’exécution du module 3, par type de requête :
Fenêtre de terminal search compare bm25-fields+codes bm25-norm --by sourcebm25-norm minus bm25-fields+codes on 241 test queries: ndcg@10 +0.077 (95% interval +0.050 to +0.103); better on 111, worse on 41, the same on 89source queries bm25-fields+codes bm25-norm difference low high worsecode 20 1.000 1.000 0.000 0.000 0.000 0planted 3 0.236 0.384 0.148 0.005 0.250 0translated 59 0.178 0.309 0.131 0.063 0.205 5typo 40 0.362 0.416 0.054 -0.005 0.116 12wands 119 0.641 0.709 0.068 0.034 0.103 24 -
Examinez la requête dont les résultats se sont le plus détériorés :
Fenêtre de terminal search query "oliver parsons" --run bm25-norm -k 3bm25-norm: "oliver parsons" -> 3 results (query W-272: judged results are marked)1. LK-52242 soucy upholstered side chair in olive beige Dining Chairs 207.99 [not judged]2. LK-28242 magreb velvet upholstered parsons chair in olive Dining Chairs 221.99 [not judged]3. LK-98699 olive branch wall décor Wall Décor 14.99 [irrelevant]
Lisez l’étape 6 ligne par ligne. Les requêtes de codes ne changent pas : la règle des codes du module 3 place toujours le produit en premier. La colonne worse (résultats détériorés) mérite une deuxième lecture. La normalisation a détérioré les résultats de 24 vraies requêtes anglaises et de 12 requêtes avec fautes d’orthographe. Pourtant, les deux groupes se sont améliorés en moyenne.
À l’étape 7, deux des trois produits sont « non jugés ». Ils comptent comme non pertinents, ce qui peut rendre la mesure un peu injuste envers bm25-norm. Mais une chaise « in olive beige » n’est clairement pas ce que voulait la personne qui a tapé « oliver parsons ».
À vous de jouer : que coûtent les titres français?
Section intitulée « À vous de jouer : que coûtent les titres français? »Changez une chose : désactivez le champ de titre français avec un paramètre. Avant de lancer l’exécution, faites une prédiction. Quelle langue s’améliore sans les titres français, et laquelle se détériore?
search eval --run bm25-norm --set title_fr=0 --by languageLa sortie et ce qu’elle montre
bm25-norm on 243 test queries: NDCG@10 0.559 (95% interval 0.510 to 0.605)recall@100 0.509, MRR 0.554, zero results 2.5%, judged in the top 10 72.2%; 0.2 ms a query (p50), 0.4 ms (p95)
language queries ndcg@10 low high zero-result rate en 182 0.677 0.628 0.724 0.016 fr 61 0.203 0.127 0.284 0.049Avec les titres français, search eval --run bm25-norm --by language donne 0,674 pour l’anglais et 0,307 pour le français. Les titres français coûtent donc 0,003 aux requêtes anglaises et donnent 0,104 aux requêtes françaises. Les requêtes françaises représentent un quart du jeu de test, et Larkfield veut des clients francophones. Le compromis en vaut donc la peine. Mais c’est un compromis, visible seulement parce que vous séparez les résultats par langue.
Les requêtes françaises sont traduites automatiquement à partir de requêtes anglaises. Elles sont donc plus propres que ce que tapent de vraies personnes. Traitez les chiffres français comme une première estimation. Mesurez de nouveau sur de vraies requêtes françaises quand vous en aurez.
Erreur courante
Toutes les commandes de recherche échouent après la copie
Symptôme : Tomás copie les fichiers du module, mais saute l’étape 2. Maintenant, même une ancienne exécution échoue. search eval --run bm25 s’arrête avec une longue erreur qui se termine ainsi :
import StemmerModuleNotFoundError: No module named 'Stemmer'search info fonctionne toujours, parce qu’il ne charge pas les exécutions.
Cause : la commande search charge chaque fichier de larkfield_search/runs/ pour trouver les exécutions. Le nouveau fichier understand.py charge normalise.py, et normalise.py nécessite le paquet PyStemmer, qui n’est pas installé. Un seul paquet manquant fait échouer toutes les commandes qui chargent les exécutions, pas seulement les nouvelles.
Correction : installez les paquets du nouveau requirements.txt : python -m pip install -r requirements.txt. Relancez ensuite search eval --run bm25.
Conséquence pour le travail en recherche : un service de recherche charge toutes ses parties au démarrage. Une nouvelle partie avec une nouvelle dépendance peut arrêter tout le service, pas seulement la nouvelle fonctionnalité. Installez et testez chaque nouvelle dépendance avant de publier le code qui en a besoin.
Quand normaliser, et à quel coût
Section intitulée « Quand normaliser, et à quel coût »Normalisez presque toujours. Les minuscules, la suppression des accents et quelques règles d’unités ne coûtent rien au moment de la requête. Elles corrigent de nombreux petits problèmes de correspondance. Sur les requêtes de test de Larkfield, la normalisation et la racinisation combinées apportent le plus grand gain des règles de ce module.
Racinisez avec soin et mesurez les résultats pour chaque requête. La racinisation réunit les formes d’un mot, mais aussi des mots qui se ressemblent seulement. Surveillez les noms (personnes, marques, collections), les couleurs et les mots courts. Si une racine dégrade une requête courante, vous pouvez protéger le mot. Gardez une liste de mots que le raciniseur ne doit pas modifier, comme « oliver ».
Utilisez la lemmatisation seulement quand le sens compte plus que la vitesse, par exemple dans les longs textes avec des phrases complètes. Pour les courtes requêtes de boutique, la racinisation est le choix habituel.
Le coût est faible, mais réel. Chaque modification de l’analyseur exige un nouvel index : les produits doivent être normalisés de la même façon que les requêtes. Dans le projet de Larkfield, les index normalisés sont construits dès qu’une exécution en a besoin, en quelques secondes. Sur un grand catalogue, une réindexation peut prendre des heures. Il faut donc la planifier.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Amira normalise les requêtes (minuscules, racines), mais oublie de reconstruire l'index, qui contient encore les jetons d'origine. Qu'arrive-t-il à la requête « Cushions », et pourquoi?
Afficher la réponse
La requête devient la racine « cushion ». L’index d’origine contient les jetons « cushion » et « cushions », tels qu’ils ont été écrits. Donc, « Cushions » ne correspond plus aux produits contenant « cushions », même si la personne a saisi exactement ce mot. La normalisation fonctionne seulement quand les deux côtés suivent les mêmes étapes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La normalisation a fait passer le NDCG@10 de 0,506 à 0,583 sur les requêtes de test. Omar dit : « Donc, chaque requête est meilleure maintenant. » Que répondez-vous, avec des chiffres?
Afficher la réponse
Non. La moyenne a augmenté, mais 41 des 241 requêtes de test se sont dégradées (111 se sont améliorées). Pour « oliver parsons », la racine « oliv » correspond à la couleur olive. Le NDCG@10 est passé de 0,502 à 0,000. Examinez les requêtes qui se sont dégradées avant de garder une modification, et décidez si elles comptent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : un raciniseur réunit « lighting » et « light ». Nommez une requête où cela aide et une autre où cela pourrait nuire.
Afficher la réponse
Cela aide une requête comme « outdoor lighting », car les produits contenant « outdoor light » correspondent maintenant. Cela pourrait nuire à une requête comme « light blue pillow », où « light » décrit une couleur claire. Les produits d’éclairage correspondent maintenant à ce mot aussi. Un raciniseur connaît les terminaisons, pas les sens.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Normaliser le texte consiste à l’écrire sous une forme standard : minuscules, sans accents, unités écrites de façon uniforme, jetons. Appliquez les mêmes étapes à la requête et aux produits.
- La racinisation réduit les mots à une racine commune avec des règles fixes (Snowball, par PyStemmer), en anglais et en français. La lemmatisation trouve la forme du dictionnaire. Elle est plus prudente, mais plus lente, et rarement utilisée pour les courtes requêtes.
- Sur les requêtes de test de Larkfield,
bm25-normatteint un NDCG@10 de 0,583 (0,535 à 0,627), contre 0,506 pourbm25-fields+codes: +0,077 (+0,050 à +0,103). Les titres français traduits automatiquement apportent un gain de +0,104 aux requêtes françaises et coûtent 0,003 aux requêtes anglaises. - 41 requêtes de test se sont dégradées. « oliver parsons » est passé de 0,502 à 0,000, car « oliver » et « olive » partagent une racine.
Vous pouvez maintenant faire correspondre les formes d’un mot. Mais la normalisation ne peut pas aider quand un mot est mal écrit : « outdor » n’est pas une forme de « outdoor ». Ensuite, vous corrigez l’orthographe avec un dictionnaire construit à partir du catalogue et du journal des requêtes.
Leçon suivante : Corriger l'orthographe