Corriger l'orthographe
- Leçon 12
- 35 min
- Module 4 : Comprendre la requête
Où nous en sommes
Dans la dernière leçon, nous avons normalisé et racinisé le texte pour faire correspondre les formes d'un mot. La normalisation n'aide pas quand un mot est mal écrit : « outdor » n'est pas une forme de « outdoor ». Dans cette leçon, nous corrigeons l'orthographe avec la distance d'édition et un dictionnaire construit à partir du catalogue et du journal des requêtes. Nous décidons aussi quand corriger et quand demander « Vouliez-vous dire ».
Leçon 12 sur 30 · Recherche et classement : trouver la meilleure correspondanceCorriger l'orthographe
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Trouvez le produit quand une personne écrit mal un mot, sans nuire aux requêtes qui étaient correctes. Vous construisez le correcteur avec une distance d’édition et un dictionnaire. Vous le mesurez, puis choisissez quand corriger et quand demander.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter construit un dictionnaire à partir du catalogue et du journal des requêtes. Il vous demande d’écrire l’étape qui trouve toutes les chaînes à une seule modification de distance. Ensuite, il corrige les requêtes de validation et compte combien se sont améliorées ou dégradées. Ses cellules de préparation téléchargent les données d’exercice, donc aucune préparation locale n’est nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La normalisation et l’exécution
bm25-norm, présentées dans Normaliser le texte. - Le journal synthétique des requêtes, présenté dans Découvrir le catalogue et le journal des requêtes.
- Les types de requêtes du jeu de test (WANDS en anglais, français, fautes d’orthographe insérées), présentés dans Créer un jeu de test qui représente vos utilisateurs.
Ce qu’il vous faut sur votre ordinateur (pour l’exercice guidé seulement)
- Le projet
larkfield-searchavec les fichiers et les paquets de ce module, tirés de l’exercice guidé de Normaliser le texte.python -m pytest -qdoit afficher24 passed(24 tests réussis).
Une vendeuse qui lit une note mal écrite
Section intitulée « Une vendeuse qui lit une note mal écrite »Un client donne une note à la vendeuse : « outdor cushon ». Elle ne dit pas « nous n’avons rien qui porte ce nom ». Elle réfléchit : quels mots des produits que nous vendons ressemblent à ceux-ci? « outdoor » est à une lettre de « outdor ». « cushion » est à une lettre de « cushon ». Elle apporte des coussins d’extérieur.
Elle utilise deux choses. D’abord, elle connaît les mots de son magasin. Ensuite, elle sait quels mots ressemblent à ceux de la note. Un moteur de recherche peut faire la même chose, si vous lui fournissez les deux.
Le problème : une mauvaise lettre, aucun produit
Section intitulée « Le problème : une mauvaise lettre, aucun produit »Dans le journal synthétique des requêtes de Larkfield, « ligth bulb » est la deuxième recherche sans résultat la plus fréquente. Elle produit 139 pages vides pour une seule paire de lettres inversées. La recherche actuelle exige une correspondance pour chaque mot, et aucun produit ne contient « ligth ».
BM25 est plus souple : n’importe quel mot peut correspondre. Mais le mot mal écrit ne correspond toujours à rien. Pour la requête « outdor cushion », BM25 avec normalisation trouve des coussins, parce que « cushion » correspond. Le mot « outdor » est ignoré. Les premiers résultats sont donc « bench cushion » et « indoor chair cushion ». La personne cherche des coussins d’extérieur et reçoit d’abord des coussins d’intérieur.
Un mot mal écrit n’est donc pas seulement un mot perdu. Très souvent, c’est le mot le plus important qui est perdu. « outdor » distingue cette requête de toutes les autres requêtes sur les coussins.
L’idée : le mot le plus proche que le magasin connaît
Section intitulée « L’idée : le mot le plus proche que le magasin connaît »L’idée comporte deux parties, comme pour la vendeuse.
- Un dictionnaire : les mots que Larkfield connaît, chacun accompagné de son nombre d’occurrences.
- Une distance : le nombre de petites modifications pour transformer le mot saisi en un mot du dictionnaire.
Cette distance s’appelle la distance d’édition. Une modification est l’un de ces quatre petits changements à un mot :
- supprimer une lettre : « stoool » → « stool »
- inverser deux lettres voisines : « ligth » → « light »
- remplacer une lettre : « gracity » → « gravity »
- ajouter une lettre : « outdor » → « outdoor »
La distance d’édition entre deux mots est le plus petit nombre de modifications qui transforme l’un en l’autre. « outdor » et « outdoor » sont à une distance de 1. « filaret » et « flared » sont à une distance de 2 : supprimer le « i », puis remplacer « t » par « d ». L’idée est ancienne et simple. La version avec inversions porte souvent le nom de distance de Damerau-Levenshtein, d’après les deux personnes qui l’ont décrite.
Le correcteur, étape par étape
Section intitulée « Le correcteur, étape par étape »Le correcteur du projet, spell.py, suit la démarche de la vendeuse :
- Prenez un mot de la requête. S’il est dans le dictionnaire, il est connu : gardez-le. Gardez toujours les mots de moins de 4 lettres et les nombres.
- Sinon, créez toutes les chaînes à une modification de distance. Pour « outdor », il y en a 338, dont la plupart ne sont pas des mots.
- Gardez seulement les chaînes présentes dans le dictionnaire.
- S’il n’en reste aucune et que le mot compte au moins 7 lettres, essayez à deux modifications de distance.
- S’il en reste plusieurs, choisissez la plus fréquente dans le dictionnaire.
Le schéma suit deux mots réels à travers ces étapes. Le premier mène à une bonne correction; le deuxième, non.
Description textuelle du diagramme
Deux rangées de cases. Rangée du haut : « Mot inconnu : outdor » mène à « Toutes les chaînes à une modification de distance : supprimer otdor, inverser uotdor, remplacer outdoo, ajouter outdoor; 338 chaînes », puis à « Garder les chaînes du dictionnaire : outdoor (11 318 fois) », puis à une case à bordure épaisse : « Correction : outdoor ». Rangée du bas : « Mot inconnu : filaret » mène à « À une modification de distance : aucun mot du dictionnaire », puis à « À deux modifications de distance (7 lettres ou plus) : flared 27, filament 3, floret 1, eilardt 1 », puis à une case à bordure rouge en tirets : « Le plus fréquent gagne : flared. Erreur : la personne cherchait un sofa nommé Filaret. »
D’où vient le dictionnaire
Section intitulée « D’où vient le dictionnaire »Le dictionnaire détermine ce que le correcteur peut trouver. Celui de Larkfield contient 29 312 mots. Il compte chaque mot dans quatre types de textes sur les produits : les titres, les classes et catégories de produits, les attributs et les titres français traduits automatiquement. Ensuite, il ajoute les mots de chaque recherche du journal qui a obtenu un clic.
Pourquoi seulement les recherches avec un clic? Un clic indique que la recherche a trouvé quelque chose que la personne voulait. Ses mots sont donc probablement corrects. Une recherche sans clic peut contenir la faute de frappe que vous voulez corriger. Si « ligth » entrait dans le dictionnaire, le correcteur le garderait.
Pourquoi pas les descriptions? Elles sont longues et contiennent beaucoup de mots rares. Un mot rare du dictionnaire peut devenir la correction d’une faute de frappe. Malgré cette exclusion, un mot très peu fréquent peut gagner. Le dictionnaire ne connaît « toro » que deux fois : dans les titres anglais et français d’un seul robinet. Cela suffit pour que le correcteur le choisisse, comme vous le verrez plus bas.
Larkfield : mesurer le correcteur
Section intitulée « Larkfield : mesurer le correcteur »L’exécution bm25-norm+spell corrige la requête, puis lance bm25-norm. Sur les requêtes de test, le NDCG@10 passe de 0,583 à 0,615 (intervalle à 95 % de 0,568 à 0,657). Chaque moyenne porte sur 241 des 243 requêtes. La différence appariée est de +0,032 (intervalle à 95 % de +0,013 à +0,053) : 31 requêtes améliorées et 11 dégradées. Le graphique répartit cette différence par type de requête.
Description textuelle du graphique
Trois rangées sur un axe des différences, avec une ligne à zéro. Requêtes mal écrites (40, un problème d’exercice créé volontairement) : +0,232 (intervalle à 95 % de +0,148 à +0,324). Requêtes WANDS en anglais (119) : −0,008 (de −0,024 à +0,006). Requêtes françaises (59) : −0,008 (de −0,021 à 0,000).
Les requêtes mal écrites gagnent +0,232 : elles passent de 0,416 à 0,648. C’est un gain important et clair. Mais interprétez-le avec prudence. Notre code a créé ces fautes avec exactement une modification chacune, pour un problème d’exercice construit volontairement. Le correcteur cherche exactement ce type d’erreur. Les vraies erreurs de saisie sont plus variées : deux mauvaises lettres, une espace manquante, un mot écrit comme il se prononce. Le gain de +0,232 dépasse donc probablement ce que vous observeriez sur de vraies fautes d’orthographe.
Les requêtes anglaises réelles ne s’améliorent pas. Leur différence est de −0,008, et l’intervalle inclut 0. Pour comprendre pourquoi, comptez les changements. Sur les 364 requêtes de validation et de test, le correcteur en a changé 88 :
| Type de requête | Modifiées | Améliorées | Dégradées | Inchangées |
|---|---|---|---|---|
| Mal écrites (insérées) | 57 | 36 | 5 | 16 |
| WANDS en anglais (réelles) | 17 | 3 | 7 | 7 |
| Françaises (traduites automatiquement) | 14 | 1 | 3 | 10 |
| Toutes | 88 | 40 | 15 | 33 |
Pour les fautes insérées, le correcteur a raison bien plus souvent qu’il a tort. Pour les requêtes anglaises réelles, il en a changé 17, dont 7 dégradées et seulement 3 améliorées. Les requêtes réelles qu’il modifie ne contiennent généralement pas de fautes de frappe. Elles contiennent des noms que le dictionnaire ne connaît pas.
Une mauvaise correction est pire qu’aucune correction
Section intitulée « Une mauvaise correction est pire qu’aucune correction »Examinez trois requêtes WANDS réelles que le correcteur a dégradées.
- « filaret outdoor sofa » devient « flared outdoor sofa ». Filaret est le nom d’une collection de sofas. Le premier résultat devient « samuel 91 ‘’ velvet flared arm sofa », un sofa d’intérieur. Le NDCG@10 passe de 0,931 à 0,438.
- « togo chair » devient « toro chair ». Le Togo est un fauteuil célèbre, mais aucun texte de produit de Larkfield ne contient ce mot. Le dictionnaire connaît « toro » deux fois, dans les titres anglais et français d’un seul robinet. Le premier résultat devient « toro lever wall mounted bathroom faucet ». Le NDCG@10 passe de 1,000 à 0,641.
- « trinaic towel rod » devient « trinsic towel rod ». Les barres à serviettes Trinsic occupent maintenant trois des quatre premières places. Personne ne les a jugées pour cette requête. Elles comptent donc comme non pertinentes, et le NDCG@10 passe de 0,936 à 0,398. Mais la personne cherchait peut-être bien Trinsic. La mesure ne peut pas le dire, car ces produits n’ont aucun jugement.
Les deux premiers exemples montrent le point essentiel. Un mot inconnu nuit peu : BM25 ne trouve aucun produit avec ce mot, et les autres mots fonctionnent encore. Une mauvaise correction nuit vraiment. Elle ajoute un mot que la personne n’a jamais saisi. Un mot rare reçoit un poids BM25 élevé, comme vous l’avez vu dans BM25. Le correcteur doit donc être plus prudent que « toujours choisir le mot le plus proche ».
Les requêtes françaises présentent le même problème. Le dictionnaire du correcteur est surtout anglais. « moto hors route 12v » est une requête française pour une moto hors route. Elle devient « moto hors rouge 12v », parce que « route » n’est pas dans le dictionnaire, mais « rouge » l’est.
Les pages vides dans le journal
Section intitulée « Les pages vides dans le journal »Le correcteur a un succès clair que le NDCG ne montre pas : les pages vides. Le graphique soumet chaque recherche du journal synthétique à chaque exécution et compte les recherches sans résultat.
Description textuelle du graphique
Un graphique à cinq colonnes : recherche actuelle 30,7 %, BM25 7,8 %, BM25 avec champs et règle des codes 6,2 %, avec normalisation 2 %, avec correction orthographique 0,3 %.
Après normalisation, 2,0 % des recherches du journal ne trouvent toujours rien. Avec le correcteur, cette part tombe à 0,3 %. Une recherche mal corrigée affiche quand même quelque chose, souvent un produit proche de ce qui est recherché. Une page vide n’affiche rien. Selon les hypothèses de coûts du cours, 30 % des personnes quittent le magasin après une page vide.
Corriger automatiquement ou demander?
Section intitulée « Corriger automatiquement ou demander? »Les grands moteurs de recherche remplacent rarement vos mots sans vous le dire. Ils choisissent entre deux comportements.
- Corriger et le signaler. La page affiche les résultats de la requête corrigée, avec une ligne comme : « Résultats pour outdoor cushion. Rechercher plutôt outdor cushion. » La personne voit le changement et peut l’annuler d’un clic.
- Demander. La page affiche les résultats de la requête saisie, avec une ligne : « Vouliez-vous dire flared outdoor sofa? » Rien ne change tant que la personne ne clique pas.
Les mesures de Larkfield suggèrent quand utiliser chaque comportement.
- Corriger et le signaler quand la requête saisie ne trouve rien ou presque rien. Dans ce cas, une mauvaise correction coûte peu, et une page vide coûte cher.
- Demander quand la requête saisie trouve déjà de bons produits. « filaret outdoor sofa » trouvait des sofas d’extérieur sans aide; la correction a seulement dégradé les résultats.
- Demander quand la correction est éloignée : deux modifications, ou un mot très peu fréquent dans le dictionnaire, comme « toro » (2).
- Protéger les noms. Ajoutez au dictionnaire les noms de marques et de collections de votre catalogue, et les noms que les gens recherchent avec succès. Ainsi, « filaret » serait connu et conservé.
L’exécution bm25-norm+spell du projet corrige toujours, sans demander. C’est simple à mesurer, et c’est la version que vous avez mesurée plus haut. Une vraie page de recherche ajouterait la ligne « Résultats pour… » et les règles ci-dessus. Ces règles nécessitent une page de recherche. La page du projet arrive dans Saisie semi-automatique. La leçon Aucun résultat et règles d’affaires montre comment la page indique à la personne ce que la recherche a changé.
Exercice guidé : corriger et mesurer
Section intitulée « Exercice guidé : corriger et mesurer »-
Dans
larkfield-search, avec l’environnement virtuel actif, lancez Python avecpython, puis essayez le correcteur :>>> from larkfield_search import spell>>> spell.correct_word("outdor")('outdoor', 'corrected')>>> len(spell.edits1("outdor"))338>>> spell.dictionary()["outdoor"]11318>>> spell.correct("filaret outdoor sofa")('flared outdoor sofa', [('filaret', 'flared')])Le premier appel construit le dictionnaire à partir des données et l’enregistre dans
outputs/. Tapezexit()pour quitter Python. -
Recherchez « outdor cushion » sans le correcteur :
Fenêtre de terminal search query "outdor cushion" --run bm25-norm -k 3bm25-norm: "outdor cushion" -> 3 results1. LK-54193 bench cushion Furniture Cushions 29.992. LK-62284 indoor chair cushion Furniture Cushions 20.993. LK-26958 deep outdoor seat cushion Furniture Cushions 64.99 -
Maintenant, avec le correcteur :
Fenêtre de terminal search query "outdor cushion" --run bm25-norm+spell -k 3bm25-norm+spell: "outdor cushion" -> 3 results1. LK-90733 outdoor adirondack chair cushion Furniture Cushions 11.992. LK-22523 rossmere indoor/outdoor bench cushion Furniture Cushions 13.99 [out of stock]3. LK-17722 texture outdoor bench cushion Furniture Cushions 12.99Cette requête n’est pas dans le jeu de requêtes, donc aucun résultat n’est marqué. Jugez à l’œil : chaque résultat est maintenant un coussin d’extérieur.
-
Mesurez le correcteur par type de requête :
Fenêtre de terminal search compare bm25-norm bm25-norm+spell --by sourcebm25-norm+spell minus bm25-norm on 241 test queries: ndcg@10 +0.032 (95% interval +0.013 to +0.053); better on 31, worse on 11, the same on 199source queries bm25-norm bm25-norm+spell difference low high worsecode 20 1.000 1.000 0.000 0.000 0.000 0planted 3 0.384 0.384 0.000 0.000 0.000 0translated 59 0.309 0.301 -0.008 -0.021 0.000 2typo 40 0.416 0.648 0.232 0.148 0.324 3wands 119 0.709 0.701 -0.008 -0.024 0.006 6 -
Examinez la requête qui s’est le plus dégradée dans la partition de test :
Fenêtre de terminal search query "filaret outdoor sofa" --run bm25-norm+spell -k 3bm25-norm+spell: "filaret outdoor sofa" -> 3 results (query W-090: judged results are marked)1. LK-88873 samuel 91 '' velvet flared arm sofa Sofas 80.99 [not judged]2. LK-12354 catalina outdoor sofa with cushions Patio Sofas 1047.99 [partial]3. LK-15552 griswold 92 '' flared arm sofa bed Sofas 434.99 [not judged]
À l’étape 4, relisez la colonne worse (dégradées). Le correcteur a dégradé 3 requêtes mal écrites, 6 requêtes anglaises réelles et 2 requêtes françaises. Ensuite, ouvrez chacune avec search query, comme à l’étape 5. La liste des requêtes dégradées est le meilleur guide pour la prochaine règle que vous écrirez.
À vous de jouer : est-ce aussi vrai sur les données de validation?
Section intitulée « À vous de jouer : est-ce aussi vrai sur les données de validation? »Changez une seule chose : la partition. Lancez la même comparaison sur les 121 requêtes de validation. Avant de la lancer, faites une prédiction : les requêtes mal écrites gagneront-elles autant que dans la partition de test?
search compare bm25-norm bm25-norm+spell --split validation --by sourceLa sortie et ce qu’elle montre
bm25-norm+spell minus bm25-norm on 121 validation queries: ndcg@10 +0.024 (95% interval +0.004 to +0.047); better on 9, worse on 4, the same on 108
source queries bm25-norm bm25-norm+spell difference low high worse code 10 1.000 1.000 0.000 0.000 0.000 0 planted 1 0.685 0.685 0.000 0.000 0.000 0translated 30 0.245 0.241 -0.004 -0.012 0.000 1 typo 20 0.594 0.745 0.151 0.041 0.292 2 wands 60 0.695 0.694 -0.001 -0.002 0.000 1Les requêtes mal écrites gagnent ici +0,151, contre +0,232 sur les données de test. La direction est la même, et les deux intervalles sont au-dessus de 0. Mais avec seulement 20 requêtes mal écrites, l’intervalle est large : de +0,041 à +0,292. Les requêtes anglaises réelles ne s’améliorent toujours pas. La tendance se maintient, mais pas l’ampleur exacte. Voilà pourquoi vous donnez un intervalle, et non un seul nombre.
Erreur courante
Une marque que le magasin ne vend pas
Symptôme : une personne saisit « ikea bookcase ». Larkfield ne vend pas de produits IKEA. Avec le correcteur, le troisième résultat est une table de salle à manger :
bm25-norm+spell: "ikea bookcase" -> 3 results 1. LK-77220 capel etagere bookcase Bookcases 46.99 2. LK-40051 gladbrook entagere bookcase 65.99 3. LK-17638 ikra dining table Dining Tables 625.99Nous avons écrit cette requête pour montrer le problème; elle n’est pas dans le jeu de requêtes.
Cause : « ikea » n’est pas dans le dictionnaire. Le correcteur le remplace donc par le mot connu le plus proche : « ikra », le nom d’une table de salle à manger. Le mot rare « ikra » reçoit un poids BM25 élevé, ce qui fait apparaître la table.
Solution : gardez une liste de mots que le correcteur ne doit jamais changer. Incluez les marques que les gens recherchent, même celles que vous ne vendez pas. Ou demandez « Vouliez-vous dire ikra? » au lieu de corriger, car « ikra » est très peu fréquent dans le dictionnaire.
Conséquence pour le travail en recherche : un correcteur ne connaît que son dictionnaire. Chaque mot absent ressemble à une faute de frappe. Consultez les mots que le correcteur change le plus souvent dans votre journal. Protégez ceux qui ne sont pas des fautes de frappe.
Quand utiliser un correcteur et à quel coût
Section intitulée « Quand utiliser un correcteur et à quel coût »Utilisez-en un quand votre journal contient beaucoup de recherches mal orthographiées et de pages vides. Le journal synthétique de Larkfield contient les deux : 6 % des recherches sont volontairement mal orthographiées. Le correcteur fait passer les pages vides de 2,0 % à 0,3 %.
Soyez prudent quand vos requêtes contiennent beaucoup de noms : marques, collections, modèles. Un correcteur construit à partir du catalogue ne connaît pas tous les noms que les gens tapent. Il transforme les noms inconnus en mots incorrects. Sur les vraies requêtes en anglais de Larkfield, il a détérioré plus de requêtes qu’il n’en a amélioré.
Le coût au moment de la requête est minime. Dans le projet, le temps mesuré pour la correction orthographique d’une recherche est de 0,01 ms (p50, un fil d’exécution). La recherche lexicale elle-même prend 1,15 ms. Le dictionnaire est construit une seule fois à partir des données, en moins de 2 secondes ici. Le vrai coût, c’est votre attention : chaque règle du correcteur détériore certaines requêtes, et vous devez les lire.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Calculez la distance d'édition entre « stol » et « stool », puis entre « cabiet » et « cabinet ». Nommez chaque modification.
Afficher la réponse
Les deux distances sont de 1. « stol » → « stool » : ajouter un « o ». « cabiet » → « cabinet » : ajouter un « n ». Le correcteur trouve les deux dès son premier passage, car il essaie chaque chaîne à une modification de distance.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le correcteur a amélioré les requêtes de test mal orthographiées de +0,232, mais modifié les vraies requêtes en anglais de −0,008. Donnez deux raisons pour lesquelles le gain de +0,232 pourrait être trop optimiste.
Afficher la réponse
D’abord, notre code a créé chaque faute insérée avec exactement une modification. Le correcteur cherche des mots à exactement une ou deux modifications de distance. Les vraies erreurs de frappe sont plus variées. Ensuite, il n’y a que 40 requêtes de test mal orthographiées. L’intervalle est donc large (+0,148 à +0,324). Les vraies requêtes en anglais montrent l’autre côté : le correcteur y modifie surtout des noms. Il a détérioré 7 des 17 requêtes modifiées.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
« filaret outdoor sofa » trouve déjà des sofas d'extérieur sans correction. La page de Larkfield devrait-elle corriger automatiquement la requête ou demander « vouliez-vous dire »? Expliquez à l'aide de la mesure.
Afficher la réponse
Demandez, ou ne faites rien. La requête tapée donne déjà de bons résultats (NDCG@10 de 0,931). La correction vers « flared » fait baisser cette mesure à 0,438. Une correction n’est utile que si la requête tapée trouve peu de résultats. Ici, elle ajoute un mot que la personne n’a jamais tapé. La meilleure solution est d’ajouter « filaret » au dictionnaire pour qu’il soit reconnu.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La distance d’édition compte les petites modifications (supprimer, inverser, remplacer, ajouter) entre deux mots. Le correcteur essaie chaque chaîne à une modification de distance. Il garde celles du dictionnaire et choisit la plus fréquente.
- Le dictionnaire de Larkfield (29 312 mots) provient des titres de produits, classes, catégories, attributs et titres français. Il inclut aussi les recherches du journal qui ont obtenu un clic.
- Sur les requêtes de test de Larkfield,
bm25-norm+spellatteint un NDCG@10 de 0,615 (0,568 à 0,657). Le gain est de +0,232 sur les fautes insérées, contre −0,008 sur les vraies requêtes en anglais. Les pages vides du journal synthétique passent de 2,0 % à 0,3 %. - Une mauvaise correction est pire que l’absence de correction : « filaret » → « flared » (0,931 → 0,438), « togo » → « toro ». Corrigez et signalez-le quand la requête tapée trouve peu de résultats. Demandez quand elle trouve déjà de bons produits ou que la correction s’éloigne beaucoup du texte tapé.
Vous pouvez maintenant repérer les erreurs de frappe. Mais certaines requêtes sont bien orthographiées et échouent quand même. La personne utilise un autre mot pour la même chose : « couch » pour « sofa ». Ensuite, vous ajoutez des règles de synonymes, essayez un modèle de langage qui réécrit les requêtes et testez chaque règle.
Leçon suivante : Synonymes et réécriture de requête