Correspondances exactes et règles
- Leçon 10
- 30 min
- Module 3 : La recherche lexicale : la référence de base à battre
Où nous en sommes
BM25 est une solide référence de base pour la plupart des requêtes. Certaines requêtes sont un code de produit, un nom de modèle ou une taille. Dans cette leçon, nous voyons où une règle de correspondance exacte bat tout score. Nous mesurons séparément les requêtes contenant des codes et des nombres.
Leçon 10 sur 30 · Recherche et classement : trouver la meilleure correspondanceCorrespondances exactes et règles
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Trouvez le seul bon produit quand une personne saisit son code. Décidez quand une simple règle est plus sûre que tout score.
Carnet JupyterAppliquez la règle de cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter montre pourquoi BM25 ne trouve pas un code, écrit la règle et la mesure sur les requêtes de codes. Il révèle aussi le piège. Vous écrivez vous-même une règle plus stricte. Ses cellules de préparation téléchargent les données, donc aucune configuration locale n’est nécessaire. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- BM25, les champs pondérés et
search explain, vus dans BM25. search compare, la différence appariée et son intervalle, vus dans Créer un jeu de test qui représente vos utilisateurs.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-searchavec les fichiers de ce module. Vous avez copiérules.pyavec les autres fichiers dans la dernière leçon.
Un reçu avec un numéro
Section intitulée « Un reçu avec un numéro »Une cliente revient au magasin avec un vieux reçu. Elle montre une ligne : « LK-91857. Je veux encore celui-là. » La vendeuse ne lui demande pas de décrire le produit. Elle ne parcourt pas les allées pour deviner. Elle saisit le numéro dans la liste des stocks, et le produit apparaît : un lit superposé arlo, simple sur double.
Le numéro a un seul sens et une seule réponse. Décrire le produit prendrait plus de temps, sans garantie de succès. Et si le numéro n’est pas dans la liste des stocks, la vendeuse n’invente pas un produit. Elle le dit et pose une question.
Le problème : un code n’est pas un mot du texte
Section intitulée « Le problème : un code n’est pas un mot du texte »Les gens saisissent des codes de produit. Ils les copient d’un reçu, d’un courriel ou d’une publicité. Dans les données du cours, ces requêtes sont insérées : un exercice que nous avons créé exprès. Le journal synthétique contient 301 recherches de ce type. La recherche de Larkfield ne trouve rien pour chacune d’elles.
BM25 ne fait pas mieux. Essayez-en une :
search query "LK-91857" --run bm25bm25: "LK-91857" -> 0 results (query C-002: judged results are marked)La raison se trouve dans l’index. Les jetons (tokens) de « LK-91857 » sont lk et 91857. Aucun titre ni aucune description ne contient « 91857 ». Le code se trouve dans la colonne product_id, qui n’est pas dans l’index. BM25 trouve seulement les mots présents dans le texte. Les 20 requêtes de codes du jeu de test obtiennent donc un score de 0,000 avec toutes les exécutions jusqu’ici.
L’idée : une règle de correspondance exacte
Section intitulée « L’idée : une règle de correspondance exacte »Une règle de correspondance exacte reconnaît un motif dans la requête et va directement à la réponse, sans score. Ici, le motif est un code de produit : « LK » et cinq chiffres. Si un produit portant cet identifiant existe, il arrive en premier. Les autres résultats suivent, dans l’ordre de BM25.
Les gens écrivent un code de plusieurs façons. Les 40 requêtes de codes du cours utilisent quatre formes :
| Ce que la personne saisit | Forme | Requêtes |
|---|---|---|
91857 |
le numéro seul | 15 |
LK-91857 |
tel qu’imprimé | 11 |
lk91857 |
minuscules, sans trait d’union | 9 |
lk 91857 |
minuscules, avec une espace | 5 |
La règle dans larkfield_search/rules.py accepte les quatre avec une seule expression régulière, un petit langage de motifs pour le texte :
CODE = re.compile(r"\b(?:lk[\s-]?)?(\d{5})\b", re.IGNORECASE)Lisez-la de gauche à droite. \b marque la limite d’un mot. (?:lk[\s-]?)? représente un « lk » facultatif, suivi d’une espace ou d’un trait d’union facultatif. (\d{5}) représente exactement cinq chiffres, que la règle conserve. re.IGNORECASE traite « LK » et « lk » de la même façon. Pour chaque correspondance, la règle construit l’identifiant avec LK- et les cinq chiffres. Elle le garde seulement s’il figure dans le catalogue.
Description textuelle du diagramme
Une requête entre par le haut. La règle pose une question. Contient-elle un code de produit (LK-91857, lk91857, lk 91857 ou 91857), et ce produit figure-t-il dans le catalogue? Si oui, ce produit arrive en premier, suivi des résultats BM25. Par exemple, « lk 91857 » place LK-91857, le lit superposé arlo en bois massif, simple sur double, en premier. Sinon, la page affiche seulement les résultats BM25 par champ. Un encadré en pointillés en bas montre le piège. Parmi les nombres à cinq chiffres, 44,5 % sont de vrais codes de produit. Ainsi, « 12000 btu air conditioner » trouve LK-12000, et une tige de pivot de porte de placard arrive en premier.
Regardez le petit exemple dans le carnet. Chaque texte passe par les deux mêmes étapes : trouver le motif, puis vérifier le catalogue.
| Texte | Motif trouvé | Dans le catalogue? | Résultat |
|---|---|---|---|
LK-91857 |
91857 | oui | LK-91857 en premier |
lk 91857 |
91857 | oui | LK-91857 en premier |
bunk bed 91857 |
91857 | oui | LK-91857 en premier |
LK-00001 |
00001 | non | les résultats BM25 seulement |
La vérification dans le catalogue est importante. Sans elle, « LK-00001 » placerait un produit inexistant sur la page.
Larkfield : l’exécution bm25-fields+codes
Section intitulée « Larkfield : l’exécution bm25-fields+codes »L’exécution bm25-fields+codes utilise le BM25 par champ de la dernière leçon, précédé de la règle. Essayez le code du reçu sous une autre forme :
search query "lk 91857" --run bm25-fields+codes -k 3bm25-fields+codes: "lk 91857" -> 1 results 1. LK-91857 arlo twin over full solid wood standard bunk bed Kids Beds 208.99La règle trouve le lit superposé. BM25 n’ajoute rien : aucun texte de produit ne contient « lk » ou « 91857 ». La page contient donc un seul résultat, et c’est le bon.
Mesurez maintenant l’exécution sur toutes les requêtes de test :
search eval --run bm25-fields+codesbm25-fields+codes on 243 test queries: NDCG@10 0.506 (95% interval 0.458 to 0.552)recall@100 0.480, MRR 0.546, zero results 4.5%, judged in the top 10 71.0%; 0.2 ms a query (p50), 0.7 ms (p95)Le NDCG@10 passe de 0,423 à 0,506. C’est le plus grand progrès de ce module, et il vient d’environ dix lignes de code.
D’où vient le gain
Section intitulée « D’où vient le gain »Une moyenne peut cacher où un changement aide et où il nuit. search compare avec --by source sépare les requêtes de test selon leur provenance :
search compare bm25 bm25-fields+codes --by sourcebm25-fields+codes minus bm25 on 241 test queries: ndcg@10 +0.077 (95% interval +0.037 to +0.119); better on 100, worse on 75, the same on 66
source queries bm25 bm25-fields+codes difference low high worse code 20 0.000 1.000 1.000 1.000 1.000 0 planted 3 0.451 0.236 -0.215 -0.435 0.000 2translated 59 0.177 0.178 0.001 -0.025 0.027 13 typo 40 0.357 0.362 0.005 -0.036 0.048 17 wands 119 0.650 0.641 -0.009 -0.039 0.020 43Description textuelle du graphique
Le graphique montre une ligne par source de requêtes de test, avec la différence du NDCG@10 et son intervalle à 95 %. L’axe va de −0,5 à +1, et 0 signifie aucun changement. Codes de produits (20 requêtes) : +1,000, de 0 à 1, sans dispersion. Requêtes larges insérées (3) : −0,215 (−0,435 à 0,000). Français (59) : +0,001 (−0,025 à +0,027). Fautes d’orthographe (40) : +0,005 (−0,036 à +0,048). Requêtes WANDS en anglais (119) : −0,009 (−0,039 à +0,020). Seule la ligne des codes de produit est loin de zéro.
Lisez le tableau ligne par ligne :
- Codes : de 0,000 à 1,000 pour les 20 requêtes. Chaque requête de code a un seul bon produit, et la règle le place toujours en premier.
- Requêtes WANDS en anglais : −0,009, avec un intervalle de −0,039 à +0,020. Aucun changement réel. La règle ne se déclenche jamais pour ces requêtes; le petit changement vient de la pondération des champs.
- Requêtes larges insérées (« sofa », « couch », « canapé ») : −0,215, mais pour seulement 3 requêtes, et l’intervalle atteint 0. Les champs causent ce changement, pas la règle.
Pour voir l’effet de la règle seule, comparez l’exécution avec et sans elle :
search compare bm25-fields bm25-fields+codesbm25-fields+codes minus bm25-fields on 241 test queries: ndcg@10 +0.083 (95% interval +0.050 to +0.120); better on 20, worse on 0, the same on 221Mieux pour 20, moins bien pour 0, identique pour 221. La règle touche exactement les 20 requêtes de codes, et rien d’autre dans le jeu de test.
Désormais, chaque exécution du cours conserve cette règle. Les modules suivants comparent donc leurs exécutions à bm25-fields+codes, et non à bm25.
Le tableau comparatif jusqu’ici
Section intitulée « Le tableau comparatif jusqu’ici »Voici les cinq exécutions des trois premiers modules, sur les mêmes 243 requêtes de test :
Description textuelle du graphique
Le graphique montre cinq exécutions, chacune avec son NDCG@10 et son intervalle à 95 % sur les requêtes de test (moyenne de 241 sur 243). current, la recherche actuelle de Larkfield : 0,195 (0,155 à 0,237). bm25 : 0,429 (0,381 à 0,476). bm25-title : 0,423 (0,374 à 0,471). bm25-fields : 0,423 (0,375 à 0,471). bm25-fields+codes : 0,506 (0,458 à 0,552), en évidence.
| Exécution | Ce qu’elle fait | NDCG@10 (intervalle à 95 %) | recall@100 | MRR | Aucun résultat |
|---|---|---|---|---|---|
current |
Larkfield aujourd’hui : tous les mots doivent correspondre | 0,195 (0,155 à 0,237) | 0,146 | 0,312 | 66,7 % |
bm25 |
BM25, titre et description dans un seul champ | 0,429 (0,381 à 0,476) | 0,388 | 0,438 | 12,8 % |
bm25-title |
BM25 sur le titre seulement | 0,423 (0,374 à 0,471) | 0,351 | 0,409 | 14,4 % |
bm25-fields |
BM25 par champ, pondération ajustée sur les requêtes de validation | 0,423 (0,375 à 0,471) | 0,375 | 0,441 | 12,8 % |
bm25-fields+codes |
la même chose, et un code de produit place son produit en premier | 0,506 (0,458 à 0,552) | 0,480 | 0,546 | 4,5 % |
Nombres, tailles et noms de modèles
Section intitulée « Nombres, tailles et noms de modèles »Les codes ne sont pas les seuls éléments exacts des requêtes. Les gens saisissent des tailles (« 48 in entry table »), des capacités (« washer 4.5 ») et des noms de modèles (« zachary 72.5 »). Ce ne sont pas des codes de produit, donc la règle ne se déclenche pas. BM25 traite leurs nombres comme des jetons ordinaires.
Le segmenteur coupe à chaque caractère qui n’est ni une lettre ni un chiffre. Ainsi :
| Requête | Jetons |
|---|---|
| zachary 72.5 | zachary, 72, 5 |
| 3 1/2 inch drawer pull | 3, 1, 2, inch, drawer, pull |
| blk 18x18 seat cushions | blk, 18x18, seat, cushions |
Parfois, cela fonctionne bien. Pour « zachary 72.5 », le nom rare « zachary » fait l’essentiel du travail, et la bonne bibliothèque arrive en premier :
search query "zachary 72.5" --run bm25-fields -k 2bm25-fields: "zachary 72.5" -> 2 results (query W-064: judged results are marked) 1. LK-29728 zachary 72.5 '' h x 24 '' w steel ladder bookcase Teen Bookcases 96.99 [exact] 2. LK-15434 slagelse 72 '' double bathroom vanity base only Vanity Bases 149.99 [not judged]Le deuxième résultat montre la faiblesse. « 72 » correspond à un meuble-lavabo de 72 pouces, car BM25 voit « 72 » comme un mot ordinaire. Pour « ge top loading washer 4.5 », BM25 trouve des laveuses de 4,4, de 5 et de 5,4 pieds cubes. Les jetons « 4 » et « 5 » apparaissent dans de nombreuses tailles.
Le jeu de test contient 10 requêtes avec un nombre qui ne sont pas des codes. Pour celles-ci, bm25 obtient 0,414 et bm25-fields+codes, 0,368. Dix requêtes ne suffisent pas pour tirer une conclusion ferme. Mais une règle pour les tailles est plus difficile qu’une règle pour les codes. « 4.5 » peut désigner des pieds cubes, des pouces ou une note. Et le texte des produits écrit les tailles de nombreuses façons. Le module 4 en détecte certaines, comme une limite de prix, et les transforme en filtres.
Les noms de modèles et de marques montrent l’autre aspect de l’IDF vu dans la dernière leçon. Un nom rare a un IDF élevé. Cela aide quand le nom appartient au produit, comme « zachary ». Cela nuit quand le nom appartient aussi à d’autres produits, comme « emma ».
Quand une règle bat tout modèle, et quand elle ne le fait pas
Section intitulée « Quand une règle bat tout modèle, et quand elle ne le fait pas »Utilisez une règle de correspondance exacte quand un motif a un seul sens et une seule réponse vérifiable. Par exemple : des codes de produit, des numéros de commande, un ISBN ou un numéro de modèle complet. Ici, aucun score ne peut dépasser 1,000. Une règle ne nécessite pas non plus de données d’entraînement, s’exécute en quelques microsecondes et s’explique facilement.
N’utilisez pas de règle quand le motif a d’autres sens. Notre règle accepte un nombre à cinq chiffres seul, car 15 des 40 requêtes de codes utilisent cette forme. Mais les identifiants de Larkfield vont de LK-10000 à LK-99997. Ainsi, 40 066 des 90 000 nombres à cinq chiffres sont de vrais identifiants : 44,5 %. Voici une requête que nous avons écrite pour tester cela. Elle ne figure pas dans le jeu de requêtes du cours :
search query "12000 btu air conditioner" --run bm25-fields+codes -k 3bm25-fields+codes: "12000 btu air conditioner" -> 3 results 1. LK-12000 bi-fold closet door bottom pivot rod Door Hardware Accessorie 42.99 2. LK-91211 quick fill external electric air pump Air Mattresses 244.99 3. LK-86558 bike/motorcycle hand air pump Air Mattresses 214.99« 12000 » est la puissance d’un climatiseur, en BTU, une unité de chaleur. La règle le lit comme un code, et une tige de pivot de porte de placard arrive en premier.
La mesure ne peut pas voir ce risque. Sur les 624 requêtes avec des jugements, la règle ne se déclenche jamais pour une requête qui n’est pas un code. Dans le journal synthétique, elle se déclenche exactement pour les 301 recherches de codes. Un jeu de test montre seulement les problèmes qu’il contient. Testez donc aussi une règle sur les requêtes où elle ne devrait pas se déclencher.
Ce que coûte une règle. Son exécution ne coûte presque rien. Le coût consiste à la garder correcte. Chaque règle est une promesse sur le sens d’un motif. Quand le catalogue ou les gens changent, cette promesse peut ne plus tenir. Gardez chaque règle petite. Ajoutez des tests pour les requêtes où elle doit se déclencher et celles où elle ne doit pas.
Essayez vous-même
Section intitulée « Essayez vous-même »Rendez la règle plus stricte. Acceptez un nombre à cinq chiffres seul uniquement s’il constitue toute la requête. Acceptez « lk » avec un code n’importe où. Dans larkfield_search/rules.py, changez deux lignes :
CODE = re.compile(r"\blk[\s-]?(\d{5})\b|^\s*(\d{5})\s*$", re.IGNORECASE) pid = f"LK-{m.group(1) or m.group(2)}"Le motif a maintenant deux possibilités. Une correspondance conserve donc ses chiffres dans le groupe 1 ou le groupe 2. Avant toute exécution, faites une prédiction : le NDCG@10 sur les requêtes de test change-t-il?
Puis exécutez search query "12000 btu air conditioner" --run bm25-fields+codes -k 3, search eval --run bm25-fields+codes --by source et python -m pytest -q.
Notre résultat : les pompes à air arrivent en premier, et la tige de porte de placard disparaît. Le NDCG@10 reste à 0,506, avec 1,000 pour les codes, et les 19 tests réussissent. Quand vous avez terminé, recopiez rules.py depuis l’instantané end-of-m03 pour garder votre projet identique à celui du cours :
cp ../nextia-learning-labs/C38/snapshots/end-of-m03/larkfield_search/rules.py larkfield_search/rules.pyCopy-Item ..\nextia-learning-labs\C38\snapshots\end-of-m03\larkfield_search\rules.py larkfield_search\rules.pyErreur courante
Une règle qui se déclenche pour la mauvaise requête
Symptôme : après une mise en production avec une nouvelle règle, une personne cherche « 12000 btu air conditioner ». Elle voit une pièce de porte de placard en premier. La mesure hors ligne n’a pas changé, donc personne ne s’attendait à un problème.
Cause : le motif de la règle (cinq chiffres) a un deuxième sens (une puissance, une taille ou une année). La règle ne peut pas distinguer les sens. Les requêtes de test ne contenaient aucun cas semblable, donc le NDCG@10 ne pouvait pas le montrer.
Diagnostic : exécutez la règle seule sur tout le journal des requêtes et listez les requêtes où elle se déclenche. Lisez celles qui ne sont pas des codes insérés. Dans le carnet, vous faites la même chose avec trois requêtes de test de votre choix.
Correction : limitez le motif (un « lk » avant les chiffres, ou le nombre seul), et gardez la vérification dans le catalogue. Ajoutez le mauvais cas comme test pour empêcher qu’un changement ultérieur le ramène.
Conséquence pour le travail en IA : les règles et les modèles échouent de façons différentes. Un modèle se trompe un peu sur de nombreuses requêtes. Une règle répond correctement pour son motif et se trompe gravement en dehors. Testez une règle là où elle ne doit pas se déclencher, pas seulement là où elle doit le faire.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
BM25 obtient un score de 0,000 sur les 20 requêtes de codes du jeu de test. Expliquez pourquoi à partir de l'index inversé, et pourquoi la règle obtient 1,000.
Afficher la réponse
Les jetons de « LK-91857 » sont lk et 91857. L’index est construit à partir du titre et de la description. Aucun texte de produit ne contient « 91857 ». Le code se trouve dans la colonne product_id, qui n’est pas indexée. Chaque liste de documents est donc vide, et BM25 ne trouve rien. La règle n’utilise pas l’index. Elle lit le code dans la requête, vérifie que le produit existe et le place en premier. Chaque requête de code correspond à un seul bon produit. Le premier résultat est donc toujours correct, et le NDCG@10 vaut 1,000.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
`search compare bm25 bm25-fields+codes --by source` donne +0,077 au total. Hana dit : « Super, la nouvelle exécution est meilleure pour chaque client. » Que dit le tableau?
Afficher la réponse
Le gain vient des 20 requêtes de codes : +1,000 pour chacune. Sur les 119 requêtes anglaises de WANDS, la différence est de −0,009. L’intervalle va de −0,039 à +0,020 : aucun changement mesurable. Les requêtes françaises et celles contenant des fautes d’orthographe ne changent pas non plus. La nouvelle exécution aide donc les personnes qui saisissent un code, sans changement mesurable pour les autres. La moyenne de +0,077 est réelle, mais elle vient d’une seule tranche.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un collègue propose une règle : « Si la requête contient un nombre suivi de “inch”, gardez seulement les produits dont le titre contient ce nombre. » Nommez une requête où elle aide et une où elle nuit, puis dites comment vous la testeriez.
Afficher la réponse
Elle peut aider pour « 46 inch closet door » : les produits dont le titre contient « 46 » arrivent en premier. Elle peut nuire quand le titre indique la taille autrement, par exemple 46 ‘’ ou 117 cm. Elle peut aussi nuire quand le nombre désigne une autre mesure : une armoire de 48 pouces de largeur pour « 48 inch kitchen hood ». Testez-la comme la règle des codes : mesurez avec search compare sur les requêtes contenant des nombres (--by has_number). Ensuite, listez les requêtes du journal où elle se déclenche, et lisez celles où elle ne devrait pas se déclencher.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- BM25 ne trouve pas les codes de produit : le code n’est pas un mot du texte indexé. Les 20 requêtes de codes obtiennent 0,000 avec toutes les exécutions avant cette leçon.
- Une règle de correspondance exacte reconnaît un motif, vérifie le catalogue et place le produit en premier.
bm25-fields+codesobtient 0,506 (de 0,458 à 0,552), contre 0,423 sans la règle. - Le gain vient entièrement des codes : +1,000 sur 20 requêtes, aucun changement mesurable sur les autres. Toutes les exécutions suivantes gardent la règle.
- Les nombres et les tailles ne sont pas des codes. BM25 les traite comme des jetons ordinaires, ce qui fonctionne pour les noms rares, mais pas pour les tailles.
- Une règle est juste pour son motif, mais complètement fausse en dehors de celui-ci. Parmi les nombres à cinq chiffres, 44,5 % sont de vrais codes. Ainsi, « 12000 btu air conditioner » affiche une pièce de porte de placard. Testez une règle là où elle ne doit pas se déclencher.
Vous pouvez maintenant mesurer une recherche lexicale par rapport à une référence de base solide : BM25 par champ, avec une règle pour les codes. Mais les requêtes avec des fautes d’orthographe obtiennent encore 0,362, et les requêtes françaises, 0,178. « outdor » et « canapé » ne sont pas des mots du texte anglais. Ensuite, vous nettoyez la requête et les produits de la même façon. Vous mesurez ce que cela corrige et ce que cela brise.
Leçon suivante : Normaliser le texte