Synonymes et réécriture de requête
- Leçon 13
- 40 min
- Module 4 : Comprendre la requête
Où nous en sommes
Dans les deux dernières leçons, nous avons normalisé le texte et corrigé l'orthographe. Les mots saisis correspondent maintenant à plus de produits. Certaines requêtes sont bien orthographiées, mais échouent encore, car la personne utilise un autre mot pour la même chose. Dans cette leçon, nous ajoutons des règles de synonymes et extrayons des règles du journal des requêtes. Nous essayons un modèle de langage qui réécrit les requêtes et testons chaque règle.
Leçon 13 sur 30 · Recherche et classement : trouver la meilleure correspondanceSynonymes et réécriture de requête
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Trouvez les bons produits quand les gens utilisent un mot différent du catalogue : « couch » plutôt que « sofa », ou du français plutôt que de l’anglais. Vous écrivez des règles de synonymes et testez chaque règle séparément. Vous évaluez aussi un modèle de langage qui réécrit toute la requête.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter ajoute une règle de synonymes à une petite recherche BM25. Il vous demande de la mesurer sur chaque requête de validation qu’elle modifie. Ensuite, il extrait du journal synthétique des paires de requêtes qui ont les mêmes clics. Il compare aussi les réécritures enregistrées d’un modèle de langage, par langue. Ses cellules de préparation téléchargent les données d’exercice, donc aucune préparation locale n’est nécessaire. Environ 40 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les exécutions
bm25-normetbm25-norm+spell, présentées dans Normaliser le texte et Corriger l’orthographe. - Comment un mot rare reçoit une forte pondération BM25, présenté dans BM25.
- Les jugements produits par un modèle de langage et pourquoi ils sont enregistrés, présentés dans Jugements d’un modèle de langage.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Le projet
larkfield-searchavec les fichiers de ce module, provenant de l’exercice guidé de Normaliser le texte.python -m pytest -qdoit afficher24 passed(24 tests réussis). - Un éditeur de texte (VS Code) pour écrire un court fichier Python.
Une vendeuse qui sait que « couch » veut dire « sofa »
Section intitulée « Une vendeuse qui sait que « couch » veut dire « sofa » »Un client demande un « couch » à la vendeuse. Les étiquettes du magasin indiquent « sofa ». Elle sait que ces deux mots anglais désignent la même chose, un canapé, et elle se dirige vers les canapés.
Elle connaît aussi les limites. Un « sectional » (canapé modulaire) est un canapé, mais un canapé n’est pas toujours modulaire. Et pour « light blue cushions » (coussins bleu pâle), elle n’apporte pas de lampes. Certaines règles fonctionnent dans les deux sens, d’autres dans un seul, et certaines sont fausses dans un contexte donné. Cette leçon écrit ces règles pour la recherche et mesure chacune d’elles.
Le problème : le mot du client n’est pas celui du catalogue
Section intitulée « Le problème : le mot du client n’est pas celui du catalogue »Le jeu de test contient une requête large insérée, « couch », un problème d’exercice que nous avons créé volontairement. Le catalogue utilise surtout « sofa ». Avec bm25-norm+spell, les cinq premiers résultats pour « couch » sont une chaise longue pliante, un canapé en mousse pour enfants et un canapé de sol pour les jeux vidéo. Puis viennent deux coussins décoratifs dont le nom contient « couch ». Le NDCG@10 est de 0,278.
La correction orthographique ne peut pas aider : « couch » est bien orthographié. La normalisation ne peut pas aider : « couch » n’est pas une forme de « sofa ». Seule une règle disant « couch veut dire sofa » peut les relier. Les requêtes françaises ont le même problème à plus grande échelle : « canapé » est le mot français pour « sofa », et seulement 7 597 produits ont un titre français.
L’idée : les règles de synonymes
Section intitulée « L’idée : les règles de synonymes »Un synonyme est un mot qui a le même sens qu’un autre mot. Une règle de synonymes indique au moteur de recherche d’ajouter des mots à une requête avant la recherche. On appelle cela l’expansion de requête (query expansion) : la requête s’allonge. Il existe deux types de règles.
- Une règle bidirectionnelle, écrite
couch, sofa, indique que les mots sont équivalents. Une requête avec « couch » cherche aussi « sofa », et une requête avec « sofa » cherche aussi « couch ». - Une règle unidirectionnelle, écrite
sectional => sofa, indique que le mot de gauche est un type du mot de droite. Une requête avec « sectional » cherche aussi « sofa ». Une requête avec « sofa » ne reçoit aucun ajout.
Description textuelle du diagramme
Deux groupes de cases. « Règle bidirectionnelle : couch, sofa » : « Requête : couch » mène à « Recherche : couch + sofa (compte pour moitié) »; « Requête : sofa » mène à « Recherche : sofa + couch (compte pour moitié) ». « Règle unidirectionnelle : sectional => sofa » : « Requête : sectional » mène à « Recherche : sectional + sofa (compte pour moitié) »; « Requête : sofa » mène à une case au contour épais : « Recherche : sofa, sans ajout ».
Les mots ajoutés comptent pour moitié
Section intitulée « Les mots ajoutés comptent pour moitié »Dans le projet, un mot ajouté compte pour moitié. La recherche ajoute 0,5 × le score BM25 des mots ajoutés au score des mots saisis par la personne. Pourquoi la moitié? Le mot de la personne est le meilleur indice de ce qu’elle veut. Quand elle saisit « couch », un produit contenant « couch » devrait se classer devant un produit contenant seulement « sofa ».
Un petit exemple : le score BM25 d’un produit pour « couch » est de 4,0, et pour « sofa », de 3,0. Son score pour la requête « couch » devient 4,0 + 0,5 × 3,0 = 5,5. Un deuxième produit contient seulement « sofa » : 0 + 0,5 × 3,0 = 1,5. La recherche trouve maintenant les deux, et le produit contenant le mot de la personne reste premier.
Le fichier de synonymes de Larkfield
Section intitulée « Le fichier de synonymes de Larkfield »Les règles de Larkfield sont dans data/synonyms.csv : 20 règles, une par ligne. Il y a 18 règles bidirectionnelles et 2 unidirectionnelles. Le fichier commence ainsi :
rule,kind,note"couch, sofa",two-way,"grey, gray",two-way,"rug, carpet",two-way,"nightstand, bedside table, night stand",two-way,"loveseat, love seat",two-way,Il se termine par les deux règles unidirectionnelles et une règle que nous avons insérée volontairement :
sectional => sofa,one-way,a sectional is a kind of sofarecliner => chair,one-way,"light, lamp",two-way,"planted: breaks light blue, light wood"La règle « light, lamp » est un problème d’exercice que nous avons créé volontairement. Elle semble raisonnable, et c’est le genre de règle qu’une personne ajoute en cinq secondes.
Testez chaque règle séparément
Section intitulée « Testez chaque règle séparément »L’exécution bm25-norm+spell+syn utilise les 20 règles. Sur les requêtes de test, elle atteint un NDCG@10 de 0,620 (intervalle à 95 % de 0,574 à 0,662), contre 0,615 sans les règles. Chaque moyenne couvre 241 des 243 requêtes. La différence est de +0,005 (intervalle à 95 % de −0,002 à +0,011) : 13 requêtes s’améliorent et 7 se dégradent.
Ce seul nombre cache 20 règles différentes. Certaines aident, certaines nuisent et certaines ne font rien. Vous testez donc chaque règle séparément. Prenez chaque requête de validation et de test que la règle modifie. Comparez le NDCG@10 avec et sans cette seule règle.
| Règle | Requêtes modifiées | NDCG@10 sans | Avec | Améliorées | Dégradées |
|---|---|---|---|---|---|
| couch, sofa | 8 | 0,516 | 0,615 | 5 | 1 |
| patio, outdoor | 14 | 0,628 | 0,643 | 6 | 3 |
| dresser, chest of drawers | 2 | 0,644 | 0,743 | 2 | 0 |
| sectional => sofa | 2 | 0,503 | 0,577 | 2 | 0 |
| light, lamp (insérée) | 10 | 0,784 | 0,778 | 2 | 4 |
| wardrobe, armoire | 4 | 0,049 | 0,046 | 0 | 1 |
| tv, television | 0 |
La liste complète contient les 20 règles. Quatre règles ne modifient aucune requête : « tv, television », « drapes, curtains », « armchair, accent chair » et « bookcase, bookshelf ». Elles n’ont aucun effet mesurable, bon ou mauvais.
Lisez le tableau ligne par ligne.
- « couch, sofa » est la meilleure règle : 5 requêtes s’améliorent, 1 se dégrade. La requête « couch » seule passe de 0,278 à 0,546.
- « light, lamp », la règle insérée, dégrade 4 requêtes et en améliore 2. Nous l’avons insérée pour nuire à « light blue » (bleu pâle) et « light wood » (bois clair). Ces deux requêtes n’ont pas changé. Par contre, « family lamp » est passée de 0,724 à 0,687, car « light » est un mot très courant. Le problème inséré n’a pas échoué là où nous l’attendions, mais il a échoué.
- « wardrobe, armoire » nuit aux requêtes françaises. En français, « armoire » désigne tout meuble de rangement fermé : « armoire de rangement haute » désigne un meuble de rangement haut. La règle ajoute « wardrobe » (garde-robe), ce qui est incorrect pour la plupart de ces requêtes.
Une règle qui aide une requête et nuit à une autre
Section intitulée « Une règle qui aide une requête et nuit à une autre »La règle « patio, outdoor » modifie 14 requêtes. En moyenne, elle aide : de 0,628 à 0,643. Mais regardez chaque requête :
Description textuelle du graphique
Un point par requête, sur un axe des différences de −0,5 à +0,5, avec une ligne à zéro. outdoor privacy wall: +0,049; cover set for outdoor furniture: −0,117; wooden chair outdoor: +0,109; flared outdoor sofa: +0,452; modern outdoor furniture: +0,057; outdoor waterproof chest: −0,063; outdoor sectional dining: +0,073; patio design: −0,421.
La règle améliore « wooden chair outdoor » : de 0,504 à 0,613. Les chaises contenant « patio », mais pas « outdoor », peuvent maintenant correspondre.
La même règle dégrade beaucoup « patio design » : de 0,792 à 0,371. La personne a saisi « patio ». Les juges de WANDS ont donné la note « exact » aux chaises et canapés de patio. La règle ajoute « outdoor », un mot beaucoup plus courant, et l’ordre change. Les produits contenant les deux mots montent dans le classement. Beaucoup ont été jugés non pertinents ou n’ont pas été jugés du tout. Les chaises et canapés de patio notés « exact » descendent.
Les deux mots ne sont pas équivalents. Les meubles de patio sont des meubles d’extérieur, mais « outdoor » couvre plus que les patios. La règle devrait donc être unidirectionnelle. Vous testez outdoor => patio dans À vous de jouer ci-dessous.
Choisir les règles sur la validation, confirmer sur le test
Section intitulée « Choisir les règles sur la validation, confirmer sur le test »Le tableau ci-dessus combine les requêtes de validation et de test, car chaque règle ne modifie que quelques requêtes. Cela convient pour trouver les mauvaises règles. Mais si vous modifiez une règle à cause de ces requêtes, elles ne la testent plus équitablement. C’est le même piège que d’ajuster la pondération des champs sur le jeu de test, présenté dans BM25. Modifiez les règles en examinant les requêtes de validation et le journal. Confirmez ensuite sur de nouvelles requêtes que vous n’avez pas examinées.
Des règles extraites du journal des requêtes
Section intitulée « Des règles extraites du journal des requêtes »Écrire des règles à la main est lent. Le journal des requêtes peut suggérer des règles. L’idée : si deux requêtes différentes amènent les gens à cliquer sur les mêmes produits, elles ont probablement le même sens.
Pour comparer deux ensembles de produits ayant reçu des clics, utilisez la similarité de Jaccard. C’est le nombre de produits présents dans les deux ensembles, divisé par le nombre présent dans au moins un ensemble. Voici un petit exemple. La requête A a mené à des clics sur les produits 1, 2, 3 et 4. La requête B a mené à des clics sur les produits 2, 3, 4 et 5. Trois produits sont dans les deux ensembles, et cinq dans au moins un. Jaccard = 3 ÷ 5 = 0,6. Des ensembles identiques donnent 1, et des ensembles sans élément commun donnent 0.
Nous avons analysé le journal synthétique de Larkfield de cette façon. Nous avons gardé chaque paire de requêtes différentes ayant chacune au moins 3 produits cliqués et un Jaccard d’au moins 0,3. La méthode a trouvé 29 paires. Voici les cinq premières :
| Requête A | Requête B | Jaccard |
|---|---|---|
| larkfield tension | larkfield tension rod | 1 |
| outdoor movie | outdoor movie screen | 0,833 |
| aloe vera | aloe vera plant | 0,75 |
| large cushion outdoor | large cushion outdoor chair | 0,75 |
| luau string | luau string lights | 0,75 |
Ce ne sont pas des synonymes. Dans chacune de ces cinq paires, et dans la plupart des 29, une requête est l’autre sans son dernier mot. Quand une personne simulée cherche à nouveau, notre code retire le dernier mot de la requête. L’extraction a donc trouvé exactement la règle qui a produit le journal synthétique. Les règles extraites montrent comment votre journal a été produit. Avec de vraies personnes, elles montrent des comportements réels.
Avec un vrai journal, la même méthode trouve de vraies paires, comme un mot britannique et un mot américain. Elle trouve aussi des paires liées, mais non équivalentes. Une règle extraite est donc une suggestion qu’une personne doit vérifier, puis mesurer.
Un modèle de langage qui réécrit la requête
Section intitulée « Un modèle de langage qui réécrit la requête »Une règle de synonymes change un mot. Une réécriture de requête change toute la requête. Un modèle de langage lit la requête et en écrit une meilleure. Il corrige l’orthographe, traduit le français en anglais et uniformise les unités. Le cours a enregistré les réponses de chat-small pour les 364 requêtes de validation et de test. C’est un petit modèle de clavardage peu coûteux sur Azure. L’exécution llm-rewrite réutilise ces réponses enregistrées : vous n’avez besoin d’aucune clé et ne payez rien. Ses instructions demandaient de conserver les noms, les nombres et les codes de produit. Elles interdisaient aussi d’ajouter des détails que la personne n’avait pas demandés.
Quelques réécritures enregistrées :
| Texte saisi | Réécriture enregistrée |
|---|---|
| dnosaur | dinosaur |
| outtdoor sectional doning | outdoor sectional dining |
| blk 18x18 seat cushions | black 18x18 seat cushions |
| canapé | sofa |
| abeille | bee |
| filaret outdoor sofa | filaret outdoor sofa |
La dernière ligne est importante : le modèle a conservé le nom « filaret ». Le correcteur orthographique de la dernière leçon l’avait changé en « flared ».
Description textuelle du graphique
Trois panneaux de deux lignes chacun. Requêtes anglaises WANDS : règles 0,703, réécriture enregistrée 0,721. Requêtes mal orthographiées : règles 0,659, réécriture 0,681. Requêtes françaises : règles 0,301, réécriture 0,69. Une ligne représente l’intervalle à 95 % de chaque valeur.
Sur toutes les requêtes de test, la réécriture enregistrée atteint un NDCG@10 de 0,728 (intervalle à 95 % de 0,690 à 0,764). Les règles atteignent 0,620 : +0,108 (+0,078 à +0,140). C’est le meilleur changement individuel du module. Le gain vient surtout du français : de 0,301 à 0,690. Sur les vraies requêtes anglaises, le gain est petit, mais clair : +0,018 (+0,002 à +0,036).
Efficace, lent et trop facile en français
Section intitulée « Efficace, lent et trop facile en français »Avant que Larkfield l’utilise, lisez les réserves. Chacune est mesurée.
- C’est lent. Un appel en direct à chat-small a pris 1,2 seconde par requête (p50) et 1,6 seconde (p95), sur 20 appels de test. Le budget d’Amira pour une recherche complète est de 200 millisecondes. La recherche fondée sur les règles prend 1,1 ms. Une réécriture en direct est environ mille fois plus lente que la recherche elle-même.
- Les résultats en français semblent trop bons. Un modèle de langage a écrit nos requêtes françaises à partir de requêtes anglaises. La réécriture demande à un modèle de la même famille de les retraduire. C’est trop facile pour être réaliste. Pour 43 des 60 requêtes françaises de test, la réécriture reproduit mot pour mot la requête anglaise d’origine. Par exemple, « tables d’appoint stoneford blanches et bois » est devenue « stoneford end tables white and wood », exactement l’original. Les vrais clients francophones font des fautes de frappe, mélangent les langues et utilisent des mots qu’aucune traduction n’a produits. Mesurez à nouveau sur de vraies requêtes françaises avant de vous fier à 0,690.
- Cela fonctionne seulement quand une réponse a été enregistrée : pour les requêtes de validation et de test. Pour toute autre requête,
llm-rewritecherche la requête sans la modifier. - L’argent n’est pas le problème. Une réécriture coûte environ 0,04 $ US par 1 000 requêtes au tarif de chat-small. Le problème est le temps, pas le coût.
La réécriture est donc efficace et lente. Seules de vraies requêtes françaises permettent de la mesurer équitablement. Une façon pratique de l’utiliser : mettre les réécritures en cache. Calculez-les à l’avance pour les textes de requête les plus courants et stockez-les. Dans le journal synthétique, les 100 textes les plus courants représentent 51,1 % des recherches. Ces recherches recevraient la réécriture sans délai. Les autres utilisent les règles.
Exercice guidé : tester les règles
Section intitulée « Exercice guidé : tester les règles »-
Dans
larkfield-search, avec l’environnement virtuel actif, lancez Python avecpythonet essayez l’expansion :>>> from larkfield_search import synonyms>>> synonyms.expansion("couch")'sofa'>>> synonyms.expansion("modern sofa")'couch'>>> synonyms.expansion("sectional")'sofa'>>> synonyms.expansion("light blue pillow")'lamp'La dernière ligne montre la règle insérée en action : « light » décrit ici une couleur, et la règle ajoute « lamp ». Saisissez
exit()pour quitter Python. -
Mesurez les 20 règles ensemble, par type de requête :
Fenêtre de terminal search compare bm25-norm+spell bm25-norm+spell+syn --by sourcebm25-norm+spell+syn minus bm25-norm+spell on 241 test queries: ndcg@10 +0.005 (95% interval -0.002 to +0.011); better on 13, worse on 7, the same on 221source queries bm25-norm+spell bm25-norm+spell+syn difference low high worsecode 20 1.000 1.000 0.000 0.000 0.000 0planted 3 0.384 0.515 0.132 0.000 0.269 0translated 59 0.301 0.301 -0.000 -0.001 0.000 1typo 40 0.648 0.659 0.011 0.000 0.024 1wands 119 0.701 0.703 0.002 -0.009 0.015 5 -
Écrivez un script qui teste une seule règle. Créez le fichier
rule_test.pydans le dossierlarkfield-search, avec ce code :"""Test one synonym rule on the validation and test queries: python rule_test.py "couch, sofa" """import sysimport pandas as pdfrom larkfield_search import compare, data, index, spell, synonymsfrom larkfield_search.runs.understand import norm_scoresrule = sys.argv[1]queries = pd.concat([data.split("validation"), data.split("test")])judged = data.judgments()rows = []for qid, text in zip(queries["query_id"], queries["query"]):text = spell.correct(text)[0]if not synonyms.matches(text, rule):continuescores = norm_scores(text)added = synonyms.expansion(text, only=rule)with_rule = scores + synonyms.EXPANSION_WEIGHT * norm_scores(added) if added else scoresbefore = compare.ndcg([p for p, _ in index.top(scores, 10)], judged[qid])after = compare.ndcg([p for p, _ in index.top(with_rule, 10)], judged[qid])rows.append((qid, text, added, round(before, 3), round(after, 3)))table = pd.DataFrame(rows, columns=["query_id", "query", "added", "without", "with"])print(table.to_string(index=False))better = (table["with"] > table["without"]).sum()worse = (table["with"] < table["without"]).sum()print(f"{len(table)} queries; mean NDCG@10 without {table['without'].mean():.3f}, "f"with {table['with'].mean():.3f}; better {better}, worse {worse}")Pour chaque requête, le script corrige l’orthographe, comme le fait l’exécution. Si la règle s’applique, il calcule deux fois le score des produits : sans la règle, puis avec les mots ajoutés par la règle, à demi-poids. Ensuite, il calcule le NDCG@10 des deux listes de dix premiers résultats.
-
Exécutez-le sur la règle « patio, outdoor » :
Fenêtre de terminal python rule_test.py "patio, outdoor"query_id query added without withW-013 outdoor privacy wall patio 0.443 0.492W-105 outdoor movie screen patio 1.000 1.000W-287 cover set for outdoor furniture patio 0.728 0.611W-367 wooden chair outdoor patio 0.504 0.613W-404 large cushion outdoor chair patio 0.470 0.470T-042 outdoor movie screen patio 1.000 1.000W-090 flared outdoor sofa patio 0.438 0.890W-133 outdoor light fixtures patio 1.000 1.000W-164 modern outdoor furniture patio 0.296 0.353W-325 outdoor waterproof chest patio 0.109 0.046W-388 outdoor sectional dining patio 0.503 0.576W-443 patio design outdoor 0.792 0.371T-055 outdoor light fixtures patio 1.000 1.000T-059 outdoor sectional dining patio 0.503 0.57614 queries; mean NDCG@10 without 0.628, with 0.643; better 6, worse 3Certaines requêtes apparaissent deux fois. Après correction, une copie mal orthographiée (T-) devient le même texte que son original (W-). W-090 affiche « flared », l’erreur du correcteur de la dernière leçon.
-
Mesurez les réécritures enregistrées, par langue :
Fenêtre de terminal search eval --run llm-rewrite --by languagellm-rewrite on 243 test queries: NDCG@10 0.728 (95% interval 0.690 to 0.764)recall@100 0.617, MRR 0.710, zero results 0.4%, judged in the top 10 88.8%; 0.2 ms a query (p50), 0.4 ms (p95)language queries ndcg@10 low high zero-result rateen 182 0.740 0.695 0.781 0.005fr 61 0.690 0.618 0.759 0.000Le temps de 0,2 ms concerne seulement la recherche. La réécriture était enregistrée, donc
search evaln’attend pas le modèle. En direct, ajoutez environ 1,2 seconde par requête.
À vous de jouer : rendre la règle unidirectionnelle
Section intitulée « À vous de jouer : rendre la règle unidirectionnelle »Changez une seule chose : écrivez « patio, outdoor » comme règle unidirectionnelle. Avant de l’exécuter, faites une prédiction. Quelle direction évite de nuire à « patio design » : outdoor => patio ou patio => outdoor? Laquelle conserve l’amélioration pour « wooden chair outdoor »?
python rule_test.py "outdoor => patio"Le résultat et ce qu’il montre
query_id query added without with W-013 outdoor privacy wall patio 0.443 0.492 W-105 outdoor movie screen patio 1.000 1.000 W-287 cover set for outdoor furniture patio 0.728 0.611 W-367 wooden chair outdoor patio 0.504 0.613 W-404 large cushion outdoor chair patio 0.470 0.470 T-042 outdoor movie screen patio 1.000 1.000 W-090 flared outdoor sofa patio 0.438 0.890 W-133 outdoor light fixtures patio 1.000 1.000 W-164 modern outdoor furniture patio 0.296 0.353 W-325 outdoor waterproof chest patio 0.109 0.046 W-388 outdoor sectional dining patio 0.503 0.576 T-055 outdoor light fixtures patio 1.000 1.000 T-059 outdoor sectional dining patio 0.503 0.57613 queries; mean NDCG@10 without 0.615, with 0.664; better 6, worse 2« patio design » disparaît de la liste : la règle n’ajoute plus « outdoor » à « patio ». Les 6 requêtes améliorées le restent, et seulement 2 se dégradent (« cover set for outdoor furniture » et « outdoor waterproof chest »). Le gain moyen passe de +0,015 à +0,049.
Mais rappelez-vous le piège. Vous avez choisi cette direction en examinant ces mêmes requêtes. Avant que Larkfield la conserve, vérifiez-la sur des requêtes que vous n’avez pas examinées.
Erreur courante
Une règle qui ne touche aucune requête semble sans danger
Symptôme : Tomás ajoute une règle et la teste. Il oublie la virgule :
python rule_test.py "couch sofa"Empty DataFrameColumns: [query_id, query, added, without, with]Index: []0 queries; mean NDCG@10 without nan, with nan; better 0, worse 0« better 0, worse 0 » (0 amélioration, 0 dégradation). Il comprend « aucun effet nuisible » et ajoute la règle au fichier.
Cause : sans virgule, la règle contient un seul terme : l’expression « couch sofa ». Aucune requête ne contient cette expression, donc la règle ne s’applique jamais. La moyenne de zéro requête est nan, « pas un nombre ».
Solution : lisez d’abord le nombre de requêtes. Zéro requête signifie que le test ne dit rien, et non que la règle est sûre. Corrigez la règle ("couch, sofa") et testez-la de nouveau. Quatre règles réelles de Larkfield ne touchent aucune requête non plus, comme « tv, television ». Testez-les plutôt sur le journal, ou attendez que des requêtes en aient besoin.
Conséquence pour le travail en recherche : un test qui ne mesure rien ressemble à un test réussi. Indiquez toujours combien de requêtes un changement touche, à côté de l’ampleur de son effet.
Quand utiliser les synonymes et les réécritures, et à quel coût
Section intitulée « Quand utiliser les synonymes et les réécritures, et à quel coût »Utilisez des règles écrites à la main quand vos clients et votre catalogue emploient des mots différents : couch et sofa, mots de produits français et anglais. Une règle coûte peu au moment de la requête. Toute la recherche par règles (normalisation, correction orthographique, synonymes) prend 1,1 ms par requête (p50), selon les mesures du projet.
N’ajoutez pas une règle parce qu’elle « semble logique ». « light, lamp » semblait logique, mais a dégradé 4 requêtes. Testez chaque règle seule et comptez les requêtes qu’elle touche. Préférez une règle unidirectionnelle quand un mot a un sens plus large que l’autre. Traitez les règles extraites comme des suggestions qu’une personne doit vérifier.
Utilisez une réécriture par modèle de langage quand le gain est important et le délai acceptable : hors ligne ou pour un cache de requêtes courantes. Sur les requêtes de test de Larkfield, c’est le changement le plus efficace de ce module. Mais son gain en français est trop optimiste. En direct, elle prend 1,2 seconde, soit six fois le budget total.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un produit obtient un score de 2,0 pour « sofa » et de 6,0 pour « couch ». Avec la règle « couch, sofa » et le mot ajouté à demi-poids, quel est son score pour la requête « sofa »? Et pour la requête « couch »?
Afficher la réponse
Pour « sofa » : 2,0 + 0,5 × 6,0 = 5,0. Pour « couch » : 6,0 + 0,5 × 2,0 = 7,0. Le mot de la personne compte toujours à plein poids, et le mot ajouté compte pour moitié.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La règle « patio, outdoor » fait passer le NDCG@10 moyen de ses 14 requêtes de 0,628 à 0,643. Larkfield devrait-elle la conserver telle quelle? Utilisez les résultats par requête.
Afficher la réponse
Pas comme règle bidirectionnelle. Elle améliore « wooden chair outdoor » (0,504 → 0,613), mais fait chuter « patio design » de 0,792 à 0,371. C’est parce que « outdoor » a un sens plus large que « patio ». La règle unidirectionnelle outdoor => patio conserve les gains et évite cet effet nuisible (13 requêtes, 0,615 → 0,664). Confirmez ensuite le résultat sur des requêtes que vous n’avez pas examinées.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar lit : « réécriture par modèle de langage, NDCG@10 0,728, français 0,690 ». Il veut la mettre en service demain. Donnez-lui les trois réserves fondées sur les mesures.
Afficher la réponse
Premièrement, une réécriture en direct prend 1,2 s par requête (p50), contre un budget de 200 ms pour toute la recherche. Deuxièmement, le résultat en français est trop facile à obtenir. Nos requêtes françaises ont été traduites automatiquement de l’anglais. Pour 43 des 60 requêtes de test françaises, la réécriture reproduit mot pour mot l’original anglais. Troisièmement, les réécritures existent seulement pour les requêtes enregistrées. Un cache de réécritures pour les textes les plus courants est une première étape plus sûre.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une règle de synonymes ajoute des mots à une requête (expansion de requête). Une règle bidirectionnelle (
couch, sofa) ajoute des mots dans les deux directions. Une règle unidirectionnelle (sectional => sofa) le fait seulement de gauche à droite. Les mots ajoutés comptent pour moitié. - Les 20 règles ensemble : NDCG@10 0,615 → 0,620 sur les requêtes de test de Larkfield (+0,005, de −0,002 à +0,011). Seule, « couch, sofa » améliore 5 requêtes et en dégrade 1. La règle insérée « light, lamp » en dégrade 4 et en améliore 2.
- « patio, outdoor » améliore « wooden chair outdoor » (+0,109) et dégrade « patio design » (−0,421). La règle unidirectionnelle
outdoor => patioévite cet effet nuisible. - Les règles extraites du journal synthétique associent une requête à sa forme abrégée : elles montrent comment le journal a été créé.
- La réécriture par modèle de langage enregistrée atteint 0,728 (de 0,690 à 0,764), et 0,690 en français. Elle est lente en direct (1,2 s par requête), et trop facile sur nos requêtes françaises traduites automatiquement.
Vous pouvez maintenant élargir une requête avec d’autres mots. Mais certaines requêtes demandent plus que des mots : une limite de prix, une couleur, un type de produit. Ensuite, vous détecterez ce que la requête demande pour le transformer en filtres.
Leçon suivante : Détecter ce que la requête demande