Aller au contenu
English

Synonymes et réécriture de requête

  • Leçon 13
  • 40 min
  • Module 4 : Comprendre la requête

Où nous en sommes

Dans les deux dernières leçons, nous avons normalisé le texte et corrigé l'orthographe. Les mots saisis correspondent maintenant à plus de produits. Certaines requêtes sont bien orthographiées, mais échouent encore, car la personne utilise un autre mot pour la même chose. Dans cette leçon, nous ajoutons des règles de synonymes et extrayons des règles du journal des requêtes. Nous essayons un modèle de langage qui réécrit les requêtes et testons chaque règle.

Ce que vous saurez faire

Trouvez les bons produits quand les gens utilisent un mot différent du catalogue : « couch » plutôt que « sofa », ou du français plutôt que de l’anglais. Vous écrivez des règles de synonymes et testez chaque règle séparément. Vous évaluez aussi un modèle de langage qui réécrit toute la requête.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter ajoute une règle de synonymes à une petite recherche BM25. Il vous demande de la mesurer sur chaque requête de validation qu’elle modifie. Ensuite, il extrait du journal synthétique des paires de requêtes qui ont les mêmes clics. Il compare aussi les réécritures enregistrées d’un modèle de langage, par langue. Ses cellules de préparation téléchargent les données d’exercice, donc aucune préparation locale n’est nécessaire. Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)

  • Le projet larkfield-search avec les fichiers de ce module, provenant de l’exercice guidé de Normaliser le texte. python -m pytest -q doit afficher 24 passed (24 tests réussis).
  • Un éditeur de texte (VS Code) pour écrire un court fichier Python.

Une vendeuse qui sait que « couch » veut dire « sofa »

Section intitulée « Une vendeuse qui sait que « couch » veut dire « sofa » »

Un client demande un « couch » à la vendeuse. Les étiquettes du magasin indiquent « sofa ». Elle sait que ces deux mots anglais désignent la même chose, un canapé, et elle se dirige vers les canapés.

Elle connaît aussi les limites. Un « sectional » (canapé modulaire) est un canapé, mais un canapé n’est pas toujours modulaire. Et pour « light blue cushions » (coussins bleu pâle), elle n’apporte pas de lampes. Certaines règles fonctionnent dans les deux sens, d’autres dans un seul, et certaines sont fausses dans un contexte donné. Cette leçon écrit ces règles pour la recherche et mesure chacune d’elles.

Le problème : le mot du client n’est pas celui du catalogue

Section intitulée « Le problème : le mot du client n’est pas celui du catalogue »

Le jeu de test contient une requête large insérée, « couch », un problème d’exercice que nous avons créé volontairement. Le catalogue utilise surtout « sofa ». Avec bm25-norm+spell, les cinq premiers résultats pour « couch » sont une chaise longue pliante, un canapé en mousse pour enfants et un canapé de sol pour les jeux vidéo. Puis viennent deux coussins décoratifs dont le nom contient « couch ». Le NDCG@10 est de 0,278.

La correction orthographique ne peut pas aider : « couch » est bien orthographié. La normalisation ne peut pas aider : « couch » n’est pas une forme de « sofa ». Seule une règle disant « couch veut dire sofa » peut les relier. Les requêtes françaises ont le même problème à plus grande échelle : « canapé » est le mot français pour « sofa », et seulement 7 597 produits ont un titre français.

Un synonyme est un mot qui a le même sens qu’un autre mot. Une règle de synonymes indique au moteur de recherche d’ajouter des mots à une requête avant la recherche. On appelle cela l’expansion de requête (query expansion) : la requête s’allonge. Il existe deux types de règles.

  • Une règle bidirectionnelle, écrite couch, sofa, indique que les mots sont équivalents. Une requête avec « couch » cherche aussi « sofa », et une requête avec « sofa » cherche aussi « couch ».
  • Une règle unidirectionnelle, écrite sectional => sofa, indique que le mot de gauche est un type du mot de droite. Une requête avec « sectional » cherche aussi « sofa ». Une requête avec « sofa » ne reçoit aucun ajout.
Deux types de règles de synonymes. Règle bidirectionnelle couch, sofa : la requête couch cherche couch plus sofa, qui compte pour moitié; la requête sofa cherche sofa plus couch, qui compte pour moitié. Règle unidirectionnelle sectional => sofa : la requête sectional cherche sectional plus sofa, qui compte pour moitié; la requête sofa cherche sofa sans ajout.
Une règle bidirectionnelle ajoute des mots dans les deux sens; une règle unidirectionnelle, seulement de gauche à droite (le schéma représente => par ⇒). Les mots ajoutés comptent pour moitié.
Description textuelle du diagramme

Deux groupes de cases. « Règle bidirectionnelle : couch, sofa » : « Requête : couch » mène à « Recherche : couch + sofa (compte pour moitié) »; « Requête : sofa » mène à « Recherche : sofa + couch (compte pour moitié) ». « Règle unidirectionnelle : sectional => sofa » : « Requête : sectional » mène à « Recherche : sectional + sofa (compte pour moitié) »; « Requête : sofa » mène à une case au contour épais : « Recherche : sofa, sans ajout ».

Dans le projet, un mot ajouté compte pour moitié. La recherche ajoute 0,5 × le score BM25 des mots ajoutés au score des mots saisis par la personne. Pourquoi la moitié? Le mot de la personne est le meilleur indice de ce qu’elle veut. Quand elle saisit « couch », un produit contenant « couch » devrait se classer devant un produit contenant seulement « sofa ».

Un petit exemple : le score BM25 d’un produit pour « couch » est de 4,0, et pour « sofa », de 3,0. Son score pour la requête « couch » devient 4,0 + 0,5 × 3,0 = 5,5. Un deuxième produit contient seulement « sofa » : 0 + 0,5 × 3,0 = 1,5. La recherche trouve maintenant les deux, et le produit contenant le mot de la personne reste premier.

Les règles de Larkfield sont dans data/synonyms.csv : 20 règles, une par ligne. Il y a 18 règles bidirectionnelles et 2 unidirectionnelles. Le fichier commence ainsi :

rule,kind,note
"couch, sofa",two-way,
"grey, gray",two-way,
"rug, carpet",two-way,
"nightstand, bedside table, night stand",two-way,
"loveseat, love seat",two-way,

Il se termine par les deux règles unidirectionnelles et une règle que nous avons insérée volontairement :

sectional => sofa,one-way,a sectional is a kind of sofa
recliner => chair,one-way,
"light, lamp",two-way,"planted: breaks light blue, light wood"

La règle « light, lamp » est un problème d’exercice que nous avons créé volontairement. Elle semble raisonnable, et c’est le genre de règle qu’une personne ajoute en cinq secondes.

L’exécution bm25-norm+spell+syn utilise les 20 règles. Sur les requêtes de test, elle atteint un NDCG@10 de 0,620 (intervalle à 95 % de 0,574 à 0,662), contre 0,615 sans les règles. Chaque moyenne couvre 241 des 243 requêtes. La différence est de +0,005 (intervalle à 95 % de −0,002 à +0,011) : 13 requêtes s’améliorent et 7 se dégradent.

Ce seul nombre cache 20 règles différentes. Certaines aident, certaines nuisent et certaines ne font rien. Vous testez donc chaque règle séparément. Prenez chaque requête de validation et de test que la règle modifie. Comparez le NDCG@10 avec et sans cette seule règle.

Règle Requêtes modifiées NDCG@10 sans Avec Améliorées Dégradées
couch, sofa 8 0,516 0,615 5 1
patio, outdoor 14 0,628 0,643 6 3
dresser, chest of drawers 2 0,644 0,743 2 0
sectional => sofa 2 0,503 0,577 2 0
light, lamp (insérée) 10 0,784 0,778 2 4
wardrobe, armoire 4 0,049 0,046 0 1
tv, television 0

La liste complète contient les 20 règles. Quatre règles ne modifient aucune requête : « tv, television », « drapes, curtains », « armchair, accent chair » et « bookcase, bookshelf ». Elles n’ont aucun effet mesurable, bon ou mauvais.

Lisez le tableau ligne par ligne.

  • « couch, sofa » est la meilleure règle : 5 requêtes s’améliorent, 1 se dégrade. La requête « couch » seule passe de 0,278 à 0,546.
  • « light, lamp », la règle insérée, dégrade 4 requêtes et en améliore 2. Nous l’avons insérée pour nuire à « light blue » (bleu pâle) et « light wood » (bois clair). Ces deux requêtes n’ont pas changé. Par contre, « family lamp » est passée de 0,724 à 0,687, car « light » est un mot très courant. Le problème inséré n’a pas échoué là où nous l’attendions, mais il a échoué.
  • « wardrobe, armoire » nuit aux requêtes françaises. En français, « armoire » désigne tout meuble de rangement fermé : « armoire de rangement haute » désigne un meuble de rangement haut. La règle ajoute « wardrobe » (garde-robe), ce qui est incorrect pour la plupart de ces requêtes.

La règle « patio, outdoor » modifie 14 requêtes. En moyenne, elle aide : de 0,628 à 0,643. Mais regardez chaque requête :

La règle « patio, outdoor » seule, sur chaque requête de validation et de test qu'elle modifie (orthographe corrigée d'abord). La même règle améliore « wooden chair outdoor » et dégrade beaucoup « patio design ».
Description textuelle du graphique

Un point par requête, sur un axe des différences de −0,5 à +0,5, avec une ligne à zéro. outdoor privacy wall: +0,049; cover set for outdoor furniture: −0,117; wooden chair outdoor: +0,109; flared outdoor sofa: +0,452; modern outdoor furniture: +0,057; outdoor waterproof chest: −0,063; outdoor sectional dining: +0,073; patio design: −0,421.

La règle améliore « wooden chair outdoor » : de 0,504 à 0,613. Les chaises contenant « patio », mais pas « outdoor », peuvent maintenant correspondre.

La même règle dégrade beaucoup « patio design » : de 0,792 à 0,371. La personne a saisi « patio ». Les juges de WANDS ont donné la note « exact » aux chaises et canapés de patio. La règle ajoute « outdoor », un mot beaucoup plus courant, et l’ordre change. Les produits contenant les deux mots montent dans le classement. Beaucoup ont été jugés non pertinents ou n’ont pas été jugés du tout. Les chaises et canapés de patio notés « exact » descendent.

Les deux mots ne sont pas équivalents. Les meubles de patio sont des meubles d’extérieur, mais « outdoor » couvre plus que les patios. La règle devrait donc être unidirectionnelle. Vous testez outdoor => patio dans À vous de jouer ci-dessous.

Choisir les règles sur la validation, confirmer sur le test

Section intitulée « Choisir les règles sur la validation, confirmer sur le test »

Le tableau ci-dessus combine les requêtes de validation et de test, car chaque règle ne modifie que quelques requêtes. Cela convient pour trouver les mauvaises règles. Mais si vous modifiez une règle à cause de ces requêtes, elles ne la testent plus équitablement. C’est le même piège que d’ajuster la pondération des champs sur le jeu de test, présenté dans BM25. Modifiez les règles en examinant les requêtes de validation et le journal. Confirmez ensuite sur de nouvelles requêtes que vous n’avez pas examinées.

Écrire des règles à la main est lent. Le journal des requêtes peut suggérer des règles. L’idée : si deux requêtes différentes amènent les gens à cliquer sur les mêmes produits, elles ont probablement le même sens.

Pour comparer deux ensembles de produits ayant reçu des clics, utilisez la similarité de Jaccard. C’est le nombre de produits présents dans les deux ensembles, divisé par le nombre présent dans au moins un ensemble. Voici un petit exemple. La requête A a mené à des clics sur les produits 1, 2, 3 et 4. La requête B a mené à des clics sur les produits 2, 3, 4 et 5. Trois produits sont dans les deux ensembles, et cinq dans au moins un. Jaccard = 3 ÷ 5 = 0,6. Des ensembles identiques donnent 1, et des ensembles sans élément commun donnent 0.

Nous avons analysé le journal synthétique de Larkfield de cette façon. Nous avons gardé chaque paire de requêtes différentes ayant chacune au moins 3 produits cliqués et un Jaccard d’au moins 0,3. La méthode a trouvé 29 paires. Voici les cinq premières :

Requête A Requête B Jaccard
larkfield tension larkfield tension rod 1
outdoor movie outdoor movie screen 0,833
aloe vera aloe vera plant 0,75
large cushion outdoor large cushion outdoor chair 0,75
luau string luau string lights 0,75

Ce ne sont pas des synonymes. Dans chacune de ces cinq paires, et dans la plupart des 29, une requête est l’autre sans son dernier mot. Quand une personne simulée cherche à nouveau, notre code retire le dernier mot de la requête. L’extraction a donc trouvé exactement la règle qui a produit le journal synthétique. Les règles extraites montrent comment votre journal a été produit. Avec de vraies personnes, elles montrent des comportements réels.

Avec un vrai journal, la même méthode trouve de vraies paires, comme un mot britannique et un mot américain. Elle trouve aussi des paires liées, mais non équivalentes. Une règle extraite est donc une suggestion qu’une personne doit vérifier, puis mesurer.

Une règle de synonymes change un mot. Une réécriture de requête change toute la requête. Un modèle de langage lit la requête et en écrit une meilleure. Il corrige l’orthographe, traduit le français en anglais et uniformise les unités. Le cours a enregistré les réponses de chat-small pour les 364 requêtes de validation et de test. C’est un petit modèle de clavardage peu coûteux sur Azure. L’exécution llm-rewrite réutilise ces réponses enregistrées : vous n’avez besoin d’aucune clé et ne payez rien. Ses instructions demandaient de conserver les noms, les nombres et les codes de produit. Elles interdisaient aussi d’ajouter des détails que la personne n’avait pas demandés.

Quelques réécritures enregistrées :

Texte saisi Réécriture enregistrée
dnosaur dinosaur
outtdoor sectional doning outdoor sectional dining
blk 18x18 seat cushions black 18x18 seat cushions
canapé sofa
abeille bee
filaret outdoor sofa filaret outdoor sofa

La dernière ligne est importante : le modèle a conservé le nom « filaret ». Le correcteur orthographique de la dernière leçon l’avait changé en « flared ».

NDCG@10 avec son intervalle à 95 % sur les requêtes de test de Larkfield : les meilleures règles du module comparées aux réécritures enregistrées du modèle de langage. La réécriture gagne surtout en français.
Description textuelle du graphique

Trois panneaux de deux lignes chacun. Requêtes anglaises WANDS : règles 0,703, réécriture enregistrée 0,721. Requêtes mal orthographiées : règles 0,659, réécriture 0,681. Requêtes françaises : règles 0,301, réécriture 0,69. Une ligne représente l’intervalle à 95 % de chaque valeur.

Sur toutes les requêtes de test, la réécriture enregistrée atteint un NDCG@10 de 0,728 (intervalle à 95 % de 0,690 à 0,764). Les règles atteignent 0,620 : +0,108 (+0,078 à +0,140). C’est le meilleur changement individuel du module. Le gain vient surtout du français : de 0,301 à 0,690. Sur les vraies requêtes anglaises, le gain est petit, mais clair : +0,018 (+0,002 à +0,036).

Avant que Larkfield l’utilise, lisez les réserves. Chacune est mesurée.

  1. C’est lent. Un appel en direct à chat-small a pris 1,2 seconde par requête (p50) et 1,6 seconde (p95), sur 20 appels de test. Le budget d’Amira pour une recherche complète est de 200 millisecondes. La recherche fondée sur les règles prend 1,1 ms. Une réécriture en direct est environ mille fois plus lente que la recherche elle-même.
  2. Les résultats en français semblent trop bons. Un modèle de langage a écrit nos requêtes françaises à partir de requêtes anglaises. La réécriture demande à un modèle de la même famille de les retraduire. C’est trop facile pour être réaliste. Pour 43 des 60 requêtes françaises de test, la réécriture reproduit mot pour mot la requête anglaise d’origine. Par exemple, « tables d’appoint stoneford blanches et bois » est devenue « stoneford end tables white and wood », exactement l’original. Les vrais clients francophones font des fautes de frappe, mélangent les langues et utilisent des mots qu’aucune traduction n’a produits. Mesurez à nouveau sur de vraies requêtes françaises avant de vous fier à 0,690.
  3. Cela fonctionne seulement quand une réponse a été enregistrée : pour les requêtes de validation et de test. Pour toute autre requête, llm-rewrite cherche la requête sans la modifier.
  4. L’argent n’est pas le problème. Une réécriture coûte environ 0,04 $ US par 1 000 requêtes au tarif de chat-small. Le problème est le temps, pas le coût.

La réécriture est donc efficace et lente. Seules de vraies requêtes françaises permettent de la mesurer équitablement. Une façon pratique de l’utiliser : mettre les réécritures en cache. Calculez-les à l’avance pour les textes de requête les plus courants et stockez-les. Dans le journal synthétique, les 100 textes les plus courants représentent 51,1 % des recherches. Ces recherches recevraient la réécriture sans délai. Les autres utilisent les règles.

  1. Dans larkfield-search, avec l’environnement virtuel actif, lancez Python avec python et essayez l’expansion :

    >>> from larkfield_search import synonyms
    >>> synonyms.expansion("couch")
    'sofa'
    >>> synonyms.expansion("modern sofa")
    'couch'
    >>> synonyms.expansion("sectional")
    'sofa'
    >>> synonyms.expansion("light blue pillow")
    'lamp'

    La dernière ligne montre la règle insérée en action : « light » décrit ici une couleur, et la règle ajoute « lamp ». Saisissez exit() pour quitter Python.

  2. Mesurez les 20 règles ensemble, par type de requête :

    Fenêtre de terminal
    search compare bm25-norm+spell bm25-norm+spell+syn --by source
    bm25-norm+spell+syn minus bm25-norm+spell on 241 test queries: ndcg@10 +0.005 (95% interval -0.002 to +0.011); better on 13, worse on 7, the same on 221
    source queries bm25-norm+spell bm25-norm+spell+syn difference low high worse
    code 20 1.000 1.000 0.000 0.000 0.000 0
    planted 3 0.384 0.515 0.132 0.000 0.269 0
    translated 59 0.301 0.301 -0.000 -0.001 0.000 1
    typo 40 0.648 0.659 0.011 0.000 0.024 1
    wands 119 0.701 0.703 0.002 -0.009 0.015 5
  3. Écrivez un script qui teste une seule règle. Créez le fichier rule_test.py dans le dossier larkfield-search, avec ce code :

    """Test one synonym rule on the validation and test queries: python rule_test.py "couch, sofa" """
    import sys
    import pandas as pd
    from larkfield_search import compare, data, index, spell, synonyms
    from larkfield_search.runs.understand import norm_scores
    rule = sys.argv[1]
    queries = pd.concat([data.split("validation"), data.split("test")])
    judged = data.judgments()
    rows = []
    for qid, text in zip(queries["query_id"], queries["query"]):
    text = spell.correct(text)[0]
    if not synonyms.matches(text, rule):
    continue
    scores = norm_scores(text)
    added = synonyms.expansion(text, only=rule)
    with_rule = scores + synonyms.EXPANSION_WEIGHT * norm_scores(added) if added else scores
    before = compare.ndcg([p for p, _ in index.top(scores, 10)], judged[qid])
    after = compare.ndcg([p for p, _ in index.top(with_rule, 10)], judged[qid])
    rows.append((qid, text, added, round(before, 3), round(after, 3)))
    table = pd.DataFrame(rows, columns=["query_id", "query", "added", "without", "with"])
    print(table.to_string(index=False))
    better = (table["with"] > table["without"]).sum()
    worse = (table["with"] < table["without"]).sum()
    print(f"{len(table)} queries; mean NDCG@10 without {table['without'].mean():.3f}, "
    f"with {table['with'].mean():.3f}; better {better}, worse {worse}")

    Pour chaque requête, le script corrige l’orthographe, comme le fait l’exécution. Si la règle s’applique, il calcule deux fois le score des produits : sans la règle, puis avec les mots ajoutés par la règle, à demi-poids. Ensuite, il calcule le NDCG@10 des deux listes de dix premiers résultats.

  4. Exécutez-le sur la règle « patio, outdoor » :

    Fenêtre de terminal
    python rule_test.py "patio, outdoor"
    query_id query added without with
    W-013 outdoor privacy wall patio 0.443 0.492
    W-105 outdoor movie screen patio 1.000 1.000
    W-287 cover set for outdoor furniture patio 0.728 0.611
    W-367 wooden chair outdoor patio 0.504 0.613
    W-404 large cushion outdoor chair patio 0.470 0.470
    T-042 outdoor movie screen patio 1.000 1.000
    W-090 flared outdoor sofa patio 0.438 0.890
    W-133 outdoor light fixtures patio 1.000 1.000
    W-164 modern outdoor furniture patio 0.296 0.353
    W-325 outdoor waterproof chest patio 0.109 0.046
    W-388 outdoor sectional dining patio 0.503 0.576
    W-443 patio design outdoor 0.792 0.371
    T-055 outdoor light fixtures patio 1.000 1.000
    T-059 outdoor sectional dining patio 0.503 0.576
    14 queries; mean NDCG@10 without 0.628, with 0.643; better 6, worse 3

    Certaines requêtes apparaissent deux fois. Après correction, une copie mal orthographiée (T-) devient le même texte que son original (W-). W-090 affiche « flared », l’erreur du correcteur de la dernière leçon.

  5. Mesurez les réécritures enregistrées, par langue :

    Fenêtre de terminal
    search eval --run llm-rewrite --by language
    llm-rewrite on 243 test queries: NDCG@10 0.728 (95% interval 0.690 to 0.764)
    recall@100 0.617, MRR 0.710, zero results 0.4%, judged in the top 10 88.8%; 0.2 ms a query (p50), 0.4 ms (p95)
    language queries ndcg@10 low high zero-result rate
    en 182 0.740 0.695 0.781 0.005
    fr 61 0.690 0.618 0.759 0.000

    Le temps de 0,2 ms concerne seulement la recherche. La réécriture était enregistrée, donc search eval n’attend pas le modèle. En direct, ajoutez environ 1,2 seconde par requête.

À vous de jouer : rendre la règle unidirectionnelle

Section intitulée « À vous de jouer : rendre la règle unidirectionnelle »

Changez une seule chose : écrivez « patio, outdoor » comme règle unidirectionnelle. Avant de l’exécuter, faites une prédiction. Quelle direction évite de nuire à « patio design » : outdoor => patio ou patio => outdoor? Laquelle conserve l’amélioration pour « wooden chair outdoor »?

Fenêtre de terminal
python rule_test.py "outdoor => patio"
Le résultat et ce qu’il montre
query_id query added without with
W-013 outdoor privacy wall patio 0.443 0.492
W-105 outdoor movie screen patio 1.000 1.000
W-287 cover set for outdoor furniture patio 0.728 0.611
W-367 wooden chair outdoor patio 0.504 0.613
W-404 large cushion outdoor chair patio 0.470 0.470
T-042 outdoor movie screen patio 1.000 1.000
W-090 flared outdoor sofa patio 0.438 0.890
W-133 outdoor light fixtures patio 1.000 1.000
W-164 modern outdoor furniture patio 0.296 0.353
W-325 outdoor waterproof chest patio 0.109 0.046
W-388 outdoor sectional dining patio 0.503 0.576
T-055 outdoor light fixtures patio 1.000 1.000
T-059 outdoor sectional dining patio 0.503 0.576
13 queries; mean NDCG@10 without 0.615, with 0.664; better 6, worse 2

« patio design » disparaît de la liste : la règle n’ajoute plus « outdoor » à « patio ». Les 6 requêtes améliorées le restent, et seulement 2 se dégradent (« cover set for outdoor furniture » et « outdoor waterproof chest »). Le gain moyen passe de +0,015 à +0,049.

Mais rappelez-vous le piège. Vous avez choisi cette direction en examinant ces mêmes requêtes. Avant que Larkfield la conserve, vérifiez-la sur des requêtes que vous n’avez pas examinées.

Erreur courante

Une règle qui ne touche aucune requête semble sans danger

Symptôme : Tomás ajoute une règle et la teste. Il oublie la virgule :

Fenêtre de terminal
python rule_test.py "couch sofa"
Empty DataFrame
Columns: [query_id, query, added, without, with]
Index: []
0 queries; mean NDCG@10 without nan, with nan; better 0, worse 0

« better 0, worse 0 » (0 amélioration, 0 dégradation). Il comprend « aucun effet nuisible » et ajoute la règle au fichier.

Cause : sans virgule, la règle contient un seul terme : l’expression « couch sofa ». Aucune requête ne contient cette expression, donc la règle ne s’applique jamais. La moyenne de zéro requête est nan, « pas un nombre ».

Solution : lisez d’abord le nombre de requêtes. Zéro requête signifie que le test ne dit rien, et non que la règle est sûre. Corrigez la règle ("couch, sofa") et testez-la de nouveau. Quatre règles réelles de Larkfield ne touchent aucune requête non plus, comme « tv, television ». Testez-les plutôt sur le journal, ou attendez que des requêtes en aient besoin.

Conséquence pour le travail en recherche : un test qui ne mesure rien ressemble à un test réussi. Indiquez toujours combien de requêtes un changement touche, à côté de l’ampleur de son effet.

Quand utiliser les synonymes et les réécritures, et à quel coût

Section intitulée « Quand utiliser les synonymes et les réécritures, et à quel coût »

Utilisez des règles écrites à la main quand vos clients et votre catalogue emploient des mots différents : couch et sofa, mots de produits français et anglais. Une règle coûte peu au moment de la requête. Toute la recherche par règles (normalisation, correction orthographique, synonymes) prend 1,1 ms par requête (p50), selon les mesures du projet.

N’ajoutez pas une règle parce qu’elle « semble logique ». « light, lamp » semblait logique, mais a dégradé 4 requêtes. Testez chaque règle seule et comptez les requêtes qu’elle touche. Préférez une règle unidirectionnelle quand un mot a un sens plus large que l’autre. Traitez les règles extraites comme des suggestions qu’une personne doit vérifier.

Utilisez une réécriture par modèle de langage quand le gain est important et le délai acceptable : hors ligne ou pour un cache de requêtes courantes. Sur les requêtes de test de Larkfield, c’est le changement le plus efficace de ce module. Mais son gain en français est trop optimiste. En direct, elle prend 1,2 seconde, soit six fois le budget total.

Vérifiez votre compréhension

Un produit obtient un score de 2,0 pour « sofa » et de 6,0 pour « couch ». Avec la règle « couch, sofa » et le mot ajouté à demi-poids, quel est son score pour la requête « sofa »? Et pour la requête « couch »?

Afficher la réponse

Pour « sofa » : 2,0 + 0,5 × 6,0 = 5,0. Pour « couch » : 6,0 + 0,5 × 2,0 = 7,0. Le mot de la personne compte toujours à plein poids, et le mot ajouté compte pour moitié.

Vérifiez votre compréhension

La règle « patio, outdoor » fait passer le NDCG@10 moyen de ses 14 requêtes de 0,628 à 0,643. Larkfield devrait-elle la conserver telle quelle? Utilisez les résultats par requête.

Afficher la réponse

Pas comme règle bidirectionnelle. Elle améliore « wooden chair outdoor » (0,504 → 0,613), mais fait chuter « patio design » de 0,792 à 0,371. C’est parce que « outdoor » a un sens plus large que « patio ». La règle unidirectionnelle outdoor => patio conserve les gains et évite cet effet nuisible (13 requêtes, 0,615 → 0,664). Confirmez ensuite le résultat sur des requêtes que vous n’avez pas examinées.

Vérifiez votre compréhension

Omar lit : « réécriture par modèle de langage, NDCG@10 0,728, français 0,690 ». Il veut la mettre en service demain. Donnez-lui les trois réserves fondées sur les mesures.

Afficher la réponse

Premièrement, une réécriture en direct prend 1,2 s par requête (p50), contre un budget de 200 ms pour toute la recherche. Deuxièmement, le résultat en français est trop facile à obtenir. Nos requêtes françaises ont été traduites automatiquement de l’anglais. Pour 43 des 60 requêtes de test françaises, la réécriture reproduit mot pour mot l’original anglais. Troisièmement, les réécritures existent seulement pour les requêtes enregistrées. Un cache de réécritures pour les textes les plus courants est une première étape plus sûre.

Récapitulatif

  • Une règle de synonymes ajoute des mots à une requête (expansion de requête). Une règle bidirectionnelle (couch, sofa) ajoute des mots dans les deux directions. Une règle unidirectionnelle (sectional => sofa) le fait seulement de gauche à droite. Les mots ajoutés comptent pour moitié.
  • Les 20 règles ensemble : NDCG@10 0,615 → 0,620 sur les requêtes de test de Larkfield (+0,005, de −0,002 à +0,011). Seule, « couch, sofa » améliore 5 requêtes et en dégrade 1. La règle insérée « light, lamp » en dégrade 4 et en améliore 2.
  • « patio, outdoor » améliore « wooden chair outdoor » (+0,109) et dégrade « patio design » (−0,421). La règle unidirectionnelle outdoor => patio évite cet effet nuisible.
  • Les règles extraites du journal synthétique associent une requête à sa forme abrégée : elles montrent comment le journal a été créé.
  • La réécriture par modèle de langage enregistrée atteint 0,728 (de 0,690 à 0,764), et 0,690 en français. Elle est lente en direct (1,2 s par requête), et trop facile sur nos requêtes françaises traduites automatiquement.

Vous pouvez maintenant élargir une requête avec d’autres mots. Mais certaines requêtes demandent plus que des mots : une limite de prix, une couleur, un type de produit. Ensuite, vous détecterez ce que la requête demande pour le transformer en filtres.

Leçon suivante : Détecter ce que la requête demande