Aller au contenu
English

Détecter ce que demande la requête

  • Leçon 14
  • 35 min
  • Module 4 : Comprendre la requête

Où nous en sommes

Dans les trois dernières leçons, nous avons normalisé le texte, corrigé l'orthographe et ajouté des synonymes. Nos requêtes trouvent donc plus de produits. Beaucoup de requêtes demandent aussi une limite de prix, une couleur ou un type de produit. BM25 traite ces mots comme tous les autres. Dans cette leçon, nous détectons ce que demande la requête avec des règles et un petit classificateur. Nous utilisons ensuite ces éléments pour filtrer les produits ou les favoriser.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Repérez les parties d’une requête qui ne sont pas des mots désignant un produit : « under 50 dollars » (moins de 50 dollars), « grey » (gris), « shower curtain » (rideau de douche). Vous les détectez avec des règles et un petit classificateur, puis les utilisez pour filtrer les produits ou les favoriser. Ensuite, vous mesurez où cela aide et où une mauvaise estimation nuit.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter définit une règle de prix en anglais et en français. Ensuite, il entraîne un petit classificateur à estimer la classe de produit d’une requête à partir des titres des produits. Vous mesurez à quelle fréquence sa première estimation correspond à la classe des produits exacts de la requête. Ses cellules de préparation téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)

  • Le projet larkfield-search avec les fichiers de ce module, fourni dans l’exercice guidé de Normaliser le texte. python -m pytest -q doit afficher 24 passed (24 tests réussis).

Un client demande à la vendeuse : « Des coussins d’extérieur gris pour mon canapé, à moins de 50 dollars. » Elle ne cherche pas les mots « moins de », « 50 » ou « dollars » sur les étiquettes. Elle entend trois choses différentes : un type de produit (coussins d’extérieur), une couleur (gris) et une limite (50 dollars). Elle va vers les coussins et ne montre même pas ceux qui coûtent plus de 50 dollars.

Une recherche par mots ne peut pas faire cela. Chaque mot de la requête est un mot de plus à trouver. Donc, « under » et « 50 » sont traités exactement comme « cushion » (coussin).

Le problème : certains mots ne désignent pas un produit

Section intitulée « Le problème : certains mots ne désignent pas un produit »

Voici une requête que nous avons écrite pour montrer le problème : « Grey outdor couch cushions under 50 dollars ». Elle ne fait pas partie du jeu de requêtes et n’a donc aucun jugement : vous jugez les résultats à l’œil. Le tableau la suit dans les exécutions de ce module et montre le premier résultat de chacune.

Exécution Premier résultat Prix (dollars)
Larkfield aujourd’hui (current) rien : 0 résultat
Correspondances exactes et règles (bm25-fields+codes) 4 - light led 9.3 '' under cabinet light bar 17,99
+ normalisation (bm25-norm) 4 - light led 9.3 '' under cabinet light bar 17,99
+ orthographe (bm25-norm+spell) indoor/outdoor sunbrella chaise cushion 24,99
+ synonymes (bm25-norm+spell+syn) indoor/outdoor sunbrella chaise cushion 24,99

Les deux premières exécutions placent un luminaire sous armoire en premier, parce que « under » figure dans son titre. Après la correction orthographique, le deuxième résultat est « outdoor 50 gallon resin deck box », un coffre d’extérieur en résine de 50 gallons. Le « 50 » correspondait. Après les synonymes, le deuxième résultat est un canapé de patio à 735,99 dollars. La règle « couch, sofa » a ajouté « sofa ». Chaque étape de ce module a aidé avec les mots, mais aucune n’a compris « under 50 dollars ». Les prix sont synthétiques, produits par notre code, mais le problème est réel.

Détecter ce que demande une requête consiste à trouver les parties qui décrivent une propriété du produit, et non son nom. Le projet cherche trois propriétés :

  • une limite de prix : « under 50 dollars », « moins de 50 $ »;
  • une couleur : « grey », « navy » (bleu marine), « gris »;
  • une classe de produit : « Furniture Cushions » (coussins pour meubles), « Area Rugs ».

Ensuite, la recherche utilise chaque propriété de l’une des deux façons suivantes.

  • Un filtre retire tous les produits qui n’ont pas la propriété. La limite de prix est un filtre. Un coussin à 60 dollars n’est pas à « moins de 50 dollars », même si ses mots correspondent bien.
  • Favoriser les produits qui ont la propriété les fait monter dans les résultats, sans retirer les autres. La classe de produit sert à favoriser : le score d’un produit de la classe estimée est multiplié par 1,3.

Pourquoi filtrer selon le prix, mais seulement favoriser selon la classe? Une limite de prix dans la requête est presque toujours correcte : la personne a écrit le nombre. Une classe estimée peut être incorrecte. Un mauvais filtre retire tous les bons produits, et la page ne montre rien d’utile. Favoriser la mauvaise classe change seulement l’ordre, et les bons produits restent présents.

Une expression régulière trouve la limite de prix. C’est le langage de motifs de la règle des codes dans Correspondances exactes et règles. En mots simples, le motif du projet demande un mot de limite, peut-être « $ », un nombre, puis peut-être « $ », « dollars » ou « cad ». Les mots de limite sont « under », « below », « less than », « max », « cheaper than », « moins de » et « sous ». Les expressions anglaises signifient « sous », « en dessous de », « moins de », « maximum » et « moins cher que ». Le motif trouve « under 50 dollars » et « moins de 50 $ ». Le projet retire ensuite ces mots de la requête avant la recherche par mots. Ainsi, « under » et « 50 » ne correspondent plus aux luminaires et aux coffres d’extérieur.

Une liste de mots permet de trouver les couleurs : 23 mots anglais et 11 mots français, comme « grey », « navy », « gris » et « bleu ». Le projet détecte les couleurs, mais son exécution ne filtre pas et ne favorise pas selon la couleur. Vous avez vu pourquoi dans Synonymes et réécriture de requête. « Light » décrit une couleur dans « light blue pillow » (oreiller bleu pâle) et un produit dans « led light strip » (ruban lumineux à DEL). Un filtre de couleur demande plus de précautions que ce module ne peut en offrir.

Les gens nomment aussi une pièce, comme dans « red rug for balcony » (tapis rouge pour balcon). Le projet n’a aucune règle de pièce, et le catalogue n’a aucun champ « room » (pièce) pour filtrer. « For balcony » peut vouloir dire petit, pour l’extérieur ou imperméable. Une règle de synonymes unidirectionnelle comme balcony => outdoor est un point de départ simple, testé comme toute autre règle.

La classe de produit est plus difficile. Aucune liste de mots ne peut couvrir 548 classes. Le projet apprend donc à partir du catalogue lui-même. Chaque produit est un exemple de sa classe : son titre montre quels mots cette classe utilise. Un classificateur est un programme qui apprend à partir de tels exemples, puis estime la classe d’un nouveau texte. Ici, ce texte est une requête.

Le projet utilise un classificateur Naive Bayes (bayésien naïf), l’un des plus simples. Voici l’idée avec un petit exemple. Les nombres sont inventés pour montrer la méthode.

Mot Dans les titres de la classe Area Rugs (par 1 000 mots) Dans les titres de la classe Table Lamps (par 1 000 mots)
rug 120 1
red 15 10
lamp 1 110

Pour la requête « red rug » (tapis rouge), multipliez les proportions de ses mots dans chaque classe. Area Rugs : 15/1 000 × 120/1 000 = 0,0018. Table Lamps (lampes de table) : 10/1 000 × 1/1 000 = 0,00001. Area Rugs gagne de loin. « Red » aide un peu, et « rug » décide.

La méthode est dite « naïve » parce qu’elle traite chaque mot comme indépendant des autres. Elle ne sait pas que « shower curtain » désigne une seule chose. C’est naïf, mais rapide, et cela fonctionne souvent bien pour les textes courts. Le projet utilise une variante de scikit-learn appelée Complement Naive Bayes. Elle gère mieux les classes de tailles très différentes. Elle apprend à partir des titres anglais et français et des noms de classes des 40 066 produits, en environ 2 secondes.

Le classificateur a toujours une première estimation, même quand il est incertain. Le projet la garde seulement si elle est nettement plus probable qu’un choix au hasard parmi les 548 classes. Pour « sofa », la première estimation est « Sofa & Console Tables », un type de table. Les classes Sectionals et Sofas suivent de près. Aucune n’est assez nette, donc le projet ne favorise rien. Ici, la prudence sauve la requête.

L’exécution bm25-norm+spell+syn+detect ajoute le filtre de prix et la préférence de classe à bm25-norm+spell+syn. Sur les requêtes de test, elle atteint un NDCG@10 de 0,630 (intervalle à 95 % de 0,584 à 0,670), contre 0,620. Chaque moyenne porte sur 241 des 243 requêtes. La différence appariée est de +0,010 (intervalle à 95 % de −0,006 à +0,025). L’intervalle comprend 0, donc le gain n’est pas net. Il cache aussi beaucoup de changements : 67 requêtes s’améliorent et 40 se dégradent.

Par type de requête, les requêtes françaises gagnent +0,049 (de +0,027 à +0,071), un gain net. Le classificateur a aussi appris à partir des titres français. Il trouve donc probablement la classe d’une requête française plus souvent que la recherche par mots seule. Les requêtes avec des fautes perdent −0,035 (de −0,085 à +0,003). Le détecteur s’exécute avant le correcteur orthographique. Le mot mal écrit arrive donc tel quel au classificateur et peut mener à une mauvaise classe.

Favoriser la classe fonctionne quand l’estimation est bonne. « palram harmony greenhouses » obtient la classe Greenhouses (serres), et le NDCG@10 passe de 0,358 à 0,801.

Favoriser la classe nuit quand l’estimation est mauvaise. « clear shower curtain » (rideau de douche transparent) obtient la classe « Shower Curtain Hooks and Accessories » (crochets et accessoires pour rideaux de douche). Avec cette préférence, les crochets occupent les cinq premiers rangs, tous jugés non pertinents. Le NDCG@10 chute de 0,649 à 0,000. Le classificateur voit « shower » et « curtain », présents dans les titres de 126 des 146 crochets et accessoires. Naive Bayes ne distingue pas le rideau que veut la personne des crochets pour le suspendre.

« farmhouse cabinet » (armoire de style champêtre) obtient la classe Kitchen Sinks (éviers de cuisine). Parmi les 129 éviers de cuisine, 71 ont « farmhouse » dans leur titre. Le NDCG@10 chute de 0,625 à 0,173.

Cette mesure a une limite, et vous devez la dire clairement. Aucune des 624 requêtes du jeu de requêtes ne demande un prix. Les vraies requêtes de WANDS ne contiennent pas « under 50 dollars », et nous n’en avons inséré aucune. Le jeu de test ne peut donc pas mesurer le filtre de prix. Tous les gains et pertes ci-dessus viennent de la préférence de classe.

Un jeu de test mesure seulement les requêtes qu’il contient. Avant de créer une fonctionnalité, vérifiez que votre jeu de test contient des requêtes qui en ont besoin. Pour le filtre de prix, Larkfield a besoin de nouvelles requêtes avec des limites de prix, et de jugements pour celles-ci. D’ici là, seuls le test unitaire du projet et vos yeux testent le filtre de prix.

Le module complet : une requête à travers chaque étape

Section intitulée « Le module complet : une requête à travers chaque étape »

Vous avez maintenant construit toutes les étapes de ce module. Le diagramme suit la requête du début de cette leçon à travers chacune, avec les vraies valeurs du projet.

Une requête à travers les six étapes du module. Texte saisi : Grey outdor couch cushions under 50 dollars; la recherche actuelle trouve 0 résultat. 1. Normaliser : grey outdor couch cushions under 50 dollars. 2. Détecter : limite de prix de 50 dollars, couleur grey, aucune classe; reste : grey outdor couch cushions. 3. Corriger l'orthographe : outdor devient outdoor. 4. Ajouter des synonymes : sofa, gray, patio, chacun comptant pour moitié. 5. Raciniser et calculer le score avec BM25 : grey, outdoor, couch, cushion, plus sofa, gray, patio. 6. Filtrer : prix maximal de 50; premier résultat : texture outdoor bench cushion, 12,99 dollars.
Une requête que nous avons écrite, à travers chaque étape de l'exécution bm25-norm+spell+syn+detect. Chaque étape utilise une leçon de ce module.
Description textuelle du diagramme

Une rangée de cases reliées par des flèches. « Texte saisi : Grey outdor couch cushions under 50 dollars. Recherche actuelle : 0 résultat » mène à « 1. Normaliser », puis à « 2. Détecter : limite de prix de 50 dollars, couleur grey, aucune classe; reste : grey outdor couch cushions », puis à « 3. Corriger l’orthographe : outdor → outdoor », puis à « 4. Ajouter des synonymes : + sofa · gray · patio (les mots ajoutés comptent pour moitié) », puis à « 5. Raciniser et calculer le score avec BM25 », puis à une case à bordure épaisse : « 6. Filtrer : prix maximal de 50. Premier résultat : texture outdoor bench cushion, 12,99 dollars ».

Le premier résultat est maintenant « texture outdoor bench cushion » à 12,99 dollars. Les suivants sont aussi des coussins d’extérieur à moins de 50 dollars. Remarquez l’étape 4 : les synonymes ajoutent encore « sofa » et « patio ». Sans le filtre, ils avaient placé un canapé de patio en tête. Les étapes travaillent ensemble. Une étape ultérieure peut réparer, ou cacher, l’erreur d’une étape précédente.

Le graphique résume le module sur les requêtes de test de Larkfield (NDCG@10 moyen de 241 des 243 requêtes).

NDCG@10 avec son intervalle à 95 % après chaque étape de ce module, par type de requête. Chaque étape aide surtout un type de requête : la normalisation aide les requêtes anglaises, la correction orthographique aide les requêtes avec des fautes, la réécriture enregistrée aide les requêtes françaises.
Description textuelle du graphique

Trois panneaux de six rangées chacun. Requêtes anglaises de WANDS : module 3 0,641, normalisation 0,709, orthographe 0,701, synonymes 0,703, détection 0,711, réécriture enregistrée 0,721. Requêtes avec des fautes : 0,362, 0,416, 0,648, 0,659, 0,624, 0,681. Requêtes françaises : 0,178, 0,309, 0,301, 0,301, 0,35, 0,69. Une ligne montre l’intervalle à 95 % de chaque valeur.

Lisez chaque panneau de haut en bas.

  • Requêtes anglaises de WANDS. La normalisation donne le grand gain (de 0,641 à 0,709). La correction orthographique en retire un peu, parce qu’elle change des noms. Les synonymes et la détection ajoutent peu.
  • Requêtes avec des fautes. La correction orthographique donne le grand gain (de 0,416 à 0,648). La détection en retire une partie.
  • Requêtes françaises. Les règles font passer le français de 0,178 à 0,350, et la réécriture enregistrée le fait passer à 0,690. Ce dernier nombre est trop optimiste, comme vous l’avez vu dans la dernière leçon. Nos requêtes françaises ont été traduites automatiquement de l’anglais.

Sur toutes les requêtes de test, la normalisation, la correction orthographique et les synonymes font passer le NDCG@10 de 0,506 à 0,620. La détection le fait passer à 0,630. C’est un vrai progrès par rapport au module 3. Mais le français reste faible, et chaque étape a dégradé certaines requêtes. Une étape qui comprend le sens, et pas seulement les mots, pourrait aider : c’est le prochain module.

  1. Dans larkfield-search, avec l’environnement virtuel actif, démarrez Python avec python, puis essayez le détecteur :

    >>> from larkfield_search.detect import detect
    >>> detect("grey cushion under 50 dollars")
    {'price_max': 50.0, 'colours': ['grey'], 'classes': [np.str_('Furniture Cushions')], 'clean': 'grey cushion'}
    >>> detect("coussin gris moins de 50 $")
    {'price_max': 50.0, 'colours': ['gris'], 'classes': [np.str_('Accent Pillows')], 'clean': 'coussin gris'}
    >>> detect("clear shower curtain")
    {'price_max': None, 'colours': [], 'classes': [np.str_('Shower Curtain Hooks and Accessories')], 'clean': 'clear shower curtain'}

    Le premier appel entraîne le classificateur sur le catalogue et l’enregistre dans outputs/. np.str_ est la façon dont NumPy affiche une valeur textuelle; lisez-la comme du texte ordinaire. clean (nettoyée) est la requête sans les mots de prix. Tapez exit() pour quitter Python.

  2. Comparez le détecteur à l’exécution précédente, par type de requête :

    Fenêtre de terminal
    search compare bm25-norm+spell+syn bm25-norm+spell+syn+detect --by source
    bm25-norm+spell+syn+detect minus bm25-norm+spell+syn on 241 test queries: ndcg@10 +0.010 (95% interval -0.006 to +0.025); better on 67, worse on 40, the same on 134
    source queries bm25-norm+spell+syn bm25-norm+spell+syn+detect difference low high worse
    code 20 1.000 1.000 0.000 0.000 0.000 0
    planted 3 0.515 0.515 0.000 0.000 0.000 0
    translated 59 0.301 0.350 0.049 0.027 0.071 6
    typo 40 0.659 0.624 -0.035 -0.085 0.003 10
    wands 119 0.703 0.711 0.008 -0.016 0.031 24
  3. Examinez la pire requête :

    Fenêtre de terminal
    search query "clear shower curtain" --run bm25-norm+spell+syn+detect -k 3
    bm25-norm+spell+syn+detect: "clear shower curtain" -> 3 results (query W-246: judged results are marked)
    1. LK-56534 shower curtain hooks Shower Curtain Hooks and 327.99 [irrelevant]
    2. LK-53992 sparkle shower curtain hooks Shower Curtain Hooks and 307.99 [irrelevant]
    3. LK-80781 gilded pineapple shower curtain hooks Shower Curtain Hooks and 107.99 [irrelevant]
  4. Suivez la requête de cette leçon à travers tout le module :

    Fenêtre de terminal
    search query "Grey outdor couch cushions under 50 dollars" --run bm25-norm+spell+syn+detect -k 3
    bm25-norm+spell+syn+detect: "Grey outdor couch cushions under 50 dollars" -> 3 results
    1. LK-17722 texture outdoor bench cushion Furniture Cushions 12.99
    2. LK-99990 outdoor lounge chair cushion Furniture Cushions 17.99
    3. LK-87002 scalia indoor/outdoor seat cushion Furniture Cushions 17.99 [out of stock]

    Exécutez-la de nouveau avec --run current et --run bm25-norm+spell+syn pour voir les lignes du tableau au début de cette leçon.

  5. Mesurez l’exécution principale du module, celle sur laquelle les modules suivants s’appuient :

    Fenêtre de terminal
    search eval --run bm25-norm+spell+syn --by source
    bm25-norm+spell+syn on 243 test queries: NDCG@10 0.620 (95% interval 0.574 to 0.662)
    recall@100 0.546, MRR 0.626, zero results 0.0%, judged in the top 10 76.0%; 0.3 ms a query (p50), 1.4 ms (p95)
    source queries ndcg@10 low high zero-result rate
    code 20 1.000 1.000 1.000 0.000
    planted 3 0.515 0.188 0.812 0.000
    translated 60 0.301 0.214 0.393 0.000
    typo 40 0.659 0.569 0.747 0.000
    wands 120 0.703 0.647 0.753 0.000
  6. Exécutez les tests une dernière fois :

    Fenêtre de terminal
    python -m pytest -q
    ........................ [100%]
    24 passed in 0.55s

    Votre projet correspond maintenant à l’instantané end-of-m04. Votre durée sera différente.

Les modules suivants comparent leurs exécutions à bm25-norm+spell+syn, et non au détecteur. Son gain n’est pas net. Favoriser une mauvaise classe peut éliminer les bons résultats du haut de la page, comme le montre l’étape 3.

À vous de jouer : quelle force donner à la préférence?

Section intitulée « À vous de jouer : quelle force donner à la préférence? »

La préférence de classe multiplie le score de la classe estimée par 1,3. Changez une seule chose : la force de cette préférence. Avant les exécutions, faites une prédiction : avec un facteur de 1 (aucune préférence), quel NDCG@10 obtenez-vous? Et avec 2?

Fenêtre de terminal
search eval --run bm25-norm+spell+syn+detect --set class_boost=1
search eval --run bm25-norm+spell+syn+detect --set class_boost=2
La sortie et ce qu’elle montre
bm25-norm+spell+syn+detect on 243 test queries: NDCG@10 0.620 (95% interval 0.574 to 0.662)
recall@100 0.546, MRR 0.626, zero results 0.0%, judged in the top 10 76.0%; 9.8 ms a query (p50), 29.5 ms (p95)
bm25-norm+spell+syn+detect on 243 test queries: NDCG@10 0.630 (95% interval 0.586 to 0.673)
recall@100 0.547, MRR 0.627, zero results 0.0%, judged in the top 10 78.4%; 10.3 ms a query (p50), 29.0 ms (p95)

Avec un facteur de 1, le résultat est exactement celui de bm25-norm+spell+syn : 0,620. Aucune requête de test ne demande un prix, donc le filtre de prix ne change rien ici. Cela confirme la section précédente : tout l’effet du détecteur sur le jeu de test vient de la préférence de classe.

Avec un facteur de 2, le résultat est de 0,630, comme avec 1,3. Une préférence plus forte aide davantage les requêtes avec une bonne estimation et nuit davantage à celles avec une mauvaise estimation. Sur ces requêtes, les deux effets s’annulent. Ne réglez pas ce nombre sur le jeu de test. Pour le régler, utilisez les requêtes de validation.

Regardez aussi les durées. Le détecteur prend ici environ 10 ms par requête, contre 0,3 ms pour bm25-norm+spell+syn. Le classificateur et la préférence appliquée aux 40 066 produits s’exécutent pour chaque requête. Vos durées seront différentes.

Erreur courante

Un filtre peut ramener la page vide

Symptôme : une personne tape « sofa under 5 dollars » (canapé à moins de 5 dollars). La page est vide :

bm25-norm+spell+syn+detect: "sofa under 5 dollars" -> 0 results

Nous avons écrit cette requête pour montrer le problème; elle ne fait pas partie du jeu de requêtes.

Cause : le filtre retire tous les produits à plus de 5 dollars. Le produit le moins cher du catalogue coûte 4,99 dollars, et seuls 5 produits coûtent moins de 5 dollars. Aucun n’est un canapé. Un filtre fait exactement ce qu’on lui demande, même quand la réponse est vide.

Correction : quand un filtre vide la page, n’affichez pas une page vide. Montrez les produits sans le filtre, avec une phrase comme « Aucun canapé à moins de 5 dollars. Voici les canapés les moins chers. » Pour voir ce que la personne obtiendrait sans le filtre, exécutez search query "sofa under 5 dollars" --run bm25-norm+spell+syn.

Conséquence pour le travail en recherche : jusqu’ici, le cours a réduit les pages vides du journal synthétique d’environ 31 % à 0,3 %. Un filtre peut les ramener. Comptez les pages vides après chaque nouveau filtre et décidez à l’avance ce que la page affiche à la place.

Détectez une propriété quand les gens la saisissent souvent, qu’elle est facile à reconnaître et que votre catalogue possède un champ correspondant. Les prix, les tailles et les couleurs répondent souvent à ces critères. Vérifiez d’abord votre journal et votre jeu de test. Dans le jeu de requêtes de Larkfield, personne n’a demandé de prix.

Filtrez seulement ce que la personne a indiqué exactement; favorisez ce que vous devinez. Le classificateur s’entraîne en environ 2 secondes ici, mais il s’exécute pour chaque requête. Avec search eval sur cet ordinateur portable, l’exécution prend environ 10 ms par requête, contre 0,3 ms sans le détecteur. Cela respecte le budget de 200 ms d’Amira, mais c’est l’étape la plus lente parmi les règles de ce module.

Vérifiez votre compréhension

Pourquoi le projet utilise-t-il la limite de prix comme filtre, mais la classe de produit seulement pour favoriser des produits? Utilisez « clear shower curtain » dans votre réponse.

Afficher la réponse

La personne écrit la limite de prix, donc elle est presque toujours correcte. Un produit qui la dépasse ne répond pas à la requête. La classe est une supposition, et les suppositions peuvent être fausses. Pour « clear shower curtain », le classificateur a deviné « Shower Curtain Hooks and Accessories ». En favorisant cette classe, les crochets sont passés en tête (NDCG@10 0,649 → 0,000). Avec un filtre, tous les rideaux disparaîtraient de la page, sans possibilité de retour.

Vérifiez votre compréhension

L'exécution du détecteur obtient 0,630 contre 0,620, avec un intervalle apparié de −0,006 à +0,025. Tomás affirme que le filtre de prix fonctionne bien. Quel est le problème avec son affirmation?

Afficher la réponse

Deux choses. Premièrement, l’intervalle comprend 0, donc le gain n’est pas du tout clair. Deuxièmement, aucune des 624 requêtes ne demande de prix, donc le jeu de test ne peut pas mesurer le filtre de prix. Avec class_boost=1, l’exécution obtient exactement 0,620. Tout le changement vient de la préférence accordée à la classe.

Vérifiez votre compréhension

Prédisez : Naive Bayes devine la classe de « red rug » à partir des mots des titres de produits. Quel mot est décisif, « red » ou « rug », et pourquoi?

Afficher la réponse

« rug ». Naive Bayes multiplie la proportion de chaque mot de la requête dans chaque classe. « rug » est très fréquent dans les titres de la classe Area Rugs et très rare dans les autres classes. Il distingue donc fortement les classes. « red » apparaît dans plusieurs classes, donc il change à peine le résultat.

Récapitulatif

  • Détecter, c’est trouver les parties d’une requête qui décrivent une propriété. Des règles trouvent une limite de prix et des couleurs; un classificateur Naive Bayes, entraîné sur les titres de produits, devine la classe de produit.
  • Un filtre retire des produits; favoriser des produits les fait remonter. Filtrez seulement ce que la personne a indiqué exactement (une limite de prix); favorisez ce que vous devinez (une classe).
  • Sur les requêtes de test de Larkfield, le détecteur atteint un NDCG@10 de 0,630 (0,584 à 0,670). Le gain est de +0,010 (−0,006 à +0,025), sans résultat clair; en français, il est de +0,049. Une mauvaise supposition nuit : « clear shower curtain » est passé de 0,649 à 0,000.
  • Aucune requête du jeu de requêtes ne demande de prix, donc le filtre de prix n’est pas mesuré. Un jeu de test mesure seulement les requêtes qu’il contient.
  • Sur l’ensemble du module, les règles font passer le NDCG@10 de 0,506 à 0,620 (normalisation, orthographe, synonymes). La réécriture enregistrée le fait passer à 0,728, avec les réserves qui l’accompagnent.

Vous pouvez maintenant interpréter les mots d’une requête de plusieurs façons. Mais chaque étape fait encore correspondre des mots, et les résultats en français restent faibles. Ensuite, dans le module 5, vous chercherez par le sens. Un modèle transforme les requêtes et les produits en nombres proches quand leurs sens sont proches.

Leçon suivante : Recherche par le sens