Détecter ce que demande la requête
- Leçon 14
- 35 min
- Module 4 : Comprendre la requête
Où nous en sommes
Dans les trois dernières leçons, nous avons normalisé le texte, corrigé l'orthographe et ajouté des synonymes. Nos requêtes trouvent donc plus de produits. Beaucoup de requêtes demandent aussi une limite de prix, une couleur ou un type de produit. BM25 traite ces mots comme tous les autres. Dans cette leçon, nous détectons ce que demande la requête avec des règles et un petit classificateur. Nous utilisons ensuite ces éléments pour filtrer les produits ou les favoriser.
Leçon 14 sur 30 · Recherche et classement : trouver la meilleure correspondanceDétecter ce que demande la requête
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Repérez les parties d’une requête qui ne sont pas des mots désignant un produit : « under 50 dollars » (moins de 50 dollars), « grey » (gris), « shower curtain » (rideau de douche). Vous les détectez avec des règles et un petit classificateur, puis les utilisez pour filtrer les produits ou les favoriser. Ensuite, vous mesurez où cela aide et où une mauvaise estimation nuit.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter définit une règle de prix en anglais et en français. Ensuite, il entraîne un petit classificateur à estimer la classe de produit d’une requête à partir des titres des produits. Vous mesurez à quelle fréquence sa première estimation correspond à la classe des produits exacts de la requête. Ses cellules de préparation téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les exécutions de ce module jusqu’à
bm25-norm+spell+syn, présentées dans Synonymes et réécriture de requête. - Les classes de produits (548, comme « Area Rugs », les tapis), présentées dans Découvrir le catalogue et le journal des requêtes.
- Comprendre qu’un classificateur apprend à partir d’exemples vous aidera. Le cours Apprentissage automatique : du problème à un modèle fiable l’enseigne, mais cette leçon explique ce qu’il vous faut.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Le projet
larkfield-searchavec les fichiers de ce module, fourni dans l’exercice guidé de Normaliser le texte.python -m pytest -qdoit afficher24 passed(24 tests réussis).
Une vendeuse qui entend « moins de 50 dollars »
Section intitulée « Une vendeuse qui entend « moins de 50 dollars » »Un client demande à la vendeuse : « Des coussins d’extérieur gris pour mon canapé, à moins de 50 dollars. » Elle ne cherche pas les mots « moins de », « 50 » ou « dollars » sur les étiquettes. Elle entend trois choses différentes : un type de produit (coussins d’extérieur), une couleur (gris) et une limite (50 dollars). Elle va vers les coussins et ne montre même pas ceux qui coûtent plus de 50 dollars.
Une recherche par mots ne peut pas faire cela. Chaque mot de la requête est un mot de plus à trouver. Donc, « under » et « 50 » sont traités exactement comme « cushion » (coussin).
Le problème : certains mots ne désignent pas un produit
Section intitulée « Le problème : certains mots ne désignent pas un produit »Voici une requête que nous avons écrite pour montrer le problème : « Grey outdor couch cushions under 50 dollars ». Elle ne fait pas partie du jeu de requêtes et n’a donc aucun jugement : vous jugez les résultats à l’œil. Le tableau la suit dans les exécutions de ce module et montre le premier résultat de chacune.
| Exécution | Premier résultat | Prix (dollars) |
|---|---|---|
Larkfield aujourd’hui (current) |
rien : 0 résultat | |
Correspondances exactes et règles (bm25-fields+codes) |
4 - light led 9.3 '' under cabinet light bar | 17,99 |
+ normalisation (bm25-norm) |
4 - light led 9.3 '' under cabinet light bar | 17,99 |
+ orthographe (bm25-norm+spell) |
indoor/outdoor sunbrella chaise cushion | 24,99 |
+ synonymes (bm25-norm+spell+syn) |
indoor/outdoor sunbrella chaise cushion | 24,99 |
Les deux premières exécutions placent un luminaire sous armoire en premier, parce que « under » figure dans son titre. Après la correction orthographique, le deuxième résultat est « outdoor 50 gallon resin deck box », un coffre d’extérieur en résine de 50 gallons. Le « 50 » correspondait. Après les synonymes, le deuxième résultat est un canapé de patio à 735,99 dollars. La règle « couch, sofa » a ajouté « sofa ». Chaque étape de ce module a aidé avec les mots, mais aucune n’a compris « under 50 dollars ». Les prix sont synthétiques, produits par notre code, mais le problème est réel.
L’idée : détecter, puis filtrer ou favoriser
Section intitulée « L’idée : détecter, puis filtrer ou favoriser »Détecter ce que demande une requête consiste à trouver les parties qui décrivent une propriété du produit, et non son nom. Le projet cherche trois propriétés :
- une limite de prix : « under 50 dollars », « moins de 50 $ »;
- une couleur : « grey », « navy » (bleu marine), « gris »;
- une classe de produit : « Furniture Cushions » (coussins pour meubles), « Area Rugs ».
Ensuite, la recherche utilise chaque propriété de l’une des deux façons suivantes.
- Un filtre retire tous les produits qui n’ont pas la propriété. La limite de prix est un filtre. Un coussin à 60 dollars n’est pas à « moins de 50 dollars », même si ses mots correspondent bien.
- Favoriser les produits qui ont la propriété les fait monter dans les résultats, sans retirer les autres. La classe de produit sert à favoriser : le score d’un produit de la classe estimée est multiplié par 1,3.
Pourquoi filtrer selon le prix, mais seulement favoriser selon la classe? Une limite de prix dans la requête est presque toujours correcte : la personne a écrit le nombre. Une classe estimée peut être incorrecte. Un mauvais filtre retire tous les bons produits, et la page ne montre rien d’utile. Favoriser la mauvaise classe change seulement l’ordre, et les bons produits restent présents.
Des règles pour les prix et les couleurs
Section intitulée « Des règles pour les prix et les couleurs »Une expression régulière trouve la limite de prix. C’est le langage de motifs de la règle des codes dans Correspondances exactes et règles. En mots simples, le motif du projet demande un mot de limite, peut-être « $ », un nombre, puis peut-être « $ », « dollars » ou « cad ». Les mots de limite sont « under », « below », « less than », « max », « cheaper than », « moins de » et « sous ». Les expressions anglaises signifient « sous », « en dessous de », « moins de », « maximum » et « moins cher que ». Le motif trouve « under 50 dollars » et « moins de 50 $ ». Le projet retire ensuite ces mots de la requête avant la recherche par mots. Ainsi, « under » et « 50 » ne correspondent plus aux luminaires et aux coffres d’extérieur.
Une liste de mots permet de trouver les couleurs : 23 mots anglais et 11 mots français, comme « grey », « navy », « gris » et « bleu ». Le projet détecte les couleurs, mais son exécution ne filtre pas et ne favorise pas selon la couleur. Vous avez vu pourquoi dans Synonymes et réécriture de requête. « Light » décrit une couleur dans « light blue pillow » (oreiller bleu pâle) et un produit dans « led light strip » (ruban lumineux à DEL). Un filtre de couleur demande plus de précautions que ce module ne peut en offrir.
Les gens nomment aussi une pièce, comme dans « red rug for balcony » (tapis rouge pour balcon). Le projet n’a aucune règle de pièce, et le catalogue n’a aucun champ « room » (pièce) pour filtrer. « For balcony » peut vouloir dire petit, pour l’extérieur ou imperméable. Une règle de synonymes unidirectionnelle comme balcony => outdoor est un point de départ simple, testé comme toute autre règle.
Un petit classificateur pour la classe de produit
Section intitulée « Un petit classificateur pour la classe de produit »La classe de produit est plus difficile. Aucune liste de mots ne peut couvrir 548 classes. Le projet apprend donc à partir du catalogue lui-même. Chaque produit est un exemple de sa classe : son titre montre quels mots cette classe utilise. Un classificateur est un programme qui apprend à partir de tels exemples, puis estime la classe d’un nouveau texte. Ici, ce texte est une requête.
Le projet utilise un classificateur Naive Bayes (bayésien naïf), l’un des plus simples. Voici l’idée avec un petit exemple. Les nombres sont inventés pour montrer la méthode.
| Mot | Dans les titres de la classe Area Rugs (par 1 000 mots) | Dans les titres de la classe Table Lamps (par 1 000 mots) |
|---|---|---|
| rug | 120 | 1 |
| red | 15 | 10 |
| lamp | 1 | 110 |
Pour la requête « red rug » (tapis rouge), multipliez les proportions de ses mots dans chaque classe. Area Rugs : 15/1 000 × 120/1 000 = 0,0018. Table Lamps (lampes de table) : 10/1 000 × 1/1 000 = 0,00001. Area Rugs gagne de loin. « Red » aide un peu, et « rug » décide.
La méthode est dite « naïve » parce qu’elle traite chaque mot comme indépendant des autres. Elle ne sait pas que « shower curtain » désigne une seule chose. C’est naïf, mais rapide, et cela fonctionne souvent bien pour les textes courts. Le projet utilise une variante de scikit-learn appelée Complement Naive Bayes. Elle gère mieux les classes de tailles très différentes. Elle apprend à partir des titres anglais et français et des noms de classes des 40 066 produits, en environ 2 secondes.
Le classificateur a toujours une première estimation, même quand il est incertain. Le projet la garde seulement si elle est nettement plus probable qu’un choix au hasard parmi les 548 classes. Pour « sofa », la première estimation est « Sofa & Console Tables », un type de table. Les classes Sectionals et Sofas suivent de près. Aucune n’est assez nette, donc le projet ne favorise rien. Ici, la prudence sauve la requête.
Larkfield : mesurer le détecteur
Section intitulée « Larkfield : mesurer le détecteur »L’exécution bm25-norm+spell+syn+detect ajoute le filtre de prix et la préférence de classe à bm25-norm+spell+syn. Sur les requêtes de test, elle atteint un NDCG@10 de 0,630 (intervalle à 95 % de 0,584 à 0,670), contre 0,620. Chaque moyenne porte sur 241 des 243 requêtes. La différence appariée est de +0,010 (intervalle à 95 % de −0,006 à +0,025). L’intervalle comprend 0, donc le gain n’est pas net. Il cache aussi beaucoup de changements : 67 requêtes s’améliorent et 40 se dégradent.
Par type de requête, les requêtes françaises gagnent +0,049 (de +0,027 à +0,071), un gain net. Le classificateur a aussi appris à partir des titres français. Il trouve donc probablement la classe d’une requête française plus souvent que la recherche par mots seule. Les requêtes avec des fautes perdent −0,035 (de −0,085 à +0,003). Le détecteur s’exécute avant le correcteur orthographique. Le mot mal écrit arrive donc tel quel au classificateur et peut mener à une mauvaise classe.
Une bonne estimation et une mauvaise
Section intitulée « Une bonne estimation et une mauvaise »Favoriser la classe fonctionne quand l’estimation est bonne. « palram harmony greenhouses » obtient la classe Greenhouses (serres), et le NDCG@10 passe de 0,358 à 0,801.
Favoriser la classe nuit quand l’estimation est mauvaise. « clear shower curtain » (rideau de douche transparent) obtient la classe « Shower Curtain Hooks and Accessories » (crochets et accessoires pour rideaux de douche). Avec cette préférence, les crochets occupent les cinq premiers rangs, tous jugés non pertinents. Le NDCG@10 chute de 0,649 à 0,000. Le classificateur voit « shower » et « curtain », présents dans les titres de 126 des 146 crochets et accessoires. Naive Bayes ne distingue pas le rideau que veut la personne des crochets pour le suspendre.
« farmhouse cabinet » (armoire de style champêtre) obtient la classe Kitchen Sinks (éviers de cuisine). Parmi les 129 éviers de cuisine, 71 ont « farmhouse » dans leur titre. Le NDCG@10 chute de 0,625 à 0,173.
Le filtre de prix n’est pas mesuré
Section intitulée « Le filtre de prix n’est pas mesuré »Cette mesure a une limite, et vous devez la dire clairement. Aucune des 624 requêtes du jeu de requêtes ne demande un prix. Les vraies requêtes de WANDS ne contiennent pas « under 50 dollars », et nous n’en avons inséré aucune. Le jeu de test ne peut donc pas mesurer le filtre de prix. Tous les gains et pertes ci-dessus viennent de la préférence de classe.
Un jeu de test mesure seulement les requêtes qu’il contient. Avant de créer une fonctionnalité, vérifiez que votre jeu de test contient des requêtes qui en ont besoin. Pour le filtre de prix, Larkfield a besoin de nouvelles requêtes avec des limites de prix, et de jugements pour celles-ci. D’ici là, seuls le test unitaire du projet et vos yeux testent le filtre de prix.
Le module complet : une requête à travers chaque étape
Section intitulée « Le module complet : une requête à travers chaque étape »Vous avez maintenant construit toutes les étapes de ce module. Le diagramme suit la requête du début de cette leçon à travers chacune, avec les vraies valeurs du projet.
Description textuelle du diagramme
Une rangée de cases reliées par des flèches. « Texte saisi : Grey outdor couch cushions under 50 dollars. Recherche actuelle : 0 résultat » mène à « 1. Normaliser », puis à « 2. Détecter : limite de prix de 50 dollars, couleur grey, aucune classe; reste : grey outdor couch cushions », puis à « 3. Corriger l’orthographe : outdor → outdoor », puis à « 4. Ajouter des synonymes : + sofa · gray · patio (les mots ajoutés comptent pour moitié) », puis à « 5. Raciniser et calculer le score avec BM25 », puis à une case à bordure épaisse : « 6. Filtrer : prix maximal de 50. Premier résultat : texture outdoor bench cushion, 12,99 dollars ».
Le premier résultat est maintenant « texture outdoor bench cushion » à 12,99 dollars. Les suivants sont aussi des coussins d’extérieur à moins de 50 dollars. Remarquez l’étape 4 : les synonymes ajoutent encore « sofa » et « patio ». Sans le filtre, ils avaient placé un canapé de patio en tête. Les étapes travaillent ensemble. Une étape ultérieure peut réparer, ou cacher, l’erreur d’une étape précédente.
L’effet de chaque étape, par type de requête
Section intitulée « L’effet de chaque étape, par type de requête »Le graphique résume le module sur les requêtes de test de Larkfield (NDCG@10 moyen de 241 des 243 requêtes).
Description textuelle du graphique
Trois panneaux de six rangées chacun. Requêtes anglaises de WANDS : module 3 0,641, normalisation 0,709, orthographe 0,701, synonymes 0,703, détection 0,711, réécriture enregistrée 0,721. Requêtes avec des fautes : 0,362, 0,416, 0,648, 0,659, 0,624, 0,681. Requêtes françaises : 0,178, 0,309, 0,301, 0,301, 0,35, 0,69. Une ligne montre l’intervalle à 95 % de chaque valeur.
Lisez chaque panneau de haut en bas.
- Requêtes anglaises de WANDS. La normalisation donne le grand gain (de 0,641 à 0,709). La correction orthographique en retire un peu, parce qu’elle change des noms. Les synonymes et la détection ajoutent peu.
- Requêtes avec des fautes. La correction orthographique donne le grand gain (de 0,416 à 0,648). La détection en retire une partie.
- Requêtes françaises. Les règles font passer le français de 0,178 à 0,350, et la réécriture enregistrée le fait passer à 0,690. Ce dernier nombre est trop optimiste, comme vous l’avez vu dans la dernière leçon. Nos requêtes françaises ont été traduites automatiquement de l’anglais.
Sur toutes les requêtes de test, la normalisation, la correction orthographique et les synonymes font passer le NDCG@10 de 0,506 à 0,620. La détection le fait passer à 0,630. C’est un vrai progrès par rapport au module 3. Mais le français reste faible, et chaque étape a dégradé certaines requêtes. Une étape qui comprend le sens, et pas seulement les mots, pourrait aider : c’est le prochain module.
Exercice guidé : détecter et mesurer
Section intitulée « Exercice guidé : détecter et mesurer »-
Dans
larkfield-search, avec l’environnement virtuel actif, démarrez Python avecpython, puis essayez le détecteur :>>> from larkfield_search.detect import detect>>> detect("grey cushion under 50 dollars"){'price_max': 50.0, 'colours': ['grey'], 'classes': [np.str_('Furniture Cushions')], 'clean': 'grey cushion'}>>> detect("coussin gris moins de 50 $"){'price_max': 50.0, 'colours': ['gris'], 'classes': [np.str_('Accent Pillows')], 'clean': 'coussin gris'}>>> detect("clear shower curtain"){'price_max': None, 'colours': [], 'classes': [np.str_('Shower Curtain Hooks and Accessories')], 'clean': 'clear shower curtain'}Le premier appel entraîne le classificateur sur le catalogue et l’enregistre dans
outputs/.np.str_est la façon dont NumPy affiche une valeur textuelle; lisez-la comme du texte ordinaire.clean(nettoyée) est la requête sans les mots de prix. Tapezexit()pour quitter Python. -
Comparez le détecteur à l’exécution précédente, par type de requête :
Fenêtre de terminal search compare bm25-norm+spell+syn bm25-norm+spell+syn+detect --by sourcebm25-norm+spell+syn+detect minus bm25-norm+spell+syn on 241 test queries: ndcg@10 +0.010 (95% interval -0.006 to +0.025); better on 67, worse on 40, the same on 134source queries bm25-norm+spell+syn bm25-norm+spell+syn+detect difference low high worsecode 20 1.000 1.000 0.000 0.000 0.000 0planted 3 0.515 0.515 0.000 0.000 0.000 0translated 59 0.301 0.350 0.049 0.027 0.071 6typo 40 0.659 0.624 -0.035 -0.085 0.003 10wands 119 0.703 0.711 0.008 -0.016 0.031 24 -
Examinez la pire requête :
Fenêtre de terminal search query "clear shower curtain" --run bm25-norm+spell+syn+detect -k 3bm25-norm+spell+syn+detect: "clear shower curtain" -> 3 results (query W-246: judged results are marked)1. LK-56534 shower curtain hooks Shower Curtain Hooks and 327.99 [irrelevant]2. LK-53992 sparkle shower curtain hooks Shower Curtain Hooks and 307.99 [irrelevant]3. LK-80781 gilded pineapple shower curtain hooks Shower Curtain Hooks and 107.99 [irrelevant] -
Suivez la requête de cette leçon à travers tout le module :
Fenêtre de terminal search query "Grey outdor couch cushions under 50 dollars" --run bm25-norm+spell+syn+detect -k 3bm25-norm+spell+syn+detect: "Grey outdor couch cushions under 50 dollars" -> 3 results1. LK-17722 texture outdoor bench cushion Furniture Cushions 12.992. LK-99990 outdoor lounge chair cushion Furniture Cushions 17.993. LK-87002 scalia indoor/outdoor seat cushion Furniture Cushions 17.99 [out of stock]Exécutez-la de nouveau avec
--run currentet--run bm25-norm+spell+synpour voir les lignes du tableau au début de cette leçon. -
Mesurez l’exécution principale du module, celle sur laquelle les modules suivants s’appuient :
Fenêtre de terminal search eval --run bm25-norm+spell+syn --by sourcebm25-norm+spell+syn on 243 test queries: NDCG@10 0.620 (95% interval 0.574 to 0.662)recall@100 0.546, MRR 0.626, zero results 0.0%, judged in the top 10 76.0%; 0.3 ms a query (p50), 1.4 ms (p95)source queries ndcg@10 low high zero-result ratecode 20 1.000 1.000 1.000 0.000planted 3 0.515 0.188 0.812 0.000translated 60 0.301 0.214 0.393 0.000typo 40 0.659 0.569 0.747 0.000wands 120 0.703 0.647 0.753 0.000 -
Exécutez les tests une dernière fois :
Fenêtre de terminal python -m pytest -q........................ [100%]24 passed in 0.55sVotre projet correspond maintenant à l’instantané
end-of-m04. Votre durée sera différente.
Les modules suivants comparent leurs exécutions à bm25-norm+spell+syn, et non au détecteur. Son gain n’est pas net. Favoriser une mauvaise classe peut éliminer les bons résultats du haut de la page, comme le montre l’étape 3.
À vous de jouer : quelle force donner à la préférence?
Section intitulée « À vous de jouer : quelle force donner à la préférence? »La préférence de classe multiplie le score de la classe estimée par 1,3. Changez une seule chose : la force de cette préférence. Avant les exécutions, faites une prédiction : avec un facteur de 1 (aucune préférence), quel NDCG@10 obtenez-vous? Et avec 2?
search eval --run bm25-norm+spell+syn+detect --set class_boost=1search eval --run bm25-norm+spell+syn+detect --set class_boost=2La sortie et ce qu’elle montre
bm25-norm+spell+syn+detect on 243 test queries: NDCG@10 0.620 (95% interval 0.574 to 0.662)recall@100 0.546, MRR 0.626, zero results 0.0%, judged in the top 10 76.0%; 9.8 ms a query (p50), 29.5 ms (p95)bm25-norm+spell+syn+detect on 243 test queries: NDCG@10 0.630 (95% interval 0.586 to 0.673)recall@100 0.547, MRR 0.627, zero results 0.0%, judged in the top 10 78.4%; 10.3 ms a query (p50), 29.0 ms (p95)Avec un facteur de 1, le résultat est exactement celui de bm25-norm+spell+syn : 0,620. Aucune requête de test ne demande un prix, donc le filtre de prix ne change rien ici. Cela confirme la section précédente : tout l’effet du détecteur sur le jeu de test vient de la préférence de classe.
Avec un facteur de 2, le résultat est de 0,630, comme avec 1,3. Une préférence plus forte aide davantage les requêtes avec une bonne estimation et nuit davantage à celles avec une mauvaise estimation. Sur ces requêtes, les deux effets s’annulent. Ne réglez pas ce nombre sur le jeu de test. Pour le régler, utilisez les requêtes de validation.
Regardez aussi les durées. Le détecteur prend ici environ 10 ms par requête, contre 0,3 ms pour bm25-norm+spell+syn. Le classificateur et la préférence appliquée aux 40 066 produits s’exécutent pour chaque requête. Vos durées seront différentes.
Erreur courante
Un filtre peut ramener la page vide
Symptôme : une personne tape « sofa under 5 dollars » (canapé à moins de 5 dollars). La page est vide :
bm25-norm+spell+syn+detect: "sofa under 5 dollars" -> 0 resultsNous avons écrit cette requête pour montrer le problème; elle ne fait pas partie du jeu de requêtes.
Cause : le filtre retire tous les produits à plus de 5 dollars. Le produit le moins cher du catalogue coûte 4,99 dollars, et seuls 5 produits coûtent moins de 5 dollars. Aucun n’est un canapé. Un filtre fait exactement ce qu’on lui demande, même quand la réponse est vide.
Correction : quand un filtre vide la page, n’affichez pas une page vide. Montrez les produits sans le filtre, avec une phrase comme « Aucun canapé à moins de 5 dollars. Voici les canapés les moins chers. » Pour voir ce que la personne obtiendrait sans le filtre, exécutez search query "sofa under 5 dollars" --run bm25-norm+spell+syn.
Conséquence pour le travail en recherche : jusqu’ici, le cours a réduit les pages vides du journal synthétique d’environ 31 % à 0,3 %. Un filtre peut les ramener. Comptez les pages vides après chaque nouveau filtre et décidez à l’avance ce que la page affiche à la place.
Quand détecter une propriété, et à quel coût
Section intitulée « Quand détecter une propriété, et à quel coût »Détectez une propriété quand les gens la saisissent souvent, qu’elle est facile à reconnaître et que votre catalogue possède un champ correspondant. Les prix, les tailles et les couleurs répondent souvent à ces critères. Vérifiez d’abord votre journal et votre jeu de test. Dans le jeu de requêtes de Larkfield, personne n’a demandé de prix.
Filtrez seulement ce que la personne a indiqué exactement; favorisez ce que vous devinez. Le classificateur s’entraîne en environ 2 secondes ici, mais il s’exécute pour chaque requête. Avec search eval sur cet ordinateur portable, l’exécution prend environ 10 ms par requête, contre 0,3 ms sans le détecteur. Cela respecte le budget de 200 ms d’Amira, mais c’est l’étape la plus lente parmi les règles de ce module.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi le projet utilise-t-il la limite de prix comme filtre, mais la classe de produit seulement pour favoriser des produits? Utilisez « clear shower curtain » dans votre réponse.
Afficher la réponse
La personne écrit la limite de prix, donc elle est presque toujours correcte. Un produit qui la dépasse ne répond pas à la requête. La classe est une supposition, et les suppositions peuvent être fausses. Pour « clear shower curtain », le classificateur a deviné « Shower Curtain Hooks and Accessories ». En favorisant cette classe, les crochets sont passés en tête (NDCG@10 0,649 → 0,000). Avec un filtre, tous les rideaux disparaîtraient de la page, sans possibilité de retour.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'exécution du détecteur obtient 0,630 contre 0,620, avec un intervalle apparié de −0,006 à +0,025. Tomás affirme que le filtre de prix fonctionne bien. Quel est le problème avec son affirmation?
Afficher la réponse
Deux choses. Premièrement, l’intervalle comprend 0, donc le gain n’est pas du tout clair. Deuxièmement, aucune des 624 requêtes ne demande de prix, donc le jeu de test ne peut pas mesurer le filtre de prix. Avec class_boost=1, l’exécution obtient exactement 0,620. Tout le changement vient de la préférence accordée à la classe.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : Naive Bayes devine la classe de « red rug » à partir des mots des titres de produits. Quel mot est décisif, « red » ou « rug », et pourquoi?
Afficher la réponse
« rug ». Naive Bayes multiplie la proportion de chaque mot de la requête dans chaque classe. « rug » est très fréquent dans les titres de la classe Area Rugs et très rare dans les autres classes. Il distingue donc fortement les classes. « red » apparaît dans plusieurs classes, donc il change à peine le résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Détecter, c’est trouver les parties d’une requête qui décrivent une propriété. Des règles trouvent une limite de prix et des couleurs; un classificateur Naive Bayes, entraîné sur les titres de produits, devine la classe de produit.
- Un filtre retire des produits; favoriser des produits les fait remonter. Filtrez seulement ce que la personne a indiqué exactement (une limite de prix); favorisez ce que vous devinez (une classe).
- Sur les requêtes de test de Larkfield, le détecteur atteint un NDCG@10 de 0,630 (0,584 à 0,670). Le gain est de +0,010 (−0,006 à +0,025), sans résultat clair; en français, il est de +0,049. Une mauvaise supposition nuit : « clear shower curtain » est passé de 0,649 à 0,000.
- Aucune requête du jeu de requêtes ne demande de prix, donc le filtre de prix n’est pas mesuré. Un jeu de test mesure seulement les requêtes qu’il contient.
- Sur l’ensemble du module, les règles font passer le NDCG@10 de 0,506 à 0,620 (normalisation, orthographe, synonymes). La réécriture enregistrée le fait passer à 0,728, avec les réserves qui l’accompagnent.
Vous pouvez maintenant interpréter les mots d’une requête de plusieurs façons. Mais chaque étape fait encore correspondre des mots, et les résultats en français restent faibles. Ensuite, dans le module 5, vous chercherez par le sens. Un modèle transforme les requêtes et les produits en nombres proches quand leurs sens sont proches.
Leçon suivante : Recherche par le sens