Aller au contenu
English

Découvrir le catalogue et le journal des requêtes

  • Leçon 3
  • 40 min
  • Module 1 : Le problème de la recherche

Où nous en sommes

Dans les deux dernières leçons, nous avons vu les échecs de la recherche de Larkfield et les types de recherche à servir. Jusqu'ici, nous avons seulement lu des résultats obtenus par d'autres. Dans cette leçon, nous configurons le projet et ouvrons nous-mêmes le catalogue et le journal des requêtes. Nous lançons la recherche de Larkfield et une première recherche améliorée. Un nouveau vendeur commence de la même façon, le premier jour.

Leçon 3 sur 30 · Recherche et classement : trouver la meilleure correspondanceDécouvrir le catalogue et le journal des requêtes

Ce que vous saurez faire

Configurez le projet du cours sur votre ordinateur et vérifiez qu’il fonctionne. Puis lisez vous-même les trois types de données de Larkfield : ses produits, les bonnes réponses et les recherches des gens.

Carnet JupyterFaites la partie sur les données dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit avec pandas le catalogue, les requêtes avec leurs jugements et le journal des requêtes. Il trouve les requêtes les plus fréquentes et la longue traîne. Vous calculez vous-même la part des pages vides. Ses cellules de configuration téléchargent les données, donc aucune configuration locale n’est nécessaire. Environ 15 minutes. La configuration du projet ci-dessous nécessite votre propre ordinateur.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12. Vérifiez avec python3.12 --version sur macOS et Linux, ou py -3.12 --version sur Windows.
  • Un éditeur de code, comme VS Code, et un terminal.
  • Git, pour télécharger les fichiers du cours. Sans Git, vous pouvez plutôt télécharger un fichier ZIP (étape 1).
  • Environ 300 Mo d’espace disque libre pour le projet, en plus des fichiers du cours.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux suivent la même approche, mais nous ne les avons pas testées.

Imaginez un nouveau vendeur dans le magasin de meubles. Le premier jour, personne ne lui demande encore de servir les clients. Il apprend d’abord trois choses.

Il parcourt le magasin et apprend ce qu’il vend : où sont les sofas et ce qu’est une chaise longue. Puis un collègue expérimenté lui donne une liste de vraies questions de clients avec les meilleures réponses. « Pour teal chair, ceux-ci conviennent, mais ce tapis ne convient pas. » Enfin, il lit le carnet des demandes passées du magasin : ce que les gens ont demandé cette année. Il voit quelles demandes revenaient chaque jour et lesquelles sont venues une seule fois.

Sans ces trois choses, il ne peut pas apprendre, et personne ne peut vérifier son travail. Une équipe de recherche a besoin des mêmes trois choses. Sans elles, chaque changement à la recherche repose sur une supposition.

Le cours de recherche de Larkfield utilise trois types de données, répartis dans cinq fichiers. Le schéma montre leurs liens.

Cinq boîtes reliées par des flèches portant le nom de leurs clés. queries.csv, 624 requêtes avec jugements, clé query_id, mène par query_id à judgments.csv.gz, 291 230 notes, qui mène par product_id à catalogue.csv.gz, 40 066 produits, clé product_id. log/searches.csv.gz, 20 000 recherches (synthétiques), clé search_id, mène par search_id à log/impressions.csv.gz, une ligne par produit affiché, qui mène par product_id au catalogue. Une flèche pointillée portant la mention texte de la requête va des recherches aux requêtes.
Les cinq fichiers de données et les clés qui les relient. Le catalogue est au centre : les jugements et le journal pointent vers ses produits.
Description textuelle du diagramme

Le schéma comporte cinq boîtes. Le catalogue, catalogue.csv.gz, contient 40 066 produits, chacun avec un product_id (identifiant de produit). Le fichier queries.csv contient 624 requêtes, chacune avec un query_id (identifiant de requête). Les jugements, dans judgments.csv.gz, comprennent 291 230 notes. Chaque note relie un query_id à un product_id. Le journal comprend deux fichiers. log/searches.csv.gz contient 20 000 recherches, chacune avec un search_id (identifiant de recherche). log/impressions.csv.gz contient une ligne par produit affiché dans une recherche, avec son search_id et son product_id. Une flèche pointillée indique que le texte d’une recherche peut correspondre à une requête dans queries.csv.

  1. Le catalogue représente ce que Larkfield vend : 40 066 produits dans 548 classes de produit, comme « Accent Chairs » (fauteuils d’appoint) ou « Faux Florals » (fleurs artificielles). Chaque produit a un titre, une description, une catégorie et des attributs. Parmi ces produits, 7 597 ont aussi un titre en français.
  2. Les requêtes et leurs jugements sont la liste du collègue. Un jugement est la note qu’une personne donne à un produit pour une requête : exact, partiel ou non pertinent. Les 624 requêtes sont réparties en trois jeux : entraînement (260), validation (121) et test (243). Le module 2 explique pourquoi.
  3. Le journal des requêtes est le carnet du magasin : 20 000 recherches. Pour chaque recherche, il conserve aussi les produits affichés sur la page (les impressions), avec leurs positions et leurs clics.

Voici l’origine de chaque partie :

Partie Origine Étiquette dans le cours
Titres, descriptions, classes et évaluations des produits WANDS (Wayfair), licence MIT données réelles
Requêtes anglaises et leurs jugements WANDS : les juges de Wayfair ont noté les produits données réelles
Titres français et requêtes françaises rédigés par un modèle de langage à partir de l’anglais traduction automatique
Fautes d’orthographe, codes de produit, « sofa », « couch », « canapé » notre code problème d’exercice créé volontairement
Prix, stock, indicateurs de solde, dates d’ajout notre code synthétiques
Journal des requêtes, clics et paniers notre code, avec un modèle de clics synthétiques

WANDS signifie Wayfair ANnotation DataSet. C’est un jeu de données public de recherche de produits, sous licence MIT : « Copyright (c) 2021 ecir2022 ». Nous avons donné au magasin le nom de Larkfield, conservé les produits pour la maison et le jardin, et attribué de nouveaux identifiants. La fiche du jeu de données complète, data/dataset-card.md, précise la source, la licence et les colonnes. Elle décrit aussi la création du journal et les lacunes connues.

Un problème inséré mérite d’être connu dès maintenant. Les articles en solde sont en rupture de stock beaucoup plus souvent que les autres : 39,6 % contre 8,2 %. Nous avons créé ce problème volontairement pour les exercices, et le module 7 l’utilise.

Un petit exemple : une recherche à travers les fichiers

Section intitulée « Un petit exemple : une recherche à travers les fichiers »

Suivez une vraie ligne du journal à travers les fichiers. La recherche S-00149 du journal est « sunflower » (tournesol), le 30 septembre 2025 :

search_id session_id date time query query_id results clicks added_to_cart reformulated
S-00149 V-00123 2025-09-30 12:39:23 sunflower W-025 182 2 1 False

La recherche a trouvé 182 produits, et la page a affiché les 10 premiers. Voici ses trois premières impressions :

search_id position product_id clicked added_to_cart
S-00149 1 LK-77381 1 0
S-00149 2 LK-39101 0 0
S-00149 3 LK-62538 1 1

La personne a cliqué sur les produits aux positions 1 et 3, puis ajouté celui à la position 3 au panier. Faites maintenant les jointures sur les identifiants. Dans le catalogue, LK-77381 est « sunflower sprays with 36 ‘’ sunflower stem » (branches de tournesol avec tige de 36 pouces), dans la classe « Faux Florals ». Dans les jugements, la requête W-025 et le produit LK-77381 ont la note 2 : exact. Dans cette recherche, les 10 produits affichés ont tous la note 2.

Une seule recherche relie donc les cinq fichiers. Chaque mesure du cours repose sur une jointure comme celle-ci, effectuée sur des milliers de lignes.

Le projet est larkfield-search : la recherche de produits de Larkfield sous forme de petit programme Python, avec la commande search. Copiez sa première version, l’instantané start, depuis le dépôt d’exercices du cours. Les modules suivants y ajoutent des fichiers, un module à la fois.

  1. Obtenez les fichiers du cours. Si vous avez Git, ouvrez un terminal et clonez une fois le dépôt d’exercices, dans un dossier comme ~/projects. Si vous avez déjà le clone, lancez plutôt git -C nextia-learning-labs pull.

    Fenêtre de terminal
    cd ~/projects
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans ~/projects. Son dossier se nomme alors nextia-learning-labs-main. Utilisez ce nom dans les étapes suivantes.

  2. Copiez l’instantané start dans un nouveau dossier larkfield-search. Puis copiez-y les données du cours, dans un dossier nommé data :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C38/snapshots/start larkfield-search
    cp -R nextia-learning-labs/C38/data larkfield-search/data
    cd larkfield-search
  3. Ouvrez le dossier larkfield-search dans VS Code. Vous voyez larkfield_search/ (le code), tests/, data/, README.md et requirements.txt.

  4. Créez l’environnement virtuel et installez les paquets. Le projet nécessite quatre paquets et pytest : NumPy, pandas, SciPy et bm25s.

    Fenêtre de terminal
    python3.12 -m venv .venv
    source .venv/bin/activate
    python -m pip install -r requirements.txt
    python -m pip install -e . --no-deps

    La dernière ligne installe le projet lui-même, pour que la commande search fonctionne dans ce terminal. Sur Windows, si PowerShell indique que l’exécution des scripts est désactivée, lancez une fois Set-ExecutionPolicy -Scope CurrentUser RemoteSigned. Puis activez de nouveau l’environnement.

  5. Lancez la vérification de la configuration :

    Fenêtre de terminal
    search check
    Data: 15 files, checksums right (data)
    Index: built (40,066 products, 1.8 s)
    Query "garden hose": 10 results; first: LK-74728 anand self watering vinyl window box planter
    BM25 on the validation queries: NDCG@10 0.432 (expected 0.432)
    Setup check passed.

    La vérification compare chaque fichier de données à sa somme de contrôle, un court code calculé à partir de ses octets. Un fichier modifié donne une somme de contrôle différente. Puis elle construit l’index de recherche, lance une requête et mesure la recherche sur les requêtes de validation. Votre durée peut différer; les autres nombres doivent être identiques.

  6. Lancez les tests. Ils utilisent un minuscule dossier de fausses données, donc prennent moins d’une seconde :

    Fenêtre de terminal
    python -m pytest -q
    ............ [100%]
    12 passed in 0.11s

Si une étape échoue, lisez Quand la vérification de la configuration échoue ci-dessous.

Commencez par search info, qui compte ce que contiennent les données :

Fenêtre de terminal
search info
Catalogue: 40,066 products in 548 product classes; 7,597 with a French title (machine-translated)
In stock: 87.1%; on sale: 14.9% (synthetic)
Queries with judgments: 624 (260 train, 121 validation, 243 test); English 493, French 131
Judgments: 291,230 (exact, partial or irrelevant)
Query log (synthetic): 20,000 searches, 1,903 different queries, 2025-09-01 to 2025-10-26

search log lit le journal des requêtes. Avec --top 10, la commande affiche les 10 textes de requête les plus fréquents :

Fenêtre de terminal
search log --top 10
20,000 searches (synthetic), 1,903 different queries; 876 queries were searched only once
Zero-result searches: 6,188 (30.9%); with a click: 45.7% of searches
The 10 most common queries make 20.4% of searches:
1157 bee
606 rack glass
442 dumbbells
377 sunflower
313 industrial
293 canadian
258 rack
226 pasta tools
216 hibou
189 meditation

Ce sont les requêtes de tête. La plupart comptent un ou deux mots, et beaucoup sont larges : « bee » (abeille), « sunflower », « industrial » (industriel). « hibou » est en français. Certaines semblent étranges, comme « rack glass » (support verre) ou « canadian » (canadien). Ce sont de vraies requêtes WANDS, et de vraies personnes tapent des choses étranges.

Triez les 1 903 textes de requête, du plus fréquent au moins fréquent. Puis additionnez leurs recherches, un texte à la fois. La courbe montre à quelle vitesse la part de toutes les recherches augmente :

La part de toutes les recherches provenant des textes de requête les plus fréquents, dans le journal synthétique. L'axe horizontal utilise une échelle logarithmique : chaque graduation représente 10 fois plus de textes.
Description textuelle du graphique

L’axe horizontal représente le nombre de textes de requête différents, triés du plus fréquent au moins fréquent. Il utilise une échelle logarithmique de 1 à 1 903 : chaque graduation étiquetée représente dix fois plus de textes. L’axe vertical représente la part des 20 000 recherches, de 0 % à 100 %. Le texte le plus fréquent à lui seul, « bee », représente 5,8 % des recherches. Les 10 premiers textes représentent 20,4 %, les 40 premiers, 37,1 %, et les 100 premiers, 51,1 %. La courbe monte ensuite lentement : les 500 premiers représentent 84,5 %, et les 1 000 premiers, 95,4 %. Les 903 derniers textes ajoutent les 4,6 % restants.

La moitié des recherches proviennent de seulement 100 textes. L’autre moitié se répartit sur 1 803 textes. C’est la longue traîne : chaque texte est rare, mais ensemble, ils représentent une grande partie du travail. L’axe utilise une échelle logarithmique, où chaque graduation est dix fois plus grande. Ainsi, la tête et la traîne tiennent sur un même graphique.

Ajoutez --zero pour afficher les recherches les plus fréquentes qui n’ont rien trouvé :

Fenêtre de terminal
search log --zero --top 5
20,000 searches (synthetic), 1,903 different queries; 876 queries were searched only once
Zero-result searches: 6,188 (30.9%); with a click: 45.7% of searches
Most common zero-result queries:
216 hibou
139 ligth bulb
119 ampoule
79 canapé
78 industriel

C’est le chiffre marquant du module : 30,9 % des recherches ne trouvent rien. Quatre des cinq sont des mots français : « hibou », « ampoule », « canapé » et « industriel ». « ligth bulb » (ampoule, avec une faute dans « light ») est une vraie requête WANDS contenant une faute d’orthographe.

Le projet propose deux façons de chercher, appelées exécutions (runs). Une exécution est une méthode de recherche complète portant un nom. search eval --list les affiche :

bm25 BM25 (k1 1.2, b 0.75) on the title and the description as one field; any word may match
current Larkfield's search today: SQLite FTS5, every word must match, title and description
  • current est la recherche actuelle de Larkfield. Elle utilise la recherche en texte intégral de SQLite, FTS5, qui fait partie de Python. Elle conserve la règle « chaque mot doit correspondre ».
  • bm25 est la première recherche améliorée. BM25 est une formule classique de classement par mots. N’importe quel mot de la requête peut correspondre, et un mot rare compte davantage qu’un mot fréquent. Le module 3 en explique chaque partie.

Les deux exécutions nécessitent un index : une table construite une fois, qui liste, pour chaque mot, les produits le contenant. Il accélère la recherche, car le programme ne lit pas 40 066 descriptions pour chaque requête. search check a déjà construit l’index. Pour le reconstruire, lancez search index :

Indexed 40,066 products in 1.8 s: SQLite FTS5 (title, description) and BM25 (title and description). Index size 54.0 MB.

Le schéma montre ce que chaque commande lit et écrit :

data/, 15 fichiers vérifiés par leurs sommes de contrôle, mène à search index, qui écrit outputs/index/ avec SQLite FTS5 et BM25. outputs/index/ mène à search query, les 10 premiers résultats d'une requête, et à search eval, NDCG@10 sur les requêtes de test. data/ mène aussi à search eval, avec les jugements. search reset pointe avec une flèche pointillée vers outputs/index/ : la commande supprime outputs/ et vérifie data/.
Ce que les commandes lisent et écrivent. Les données ne changent jamais; tout ce que le projet crée va dans outputs/, que search reset supprime.
Description textuelle du diagramme

À gauche se trouve le dossier data/, avec 15 fichiers que le projet vérifie par leurs sommes de contrôle. Une flèche mène à search index, qui construit les index et les écrit dans outputs/index/. Il y en a un pour SQLite FTS5 et un pour BM25. Depuis outputs/index/, une flèche mène à search query, qui affiche les 10 premiers résultats d’une requête. Une autre flèche mène à search eval, qui mesure une exécution sur les requêtes de test. search eval lit aussi les jugements dans data/. Une flèche pointillée va de search reset à outputs/index/ : la réinitialisation supprime outputs/ et vérifie data/.

Essayez une requête qui fonctionne, puis la même requête avec une faute d’orthographe :

Fenêtre de terminal
search query "outdoor cushion" --run current -k 5
search query "grey outdor cushion" --run current
search query "grey outdor cushion" --run bm25 -k 5
current: "outdoor cushion" -> 5 results
1. LK-72281 indoor/outdoor seat/back cushion Furniture Cushions 37.99
2. LK-83044 make it rain cerulean indoor/outdoor loveseat cushion Furniture Cushions 9.99
3. LK-22523 rossmere indoor/outdoor bench cushion Furniture Cushions 13.99 [out of stock]
4. LK-84297 make it rain cerulean indoor/outdoor chaise lounge cushion Furniture Cushions 21.99
5. LK-37853 replacement pillows outdoor lounge chair cushion Furniture Cushions 44.99
current: "grey outdor cushion" -> 0 results
bm25: "grey outdor cushion" -> 5 results
1. LK-97544 grey owl painting print on wrapped canvas Wall Art 278.99
2. LK-65711 mesmerize grey throw pillow Accent Pillows 148.99
3. LK-94838 velvet task chair grey 119.99
4. LK-53055 mittler grey/white abstract rug Area Rugs 167.99
5. LK-61655 botti 33 '' wide armchair Reception Seating Chairs 964.99

Chaque ligne affiche la position, l’identifiant du produit, le titre, la classe de produit et le prix. -k 5 affiche 5 résultats au lieu de 10. Ces requêtes n’ont pas de jugements, donc les résultats n’affichent aucune note.

Lisez les deux échecs côte à côte. current ne trouve rien, car « outdor » (« outdoor », extérieur, mal orthographié) ne correspond à aucun produit. bm25 trouve des produits, car n’importe quel mot peut correspondre. Mais « outdor » ne correspond toujours à rien, donc BM25 classe seulement selon « grey » (gris) et « cushion » (coussin). Une peinture de hibou gris arrive en premier. BM25 élimine donc beaucoup de pages vides, mais ne comprend pas la requête. Le module 4 corrige l’orthographe.

Une requête raconte une histoire. search eval mesure une exécution sur les 243 requêtes de test, avec leurs jugements :

Fenêtre de terminal
search eval --run current
search eval --run bm25
current on 243 test queries: NDCG@10 0.195 (95% interval 0.155 to 0.237)
recall@100 0.146, MRR 0.312, zero results 66.7%, judged in the top 10 83.7%; 0.1 ms a query (p50), 0.6 ms (p95)
bm25 on 243 test queries: NDCG@10 0.429 (95% interval 0.381 to 0.476)
recall@100 0.388, MRR 0.438, zero results 12.8%, judged in the top 10 64.6%; 0.1 ms a query (p50), 0.3 ms (p95)

Le NDCG@10 est un score de 0 à 1 qui évalue l’ordre des 10 premiers résultats. Un score de 1 signifie le meilleur ordre possible; plus le score est élevé, mieux c’est. Le module 2 le calcule à la main. Pour l’instant, retenez trois choses :

  • BM25 obtient 0,429, et la recherche de Larkfield, 0,195 : un score plus de deux fois supérieur.
  • L’intervalle à 95 % montre à quel point le score pourrait varier avec d’autres requêtes de test. Les deux intervalles ne se chevauchent pas, donc la différence n’est pas due au hasard.
  • Sur les requêtes de test, current ne trouve rien pour 66,7 % d’entre elles, et bm25, pour 12,8 %. Le jeu de test contient beaucoup de requêtes en français, de requêtes mal orthographiées et de codes. La recherche y échoue donc plus souvent que dans le journal (30,9 %).
  • Laissez les autres nombres de côté pour l’instant : le rappel à 100 (recall@100), le MRR et les résultats jugés parmi les 10 premiers. Mesures de classement explique chacun.

Ce sont les deux premières lignes du tableau comparatif du cours. Chaque module suivant y ajoute des lignes, mesurées sur les mêmes 243 requêtes de test, de la même façon. Les millisecondes affichées par search eval sont mesurées dans sa boucle; le module 8 mesure la durée réelle de chaque recherche.

Relancez search log --zero --top 5. Recherchez chacun des cinq textes avec --run bm25. Quelles pages vides BM25 corrige-t-il, et lesquelles ne corrige-t-il pas? Notez pourquoi avant de poursuivre votre lecture.

Voici ce que nous avons obtenu : BM25 trouve des ampoules pour « ligth bulb », car « bulb » correspond. Il ne trouve toujours rien pour « hibou », « ampoule » et « canapé ». Aucun texte de produit anglais ne contient ces mots français.

Deux commandes gardent le projet dans un état connu :

  • search check vérifie les données, construit l’index s’il manque et évalue BM25 sur les requêtes de validation.
  • search reset supprime outputs/ (l’index et, plus tard, les modèles entraînés) et vérifie les fichiers de données. Utilisez cette commande pour repartir d’un état propre.
Fenêtre de terminal
search reset
Reset: removed 8 files from outputs/; data: 15 files, all files are right.

Le projet ne modifie jamais les fichiers dans data/. Si vous modifiez un fichier de données par erreur, recopiez les données du cours depuis le dépôt des laboratoires.

search check se termine par Setup check failed: see the lesson's troubleshooting list (échec de la vérification : consultez la liste de dépannage de la leçon) quand ses nombres sont incorrects. Lisez sa dernière ligne et trouvez-la ici :

Message Cause Solution
No course data found. Put the course data folder next to the project as data/, or set LARKFIELD_DATA to its path. (Aucune donnée du cours trouvée. Placez le dossier des données à côté du projet sous data/, ou indiquez son chemin dans LARKFIELD_DATA.) data/ manque, ou vous êtes dans le mauvais dossier Utilisez cd pour aller dans larkfield-search, puis recopiez les données (étape 2)
These data files are missing or changed: queries.csv. Download the course data again. (Ces fichiers de données sont manquants ou modifiés : queries.csv. Téléchargez de nouveau les données du cours.) Un fichier de données a été modifié ou supprimé Recopiez ce fichier depuis nextia-learning-labs/C38/data/, puis exécutez search reset
command not found: search (commande introuvable : search) L’environnement virtuel n’est pas actif dans ce terminal Activez-le de nouveau (étape 4)
ModuleNotFoundError: No module named 'bm25s' (aucun module nommé « bm25s ») Les paquets ne sont pas installés dans cet environnement Exécutez de nouveau python -m pip install -r requirements.txt
NDCG@10 0.xxx (expected 0.432) (NDCG@10 0,xxx, valeur attendue : 0,432) avec un autre nombre L’index ou le code a été modifié Exécutez search reset, puis search check

Erreur courante

Modifier un fichier de données pour le consulter

Symptôme : vous ouvrez data/queries.csv dans un tableur pour le consulter, puis vous l’enregistrez par erreur. Plus tard, search check s’arrête :

These data files are missing or changed: queries.csv. Download the course data again.

Cause : l’enregistrement réécrit le fichier, même sans changement visible. Le tableur peut modifier les fins de ligne, les guillemets ou le format d’un nombre. La somme de contrôle ne correspond plus. Le projet refuse donc de mesurer avec des données qui pourraient être différentes. Un score obtenu sur des données modifiées ne peut pas être comparé aux scores des autres.

Solution : recopiez le fichier original de nextia-learning-labs/C38/data/ dans data/. Exécutez ensuite search reset. La commande doit se terminer par « all files are right » (tous les fichiers sont corrects). Pour consulter les données, utilisez search info, search log ou le carnet (notebook) Jupyter. Ces outils lisent les fichiers sans jamais les modifier.

Conséquence dans le travail en IA : une mesure est comparable seulement si tout le monde utilise les mêmes données. Les sommes de contrôle remplacent « je pense que c’est le même fichier » par une vérification qui signale clairement tout échec.

Vérifiez votre compréhension

Suivez la recherche S-00149 dans les fichiers. Quel fichier indique que la personne a ajouté un produit au panier? Lequel décrit le produit? Lequel indique que c'était un bon résultat?

Afficher la réponse
  • log/searches.csv.gz indique que la recherche S-00149 était « sunflower », avec 2 clics et 1 produit ajouté au panier.
  • log/impressions.csv.gz indique le produit : position 3, LK-62538, avec clicked (cliqué) à 1 et added_to_cart (ajouté au panier) à 1.
  • catalogue.csv.gz décrit LK-62538 : une assiette à salade avec des tournesols.
  • judgments.csv.gz indique que c’était un bon résultat : la requête W-025 et le produit LK-62538 ont la note 2, exact. Les identifiants search_id, product_id et query_id relient les fichiers.

Vérifiez votre compréhension

BM25 obtient 0,429 sur les requêtes de test, et la recherche de Larkfield obtient 0,195. Tomás dit : « BM25 place aussi une peinture de hibou gris en premier pour “grey outdor cushion”. Donc le score est faux. » Que répondez-vous?

Afficher la réponse

Les deux affirmations sont vraies. Une requête est un seul exemple, et BM25 échoue bien sur celle-ci. « outdor » ne correspond à rien, alors BM25 classe les résultats selon « grey » et « cushion » seulement. Le score est une moyenne sur 241 des 243 requêtes de test (deux n’ont aucun bon produit). Selon cette moyenne, BM25 est plus de deux fois meilleur. Son intervalle à 95 % (0,381 à 0,476) ne chevauche pas celui de la recherche de Larkfield (0,155 à 0,237). Cet échec nous indique quoi corriger ensuite : l’orthographe, au module 4. Il faut ensuite mesurer tout changement sur l’ensemble des requêtes de test.

Vérifiez votre compréhension

Quelles parties des données sont synthétiques? Qu'est-ce que cela signifie pour les nombres de clics dans ce module?

Afficher la réponse

Le journal des requêtes (recherches, impressions, clics et paniers), les prix, le stock, les indicateurs de solde et les dates d’ajout sont synthétiques. Notre code les a créés. Les titres et les requêtes en français sont traduits automatiquement. Les fautes d’orthographe, les codes et les requêtes « sofa », « couch », « canapé » sont insérés. Les nombres de clics montrent donc le comportement du modèle de clics du cours. Par exemple, la position 1 reçoit le plus de clics. Ce ne sont pas des mesures provenant de vrais clients de Larkfield. Les produits, les requêtes en anglais et les jugements sont de vraies données de WANDS.

Récapitulatif

  • Le projet larkfield-search est configuré : l’instantané start, les données dans data/ et un environnement virtuel. search check se termine par « Setup check passed. » (vérification de la configuration réussie).
  • Les données ont trois parties. Le catalogue contient 40 066 produits. Les requêtes avec jugements contiennent 624 requêtes et 291 230 notes. Le journal des requêtes contient 20 000 recherches synthétiques. Les identifiants product_id, query_id et search_id les relient.
  • Dans le journal, les 100 textes de requête les plus fréquents représentent la moitié des recherches. Les utilisateurs ont recherché 876 textes une seule fois. 30,9 % des recherches ne trouvent rien. Les recherches sans résultat les plus fréquentes sont des mots français et des fautes d’orthographe.
  • current (chaque mot doit correspondre) obtient un NDCG@10 de 0,195 sur les requêtes de test. bm25 (n’importe quel mot peut correspondre) obtient 0,429. Ce sont les premières lignes du tableau comparatif.
  • search reset supprime outputs/ et vérifie les données. Le projet ne modifie jamais data/.

Vous pouvez maintenant exécuter la recherche de Larkfield et BM25, puis lire leurs scores. Mais la qualité d’un score dépend des jugements qui le fondent. Vous n’avez pas encore vu comment on produit un jugement. Ensuite, vous jugerez vous-même des produits pour une requête et verrez où les gens ne sont pas d’accord.

Leçon suivante : Jugements de pertinence