Découvrir le catalogue et le journal des requêtes
- Leçon 3
- 40 min
- Module 1 : Le problème de la recherche
Où nous en sommes
Dans les deux dernières leçons, nous avons vu les échecs de la recherche de Larkfield et les types de recherche à servir. Jusqu'ici, nous avons seulement lu des résultats obtenus par d'autres. Dans cette leçon, nous configurons le projet et ouvrons nous-mêmes le catalogue et le journal des requêtes. Nous lançons la recherche de Larkfield et une première recherche améliorée. Un nouveau vendeur commence de la même façon, le premier jour.
Leçon 3 sur 30 · Recherche et classement : trouver la meilleure correspondanceDécouvrir le catalogue et le journal des requêtes
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Configurez le projet du cours sur votre ordinateur et vérifiez qu’il fonctionne. Puis lisez vous-même les trois types de données de Larkfield : ses produits, les bonnes réponses et les recherches des gens.
Carnet JupyterFaites la partie sur les données dans un carnet Jupyter
Le carnet (notebook) Jupyter lit avec pandas le catalogue, les requêtes avec leurs jugements et le journal des requêtes. Il trouve les requêtes les plus fréquentes et la longue traîne. Vous calculez vous-même la part des pages vides. Ses cellules de configuration téléchargent les données, donc aucune configuration locale n’est nécessaire. Environ 15 minutes. La configuration du projet ci-dessous nécessite votre propre ordinateur.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La recherche actuelle de Larkfield (« chaque mot doit correspondre »), la tête et la traîne du journal des requêtes, présentées dans Une boutique où la recherche échoue.
- Les types de recherche (article connu, précise, large), présentés dans Les types de recherche.
- Comment ouvrir un terminal et lancer une commande. Un environnement virtuel est un dossier contenant ses propres paquets Python pour un projet. Si c’est nouveau pour vous, lisez d’abord Python pour l’ingénierie de l’IA en pratique.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12. Vérifiez avec
python3.12 --versionsur macOS et Linux, oupy -3.12 --versionsur Windows. - Un éditeur de code, comme VS Code, et un terminal.
- Git, pour télécharger les fichiers du cours. Sans Git, vous pouvez plutôt télécharger un fichier ZIP (étape 1).
- Environ 300 Mo d’espace disque libre pour le projet, en plus des fichiers du cours.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux suivent la même approche, mais nous ne les avons pas testées.
Le premier jour d’un nouveau vendeur
Section intitulée « Le premier jour d’un nouveau vendeur »Imaginez un nouveau vendeur dans le magasin de meubles. Le premier jour, personne ne lui demande encore de servir les clients. Il apprend d’abord trois choses.
Il parcourt le magasin et apprend ce qu’il vend : où sont les sofas et ce qu’est une chaise longue. Puis un collègue expérimenté lui donne une liste de vraies questions de clients avec les meilleures réponses. « Pour teal chair, ceux-ci conviennent, mais ce tapis ne convient pas. » Enfin, il lit le carnet des demandes passées du magasin : ce que les gens ont demandé cette année. Il voit quelles demandes revenaient chaque jour et lesquelles sont venues une seule fois.
Sans ces trois choses, il ne peut pas apprendre, et personne ne peut vérifier son travail. Une équipe de recherche a besoin des mêmes trois choses. Sans elles, chaque changement à la recherche repose sur une supposition.
Trois types de données
Section intitulée « Trois types de données »Le cours de recherche de Larkfield utilise trois types de données, répartis dans cinq fichiers. Le schéma montre leurs liens.
Description textuelle du diagramme
Le schéma comporte cinq boîtes. Le catalogue, catalogue.csv.gz, contient 40 066 produits, chacun avec un product_id (identifiant de produit). Le fichier queries.csv contient 624 requêtes, chacune avec un query_id (identifiant de requête). Les jugements, dans judgments.csv.gz, comprennent 291 230 notes. Chaque note relie un query_id à un product_id. Le journal comprend deux fichiers. log/searches.csv.gz contient 20 000 recherches, chacune avec un search_id (identifiant de recherche). log/impressions.csv.gz contient une ligne par produit affiché dans une recherche, avec son search_id et son product_id. Une flèche pointillée indique que le texte d’une recherche peut correspondre à une requête dans queries.csv.
- Le catalogue représente ce que Larkfield vend : 40 066 produits dans 548 classes de produit, comme « Accent Chairs » (fauteuils d’appoint) ou « Faux Florals » (fleurs artificielles). Chaque produit a un titre, une description, une catégorie et des attributs. Parmi ces produits, 7 597 ont aussi un titre en français.
- Les requêtes et leurs jugements sont la liste du collègue. Un jugement est la note qu’une personne donne à un produit pour une requête : exact, partiel ou non pertinent. Les 624 requêtes sont réparties en trois jeux : entraînement (260), validation (121) et test (243). Le module 2 explique pourquoi.
- Le journal des requêtes est le carnet du magasin : 20 000 recherches. Pour chaque recherche, il conserve aussi les produits affichés sur la page (les impressions), avec leurs positions et leurs clics.
Ce qui est réel et ce que nous avons créé
Section intitulée « Ce qui est réel et ce que nous avons créé »Voici l’origine de chaque partie :
| Partie | Origine | Étiquette dans le cours |
|---|---|---|
| Titres, descriptions, classes et évaluations des produits | WANDS (Wayfair), licence MIT | données réelles |
| Requêtes anglaises et leurs jugements | WANDS : les juges de Wayfair ont noté les produits | données réelles |
| Titres français et requêtes françaises | rédigés par un modèle de langage à partir de l’anglais | traduction automatique |
| Fautes d’orthographe, codes de produit, « sofa », « couch », « canapé » | notre code | problème d’exercice créé volontairement |
| Prix, stock, indicateurs de solde, dates d’ajout | notre code | synthétiques |
| Journal des requêtes, clics et paniers | notre code, avec un modèle de clics | synthétiques |
WANDS signifie Wayfair ANnotation DataSet. C’est un jeu de données public de recherche de produits, sous licence MIT : « Copyright (c) 2021 ecir2022 ». Nous avons donné au magasin le nom de Larkfield, conservé les produits pour la maison et le jardin, et attribué de nouveaux identifiants. La fiche du jeu de données complète, data/dataset-card.md, précise la source, la licence et les colonnes. Elle décrit aussi la création du journal et les lacunes connues.
Un problème inséré mérite d’être connu dès maintenant. Les articles en solde sont en rupture de stock beaucoup plus souvent que les autres : 39,6 % contre 8,2 %. Nous avons créé ce problème volontairement pour les exercices, et le module 7 l’utilise.
Un petit exemple : une recherche à travers les fichiers
Section intitulée « Un petit exemple : une recherche à travers les fichiers »Suivez une vraie ligne du journal à travers les fichiers. La recherche S-00149 du journal est « sunflower » (tournesol), le 30 septembre 2025 :
search_id session_id date time query query_id results clicks added_to_cart reformulatedS-00149 V-00123 2025-09-30 12:39:23 sunflower W-025 182 2 1 FalseLa recherche a trouvé 182 produits, et la page a affiché les 10 premiers. Voici ses trois premières impressions :
search_id position product_id clicked added_to_cartS-00149 1 LK-77381 1 0S-00149 2 LK-39101 0 0S-00149 3 LK-62538 1 1La personne a cliqué sur les produits aux positions 1 et 3, puis ajouté celui à la position 3 au panier. Faites maintenant les jointures sur les identifiants. Dans le catalogue, LK-77381 est « sunflower sprays with 36 ‘’ sunflower stem » (branches de tournesol avec tige de 36 pouces), dans la classe « Faux Florals ». Dans les jugements, la requête W-025 et le produit LK-77381 ont la note 2 : exact. Dans cette recherche, les 10 produits affichés ont tous la note 2.
Une seule recherche relie donc les cinq fichiers. Chaque mesure du cours repose sur une jointure comme celle-ci, effectuée sur des milliers de lignes.
Configurer le projet
Section intitulée « Configurer le projet »Le projet est larkfield-search : la recherche de produits de Larkfield sous forme de petit programme Python, avec la commande search. Copiez sa première version, l’instantané start, depuis le dépôt d’exercices du cours. Les modules suivants y ajoutent des fichiers, un module à la fois.
-
Obtenez les fichiers du cours. Si vous avez Git, ouvrez un terminal et clonez une fois le dépôt d’exercices, dans un dossier comme
~/projects. Si vous avez déjà le clone, lancez plutôtgit -C nextia-learning-labs pull.Fenêtre de terminal cd ~/projectsgit clone https://github.com/Nextia-Intelligence/nextia-learning-labs.gitSans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans
~/projects. Son dossier se nomme alorsnextia-learning-labs-main. Utilisez ce nom dans les étapes suivantes. -
Copiez l’instantané
startdans un nouveau dossierlarkfield-search. Puis copiez-y les données du cours, dans un dossier nommédata:Fenêtre de terminal cp -R nextia-learning-labs/C38/snapshots/start larkfield-searchcp -R nextia-learning-labs/C38/data larkfield-search/datacd larkfield-searchFenêtre de terminal Copy-Item -Recurse nextia-learning-labs\C38\snapshots\start larkfield-searchCopy-Item -Recurse nextia-learning-labs\C38\data larkfield-search\datacd larkfield-search -
Ouvrez le dossier
larkfield-searchdans VS Code. Vous voyezlarkfield_search/(le code),tests/,data/,README.mdetrequirements.txt. -
Créez l’environnement virtuel et installez les paquets. Le projet nécessite quatre paquets et pytest : NumPy, pandas, SciPy et bm25s.
Fenêtre de terminal python3.12 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements.txtpython -m pip install -e . --no-depsFenêtre de terminal py -3.12 -m venv .venv.venv\Scripts\Activate.ps1python -m pip install -r requirements.txtpython -m pip install -e . --no-depsLa dernière ligne installe le projet lui-même, pour que la commande
searchfonctionne dans ce terminal. Sur Windows, si PowerShell indique que l’exécution des scripts est désactivée, lancez une foisSet-ExecutionPolicy -Scope CurrentUser RemoteSigned. Puis activez de nouveau l’environnement. -
Lancez la vérification de la configuration :
Fenêtre de terminal search checkData: 15 files, checksums right (data)Index: built (40,066 products, 1.8 s)Query "garden hose": 10 results; first: LK-74728 anand self watering vinyl window box planterBM25 on the validation queries: NDCG@10 0.432 (expected 0.432)Setup check passed.La vérification compare chaque fichier de données à sa somme de contrôle, un court code calculé à partir de ses octets. Un fichier modifié donne une somme de contrôle différente. Puis elle construit l’index de recherche, lance une requête et mesure la recherche sur les requêtes de validation. Votre durée peut différer; les autres nombres doivent être identiques.
-
Lancez les tests. Ils utilisent un minuscule dossier de fausses données, donc prennent moins d’une seconde :
Fenêtre de terminal python -m pytest -q............ [100%]12 passed in 0.11s
Si une étape échoue, lisez Quand la vérification de la configuration échoue ci-dessous.
Lire les données avec la commande search
Section intitulée « Lire les données avec la commande search »Commencez par search info, qui compte ce que contiennent les données :
search infoCatalogue: 40,066 products in 548 product classes; 7,597 with a French title (machine-translated)In stock: 87.1%; on sale: 14.9% (synthetic)Queries with judgments: 624 (260 train, 121 validation, 243 test); English 493, French 131Judgments: 291,230 (exact, partial or irrelevant)Query log (synthetic): 20,000 searches, 1,903 different queries, 2025-09-01 to 2025-10-26Les requêtes les plus fréquentes
Section intitulée « Les requêtes les plus fréquentes »search log lit le journal des requêtes. Avec --top 10, la commande affiche les 10 textes de requête les plus fréquents :
search log --top 1020,000 searches (synthetic), 1,903 different queries; 876 queries were searched only onceZero-result searches: 6,188 (30.9%); with a click: 45.7% of searches
The 10 most common queries make 20.4% of searches: 1157 bee 606 rack glass 442 dumbbells 377 sunflower 313 industrial 293 canadian 258 rack 226 pasta tools 216 hibou 189 meditationCe sont les requêtes de tête. La plupart comptent un ou deux mots, et beaucoup sont larges : « bee » (abeille), « sunflower », « industrial » (industriel). « hibou » est en français. Certaines semblent étranges, comme « rack glass » (support verre) ou « canadian » (canadien). Ce sont de vraies requêtes WANDS, et de vraies personnes tapent des choses étranges.
La longue traîne sous forme de courbe
Section intitulée « La longue traîne sous forme de courbe »Triez les 1 903 textes de requête, du plus fréquent au moins fréquent. Puis additionnez leurs recherches, un texte à la fois. La courbe montre à quelle vitesse la part de toutes les recherches augmente :
Description textuelle du graphique
L’axe horizontal représente le nombre de textes de requête différents, triés du plus fréquent au moins fréquent. Il utilise une échelle logarithmique de 1 à 1 903 : chaque graduation étiquetée représente dix fois plus de textes. L’axe vertical représente la part des 20 000 recherches, de 0 % à 100 %. Le texte le plus fréquent à lui seul, « bee », représente 5,8 % des recherches. Les 10 premiers textes représentent 20,4 %, les 40 premiers, 37,1 %, et les 100 premiers, 51,1 %. La courbe monte ensuite lentement : les 500 premiers représentent 84,5 %, et les 1 000 premiers, 95,4 %. Les 903 derniers textes ajoutent les 4,6 % restants.
La moitié des recherches proviennent de seulement 100 textes. L’autre moitié se répartit sur 1 803 textes. C’est la longue traîne : chaque texte est rare, mais ensemble, ils représentent une grande partie du travail. L’axe utilise une échelle logarithmique, où chaque graduation est dix fois plus grande. Ainsi, la tête et la traîne tiennent sur un même graphique.
Les pages vides
Section intitulée « Les pages vides »Ajoutez --zero pour afficher les recherches les plus fréquentes qui n’ont rien trouvé :
search log --zero --top 520,000 searches (synthetic), 1,903 different queries; 876 queries were searched only onceZero-result searches: 6,188 (30.9%); with a click: 45.7% of searches
Most common zero-result queries: 216 hibou 139 ligth bulb 119 ampoule 79 canapé 78 industrielC’est le chiffre marquant du module : 30,9 % des recherches ne trouvent rien. Quatre des cinq sont des mots français : « hibou », « ampoule », « canapé » et « industriel ». « ligth bulb » (ampoule, avec une faute dans « light ») est une vraie requête WANDS contenant une faute d’orthographe.
Lancer la recherche de Larkfield et BM25
Section intitulée « Lancer la recherche de Larkfield et BM25 »Le projet propose deux façons de chercher, appelées exécutions (runs). Une exécution est une méthode de recherche complète portant un nom. search eval --list les affiche :
bm25 BM25 (k1 1.2, b 0.75) on the title and the description as one field; any word may matchcurrent Larkfield's search today: SQLite FTS5, every word must match, title and descriptioncurrentest la recherche actuelle de Larkfield. Elle utilise la recherche en texte intégral de SQLite, FTS5, qui fait partie de Python. Elle conserve la règle « chaque mot doit correspondre ».bm25est la première recherche améliorée. BM25 est une formule classique de classement par mots. N’importe quel mot de la requête peut correspondre, et un mot rare compte davantage qu’un mot fréquent. Le module 3 en explique chaque partie.
Les deux exécutions nécessitent un index : une table construite une fois, qui liste, pour chaque mot, les produits le contenant. Il accélère la recherche, car le programme ne lit pas 40 066 descriptions pour chaque requête. search check a déjà construit l’index. Pour le reconstruire, lancez search index :
Indexed 40,066 products in 1.8 s: SQLite FTS5 (title, description) and BM25 (title and description). Index size 54.0 MB.Le schéma montre ce que chaque commande lit et écrit :
Description textuelle du diagramme
À gauche se trouve le dossier data/, avec 15 fichiers que le projet vérifie par leurs sommes de contrôle. Une flèche mène à search index, qui construit les index et les écrit dans outputs/index/. Il y en a un pour SQLite FTS5 et un pour BM25. Depuis outputs/index/, une flèche mène à search query, qui affiche les 10 premiers résultats d’une requête. Une autre flèche mène à search eval, qui mesure une exécution sur les requêtes de test. search eval lit aussi les jugements dans data/. Une flèche pointillée va de search reset à outputs/index/ : la réinitialisation supprime outputs/ et vérifie data/.
Une requête, deux exécutions
Section intitulée « Une requête, deux exécutions »Essayez une requête qui fonctionne, puis la même requête avec une faute d’orthographe :
search query "outdoor cushion" --run current -k 5search query "grey outdor cushion" --run currentsearch query "grey outdor cushion" --run bm25 -k 5current: "outdoor cushion" -> 5 results 1. LK-72281 indoor/outdoor seat/back cushion Furniture Cushions 37.99 2. LK-83044 make it rain cerulean indoor/outdoor loveseat cushion Furniture Cushions 9.99 3. LK-22523 rossmere indoor/outdoor bench cushion Furniture Cushions 13.99 [out of stock] 4. LK-84297 make it rain cerulean indoor/outdoor chaise lounge cushion Furniture Cushions 21.99 5. LK-37853 replacement pillows outdoor lounge chair cushion Furniture Cushions 44.99current: "grey outdor cushion" -> 0 resultsbm25: "grey outdor cushion" -> 5 results 1. LK-97544 grey owl painting print on wrapped canvas Wall Art 278.99 2. LK-65711 mesmerize grey throw pillow Accent Pillows 148.99 3. LK-94838 velvet task chair grey 119.99 4. LK-53055 mittler grey/white abstract rug Area Rugs 167.99 5. LK-61655 botti 33 '' wide armchair Reception Seating Chairs 964.99Chaque ligne affiche la position, l’identifiant du produit, le titre, la classe de produit et le prix. -k 5 affiche 5 résultats au lieu de 10. Ces requêtes n’ont pas de jugements, donc les résultats n’affichent aucune note.
Lisez les deux échecs côte à côte. current ne trouve rien, car « outdor » (« outdoor », extérieur, mal orthographié) ne correspond à aucun produit. bm25 trouve des produits, car n’importe quel mot peut correspondre. Mais « outdor » ne correspond toujours à rien, donc BM25 classe seulement selon « grey » (gris) et « cushion » (coussin). Une peinture de hibou gris arrive en premier. BM25 élimine donc beaucoup de pages vides, mais ne comprend pas la requête. Le module 4 corrige l’orthographe.
Mesurer les deux exécutions
Section intitulée « Mesurer les deux exécutions »Une requête raconte une histoire. search eval mesure une exécution sur les 243 requêtes de test, avec leurs jugements :
search eval --run currentsearch eval --run bm25current on 243 test queries: NDCG@10 0.195 (95% interval 0.155 to 0.237)recall@100 0.146, MRR 0.312, zero results 66.7%, judged in the top 10 83.7%; 0.1 ms a query (p50), 0.6 ms (p95)bm25 on 243 test queries: NDCG@10 0.429 (95% interval 0.381 to 0.476)recall@100 0.388, MRR 0.438, zero results 12.8%, judged in the top 10 64.6%; 0.1 ms a query (p50), 0.3 ms (p95)Le NDCG@10 est un score de 0 à 1 qui évalue l’ordre des 10 premiers résultats. Un score de 1 signifie le meilleur ordre possible; plus le score est élevé, mieux c’est. Le module 2 le calcule à la main. Pour l’instant, retenez trois choses :
- BM25 obtient 0,429, et la recherche de Larkfield, 0,195 : un score plus de deux fois supérieur.
- L’intervalle à 95 % montre à quel point le score pourrait varier avec d’autres requêtes de test. Les deux intervalles ne se chevauchent pas, donc la différence n’est pas due au hasard.
- Sur les requêtes de test,
currentne trouve rien pour 66,7 % d’entre elles, etbm25, pour 12,8 %. Le jeu de test contient beaucoup de requêtes en français, de requêtes mal orthographiées et de codes. La recherche y échoue donc plus souvent que dans le journal (30,9 %). - Laissez les autres nombres de côté pour l’instant : le rappel à 100 (recall@100), le MRR et les résultats jugés parmi les 10 premiers. Mesures de classement explique chacun.
Ce sont les deux premières lignes du tableau comparatif du cours. Chaque module suivant y ajoute des lignes, mesurées sur les mêmes 243 requêtes de test, de la même façon. Les millisecondes affichées par search eval sont mesurées dans sa boucle; le module 8 mesure la durée réelle de chaque recherche.
Essayez vous-même
Section intitulée « Essayez vous-même »Relancez search log --zero --top 5. Recherchez chacun des cinq textes avec --run bm25. Quelles pages vides BM25 corrige-t-il, et lesquelles ne corrige-t-il pas? Notez pourquoi avant de poursuivre votre lecture.
Voici ce que nous avons obtenu : BM25 trouve des ampoules pour « ligth bulb », car « bulb » correspond. Il ne trouve toujours rien pour « hibou », « ampoule » et « canapé ». Aucun texte de produit anglais ne contient ces mots français.
Vérifier et réinitialiser
Section intitulée « Vérifier et réinitialiser »Deux commandes gardent le projet dans un état connu :
search checkvérifie les données, construit l’index s’il manque et évalue BM25 sur les requêtes de validation.search resetsupprimeoutputs/(l’index et, plus tard, les modèles entraînés) et vérifie les fichiers de données. Utilisez cette commande pour repartir d’un état propre.
search resetReset: removed 8 files from outputs/; data: 15 files, all files are right.Le projet ne modifie jamais les fichiers dans data/. Si vous modifiez un fichier de données par erreur, recopiez les données du cours depuis le dépôt des laboratoires.
Quand la vérification de la configuration échoue
Section intitulée « Quand la vérification de la configuration échoue »search check se termine par Setup check failed: see the lesson's troubleshooting list (échec de la vérification : consultez la liste de dépannage de la leçon) quand ses nombres sont incorrects. Lisez sa dernière ligne et trouvez-la ici :
| Message | Cause | Solution |
|---|---|---|
No course data found. Put the course data folder next to the project as data/, or set LARKFIELD_DATA to its path. (Aucune donnée du cours trouvée. Placez le dossier des données à côté du projet sous data/, ou indiquez son chemin dans LARKFIELD_DATA.) |
data/ manque, ou vous êtes dans le mauvais dossier |
Utilisez cd pour aller dans larkfield-search, puis recopiez les données (étape 2) |
These data files are missing or changed: queries.csv. Download the course data again. (Ces fichiers de données sont manquants ou modifiés : queries.csv. Téléchargez de nouveau les données du cours.) |
Un fichier de données a été modifié ou supprimé | Recopiez ce fichier depuis nextia-learning-labs/C38/data/, puis exécutez search reset |
command not found: search (commande introuvable : search) |
L’environnement virtuel n’est pas actif dans ce terminal | Activez-le de nouveau (étape 4) |
ModuleNotFoundError: No module named 'bm25s' (aucun module nommé « bm25s ») |
Les paquets ne sont pas installés dans cet environnement | Exécutez de nouveau python -m pip install -r requirements.txt |
NDCG@10 0.xxx (expected 0.432) (NDCG@10 0,xxx, valeur attendue : 0,432) avec un autre nombre |
L’index ou le code a été modifié | Exécutez search reset, puis search check |
Erreur courante
Modifier un fichier de données pour le consulter
Symptôme : vous ouvrez data/queries.csv dans un tableur pour le consulter, puis vous l’enregistrez par erreur. Plus tard, search check s’arrête :
These data files are missing or changed: queries.csv. Download the course data again.Cause : l’enregistrement réécrit le fichier, même sans changement visible. Le tableur peut modifier les fins de ligne, les guillemets ou le format d’un nombre. La somme de contrôle ne correspond plus. Le projet refuse donc de mesurer avec des données qui pourraient être différentes. Un score obtenu sur des données modifiées ne peut pas être comparé aux scores des autres.
Solution : recopiez le fichier original de nextia-learning-labs/C38/data/ dans data/. Exécutez ensuite search reset. La commande doit se terminer par « all files are right » (tous les fichiers sont corrects). Pour consulter les données, utilisez search info, search log ou le carnet (notebook) Jupyter. Ces outils lisent les fichiers sans jamais les modifier.
Conséquence dans le travail en IA : une mesure est comparable seulement si tout le monde utilise les mêmes données. Les sommes de contrôle remplacent « je pense que c’est le même fichier » par une vérification qui signale clairement tout échec.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Suivez la recherche S-00149 dans les fichiers. Quel fichier indique que la personne a ajouté un produit au panier? Lequel décrit le produit? Lequel indique que c'était un bon résultat?
Afficher la réponse
log/searches.csv.gzindique que la recherche S-00149 était « sunflower », avec 2 clics et 1 produit ajouté au panier.log/impressions.csv.gzindique le produit : position 3,LK-62538, avecclicked(cliqué) à 1 etadded_to_cart(ajouté au panier) à 1.catalogue.csv.gzdécritLK-62538: une assiette à salade avec des tournesols.judgments.csv.gzindique que c’était un bon résultat : la requêteW-025et le produitLK-62538ont la note 2, exact. Les identifiantssearch_id,product_idetquery_idrelient les fichiers.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
BM25 obtient 0,429 sur les requêtes de test, et la recherche de Larkfield obtient 0,195. Tomás dit : « BM25 place aussi une peinture de hibou gris en premier pour “grey outdor cushion”. Donc le score est faux. » Que répondez-vous?
Afficher la réponse
Les deux affirmations sont vraies. Une requête est un seul exemple, et BM25 échoue bien sur celle-ci. « outdor » ne correspond à rien, alors BM25 classe les résultats selon « grey » et « cushion » seulement. Le score est une moyenne sur 241 des 243 requêtes de test (deux n’ont aucun bon produit). Selon cette moyenne, BM25 est plus de deux fois meilleur. Son intervalle à 95 % (0,381 à 0,476) ne chevauche pas celui de la recherche de Larkfield (0,155 à 0,237). Cet échec nous indique quoi corriger ensuite : l’orthographe, au module 4. Il faut ensuite mesurer tout changement sur l’ensemble des requêtes de test.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Quelles parties des données sont synthétiques? Qu'est-ce que cela signifie pour les nombres de clics dans ce module?
Afficher la réponse
Le journal des requêtes (recherches, impressions, clics et paniers), les prix, le stock, les indicateurs de solde et les dates d’ajout sont synthétiques. Notre code les a créés. Les titres et les requêtes en français sont traduits automatiquement. Les fautes d’orthographe, les codes et les requêtes « sofa », « couch », « canapé » sont insérés. Les nombres de clics montrent donc le comportement du modèle de clics du cours. Par exemple, la position 1 reçoit le plus de clics. Ce ne sont pas des mesures provenant de vrais clients de Larkfield. Les produits, les requêtes en anglais et les jugements sont de vraies données de WANDS.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le projet
larkfield-searchest configuré : l’instantanéstart, les données dansdata/et un environnement virtuel.search checkse termine par « Setup check passed. » (vérification de la configuration réussie). - Les données ont trois parties. Le catalogue contient 40 066 produits. Les requêtes avec jugements contiennent 624 requêtes et 291 230 notes. Le journal des requêtes contient 20 000 recherches synthétiques. Les identifiants
product_id,query_idetsearch_idles relient. - Dans le journal, les 100 textes de requête les plus fréquents représentent la moitié des recherches. Les utilisateurs ont recherché 876 textes une seule fois. 30,9 % des recherches ne trouvent rien. Les recherches sans résultat les plus fréquentes sont des mots français et des fautes d’orthographe.
current(chaque mot doit correspondre) obtient un NDCG@10 de 0,195 sur les requêtes de test.bm25(n’importe quel mot peut correspondre) obtient 0,429. Ce sont les premières lignes du tableau comparatif.search resetsupprimeoutputs/et vérifie les données. Le projet ne modifie jamaisdata/.
Vous pouvez maintenant exécuter la recherche de Larkfield et BM25, puis lire leurs scores. Mais la qualité d’un score dépend des jugements qui le fondent. Vous n’avez pas encore vu comment on produit un jugement. Ensuite, vous jugerez vous-même des produits pour une requête et verrez où les gens ne sont pas d’accord.
Leçon suivante : Jugements de pertinence