Aller au contenu
English

Recherche de produits pour un magasin de meubles

  • Étude de cas 1
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

En huit modules, nous avons construit la recherche de Larkfield sur une partie d'un vrai catalogue de meubles. Dans cette étude de cas, nous utilisons le jeu de données WANDS complet. Nous comparons cinq conceptions selon le NDCG et la latence, puis en recommandons une pour un budget de 200 ms.

Étude de cas 1 sur 3 · Recherche et classement : trouver la meilleure correspondanceRecherche de produits pour un magasin de meubles

Ce que vous saurez faire

Appliquez tout le cours à un vrai catalogue et prenez une décision à partir des résultats. Vous comparez cinq familles de conceptions de recherche sur les 42 994 produits et les 480 vraies requêtes de WANDS. Vous mesurez la qualité, le temps et le coût selon un même protocole. Vous repérez les échecs de chaque conception, puis en recommandez une pour un budget de 200 ms.

Étude de casPièce de portfolio

Licence
MIT
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Référence de base BM25
  • Compréhension de la requête
  • Recherche hybride (RRF)
  • Reclassement par encodeur croisé
  • LambdaMART avec validation croisée par requête
  • Budget de latence et de coût
  • Analyse par tranche

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, ainsi que quatre tâches avec des vérifications. Ses cellules de configuration installent les paquets et téléchargent les trois fichiers WANDS (environ 96 Mo). Elles téléchargent aussi les fichiers de l’équipe du cours (environ 34 Mo). Aucun compte ni aucune clé ne sont nécessaires. Une fois les fichiers téléchargés, l’exécution a pris moins d’une minute sur notre portable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab n’en a pas besoin)

  • Python 3.12 dans un nouvel environnement virtuel, et Jupyter ou VS Code. Le projet larkfield-search n’est pas nécessaire.
  • Environ 400 Mo d’espace disque libre : les données et le bi-encodeur (environ 200 Mo) pour la dernière section.
  • Sur macOS, la bibliothèque OpenMP de Homebrew pour LightGBM : brew install libomp.

Le carnet utilise un nouveau dossier, wands-search; supprimez-le pour recommencer. Il a été testé sur macOS (Apple M4) avec Python 3.12. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Nadia dirige la recherche dans un magasin de meubles en ligne. Les clients saisissent des requêtes comme « turquoise pillows » et « filaret outdoor sofa ». Aujourd’hui, la recherche utilise simplement BM25 sur le nom et la description des produits. Son équipe a des idées : des règles pour les mots, un modèle vectoriel, un modèle qui relit les résultats, un modèle qui apprend des jugements. Chaque idée ralentit la recherche. Les ingénieurs fixent une limite stricte : 200 ms pour une recherche, sur des serveurs CPU ordinaires, sans GPU.

Ben, qui exploite le service de recherche, demande : « Laquelle de ces idées vaut les millisecondes qu’elle coûte? » Cette étude de cas répond par des mesures.

Le magasin est fictif. Les données sont réelles : WANDS, que Wayfair a publié pour tester la recherche de produits.

Vous construirez un tableau comparatif et formulerez une recommandation. Le tableau comporte dix lignes, toutes basées sur les mêmes 480 requêtes et jugements. Les mesures sont le NDCG@10 avec son intervalle à 95 %, le recall@100 et le MRR. Viennent ensuite le temps par recherche (p50 et p95) et le coût par 1 000 recherches. Vous repérez ensuite les échecs de chaque conception, puis en choisissez une qui tient dans le budget.

Chaque méthode vient du cours. Ce qui est nouveau, c’est le catalogue complet et l’ensemble des vraies requêtes. Larkfield, le magasin du cours, utilisait une copie filtrée de ces données. Vous pouvez donc aussi vérifier dans quelle mesure les résultats du cours restent valables.

WANDS contient trois fichiers dont les champs sont séparés par des tabulations. product.csv contient une ligne par produit : nom, classe de produit, chemin de catégories, description, caractéristiques et notes. query.csv contient une ligne par requête saisie par un vrai client, avec la classe de produit recherchée. label.csv contient une ligne par jugement : l’étiquette attribuée par un annotateur formé à un produit pour une requête, soit Exact (exact), Partial (partiel) ou Irrelevant (non pertinent).

Le carnet charge les trois fichiers :

products = pd.read_csv("wands/product.csv", sep="\t")
queries = pd.read_csv("wands/query.csv", sep="\t")
labels = pd.read_csv("wands/label.csv", sep="\t")
print(f"{len(products):,} products, {len(queries)} queries, {len(labels):,} judgments")
print(labels["label"].value_counts().to_dict())

La sortie (la liste des colonnes est omise ici) :

42,994 products, 480 queries, 233,448 judgments
{'Partial': 146633, 'Irrelevant': 61201, 'Exact': 25614}

Ce que cela nous apprend. La plupart des jugements sont Partial : le produit est lié à la requête, mais ne correspond pas à la demande. Par exemple, une lampe de bureau pour « desk ». Seulement 11 % sont Exact. Le NDCG attribue un gain de 3 à un produit Exact et de 1 à un produit Partial. La recherche doit donc placer les quelques produits Exact en premier.

Vérifiez d’abord les jugements et les lacunes :

repeated (query, product) pairs: 1575
pairs with two different labels: 14
products without a class: 2852
products without a description: 6008
queries with no exact product: 101
judged products per query: median 216
231,873 judgments kept; 1 queries have no exact or partial product (they have no NDCG)

Ce que cela nous apprend. Quatre faits influencent les étapes suivantes :

  • Doublons. 1 575 paires apparaissent plusieurs fois, et 14 ont deux étiquettes différentes. Nous gardons la première étiquette, comme dans le cours. Ces 14 paires ne peuvent pas changer un résultat.
  • Texte manquant. 6 008 produits n’ont pas de description et 2 852 n’ont pas de classe. Nous ne remplissons rien.
  • Requêtes ignorées par certaines mesures. 101 requêtes n’ont aucun produit Exact; le rappel et le MRR les ignorent donc. Une requête n’a aucun produit Exact ou Partial; le NDCG l’ignore donc. Le NDCG est la moyenne de 479 requêtes.
  • Ensembles de produits jugés. Chaque requête a un ensemble de produits jugés (médiane de 216 sur 42 994). Un produit hors de cet ensemble compte comme non pertinent. Une méthode qui trouve de bons produits ailleurs, comme la recherche dense, paraît donc moins bonne qu’elle ne l’est.

Le catalogue de Larkfield est WANDS avec trois changements. Le carnet les mesure :

products in departments that Larkfield left out: 928
{'School Furniture and Supplies': 455, 'Commercial Business Furniture': 177, 'Contractor': 160, 'Foodservice': 36, 'Shop Product Type': 33, 'Browse By Brand': 24, 'Reception Area': 17, 'Clips/Clamps': 14, 'Protection Plans': 12}
products with the shop's own brand in the name: 172
queries with an exact product that Larkfield left out: 57
Larkfield (le cours) WANDS complet (cette étude de cas)
Produits 40 066 publics (42 066 conservés, 2 000 mis de côté) 42 994 : comprend aussi des produits pour les écoles, bureaux, entrepreneurs et services alimentaires
Noms marque du magasin renommée « larkfield »; nouveaux identifiants vrais noms, avec la vraie marque maison « wayfair sleep » et d’autres vraies marques
Requêtes requêtes WANDS réparties en jeux, plus du français traduit automatiquement, des fautes d’orthographe insérées, des codes insérés et des requêtes larges insérées seulement les 480 vraies requêtes, sans répartition
Données du magasin prix, stocks, indicateurs de promotion, journal des requêtes et clics synthétiques aucune : seulement les produits, les requêtes et les jugements

Ces données sont donc plus difficiles d’une façon : davantage de produits se font concurrence, sans problèmes insérés faciles à corriger. Elles sont plus faciles d’une autre façon : aucun français et aucune faute d’orthographe insérée. Les 57 requêtes ayant un produit Exact dans un rayon retiré ne sont pas plus difficiles. BM25 y obtient 0,695, contre 0,636 pour les autres.

Voici les décisions à prendre avant tout modèle :

  • L’unité : une requête et sa liste classée.
  • La mesure principale : le NDCG@10 avec des gains de 3 (Exact) et de 1 (Partial), la mesure du cours dans Mesures de classement. Les clients voient les dix premiers résultats.
  • Les mesures secondaires : le recall@100 et le MRR. Le recall@100 compte les produits Exact parmi les 100 premiers, où une deuxième étape peut les trouver. Le MRR indique le rang du premier produit Exact.
  • Le budget : le temps p95 d’une recherche doit être d’au plus 200 ms. Le p95 est le temps sous lequel se terminent 95 % des recherches. Les utilisateurs ressentent les recherches lentes; le budget s’applique donc au p95.
  • Le protocole : chaque conception traite les mêmes 480 requêtes. LambdaMART apprend des jugements; il utilise donc la validation croisée par requête, expliquée plus bas. Aucun réglage n’est ajusté sur ces requêtes. Tous les réglages viennent du cours : k1 et b de BM25, la pondération des champs, k de RRF et les réglages de LambdaMART. Le cours les a choisis sur les requêtes d’entraînement et de validation de Larkfield.

Une réserve : les requêtes de Larkfield sont aussi des requêtes WANDS. Mais les réglages sont peu nombreux et généraux. La comparaison avec Larkfield ci-dessous ne montre aucun signe que cela a aidé.

Deux questions comptent. D’abord, quels types de requêtes le magasin reçoit-il? Les étiquettes du cours, attribuées par un modèle de langage, les répartissent en trois types. Une requête large demande un vaste groupe (« dinosaur »). Une requête précise donne des détails (« turquoise pillows »). Une requête d’article connu nomme un produit (« hulmeville writing desk with hutch »). Personne n’a vérifié ces étiquettes.

{'specific': 293, 'known-item': 129, 'broad': 58}
{'Furniture': 169, 'Décor & Pillows': 63, 'Home Improvement': 52, 'Outdoor': 35, '(none)': 25, 'Lighting': 25, 'Storage & Organization': 23, 'Rugs': 20}

Ce que cela nous apprend. La plupart des requêtes sont précises, et un quart nomment un produit, où un échec se remarque facilement. La deuxième ligne donne le rayon des produits Exact de chaque requête. Les tranches de moins de 10 requêtes sont exclues : elles sont trop bruitées.

Ensuite : combien de temps prend chaque étape? L’équipe du cours a chronométré chaque étape sur 40 requêtes (Apple M4, un fil, sauf si le nom indique 4 fils). Le carnet lit ces temps dans wands_latency_ms.csv. Il chronomètre aussi les étapes qui ne nécessitent aucun modèle sur votre ordinateur.

Les conceptions de cette étude de cas réunies en un pipeline, avec le temps médian de chaque étape. Une requête passe à la compréhension de la requête (normalisation, orthographe, synonymes, BM25 par champ, 0,2 ms) et au bi-encodeur qui l'encode (4,8 ms). Les 100 premiers résultats lexicaux et les 100 premiers résultats denses (1,3 ms sur 42 994 produits) sont fusionnés par RRF en 100 résultats hybrides (moins de 0,1 ms). Ensuite, soit un encodeur croisé relit les n premiers (10 premiers : 190 ms sur 1 fil, 142 ms sur 4 fils), soit LambdaMART évalue 15 variables par candidat (3,7 ms avec l'étape hybride). Les deux aboutissent à la page, soit les 10 premiers résultats. Une flèche pointillée montre la référence de base, BM25 sur le titre et la description, 0,1 ms, qui mène directement à la page.
Les conceptions réunies en un pipeline, avec le temps médian de chaque étape sur le portable de l'équipe du cours. Seul l'encodeur croisé est lent.
Description textuelle du diagramme

Un diagramme de gauche à droite. « Une requête » se divise en « Compréhension de la requête · 0,2 ms » et « Encoder la requête · 4,8 ms ». Ces étapes mènent aux « 100 premiers résultats lexicaux » et aux « 100 premiers résultats denses · 1,3 ms », qui rejoignent « Fusion : RRF · moins de 0,1 ms ». De la fusion partent deux branches : « Encodeur croisé, 10 premiers : 190 ms (1 fil), 142 ms (4 fils) », en rouge, et « LambdaMART · 3,7 ms avec l’étape hybride ». Les deux mènent à « La page, 10 premiers ». Une boîte « Référence de base : BM25 · 0,1 ms » mène aussi à la page, avec une flèche pointillée.

La référence de base est la recherche actuelle : BM25 (k1 1,2, b 0,75) sur le nom et la description réunis en un champ, avec des mots simples.

def bm25(query_id, text, k=100):
"""The baseline: BM25 on the title and description as one field, plain words."""
return top(scores(IDX["all"], tokens, text), k)
evaluate("bm25", bm25);

La sortie :

bm25 NDCG@10 0.643 (0.616 to 0.670) recall@100 0.601 MRR 0.669

Ce que cela nous apprend. 0.643 est la valeur à dépasser. Sur le jeu de test de Larkfield, BM25 obtenait seulement 0,429, mais il contenait du français et des requêtes insérées. Sur de vraies requêtes en anglais, BM25 est solide.

Voici un échec que les autres conceptions corrigent. Pour « accent chairs living room », les trois premiers résultats de BM25 sont des fauteuils dont les descriptions répètent « living room » :

"accent chairs living room"
1. warwickshire linen queen anne back parsons chair in beige [not judged]
2. satchell linen upholstered dining chair [not judged]
3. lawncrest 29.5 '' wide polyester armchair [not judged]

Aucun n’est jugé; chacun compte donc comme non pertinent. BM25 ne distingue pas « accent chairs », le produit, de « living room », qui indique seulement le lieu.

La compréhension de la requête prépare les mots avant BM25, en trois étapes :

  • Normaliser : minuscules, sans accents, unités écrites d’une seule façon, mots réduits à leur racine. Ensuite, BM25 par champ, avec la pondération des champs du cours.
  • Corriger l’orthographe : un mot inconnu devient le mot le plus fréquent à une ou deux modifications près.
  • Ajouter des synonymes : les règles du cours, comme « couch, sofa ». Les mots ajoutés comptent pour moitié. Nous avons exclu la mauvaise règle insérée dans le cours, « light, lamp ».

Prédisez. De vraies personnes ont saisi les requêtes WANDS. La correction orthographique aidera-t-elle autant que pour les fautes insérées chez Larkfield?

bm25-norm NDCG@10 0.706 (0.681 to 0.731) recall@100 0.617 MRR 0.665
bm25-norm+spell NDCG@10 0.704 (0.679 to 0.728) recall@100 0.617 MRR 0.666
bm25-norm+spell+syn NDCG@10 0.708 (0.683 to 0.732) recall@100 0.617 MRR 0.670
spelling changed 38 queries: 5 better, 12 worse
worse: 'trinaic towel rod' -> 'trinsic towel rod' NDCG@10 0.936 -> 0.321
worse: 'filaret outdoor sofa' -> 'flared outdoor sofa' NDCG@10 0.931 -> 0.438
worse: 'togo chair' -> 'toro chair' NDCG@10 1.000 -> 0.641
worse: 'adjustable height artist stool' -> 'adjustable height artis stool' NDCG@10 1.000 -> 0.694
better: 'lowes tile' -> 'lower tile' NDCG@10 0.136 -> 0.546
better: 'foutains with brick look' -> 'fountains with brick look' NDCG@10 0.122 -> 0.510

Ce que cela nous apprend. La normalisation apporte presque tout le gain : +0,063 (intervalle à 95 % de +0,046 à +0,080) par rapport à BM25. La correction orthographique cause une petite perte (−0,003, de −0,007 à +0,002). Son dictionnaire vient des noms, des classes et des attributs. Il ne connaît donc pas « artist » et transforme de vrais noms comme « filaret » en d’autres mots. Les vraies requêtes contiennent peu de fautes de frappe et beaucoup de noms. Les synonymes ajoutent +0,004 (de 0,000 à +0,010) : le gain n’est pas clair.

Il faut donc encadrer la correction orthographique plutôt que l’abandonner. Les conceptions suivantes gardent la chaîne complète du cours, pour que la comparaison avec Larkfield reste équitable.

La recherche dense compare le sens de la requête au sens de chaque produit. Le bi-encodeur granite d’IBM transforme les deux en vecteurs de 384 nombres, et les produits les plus proches gagnent. L’équipe du cours a encodé les produits une seule fois (157 secondes sur 4 fils). Le carnet charge les vecteurs. La recherche hybride fusionne les 100 premiers résultats lexicaux et les 100 premiers résultats denses par fusion des rangs réciproques (RRF). Chaque produit reçoit la somme de 1 ÷ (60 + rang) dans les deux listes.

dense NDCG@10 0.639 (0.611 to 0.666) recall@100 0.542 MRR 0.607
hybrid-rrf NDCG@10 0.721 (0.697 to 0.745) recall@100 0.624 MRR 0.696

Ce que cela nous apprend. La recherche dense seule ne fait pas mieux que BM25 (−0,005, de −0,027 à +0,018). C’est en partie parce qu’elle trouve des produits non jugés. Fusionnée avec la compréhension de la requête, elle ajoute +0,013 (de +0,001 à +0,025) : un gain petit, mais clair. La recherche hybride est la meilleure première étape. Elle place d’abord trois chaises notées Exact pour « accent chairs living room ». La RRF avec k = 10 obtient 0,713, moins qu’avec k = 60.

Un encodeur croisé (cross-encoder) lit ensemble la requête et un produit, puis donne un score. Il comprend mieux que toute première étape, mais s’exécute une fois par produit. Il réordonne donc seulement les n premiers candidats hybrides. L’équipe du cours a évalué les 50 premiers candidats hybrides de chaque requête avec le modèle de reclassement (reranker) granite d’IBM. Cela représente 24 000 paires en 347 secondes sur 4 fils. Le carnet réutilise ces scores.

rerank-ce top 10 NDCG@10 0.730 (0.707 to 0.754) recall@100 0.624 MRR 0.758
rerank-ce top 20 NDCG@10 0.746 (0.722 to 0.770) recall@100 0.624 MRR 0.772
rerank-ce top 50 NDCG@10 0.748 (0.725 to 0.772) recall@100 0.624 MRR 0.771

Ce que cela nous apprend. Reclasser plus de candidats aide, jusqu’à 20. Les 20 premiers ajoutent +0,025 (de +0,016 à +0,034) par rapport à la recherche hybride. Les 50 premiers n’ajoutent presque rien. Les 10 premiers résultats hybrides contiennent 25 % des produits notés Exact, et les 20 premiers en contiennent 34 %. Le reclassement peut seulement réordonner les produits présents. Chez Larkfield, l’encodeur croisé n’était pas clairement meilleur, car il fonctionne seulement en anglais et le cours avait des requêtes françaises.

LambdaMART apprend à ordonner les 100 premiers candidats hybrides à partir des jugements. Chaque candidat forme une ligne de 15 variables. Texte : BM25 par champ, le score BM25 simple, la similarité dense, le score RRF et les rangs hybride, lexical et dense. Produit : la note et les nombres de notes et d’avis. Requête : le nombre de mots et la présence d’un nombre. C’est le modèle de Apprentissage du classement, sans les variables du magasin (prix, stock, clics).

LambdaMART a besoin de requêtes d’entraînement, mais ici chaque requête est aussi une requête de test. La solution est la validation croisée par requête.

Imaginez une enseignante qui dispose d’un seul ensemble de questions d’examen. Elle les sépare en cinq groupes, enseigne avec quatre et teste avec le cinquième, cinq fois. Chaque question est testée une fois auprès d’un élève qui ne l’a jamais pratiquée. C’est la validation croisée : entraîner sur une partie des données, tester sur le reste, puis alterner.

En recherche, la séparation doit garder chaque requête entière. Les candidats d’une requête partagent ses mots, et le modèle apprend leur qualité ensemble. Supposons que certains candidats de « turquoise pillows » servent à l’entraînement et d’autres au test. Le modèle a alors vu cette requête, et le score est trop bon. Les cinq plis sont donc cinq groupes de 96 requêtes entières. Le cours d’apprentissage automatique appelle cela une séparation par groupe, dans Données d’entraînement, de validation et de test.

Validation croisée par requête. Les 480 requêtes sont mélangées une fois et séparées en cinq plis de 96 requêtes entières. LambdaMART s'entraîne sur quatre plis, avec tous les candidats de leurs requêtes. Il classe les requêtes du cinquième pli, qu'il n'a jamais vues. On répète cela cinq fois. Chaque requête est donc classée une fois par un modèle qui ne l'a jamais vue.
Validation croisée par requête : chaque requête est classée une fois par un modèle qui ne l'a jamais vue.
Description textuelle du diagramme

Cinq cases, de « Pli 1 » à « Pli 5, 96 requêtes », viennent de « 480 requêtes, mélangées une fois ». Les plis 2 à 5 mènent à « Entraîner LambdaMART sur 4 plis ». Cela mène à « Classer le pli 1 : requêtes jamais vues », avec une ligne pointillée venant du pli 1. La dernière case dit « Répéter pour les plis 2 à 5 : chaque requête classée une fois par un modèle qui ne l’a jamais vue ».

Le code place chaque requête dans un pli, entraîne cinq modèles et classe chaque pli avec le modèle qui ne l’a pas vu :

order = np.random.default_rng(0).permutation(queries["query_id"].to_numpy())
FOLD = {int(q): i % 5 for i, q in enumerate(order)}
table["fold"] = table["query_id"].map(FOLD)
def cross_validated(features, name):
"""Train on 4 folds, rank the 5th, five times: every query is ranked by a model that never saw it."""
out = table[["query_id", "product_id"]].copy()
for k in range(5):
model = fit(table[table["fold"] != k], features)
test = table["fold"] == k
out.loc[test, "score"] = model.predict(table.loc[test, features])
...

La sortie (48 000 lignes de candidats : 480 requêtes × 100 candidats) :

48,000 candidate rows for 480 queries in 2 s; labels {0: 16993, 1: 21222, 2: 9785}
ltr NDCG@10 0.739 (0.716 to 0.763) recall@100 0.624 MRR 0.715

Ce que cela nous apprend. LambdaMART atteint 0,739 : +0,018 (de +0,009 à +0,028) par rapport à la recherche hybride, un gain clair. Il est proche de l’encodeur croisé sur 20 candidats (−0,007, de −0,017 à +0,004 : l’écart n’est pas clair). Les variables les plus importantes sont le rang hybride (30 %), le score RRF (19 %) et BM25 sur le titre (9 %). Le modèle apprend quand faire confiance à la recherche hybride et quand une forte correspondance du titre doit faire monter un produit. Sans les deux variables denses, le score ne baisse pas (0,742). Le signal dense arrive encore par les candidats et le rang hybride.

Erreur courante

Mesurer le modèle sur les requêtes qui ont servi à son apprentissage

Entraînez LambdaMART sur les 480 requêtes, puis mesurez-le sur ces mêmes 480 requêtes :

ltr on its own training queries NDCG@10 0.882 (0.864 to 0.900) recall@100 0.624 MRR 0.912

0,882 n’est pas un résultat : le modèle a vu les réponses. Seul le score de validation croisée de 0,739 compte. La même erreur se cache sous des formes plus discrètes. Par exemple, ajuster le nombre d’arbres ou choisir les variables en regardant le score de test.

Une autre conception combine les deux options de deuxième étape. Le score de l’encodeur croisé pour les 10 premiers candidats hybrides devient une 16e variable de LambdaMART. Elle reste vide pour les 90 autres. Cette conception atteint 0,751 (de 0,727 à 0,775), soit +0,012 (de +0,006 à +0,017) par rapport à LambdaMART seul. C’est un gain petit, mais clair.

Toutes les conceptions entrent maintenant dans un seul tableau. Le temps d’une recherche est la somme de ses étapes, sur les 40 requêtes chronométrées. Le coût suppose un serveur infonuagique de 4 vCPU à 0,17 $ US l’heure. C’est le prix supposé dans le cours : vérifiez auprès de votre fournisseur. Il exécute simultanément quatre recherches à un fil, ou une recherche à quatre fils.

method ndcg@10 low high recall@100 mrr p50 ms p95 ms US$ per 1,000 queries
bm25 0.643 0.616 0.670 0.601 0.669 0.1 0.2 0.00000
bm25-norm+spell+syn 0.708 0.683 0.732 0.617 0.670 0.2 0.5 0.00000
dense 0.639 0.611 0.666 0.542 0.607 6.1 6.5 0.00007
hybrid-rrf 0.721 0.697 0.745 0.624 0.696 6.4 6.9 0.00008
rerank-ce top 10 0.730 0.707 0.754 0.624 0.758 196.9 226.7 0.00232
rerank-ce top 10, 4 threads 0.730 0.707 0.754 0.624 0.758 148.8 174.4 0.00703
rerank-ce top 20 0.746 0.722 0.770 0.624 0.772 397.9 507.5 0.00470
rerank-ce top 50 0.748 0.725 0.772 0.624 0.771 970.9 1205.1 0.01146
ltr 0.739 0.716 0.763 0.624 0.715 8.5 9.6 0.00010
ltr + ce top 10, 4 threads 0.751 0.727 0.775 0.624 0.735 150.7 177.6 0.00712
Qualité et temps de chaque conception. LambdaMART est près du sommet en qualité et largement sous le budget. L'encodeur croisé tient dans les 200 ms seulement sur 10 candidats avec 4 fils. Cela vaut aussi pour la dernière ligne, LambdaMART + encodeur croisé.
Description textuelle du graphique

Deux panneaux avec les neuf mêmes conceptions. Qualité, NDCG@10 avec intervalle : BM25 0,643 (de 0,616 à 0,67); compréhension de la requête 0,708; dense seule 0,639; hybride 0,721; encodeur croisé sur les 10 premiers, 4 fils 0,73; 20 premiers 0,746; 50 premiers 0,748; LambdaMART 0,739 (de 0,716 à 0,763); LambdaMART + encodeur croisé sur les 10 premiers 0,751. Temps, p95 en millisecondes, avec une ligne au budget de 200 ms : BM25 0,2; compréhension de la requête 0,5; dense 6,5; hybride 6,9; encodeur croisé sur les 10 premiers, 4 fils 174,4; 20 premiers 507,5; 50 premiers 1 205,1; LambdaMART 9,6; LambdaMART + encodeur croisé sur les 10 premiers, 4 fils 177,6.

Ce que cela nous apprend.

  • Chaque famille dépasse la référence de base, sauf la recherche dense seule. Par rapport à BM25 : compréhension de la requête +0,065, hybride +0,078 et LambdaMART +0,096. L’encodeur croisé sur 20 candidats donne +0,102, et les deux ensemble +0,107. Tous les intervalles sont bien au-dessus de zéro.
  • Le temps sépare les conceptions en deux groupes. Sans encodeur croisé, le p95 est inférieur à 10 ms. Avec lui, il atteint au moins 174 ms. Seuls 10 candidats sur 4 fils tiennent dans le budget, avec 22 à 26 ms de marge.
  • Le coût n’est pas le problème; le temps l’est. La conception la plus chère coûte environ un cent par 1 000 recherches.

Une moyenne peut cacher un groupe de requêtes dont les résultats empirent. Voici chaque conception moins BM25, par type de requête et par rayon :

Différences appariées par rapport à BM25 avec leurs intervalles à 95 %, par tranche (nombre de requêtes entre parenthèses). La compréhension de la requête aide à peine les requêtes d'articles connus. La recherche hybride fait moins bien que BM25 sur les tapis; LambdaMART gagne dans chaque tranche.
Description textuelle du graphique

Différences par rapport à BM25 avec une ligne à zéro. Requêtes larges (57) : hybride +0,075, encodeur croisé sur les 20 premiers +0,088, LambdaMART +0,080. Précises (293) : +0,093, +0,122, +0,110. Articles connus (129) : compréhension +0,008 (de −0,023 à +0,038), hybride +0,045, LambdaMART +0,071. Meubles : hybride +0,091, LambdaMART +0,114. Décoration et coussins : hybride +0,086, LambdaMART +0,104. Tapis (20) : compréhension −0,022, hybride −0,028 (de −0,077 à +0,021), encodeur croisé sur les 20 premiers −0,004, LambdaMART +0,050 (de +0,010 à +0,098).

Ce que cela nous apprend. La pire tranche de chaque conception :

  • Compréhension de la requête : requêtes d’articles connus (+0,008, gain non clair). Ces requêtes sont des noms, comme « togo chair ». La racinisation et la correction orthographique aident peu un nom, ou lui nuisent.
  • Recherche dense : requêtes larges (−0,049) et rayon du rangement (−0,056). Pour « dinosaur », beaucoup de produits ont un sens proche, et beaucoup n’ont probablement pas été jugés.
  • Recherche hybride : tapis (−0,028, de −0,077 à +0,021). Il n’y a que 20 requêtes, donc l’écart n’est pas clair. Les requêtes de tapis portent souvent sur les dimensions, les couleurs et les motifs, que la recherche dense interprète librement.
  • Encodeur croisé sur 20 candidats : encore les tapis (−0,004). Parmi les trois types, son plus petit gain concerne les requêtes d’articles connus (+0,064).
  • LambdaMART : jamais sous BM25 dans une tranche de 10 requêtes ou plus. Son pire rayon est le rangement (+0,035). Sur les tapis, il gagne +0,050 (de +0,010 à +0,098).

Les moyennes cachent aussi des requêtes individuelles. Pour « moen 5995 arbor one » (un robinet de cuisine), LambdaMART passe de 0,538 à 0,130. La recherche dense trouve des tonnelles de jardin, et le modèle les classe en premier :

"moen 5995 arbor one"
1. bakersfield vinyl arbor [irrelevant]
2. rosewood wood arbor [irrelevant]
3. athens 39 '' w x 23 '' d vinyl arbor [irrelevant]

Le numéro de modèle « 5995 » et la marque « moen » ne signifient rien pour le bi-encodeur. Larkfield a traité les numéros de modèle avec une règle des codes dans Correspondances exactes et règles. Un vrai magasin a besoin d’une telle règle pour les marques et les numéros de modèle.

Le jeu de test du cours contient 120 vraies requêtes WANDS en anglais. Voici les mêmes 120 requêtes sur les deux catalogues (NDCG@10, intervalle à 95 %) :

Conception Catalogue de Larkfield (le cours) WANDS complet (cette étude de cas)
BM25 0,650 (de 0,594 à 0,702) 0,656 (de 0,602 à 0,707)
Compréhension de la requête 0,703 (de 0,647 à 0,753) 0,712 (de 0,661 à 0,762)
Dense 0,632 (de 0,575 à 0,687) 0,628 (de 0,572 à 0,683)
Hybride (RRF) 0,719 (de 0,667 à 0,767) 0,720 (de 0,671 à 0,766)
Encodeur croisé, 50 premiers 0,754 (de 0,701 à 0,803) 0,755 (de 0,705 à 0,802)
LambdaMART 0,729 (de 0,677 à 0,776) 0,737 (de 0,688 à 0,783)

Ce que cela nous apprend. Les chiffres concordent partout à 0,01 près : les 928 produits supplémentaires et les vrais noms ne changent presque rien. Le LambdaMART du cours a appris à partir de 260 requêtes d’entraînement, avec des variables du journal synthétique. Celui-ci a appris à partir d’environ 384 vraies requêtes par pli, sans ces variables. Les leçons du cours restent valables sur de vraies données. Seuls les problèmes insérés ne se retrouvent pas : sur les vraies requêtes, la correction orthographique n’aide pas.

Nadia demande une seule conception. Ben demande ses paramètres et ses risques.

Utilisez la recherche hybride avec LambdaMART. Sur les 480 vraies requêtes, elle obtient un NDCG@10 de 0,739 (de 0,716 à 0,763), contre 0,643 pour le BM25 actuel. C’est +0,096 (de +0,080 à +0,113) : mieux sur 266 requêtes, moins bien sur 91 et mieux dans chaque tranche. Elle prend 8,5 ms au p50 et 9,6 ms au p95 sur un fil de processeur de notre portable. Elle coûte environ 0,0001 $ US par 1 000 recherches.

Les paramètres :

  • Étape un : compréhension de la requête et bi-encodeur granite, fusionnés par RRF avec k = 60 sur les deux listes des 100 premiers. La compréhension de la requête normalise et racinise. Elle utilise BM25 par champ (titre 1, description 1, catégorie 0,5) et ajoute les synonymes à demi-pondération.
  • Étape deux : LambdaMART (LightGBM lambdarank, 300 arbres, taux d’apprentissage de 0,05, 31 feuilles) sur les 15 variables. Il s’entraîne sur les 480 requêtes pour la production. La validation croisée a seulement mesuré; elle n’a rien choisi.
  • Orthographe : encadrez la correction. Corrigez un mot seulement quand la requête retourne trop peu de résultats, ou protégez les noms connus. En l’état, elle coûte 0,003.

Pourquoi ne pas choisir la conception la plus précise qui tient dans le budget? LambdaMART avec l’encodeur croisé sur 10 candidats (4 fils) obtient 0,751, soit +0,012 de plus. Mais son p95 est de 177,6 ms sur un portable au repos. Cela laisse 22 ms pour le réseau et la page. Il lui faut un serveur entier de 4 vCPU par recherche. Les pointes de trafic lui feraient donc dépasser le budget. Il coûte aussi environ 70 fois plus cher. C’est donc la conception concurrente : testez-la en ligne contre la recommandation, comme dans Tester les changements en ligne.

Ce qu’une personne vérifie encore :

  • Requêtes d’articles connus avec marques et numéros de modèle : ajoutez une règle de correspondance exacte et examinez chaque mois les 20 pires requêtes d’articles connus.
  • Nouveaux jugements. Quand le catalogue change, jugez un nouvel échantillon de requêtes et de produits, puis réentraînez le modèle.
  • Temps sous charge. Mesurez le p95 sur les vrais serveurs aux pointes de trafic avant la mise en production.

La dernière section du carnet entraîne le modèle final sur les 480 requêtes. Elle exécute ensuite trois requêtes absentes de WANDS. Le bi-encodeur calcule le vecteur de la requête en direct.

"grey outdoor cushion for a bench" (3064 ms, with loading the model)
1. texture outdoor bench cushion Furniture Cushions
2. indoor & outdoor bench cushion Furniture Cushions
3. outdoor bench cushion Furniture Cushions
4. wicker indoor/outdoor bench cushion Furniture Cushions
5. damask indoor/outdoor bench cushion Furniture Cushions
"dresser for a small kids room" (15 ms)
1. summer breeze kids 6 drawer double dresser Kids Dressers & Chests
2. monarch hill poppy 6 drawer double dresser Kids Dressers & Chests
3. 3 drawer dresser Kids Dressers & Chests
4. 4 drawer dresser Kids Dressers & Chests
5. monarch hill poppy 3 drawer dresser Kids Dressers & Chests
"walnut desk with drawers" (13 ms)
1. computer desk , walnut Desks
2. stickland 4-drawer 60 '' writing desk aged walnut Desks
3. rhapsody writing desk Desks
4. lorello writing desk Desks
5. sadie secretary desk with hutch Desks

Ce que cela nous apprend. Personne n’a jugé ces résultats : lisez-les comme une personne qui magasine. Chaque résultat est du bon type de produit. Chaque recherche après la première prend environ 15 ms, avec 1 fil pour le modèle. Mais aucun coussin ne dit « grey ». La couleur se trouve dans les caractéristiques du produit, auxquelles le modèle donne peu de poids. Pour le bureau en noyer, les résultats 3 à 5 ne disent pas « walnut ». Cela suggère la prochaine variable : faire correspondre la couleur ou le matériau de la requête aux attributs du produit.

  • La plupart des gains coûtent peu. La normalisation donne +0,063 pour 0,2 ms. La recherche hybride ajoute +0,013 pour environ 6 ms, et LambdaMART +0,018 pour environ 2 ms de plus. Le gain suivant de +0,012 de l’encodeur croisé coûte environ 140 ms.
  • Les ensembles de produits jugés favorisent la recherche lexicale. Les chiffres de la recherche dense sont probablement un peu trop bas.
  • Un seul portable, sans charge. Les serveurs diffèrent.
  • Aucune donnée du magasin. Un vrai magasin ajouterait les prix, le stock et les clics, avec le biais de sélection de Apprendre des clics.
  • 480 requêtes, c’est peu. Prenez le résultat sur les tapis comme un avertissement, pas comme un fait.
  • Les types de requêtes sont des étiquettes non vérifiées provenant d’un modèle de langage.
  • Les noms de marques sont réels. Votre portfolio peut les montrer comme données. Ne suggérez pas qu’une entreprise approuve votre travail, et ne présentez pas votre recherche comme celle de Wayfair.
  • Citez les données. La licence MIT exige l’avis de droit d’auteur avec les copies. Si vous publiez les données, incluez le texte de la licence. Si votre carnet les télécharge seulement, nommez WANDS, les auteurs et la licence dans votre README.
  • Les modèles. Les modèles granite sont sous licence Apache-2.0. Leurs fiches (bi-encodeur, encodeur croisé) indiquent que leurs données d’entraînement ont des licences permissives et n’incluent pas MS MARCO. Nous n’avons pas vérifié cette affirmation. Pour un projet commercial, n’utilisez pas un encodeur croisé entraîné sur MS MARCO sans lire ses conditions.
  • L’effet du classement sur les gens. La recherche décide quels produits des vendeurs sont vus. Vérifiez que des groupes, comme les petites marques ou les nouveaux produits, ne disparaissent pas de la première page.

Cette étude de cas montre que vous pouvez comparer honnêtement des méthodes de recherche et décider selon un budget. Personnalisez-la avec un changement. Ajoutez la variable de correspondance des couleurs, encadrez la correction orthographique ou utilisez un autre jeu de données de produits ouvert. Celui de la prochaine étude de cas, par exemple. Rendez le projet facile à lire en cinq minutes.

Quoi mettre dans le dépôt :

  • README.md, la page que les gens lisent en premier (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties.
  • Le tableau de comparaison en format CSV, avec les durées des étapes et l’endroit où elles ont été mesurées.
  • Un court DECISION.md : la méthode, ses paramètres, ce qu’une personne vérifie et la solution concurrente.
  • La source des données et la licence : WANDS, les auteurs, le commit (version enregistrée), MIT, avec un lien et les sommes de contrôle.

Un modèle de README :

# Choosing a product search design under a 200 ms budget
## Problem
A furniture shop's search must find the best products first, in under 200 ms (p95) on a CPU.
Baseline: BM25 on name and description.
## Data and licence
WANDS (Wayfair, ECIR 2022): 42,994 products, 480 real queries, 233,448 judgments.
MIT licence, https://github.com/wayfair/WANDS (commit 3b74dcf). Not changed.
## Approach
Nine designs, one protocol: the same 480 queries and judgments, NDCG@10 with a bootstrap
interval, recall@100, MRR, p50/p95 time per stage, cost per 1,000 searches.
LambdaMART measured with 5-fold cross-validation by query.
## Results
BM25 0.643 -> hybrid + LambdaMART 0.739 (+0.096, 95% interval +0.080 to +0.113), p95 9.6 ms.
Cross-encoder on 20 candidates: 0.746 but 508 ms p95.
## Where it fails
Known-item queries with model numbers ("moen 5995 arbor one"); rugs for hybrid search.
## Limits
Judged pools; one laptop with no load; no prices, stock or clicks; 480 queries.

Comment le décrire en entrevue, en deux phrases : « J’ai comparé cinq familles de méthodes de recherche de produits sur un catalogue réel de 43 000 produits et 480 requêtes jugées, avec un protocole commun pour la qualité, la latence et le coût. J’ai recommandé la recherche hybride avec LambdaMART, qui dépasse BM25 de 0,096 au NDCG@10 en moins de 10 ms; l’encodeur croisé, plus lent, reste une solution concurrente pour un test en ligne. »

Pour aller plus loin :

  • Ajoutez une variable qui associe les couleurs et les matériaux de la requête aux attributs du produit. Prédisez d’abord : quelle tranche gagnera le plus?
  • Encadrez la correction orthographique (corrigez seulement quand une requête trouve moins de 10 produits) et mesurez de nouveau les 38 requêtes modifiées.
  • Complétez les ensembles de produits jugés. Demandez à un modèle de langage d’étiqueter les produits non jugés parmi les 10 premiers résultats de la recherche dense. Suivez Jugements d’un modèle de langage. De combien les résultats de la recherche dense et hybride changent-ils?
  • Chronométrez la méthode recommandée avec 4 recherches simultanées et vérifiez si le p95 reste sous 200 ms.

Vérifiez votre compréhension

LambdaMART obtient 0,882 sur les requêtes utilisées pour son apprentissage, et 0,739 avec une validation croisée par requête. Quel résultat présentez-vous, et pourquoi chaque pli doit-il contenir des requêtes entières?

Afficher la réponse

Présentez 0,739. Sur les requêtes utilisées pour son apprentissage, le modèle a déjà vu les réponses. La validation croisée classe chaque requête avec un modèle qui ne l’a jamais vue. Elle estime donc les résultats du modèle sur de nouvelles requêtes. Les plis doivent contenir des requêtes entières, car les candidats d’une requête partagent ses mots. Le modèle les apprend comme un groupe. Si une requête avait des candidats dans les données d’entraînement et de test, le modèle la connaîtrait en partie. Le score serait alors trop bon.

Vérifiez votre compréhension

LambdaMART avec l'encodeur croisé sur 10 candidats obtient 0,751, avec un p95 de 177,6 ms sur 4 fils. Il tient dans le budget de 200 ms. Pourquoi l'étude de cas recommande-t-elle quand même LambdaMART seul (0,739, 9,6 ms)?

Afficher la réponse

Le gain est faible (+0,012) et la marge est mince. Les 177,6 ms ont été mesurées sur un portable au repos. Il reste environ 22 ms pour le réseau et la page. La méthode exige un serveur entier de 4 vCPU par recherche. Aux pointes de trafic, le p95 dépasse donc le budget. LambdaMART seul reste bien en deçà du budget et dépasse BM25 dans chaque tranche. La version avec l’encodeur croisé reste une solution concurrente : testez-la en ligne.

Vérifiez votre compréhension

Sur les données de Larkfield, la correction orthographique apportait un gain net. Sur l'ensemble des requêtes WANDS, elle entraîne une petite perte. Quelle est la différence, et que feriez-vous?

Afficher la réponse

Le jeu de test de Larkfield contenait des fautes insérées, à une modification d’un mot connu. C’est exactement ce que le correcteur corrige. Les vraies requêtes WANDS contiennent peu de fautes de frappe et beaucoup de noms de produits, comme « filaret » ou « togo ». Le dictionnaire ne les connaît pas, ni certains mots courants comme « artist ». Le correcteur transforme donc de vrais mots en mots erronés. Encadrez-le : corrigez seulement quand la requête trouve trop peu de produits, protégez les noms connus ou enrichissez le dictionnaire. Puis mesurez de nouveau les requêtes modifiées.

Récapitulatif

  • Sur le jeu de données WANDS complet (42 994 produits, 480 vraies requêtes), BM25 obtient un NDCG@10 de 0,643. La normalisation apporte l’essentiel du gain (+0,063); la correction orthographique nuit aux vrais noms.
  • La recherche hybride (0,721) dépasse chacune de ses deux composantes. Les meilleures deuxièmes étapes sont l’encodeur croisé sur 20 candidats (0,746) et LambdaMART (0,739, avec validation croisée par requête).
  • Sans l’encodeur croisé, chaque méthode s’exécute en moins de 10 ms. L’encodeur croisé tient dans les 200 ms seulement avec 10 candidats et 4 fils.
  • La recommandation : recherche hybride avec LambdaMART, +0,096 par rapport à BM25 en 9,6 ms au p95. La version avec l’encodeur croisé reste une solution concurrente pour un test en ligne.
  • Sur les mêmes 120 requêtes de test, chaque méthode donne un résultat à moins de 0,01 de celui de Larkfield.

Ensuite, un plus grand jeu de données d’achat en deux langues. La difficulté sera de distinguer un produit presque pertinent du bon produit.

Leçon suivante : Requêtes d'achat avec des négatifs difficiles