Aller au contenu
English

Requêtes d'achat avec des négatifs difficiles

  • Étude de cas 2
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans huit modules, nos étiquettes étaient exact, partiel et non pertinent. Dans cette étude de cas, nous classons de vraies requêtes d'achat avec les étiquettes exact, substitut, complément et non pertinent. Nous mesurons aussi le coût des substituts affichés.

Étude de cas 2 sur 3 · Recherche et classement : trouver la meilleure correspondanceRequêtes d'achat avec des négatifs difficiles

Ce que vous saurez faire

Classez les résultats de vraies requêtes d’achat où la plupart des mauvaises réponses semblent bonnes. Vous comparez cinq méthodes de classement sur le jeu de données public Shopping Queries d’Amazon, en anglais et en espagnol. Il comporte quatre étiquettes : exact, substitut, complément et non pertinent. Ensuite, vous chiffrez le coût d’un substitut affiché. Vous décidez ce qu’un magasin devrait montrer quand le produit exact n’existe pas.

Étude de casPièce de portfolio

Licence
Apache-2.0
Durée
Environ 2 h 30
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Étiquettes graduées et gains
  • BM25 par champ et par langue
  • Classement dense et hybride
  • Encodeur croisé
  • LambdaMART avec des négatifs difficiles
  • Tranches par langue
  • Coût d'un substitut

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, plus quatre tâches avec des vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (environ 40 Mo) : aucune configuration, aucun compte. Il s’exécute en moins d’une minute; la dernière section télécharge aussi le bi-encodeur (environ 200 Mo).

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)

  • Python 3.12 dans un nouvel environnement virtuel, et Jupyter ou VS Code. La première cellule du carnet installe les versions fixées des paquets (NumPy, pandas, bm25s, PyStemmer, LightGBM, sentence-transformers et PyTorch).
  • Sur macOS, la bibliothèque OpenMP de Homebrew pour LightGBM : brew install libomp, comme dans Reclassement par encodeur croisé.
  • La cellule de préparation télécharge les données dans un nouveau dossier esci-search. Pour recommencer, supprimez ce dossier. Elle ne touche pas à votre projet larkfield-search.

Testé sur macOS (Apple M4, 16 Go) avec Python 3.12, dans Jupyter lancé à neuf. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Lucía Ortega dirige la recherche d’une place de marché en ligne qui vend aux États-Unis et en Espagne. Son équipe ne veut pas remplacer le moteur de recherche. Elle veut améliorer l’ordre des 16 à 40 produits que le moteur trouve déjà pour chaque requête.

Le problème, c’est que la plupart de ces produits semblent convenir. Pour « 4k 3d tv », la liste contient des téléviseurs 3D, mais aussi des téléviseurs 4K sans 3D. Elle comprend aussi un lecteur Blu-ray 3D et un projecteur 3D. Tous partagent des mots avec la requête, mais certains ne répondent pas tout à fait au besoin.

Voici les questions de Lucía à Dev, son ingénieur en apprentissage automatique :

  • « Quelle méthode de classement place le plus souvent le produit exact en premier, en anglais et en espagnol? »
  • « À quel point est-ce mauvais de montrer un produit semblable à la place? La personne pourrait quand même l’acheter. »
  • « Et quand nous ne vendons pas le produit exact, que devrait afficher la page? »

Son budget est celui du cours : 200 ms pour une recherche sur un serveur à processeur ordinaire.

Lucía et Dev sont inventés; les données sont réelles. Rien ici ne concerne la recherche d’Amazon elle-même.

Vous comparerez cinq familles de méthodes à une référence de base BM25 sur les mêmes 800 requêtes de test. Ce sont BM25 par champ avec racinisation, la recherche dense, la recherche hybride, un encodeur croisé et LambdaMART. Vous mesurerez la qualité, la répartition des étiquettes parmi les 10 premiers résultats, le temps et le coût. Vous le ferez par langue et par type de requête. Ensuite, vous chiffrez le coût d’un substitut et exécutez la solution choisie sur de nouvelles requêtes. Vous présentez le tout comme un projet de portfolio.

Larkfield cherchait parmi les 40 066 produits. Ici, le moteur de recherche du magasin a déjà choisi les candidats. La tâche est donc le reclassement : placer une courte liste dans le meilleur ordre. L’autre étude de cas, Recherche de produits pour un magasin de meubles, cherche dans un catalogue complet.

Les données sont un échantillon du Shopping Queries Dataset, aussi appelé ESCI d’après ses quatre étiquettes. Amazon l’a publié en 2022 pour un concours de recherche (la KDD Cup). Il contient de vraies requêtes saisies sur les sites d’Amazon. Pour chaque requête, il contient jusqu’à 40 produits affichés par la recherche d’Amazon. Des annotateurs formés ont étiqueté chaque produit.

Le fichier complet des produits fait 1,1 Go, trop pour un carnet. L’équipe du cours a donc prélevé un échantillon aléatoire fixe dans la division entraînement-test d’ESCI. Il contient 400 requêtes de test et 300 requêtes d’entraînement par langue. La licence autorise une copie; l’échantillon se trouve donc à côté du carnet. Dev le charge :

queries = pd.read_csv("data/esci_queries.csv", keep_default_na=False)
labels = pd.read_csv("data/esci_judgments.csv.gz")
products = pd.read_csv("data/esci_products.csv.gz", keep_default_na=False)

La sortie :

1,400 queries, 33,945 judgments, 32,759 products
{('test', 'es'): 400, ('test', 'us'): 400, ('train', 'es'): 300, ('train', 'us'): 300}
['product_id', 'locale', 'title', 'brand', 'colour', 'bullets', 'description']

Ce que cela nous apprend. Un jugement est une étiquette pour une paire (requête, produit). Les requêtes de test servent à la comparaison. Les requêtes d’entraînement servent uniquement à choisir les paramètres et à entraîner LambdaMART.

Les annotateurs ont donné à chaque produit l’une des quatre étiquettes. Les voici pour une vraie requête de test :

La requête 4k 3d tv avec quatre candidats. Exact, gain 1 : un téléviseur intelligent Sony de 65 pouces 4K Ultra HD 3D. Substitut, gain 0,1 : un téléviseur intelligent LG de 86 pouces 4K LED UHD sans 3D. Complément, gain 0,01 : un lecteur de disques Blu-ray Sony 4K 3D. Non pertinent, gain 0 : un projecteur intelligent avec 3D DLP-Link.
Les quatre étiquettes ESCI pour la requête de test « 4k 3d tv », avec le gain attribué par le NDCG à chaque étiquette dans cette étude de cas.
Description textuelle du diagramme

Une boîte de recherche, « 4k 3d tv », avec quatre flèches. Exact, gain 1 : téléviseur intelligent Sony de 65 pouces 4K Ultra HD 3D. Substitut, gain 0,1 : téléviseur intelligent LG de 86 pouces 4K LED UHD, sans 3D. Complément, gain 0,01 : lecteur de disques Blu-ray Sony 4K 3D. Non pertinent, gain 0 : projecteur intelligent avec 3D DLP-Link.

  • Exact (E) : le produit demandé par la personne, avec tous les détails.
  • Substitut (S) : il lui manque un détail, mais il pourrait remplacer le produit. Le téléviseur LG n’a pas de 3D.
  • Complément (C) : il ne correspond pas, mais il accompagne le produit. Le lecteur Blu-ray lit des disques 3D sur le téléviseur.
  • Non pertinent (I) : il n’aide pas. Un projecteur n’est pas un téléviseur.

Larkfield avait une seule note, « partiel », pour les deux types de correspondances imparfaites. ESCI la sépare en deux sens commerciaux distincts.

Les colonnes utilisées dans l’étude de cas :

Fichier et colonne Signification Utilisation
queries.query, locale Le texte de la requête et son site (us anglais, es espagnol) Entrée, tranche
queries.split La division d’ESCI : train (entraînement) ou test (test) Entraînement ou comparaison
queries.source La catégorie d’ESCI pour la collecte de la requête : negations (négations : « without », « sin »), parse_pattern (motif d’analyse), behavioral (comportemental), other (autre) Tranche
judgments.esci_label E, S, C ou I Cible
products.title, brand, colour Texte court du produit Champs BM25, bi-encodeur, encodeur croisé
products.bullets, description Texte long du produit, limité à 1 000 caractères Champs BM25

Avant tout classement, Dev vérifie les étiquettes :

esci_label E S C I
locale
es 0.403 0.353 0.076 0.168
us 0.427 0.363 0.043 0.166
repeated (query, product) pairs: 0
queries with no exact product: 0
queries with only exact products: 0
judged products per query: median 16 | min 8 | max 95
products without a title: 0
products without bullet points: 3875
product IDs in both languages: 23

Ce que cela nous apprend. Environ 4 candidats sur 10 sont exacts, et environ 1 sur 3 est un substitut, dans les deux langues. L’espagnol compte presque deux fois plus de compléments. Chaque requête a au moins un produit exact. Nous devons donc construire le cas « aucun produit exact » plus tard. Il y a 23 identifiants de produit dans les deux langues, avec des textes différents. On identifie donc un produit par sa langue et son identifiant.

  • L’unité est une requête et sa liste de candidats. La sortie est un ordre pour cette liste.
  • La cible est l’étiquette ESCI de chaque candidat.
  • Le moment de la décision est celui de la recherche. La requête, le texte du produit et leurs scores sont alors connus.
  • Fuites de données. L’ordre du fichier ne doit rien décider. On départage donc les égalités par identifiant de produit, jamais par étiquette. On choisit les paramètres uniquement avec les requêtes d’entraînement.
  • La mesure est le NDCG@10 avec des gains pour les quatre étiquettes.

Le NDCG a besoin d’un gain pour chaque étiquette : la valeur d’un résultat dans la liste. Nous utilisons les gains d’ESCI pour sa tâche de classement : exact 1, substitut 0,1, complément 0,01, non pertinent 0. Dev fournit les nouveaux gains au fichier compare.py du cours.

Un petit exemple : une requête a quatre candidats, a, b, c et d, étiquetés E, S, C et I :

exact first: 1.0 | substitute first: 0.689 | irrelevant first: 0.642

Ce que cela nous apprend. Avec ces gains, un substitut en première place coûte 0,311 de NDCG. Un produit non pertinent coûte seulement 0,047 de plus. Pour cette mesure, un substitut est presque une mauvaise réponse.

Imaginez un vendeur en formation. Si vous lui demandez « Ce boyau d’arrosage est-il un téléviseur? », il réussit toujours et n’apprend rien. Un bon test demande « Ce téléviseur 4K est-il le téléviseur 3D que le client veut? ». Les mauvaises réponses utiles sont celles qui semblent bonnes.

Un négatif est un produit qui n’est pas la réponse. Un négatif difficile (hard negative) ressemble à la réponse : il partage des mots, la catégorie ou la marque. Un négatif facile est un produit choisi au hasard.

La requête 100w solar panel without controller. Positif, exact : un ensemble de panneau solaire portatif ACOPOWER 100W. Négatif difficile : un régulateur de charge solaire 20A pour panneau solaire, qui partage 3 mots de la requête; la recherche du magasin l'a affiché, et un modèle doit lire « without controller » (sans régulateur). Négatif facile : une recharge de lames de rasoir Gillette, qui ne partage aucun mot de la requête; la règle « mots partagés = bon » suffit pour la rejeter.
Un négatif difficile tiré des données et un négatif facile. Chaque candidat d'ESCI a été affiché par la recherche du magasin; ses mauvaises réponses sont donc des négatifs difficiles.
Description textuelle du diagramme

Une boîte de recherche, « 100w solar panel without controller », avec trois flèches. Positif, exact : ensemble de panneau solaire portatif ACOPOWER 100W. Négatif difficile : régulateur de charge solaire 20A pour panneau solaire, partage 3 mots de la requête; « la recherche de la boutique l’affichait : un modèle doit lire “without controller” ». Négatif facile : recharges de lames de rasoir Gillette, ne partage aucun mot de la requête; « un produit au hasard : “mots partagés = bon” suffit pour le rejeter ».

D’abord, quelle est la qualité d’une liste sans classement? Dev place chaque liste dans un ordre aléatoire. Ensuite, il exécute la référence de base : BM25 sur le titre, les puces et la description comme un seul champ. Il utilise les mots tels quels.

random order NDCG@10 0.543 (0.528 to 0.559) exact first 41.5% S in top 10 35.8%
bm25 NDCG@10 0.682 (0.666 to 0.699) exact first 63.0% S in top 10 30.0%

Deux nouvelles colonnes : exact en premier est la part des requêtes ayant un produit exact en première place. S parmi les 10 premiers est la part des 10 premiers résultats qui sont des substituts.

Ce que cela nous apprend. Un ordre aléatoire obtient déjà 0,543, car 4 candidats sur 10 sont exacts. Toutes les autres méthodes doivent dépasser le score de 0,682 de BM25 sur les mêmes 800 requêtes.

Chaque méthode ci-dessous donne un score à chaque candidat; la liste est triée selon ce score.

Les terminaisons des mots espagnols changent comme celles des mots anglais (« fundas », « funda »). Dev utilise donc le raciniseur anglais ou espagnol selon le site de la requête, et supprime les accents. Il calcule séparément les scores de quatre champs : titre, marque et couleur, puces, description. Il choisit leurs pondérations uniquement avec les requêtes d’entraînement :

title brand_colour bullets description train ndcg@10
1.0 0.50 0.25 0.0 0.697
1.0 0.25 0.25 0.0 0.695
1.0 1.00 0.25 0.0 0.694
bm25-norm NDCG@10 0.687 (0.671 to 0.703) exact first 63.4% S in top 10 29.8%

Ce que cela nous apprend. Les meilleures pondérations ignorent la description. Le gain sur le test est faible : +0,005, avec un intervalle de −0,005 à +0,015. Il n’est donc pas clair. La racinisation aidait Larkfield, qui devait trouver les produits. Ici, chaque candidat partage déjà des mots avec la requête.

L’équipe du cours a encodé chaque produit (titre, marque et couleur) et chaque requête une seule fois. Le modèle est le bi-encodeur multilingue du cours, granite-embedding-97m-multilingual-r2 d’IBM. La recherche dense trie les candidats selon la similarité cosinus. La recherche hybride fusionne l’ordre bm25-norm et l’ordre dense par fusion des rangs réciproques (RRF, k 60). C’est la méthode de Recherche hybride.

dense NDCG@10 0.683 (0.667 to 0.700) exact first 63.5% S in top 10 31.8%
hybrid-rrf NDCG@10 0.702 (0.687 to 0.718) exact first 65.6% S in top 10 30.0%

Ce que cela nous apprend. La recherche dense seule est à égalité avec BM25. Fusionnées, les deux font mieux que chacune seule : +0,020 par rapport à BM25 (intervalle de +0,009 à +0,031). Elles font des erreurs différentes; la fusion en corrige donc une partie de chaque côté. La recherche dense place le plus de substituts parmi les 10 premiers résultats (31,8 %). Un sens semblable est proche de ce qui définit un substitut.

L’encodeur croisé lit ensemble la requête et le texte d’un produit, puis donne un score. C’est la méthode de Reclassement par encodeur croisé. Il s’agit du modèle du cours, granite-embedding-reranker-english-r2 d’IBM. Sa fiche de modèle indique un entraînement pour l’anglais, sans MS MARCO (une affirmation du fournisseur). L’équipe du cours a enregistré ses scores pour les 19 379 paires de test; le carnet les réutilise.

19,379 recorded pairs for 800 test queries; model ibm-granite/granite-embedding-reranker-english-r2
rerank-ce NDCG@10 0.718 (0.701 to 0.734) exact first 69.0% S in top 10 29.4%

Ce que cela nous apprend. L’encodeur croisé est la meilleure méthode de classement de cette étude de cas. Il gagne +0,036 par rapport à BM25 (+0,022 à +0,049). Il place un produit exact en premier pour 69 % des requêtes. Lire toute la requête aide à traiter des détails comme « 3d » ou un numéro de modèle. Le coût est le temps.

LambdaMART apprend à ordonner une liste à partir d’exemples étiquetés, comme dans Apprentissage du classement. Dev l’entraîne sur les 600 requêtes d’entraînement, avec les gains d’étiquette 0, 0,01, 0,1 et 1. Chaque candidat est une ligne de 14 variables simples. Sept sont des scores : BM25 par champ, BM25 simple, le score dense et le score RRF. Deux décrivent la correspondance : la part des mots de la requête dans le titre, et la présence de la marque dans la requête. Deux sont des longueurs : le nombre de mots du titre et de la requête. Les trois dernières décrivent la requête : présence d’un nombre, d’un mot de négation, langue espagnole. Les candidats de chaque requête d’entraînement sont les produits affichés par la recherche du magasin : des négatifs difficiles.

ltr NDCG@10 0.707 (0.692 to 0.723) exact first 67.8% S in top 10 29.8%
{'rrf': 28.2, 'dense': 11.8, 'bm25_plain': 10.4, 'title_coverage': 10.3, 'bm25_title': 9.9}

Ce que cela nous apprend. LambdaMART dépasse BM25 de +0,025 (+0,014 à +0,036). Face à la recherche hybride, son gain est de +0,005 (−0,002 à +0,012) : il n’est pas clair. La deuxième ligne donne la part du gain de chaque variable. Le score RRF domine; l’essentiel des connaissances du modèle vient donc de la recherche hybride. Face à l’encodeur croisé, son score est inférieur de 0,011 (−0,022 à −0,000).

Erreur courante

Entraînement avec des négatifs faciles

Les négatifs étiquetés coûtent cher. Un raccourci courant consiste donc à utiliser des produits choisis au hasard comme négatifs. Dev essaie : chaque requête d’entraînement garde ses produits exacts. Ses négatifs sont des produits aléatoires d’autres requêtes d’entraînement dans la même langue.

ltr easy negatives NDCG@10 0.692 (0.677 to 0.708) exact first 64.6% S in top 10 30.3%

Cette méthode perd 0,015 par rapport à l’entraînement sur les candidats du magasin (−0,023 à −0,006). Son gain sur BM25 n’est plus clair (+0,010, −0,000 à +0,022). Un produit choisi au hasard est facile à rejeter : « partage des mots avec la requête » suffit. Mais chaque produit de la vraie liste partage des mots avec la requête. Correction : entraînez le modèle sur les candidats étiquetés que votre propre première étape affiche. Si vous devez ajouter des négatifs sans étiquettes, prenez-les dans vos résultats de recherche, pas au hasard.

Chaque méthode a utilisé les mêmes 800 requêtes de test, étiquettes, gains et mesures. Le temps d’une recherche est la somme de ses étapes. L’équipe du cours l’a mesuré sur 80 requêtes de test, sur un portable avec un seul fil CPU (Apple M4). Le coût utilise le prix supposé du cours : 0,17 $ US l’heure pour un serveur à 4 vCPU.

Méthode Description NDCG@10 (intervalle à 95 %) Exact en premier S parmi les 10 premiers p50 / p95 ms $ US par 1 000
random order le minimum 0,543 (0,528–0,559) 42 % 36 % 0 0
bm25 référence de base : un champ, mots simples 0,682 (0,666–0,699) 63 % 30 % 0,1 / 0,4 0,00001
bm25-norm par champ, racinisation par langue 0,687 (0,671–0,703) 63 % 30 % 0,1 / 0,4 0,00001
dense cosinus du bi-encodeur 0,683 (0,667–0,7) 64 % 32 % 6 / 9 0,0003
hybrid-rrf RRF de bm25-norm et dense 0,702 (0,687–0,718) 66 % 30 % 6 / 9 0,0003
rerank-ce encodeur croisé sur chaque candidat 0,718 (0,701–0,734) 69 % 29 % 340 / 862 0,0161
ltr LambdaMART, 14 variables 0,707 (0,692–0,723) 68 % 30 % 8 / 11 0,0004
NDCG@10 de chaque méthode avec son intervalle bootstrap à 95 %, sur les mêmes 800 requêtes de test. L'encodeur croisé arrive premier; LambdaMART et la recherche hybride suivent. L'entraînement avec des négatifs faciles perd la plus grande partie du gain de LambdaMART.
Description textuelle du graphique

Un point avec une barre d’intervalle pour chaque méthode. Ordre aléatoire 0,543 (0,528 à 0,559). BM25 0,682 (0,666 à 0,699). bm25-norm 0,687. dense 0,683. hybrid-rrf 0,702 (0,687 à 0,718). rerank-ce 0,718 (0,701 à 0,734), mis en évidence. ltr 0,707 (0,692 à 0,723). ltr avec des négatifs faciles 0,692.

Ce que cela nous apprend. Les écarts de qualité sont faibles : de 0,682 à 0,718 pour les méthodes réelles. Les écarts de temps ne le sont pas. Avec un fil, l’encodeur croisé prend environ 340 ms pour la recherche médiane et 862 ms pour les 5 % les plus lentes. Cela dépasse largement le budget de 200 ms. LambdaMART prend environ 8 ms, surtout pour encoder la requête. Chaque méthode coûte une fraction de cent par 1 000 recherches : le temps est la limite, pas l’argent. C’est ce que montre Budgets de latence et de coût.

La part des substituts parmi les 10 premiers varie à peine : de 29 % à 32 % pour chaque méthode réelle. Toutes les méthodes sont réglées pour les produits exacts. Aucune ne décide volontairement où placer les substituts.

Pas selon ces mesures : environ 48 paires par seconde sur un fil, et la liste médiane compte 16 candidats. Chez Larkfield, 50 candidats prenaient encore 732 ms avec quatre fils (non mesuré ici). Reclasser seulement les premiers candidats de LambdaMART pourrait tenir dans le budget : une prochaine expérience, pas un résultat.

Lucía vend dans deux langues. Une méthode qui gagne dans l’ensemble peut perdre dans l’une d’elles.

Différence appariée par rapport à BM25 avec son intervalle à 95 %, par langue. Le gain de LambdaMART est clair en espagnol, mais pas en anglais; l'encodeur croisé anglais aide dans les deux langues.
Description textuelle du graphique

Deux panneaux. Anglais : dense −0,007 (−0,026 à +0,012); hybrid-rrf +0,015 (+0,000 à +0,030); rerank-ce +0,033 (+0,016 à +0,051); ltr +0,014 (−0,001 à +0,029); ltr avec des négatifs faciles +0,004. Espagnol : dense +0,009 (−0,013 à +0,030); hybrid-rrf +0,025 (+0,008 à +0,042); rerank-ce +0,038 (+0,019 à +0,058); ltr +0,035 (+0,019 à +0,052); ltr avec des négatifs faciles +0,016.

Ce que cela nous apprend. Deux résultats ont surpris l’équipe.

  • L’encodeur croisé anglais aide en espagnol (+0,038). Chez Larkfield, le même modèle nuisait aux requêtes françaises (−0,048). Nous ne savons pas pourquoi. Deux raisons sont probables. Les titres espagnols contiennent beaucoup de noms de marques, de numéros de modèles et de mots anglais. Et des personnes ont saisi ces requêtes; un modèle ne les a pas traduites. Ne supposez pas que cela vaut pour votre boutique : mesurez-le.
  • LambdaMART aide plus en espagnol qu’en anglais (+0,035 contre +0,014, écart non clair). BM25 part de plus bas en espagnol (0,669 contre 0,696), ce qui laisse plus de place au progrès.

ESCI classe 102 requêtes de test comme des négations : des requêtes qui excluent quelque chose, comme « without hitch » ou « sin relleno ». Voici le NDCG@10 par type de requête :

Type (requêtes de test) aléatoire bm25 dense hybrid-rrf rerank-ce ltr
négations (102) 0,498 0,589 0,566 0,589 0,616 0,595
parse_pattern (111) 0,475 0,671 0,670 0,695 0,707 0,713
comportementales (37) 0,371 0,623 0,706 0,702 0,717 0,716
autres (550) 0,577 0,706 0,706 0,724 0,739 0,726

Ce que cela nous apprend. Les négations sont la pire tranche pour chaque méthode, environ 0,1 sous le reste. La recherche dense perd face à BM25 sur cette tranche (−0,023). Un vecteur pour « panel without controller » est proche d’un vecteur pour « panel with controller ». La recherche hybride ne gagne rien. La variable de négation de LambdaMART ne représente que 0,8 % du gain. Les 90 requêtes de négation des données d’entraînement sont trop peu nombreuses pour apprendre « without ».

Voici une requête de négation du jeu de test, avec trois méthodes :

"100w solar panel without controller" (bm25)
1. [S] ECO-WORTHY 100W Solar Water Pump Kit - 100W Solar Panel + 12V Water Pu
2. [E] ACOPOWER 100W Portable Solar Panel Kit (Expansion 100W)
3. [E] Renogy 100W Eclipse Lightweight Suitcase Without Controller, Panel Onl
"100w solar panel without controller" (rerank-ce)
1. [E] SOLPERK 100W Solar Panel 12V, Monocrystalline Solar Panel Kit with Hig
2. [E] PowerECO 100W 12V Solar Poly Panel RV Kit with 20A PWM Charge Controll
3. [S] ECO-WORTHY 100W Solar Water Pump Kit - 100W Solar Panel + 12V Water Pu
"100w solar panel without controller" (ltr)
1. [E] Renogy 100W Eclipse Lightweight Suitcase Without Controller, Panel Onl
2. [E] SOLPERK 100W Solar Panel 12V, Monocrystalline Solar Panel Kit with Hig
3. [C] HUINE 10A PWM Solar Charge Controller Waterproof IP68 12V 24V Solar Pa

Ce que cela nous apprend. BM25 favorise l’ensemble de pompe, qui répète « 100W » et « solar panel ». LambdaMART trouve le panneau qui indique « Without Controller », puis affiche un régulateur au troisième rang. Le deuxième résultat de l’encodeur croisé est un ensemble avec un régulateur, étiqueté exact : les annotateurs font aussi des erreurs.

Le NDCG indique qu’un substitut vaut 0,1 fois un produit exact. Lucía veut cette valeur en termes commerciaux. Dev utilise le modèle de clics du cours comme hypothèse. Une personne regarde le rang k avec une probabilité de 1/k. Après l’avoir regardé, elle clique puis ajoute au panier avec ces probabilités :

Étiquette Clic, après avoir regardé Ajout au panier, après un clic Ajouts au panier par regard Source
Exact 0,65 0,30 0,195 modèle de clics du cours (exact)
Substitut 0,25 0,08 0,020 modèle de clics du cours (partiel)
Complément 0,10 0,05 0,005 notre hypothèse
Non pertinent 0,05 0,01 0,0005 modèle de clics du cours
worth at position 1: {'E': 0.195, 'S': 0.02, 'C': 0.005, 'I': 0.0005}
a substitute earns 10% of an exact product, 40 times an irrelevant one
expected add-to-carts per 1,000 searches: {'random order': 260.8, 'bm25': 334.4, 'bm25-norm': 338.2, 'dense': 334.6, 'hybrid-rrf': 344.8, 'rerank-ce': 353.3, 'ltr': 349.0}

Ce que cela nous apprend. Les 10 % d’un substitut sont proches du gain ESCI de 0,1. La mesure et la perspective d’affaires concordent donc. Placer un substitut plutôt qu’un produit exact en premier coûte environ 0,175 ajout au panier. Avec le panier supposé de 85 $ US du cours, cela représente environ 15 $ US de ventes à risque par recherche. Mais un substitut rapporte 40 fois plus qu’un produit non pertinent. Affichez donc le produit exact en premier quand il existe; sinon, un substitut vaut bien mieux que rien.

LambdaMART ajoute environ 15 ajouts au panier par 1 000 recherches par rapport à BM25 (349,0 contre 334,4). Ce sont des hypothèses. Seul un test en ligne, comme dans Tester les changements en ligne, mesurerait le nombre réel.

Une vraie boutique ne vend souvent pas l’article exact. Dev masque donc les candidats exacts de chaque requête de test et classe le reste avec chaque méthode, sans réentraînement. Il reste au moins un substitut ou un complément pour 740 requêtes de test.

ndcg@10 S first I first carts per 1,000
random order 0.794 0.672 0.211 37.933
bm25 0.806 0.673 0.162 38.491
dense 0.816 0.693 0.165 39.159
hybrid-rrf 0.816 0.685 0.158 39.061
rerank-ce 0.815 0.693 0.164 39.017
ltr 0.810 0.685 0.165 38.892
Quand les produits exacts sont masqués (740 requêtes de test), fréquence à laquelle chaque méthode place un produit non pertinent en premier (CE : l'encodeur croisé). Chaque méthode dépasse l'ordre aléatoire d'environ 5 points, et elles sont toutes proches les unes des autres.
Description textuelle du graphique

Un graphique à six colonnes. Ordre aléatoire 21 %. BM25 16 %. Dense 16 %. Recherche hybride (hybrid-rrf) 16 %. Encodeur croisé (rerank-ce) 16 %. LambdaMART (ltr) 16 %.

Ce que cela nous apprend. Sans produit exact, chaque méthode affiche un substitut en premier pour environ 2 requêtes sur 3. Elle affiche un produit non pertinent en premier pour environ 1 requête sur 6. Un ordre aléatoire le fait pour 1 requête sur 5. La page rapporte environ 39 ajouts au panier par 1 000 recherches, contre environ 350 avec les produits exacts. Les méthodes ont appris ce qui fait une correspondance exacte, pas un bon substitut. La boutique ne peut donc pas confier ce cas au seul modèle de classement.

La comparaison dépend-elle des gains ESCI? Dev mesure les mêmes exécutions avec les gains du cours. Les substituts et les compléments comptent alors comme partiels (exact 3, substitut 1, complément 1, non pertinent 0) :

ESCI gains course gains
random order 0.543 0.648
bm25 0.682 0.758
hybrid-rrf 0.702 0.773
rerank-ce 0.718 0.783
ltr 0.707 0.777

Ce que cela nous apprend. Tous les nombres augmentent, mais l’ordre des méthodes ne change pas.

La recommandation de Dev pour Lucía :

La conception recommandée. La requête, en anglais ou en espagnol, passe à la première étape de la boutique, qui trouve environ 16 à 40 candidats. LambdaMART les classe avec 14 variables simples en environ 8 ms. Si la boutique vend un produit exact, la page de résultats affiche la meilleure correspondance en premier. Une personne vérifie les requêtes de négation. Sinon, la page affiche une rangée « Articles similaires » avec les substituts, identifiés comme tels. Une rangée distincte « Va avec » contient les compléments.
La conception recommandée : LambdaMART reclasse les candidats de la boutique; quand le produit exact n'est pas vendu, la page le précise et affiche les substituts comme articles similaires.
Description textuelle du diagramme

Requête, anglais ou espagnol → première étape de la boutique, environ 16 à 40 candidats → LambdaMART, 14 variables simples, p50 de 8 ms sur 1 fil → « Un produit exact est-il vendu? ». Oui → page de résultats, meilleure correspondance en premier → une personne vérifie les requêtes de négation (« without », « sin »). Non → rangée « Articles similaires » : substituts, identifiés → rangée distincte « Va avec » : compléments.

  1. Déployez LambdaMART avec les 14 variables simples comme modèle de reclassement. C’est la meilleure méthode sous 200 ms : NDCG@10 de 0,707 contre 0,682 pour BM25. Elle prend environ 8 ms (p50) et 11 ms (p95). Son gain sur BM25 est clair en espagnol, mais pas tout à fait en anglais. La recherche hybride suit de près (0,702) et ne demande aucun entraînement. Si l’équipe ne peut pas continuer à obtenir des étiquettes, déployez la recherche hybride.
  2. Entraînez uniquement sur les candidats de la boutique. Les négatifs aléatoires font perdre la plus grande partie du gain.
  3. Gardez l’encodeur croisé comme cible de qualité. Il dépasse LambdaMART de 0,011, mais prend 340 ms. Testez-le sur les premiers candidats de LambdaMART, ou comme score en cache pour les requêtes les plus courantes.
  4. Quand aucun produit exact n’est vendu, dites-le. Affichez les substituts dans une rangée « Articles similaires », et les compléments dans une rangée distincte, « Va avec ». Ne les mélangez pas aux résultats exacts. Le modèle de classement ne peut pas détecter ce cas. Utilisez le catalogue (marque, modèle ou taille manquante) pour décider que le produit exact n’est pas vendu.
  5. Ce qu’une personne vérifie encore : un échantillon hebdomadaire de requêtes de négation dans les deux langues, avant et après chaque changement. Vérifiez aussi les étiquettes de cet échantillon.

Latence et coût par 1 000 requêtes pour la conception recommandée : environ 8 ms p50 et 11 ms p95 par recherche, encodage de la requête compris. Cela utilise un seul fil sur le portable de l’équipe du cours. Le coût est de 0,0004 $ US par 1 000 recherches au prix supposé de 0,17 $ US l’heure. Mesurez les deux sur votre propre serveur.

Une nouvelle requête n’a aucune liste de candidats provenant de la recherche de la boutique. Le carnet Jupyter ajoute donc une première étape de remplacement. Elle prend les 30 premiers candidats selon la RRF de BM25 et de la recherche dense sur tous les produits de la langue. Puis LambdaMART, entraîné sur les 600 requêtes d’entraînement, les classe. Le même bi-encodeur calcule le vecteur de la requête en direct.

for text, loc in [("wireless earbuds for running", "us"), ("phone case without magnet", "us"),
("auriculares inalambricos para correr", "es")]:
found, ms = search(text, loc)

La sortie (la première recherche comprend le chargement du modèle) :

"wireless earbuds for running" (us, 2985 ms)
1. Bose Sport Earbuds - Wireless Earphones - Bluetooth In Ear Headphones for Work
2. Bose Sport Open Earbuds — True Wireless Open Ear Headphones - Sweat Resistant
3. SAMSUNG Galaxy Buds Live True Wireless Earbuds US Version Active Noise Cancell
4. Wireless Earbuds, Upgraded Boltune Bluetooth V5.2 in-Ear Stereo Wireless Headp
5. FutureCharger for Airpods Pro Charger, Wireless Charger for Airpod 3/Airpods/A
"phone case without magnet" (us, 26 ms)
1. OCASE iPhone X Wallet Case, iPhone 10 Case [ Wireless Charging ] [ Card Slot ]
2. CravenSpeed Gemini Phone Mount for Mini [3rd Gen Models Only] (Magnet)
3. Dreem Fibonacci 2-in-1 Wallet-Case for Apple iPhone X & Xs - Luxury Vegan Leat
4. TJS Compatible with Samsung Galaxy A50 2019 Case, with Full Coverage Tempered
5. Vofolen 2-in-1 Case for iPhone 8 Plus Case 7 Plus Wallet Card Holder ID Slot D
"auriculares inalambricos para correr" (es, 38 ms)
1. Auriculares Inalambricos Deportivos, Auriculares Bluetooth 5.1 con Micrófono,
2. Auriculares Inalámbricos Bluetooth 5.0, Auriculares Deportivos En La Oreja, 60
3. Auriculares Bluetooth 5.0 Auriculares Inalambricos Bluetooth Deportivos,Auricu
4. LYCHL Auriculares Inalambricos Deportivos, Auriculares Bluetooth 5.0 Sport IP7
5. Auriculares Bluetooth, Auriculares Inalámbricos, Auriculares Internos, Auricul

Ce que cela nous apprend. Personne n’a jugé ces résultats, alors examinez-les vous-même. Les écouteurs semblent convenir dans les deux langues; le cinquième résultat anglais est un chargeur, un complément. La requête de négation échoue encore : un support pour voiture étiqueté « (Magnet) » arrive deuxième. L’échantillon ne contient que 32 759 produits, ce qui limite les résultats possibles. Vos temps seront différents.

Plus facile ou plus difficile que Larkfield? Plus facile : des listes courtes, avec 4 produits exacts sur 10. Plus difficile : de vraies requêtes désordonnées dans deux langues, des étiquettes plus fines et seulement des négatifs difficiles. Le journal de Larkfield est synthétique et son français est traduit automatiquement. Ici, les requêtes sont réelles, mais il n’y a pas de clics. Comparez donc les tendances, pas les nombres. La recherche hybride a aidé dans les deux cas. LambdaMART a gagné davantage sur la recherche hybride chez Larkfield (+0,047) qu’ici (+0,005).

  • Un échantillon. Les 400 requêtes de test par langue donnent des intervalles d’environ ±0,02. Les écarts plus petits demandent la partition de test complète (11 373 requêtes anglaises et espagnoles).
  • Reclassement seulement. Les candidats sont fixes. Nous ne pouvons donc pas dire si une méthode trouve bien les produits que la recherche de la boutique a manqués.
  • Les étiquettes contiennent des erreurs, comme le montre l’exemple du panneau solaire. Chaque méthode est mesurée par rapport à elles.
  • Le cas « aucun produit exact » est construit en masquant les produits exacts.
  • La valeur est une hypothèse tirée du modèle de clics. Elle donne des tendances, pas une prévision.
  • Les temps proviennent d’un seul portable, avec un fil et les modèles chargés.
  • Le jeu de données ne contient aucune donnée sur les clients. Ses noms de marques sont réels; un classement n’est pas un jugement sur une marque.
  • Identifiez les substituts honnêtement. Un substitut présenté comme le produit demandé induit l’acheteur en erreur. Dites « Articles similaires » et montrez la différence importante (pas de 3D, autre taille).
  • Ne laissez pas le classement remplacer la disponibilité. Favoriser des substituts commandités ou de marque maison au-dessus d’un produit exact vendu est une règle d’affaires, pas de la pertinence. Mesurez-la séparément, comme la règle de soldes de Hana dans Aucun résultat et règles d’affaires.
  • Présentez les résultats des deux langues, pas seulement le total.
  • Licences des modèles. Les modèles IBM sont sous Apache-2.0. Leurs fiches (bi-encodeur, encodeur croisé) déclarent des données d’entraînement à licence permissive, sans MS MARCO. La référence de base d’ESCI utilisait un encodeur croisé MS MARCO (conditions de MS MARCO : recherche non commerciale seulement); pas nous.

Cette étude montre que vous pouvez classer avec des étiquettes fines, comparer équitablement des méthodes et transformer une mesure en décision d’affaires. Personnalisez-la avec un changement. Par exemple, ajoutez les requêtes japonaises, ou un classificateur qui prédit « substitut » (troisième tâche d’ESCI) pour la rangée « Articles similaires ».

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet Jupyter, exécuté du début à la fin, avec ses sorties.
  • Un results.csv avec le tableau comparatif et les tranches par langue et par type.
  • Un court DECISION.md : la conception, ses réglages, sa latence et son coût, et ce qu’une personne vérifie.
  • La source et la licence des données : ESCI, Apache-2.0, avec la ligne NOTICE et une liste de vos changements. Apache-2.0 permet d’inclure votre échantillon, avec le fichier de licence.

Un modèle de README :

# Re-ranking shopping queries with hard negatives (ESCI, English and Spanish)
## Problem
A marketplace re-orders the 16-40 products its search finds for each query.
Most wrong answers look right. Budget: 200 ms per search on a CPU.
## Data and licence
Amazon Shopping Queries Dataset (ESCI), Apache-2.0, github.com/amazon-science/esci-data.
Sample: 400 test + 300 train queries per language (us, es), seed 38.
## Approach
NDCG@10 with ESCI gains (E 1, S 0.1, C 0.01, I 0). BM25 baseline; BM25 per field;
dense; hybrid RRF; cross-encoder (recorded scores); LambdaMART on 14 features
trained on the shop's candidates. Paired bootstrap intervals; slices by language
and by query kind.
## Results (800 test queries)
LambdaMART 0.707 vs BM25 0.682 (+0.025), 8 ms p50. Cross-encoder 0.718 but 340 ms.
Easy negatives lose 0.015. Negation queries are the worst slice for every method.
Without an exact product, every method is close to a random order.
## Limits
Sample; re-ranking only; noisy labels; value from an assumed click model.

Comment le décrire en entrevue, en deux phrases : « J’ai comparé cinq méthodes de classement sur les données publiques de requêtes d’achat d’Amazon en anglais et en espagnol. J’ai choisi LambdaMART : +0,025 de NDCG@10 par rapport à BM25 en 8 ms, contre 340 ms pour l’encodeur croisé. J’ai aussi montré que les négatifs aléatoires font perdre la plus grande partie du gain, et qu’aucun modèle de classement ne choisit de bons substituts quand le produit exact manque. »

Pour aller plus loin :

  • Reclassez les 5 premiers candidats de LambdaMART avec l’encodeur croisé. Prédisez d’abord : tient-il dans les 200 ms, et quelle part de l’écart comble-t-il?
  • Ajoutez une variable pour les négations : une pénalité quand un titre contient le mot qui suit « without » ou « sin ». Mesurez la tranche des négations.
  • Entraînez avec les gains du cours plutôt que ceux d’ESCI, et comparez la part des substituts parmi les 3 premiers.

Vérifiez votre compréhension

Un ordre aléatoire des candidats obtient ici un NDCG@10 de 0,543, contre seulement 0,429 pour la référence de base BM25 de Larkfield. Le classement est-il plus facile avec ces données? Expliquez.

Afficher la réponse

Les deux nombres mesurent des tâches différentes. Ici, le moteur de recherche de la boutique a déjà choisi environ 16 candidats par requête. Environ 4 sur 10 sont exacts. Même un ordre aléatoire place donc de bons produits parmi les 10 premiers. Larkfield cherchait parmi les 40 066 produits. Une méthode devait donc d’abord trouver les quelques bons produits. Les gains diffèrent aussi (1 pour un produit exact et 0,1 pour un substitut dans ESCI, contre 3 et 1 dans le cours). Comparez les méthodes avec les mêmes requêtes, étiquettes et gains, jamais entre jeux de données.

Vérifiez votre compréhension

LambdaMART entraîné avec des produits aléatoires comme négatifs obtient 0,015 de moins que le même modèle entraîné sur les candidats de la boutique. Pourquoi?

Afficher la réponse

Les produits aléatoires sont des négatifs faciles : ils n’ont aucun mot en commun avec la requête. Le modèle apprend donc que des mots communs indiquent la pertinence. Dans la vraie liste, chaque candidat partage des mots avec la requête, parce que le moteur de recherche les a choisis. Cette règle ne distingue pas un produit exact d’un substitut ou d’un produit ressemblant, mais non pertinent. Les candidats de la boutique sont des négatifs difficiles (hard negatives). Ils enseignent au modèle les détails importants.

Vérifiez votre compréhension

Lucía demande : « Quand nous ne vendons pas le produit exact, pouvons-nous laisser LambdaMART choisir le meilleur substitut? » Que répondez-vous, chiffres à l'appui?

Afficher la réponse

Pas à lui seul. Quand les produits exacts sont masqués, LambdaMART affiche d’abord un produit non pertinent pour environ 16 % des requêtes. Un ordre aléatoire le fait pour 21 %, et toutes les méthodes sont proches de 16 %. Les modèles ont appris à reconnaître une correspondance exacte, pas un bon substitut. La boutique devrait donc utiliser son catalogue pour déterminer que le produit exact manque. Elle nomme ensuite la rangée « Articles similaires » et garde les produits complémentaires dans une rangée distincte. Un modèle entraîné à reconnaître les substituts pourrait améliorer l’ordre.

Récapitulatif

  • Les étiquettes d’ESCI sont exact, substitut, complément et non pertinent. Avec ses gains (1, 0,1, 0,01, 0), un substitut au premier rang coûte 0,311 de NDCG.
  • Un moteur de recherche a affiché chaque candidat. Chaque mauvaise réponse est donc un négatif difficile. Un ordre aléatoire obtient 0,543; BM25, 0,682.
  • Recherche hybride : 0,702; LambdaMART : 0,707 (8 ms); encodeur croisé : 0,718 (340 ms, au-delà du budget). L’encodeur croisé anglais a aidé pour l’espagnol ici.
  • Les négatifs faciles font perdre 0,015. Les négations sont la pire tranche pour toutes les méthodes.
  • Un substitut rapporte 10 % du gain d’un produit exact et 40 fois celui d’un produit non pertinent. Sans produit exact, aucune méthode de classement ne dépasse beaucoup un ordre aléatoire : nommez les substituts « Articles similaires ».

À venir : de longues questions sur un corpus de documents, où les requêtes sont des arguments, pas des noms de produits.

Leçon suivante : Chercher dans un centre d'aide ou un corpus scientifique