Aller au contenu
English

Apprentissage du classement

  • Leçon 21
  • 45 min
  • Module 6 : Reclasser les premiers résultats

Où nous en sommes

Dans la dernière leçon, l'encodeur croisé lisait la requête et le produit ensemble. Il aidait les requêtes anglaises, nuisait aux françaises et prenait environ une seconde par recherche. Il ne connaît aussi que le texte. Une boutique en sait plus : le type de produit, le prix, le stock, les achats des clients. Dans cette leçon, nous décrivons chaque candidat avec des variables. Nous entraînons ensuite un modèle LambdaMART avec LightGBM sur nos jugements.

Ce que vous saurez faire

Combinez plusieurs signaux dans un seul classement. Laissez les jugements déterminer le poids de chaque signal. Vous décrivez chaque candidat avec 19 variables et entraînez un modèle LambdaMART avec LightGBM. Ensuite, vous examinez ce qu’il a appris et le comparez à l’encodeur croisé pour un budget de 200 ms.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter calcule à la main un exemple par paires et construit 12 variables pour les candidats enregistrés. Ensuite, il entraîne LambdaMART avec LightGBM sur les requêtes de validation et le mesure sur les requêtes de test. Il installe LightGBM dans sa première cellule. Ses cellules de préparation téléchargent les données d’exercice, donc aucune configuration locale n’est nécessaire. Environ 40 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)

  • Le projet larkfield-search avec les fichiers de ce module, tiré de l’exercice guidé de Reclassement par encodeur croisé. python -m pytest -q doit afficher 31 passed (31 tests réussis).
  • Sur macOS, la bibliothèque OpenMP de Homebrew pour LightGBM : brew install libomp.

Une vendeuse expérimentée ne suit pas une seule règle. Quand un client demande un « lit très grand format », elle évalue plusieurs indices à la fois. L’étiquette indique-t-elle « très grand format »? Est-ce un lit ou un drap? Est-il en stock? Les gens qui font cette demande l’achètent-ils habituellement? Le prix correspond-il à peu près au budget du client?

Personne ne lui a donné une formule avec des poids. Elle les a appris au fil des années, à partir des résultats : les produits achetés et les produits rapportés. Une nouvelle vendeuse dispose des mêmes indices, mais ne connaît pas encore le poids de chacun.

Le problème : chaque méthode utilise un seul type de signal

Section intitulée « Le problème : chaque méthode utilise un seul type de signal »

Jusqu’ici, chaque méthode de recherche utilise un seul type de signal :

  • BM25 compte les mots. BM25 pondérait ses champs à la main et par une recherche en grille. Les poids choisis sur la validation perdaient du terrain sur le test.
  • La recherche dense compare les sens, mais manque les noms et les nombres.
  • La recherche hybride combine les deux selon le rang, avec une seule règle fixe.
  • L’encodeur croisé lit mieux le texte, mais seulement le texte anglais. Il ne voit jamais le prix, le stock ou la popularité.

Voici une requête de test française, « lit très grand format » : un lit de très grande taille, issu de la requête anglaise « king size bed ». Les 5 premiers résultats de la recherche hybride :

hybrid-rrf: "lit très grand format" -> 10 results (query F-122: judged results are marked)
1. LK-30733 grand baroque cake knife Flatware & Silverware Se 485.99 [not judged]
2. LK-75214 legrand tv stand for tvs up to 88 '' TV Stands & Entertainmen 813.99 [not judged]
3. LK-50365 tv stand for tvs up to 88 '' TV Stands & Entertainmen 464.99 [not judged]
4. LK-97583 shiela grand dining table Dining Tables 433.99 [out of stock] [not judged]
5. LK-45765 grand hall console table Sofa & Console Tables 273.99 [out of stock] [not judged]

Un couteau à gâteau et des meubles de télévision. Le mot anglais « grand » correspondait. Le NDCG@10 est de 0,000. Pourtant, l’information nécessaire pour faire mieux existe. Certains produits ont un titre français contenant « lit », et BM25 leur attribue un score sur les titres français. La recherche hybride ne peut pas savoir que, pour cette requête, le titre français doit compter plus que la description anglaise. Écrire de telles règles à la main pour chaque type de requête ne fonctionne pas.

L’apprentissage du classement (learning to rank, LTR) entraîne un modèle à ordonner des candidats à partir d’exemples. Les exemples sont des requêtes avec des produits jugés : les 260 requêtes d’entraînement de Larkfield, avec les notes WANDS. Ces notes sont : exact 2, partiel 1, non pertinent 0. Le modèle ne lit jamais de texte. Il lit des variables : des nombres qui décrivent une paire requête-produit.

L'apprentissage du classement dans le projet. Un candidat pour une requête, parmi les 100 premiers résultats hybrides, devient 19 variables. Variables de texte : BM25 par champ, score dense, score RRF, rang hybride. Variables de boutique : prix, stock, promotion, note, clics, paniers, âge. Variables de requête : mots, présence d'un nombre. LambdaMART les transforme en un score avec 300 petits arbres de décision, chacun ajoutant un peu. Les 100 candidats sont triés par score. Les jugements des 260 requêtes d'entraînement servent à apprendre les arbres : exact 2, partiel 1, non pertinent 0.
Apprentissage du classement : chaque candidat devient une ligne de 19 variables. Un modèle entraîné sur les jugements transforme cette ligne en score. Les candidats sont triés par score.
Description textuelle du diagramme

Boîtes de gauche à droite : « Un candidat pour une requête (100 premiers résultats hybrides) » → « 19 variables : texte : BM25 par champ, score dense, score RRF, rang hybride; boutique : prix, stock, promotion, note, clics, paniers, âge; requête : mots, présence d’un nombre » → « LambdaMART : 300 petits arbres de décision, chacun ajoute un peu » → « Un score » → « Trier les 100 candidats par score ». Une flèche pointillée va de « Jugements des 260 requêtes d’entraînement : exact 2, partiel 1, non pertinent 0 » à LambdaMART. Elle porte l’étiquette « apprend les arbres ».

Le fichier du projet larkfield_search/ltr.py les calcule pour chacun des 100 candidats d’une requête :

Groupe Variables Ce qu’elles indiquent
Texte bm25_title, bm25_description, bm25_category, bm25_attributes, bm25_title_fr Score BM25 de la requête dans chaque champ, après correction orthographique et racinisation (Normaliser le texte, Corriger l’orthographe)
Texte dense, rrf, hybrid_rank Similarité cosinus du bi-encodeur, score RRF hybride et rang dans la recherche hybride
Type class_match 1 si la classe du produit correspond à celle demandée par la requête (le classificateur de Détecter ce que demande la requête)
Boutique price_log, in_stock, on_sale, rating, rating_count_log Prix, stock, indicateur de promotion et évaluations (les prix, stocks et indicateurs de promotion sont synthétiques)
Popularité clicks_log, carts_log Clics et ajouts au panier du produit dans le journal synthétique, pour toutes les requêtes
Fraîcheur age_days Nombre de jours depuis l’ajout du produit
Requête query_words, query_has_number Longueur de la requête et présence d’un nombre

Certaines variables décrivent la paire (BM25, score dense). Certaines décrivent seulement le produit (prix, popularité). D’autres décrivent seulement la requête (sa longueur). Un modèle d’arbres peut les combiner : « une requête longue avec un score élevé sur le titre français » forme une branche.

Comment entraîner un modèle à ordonner des éléments? Il existe trois approches.

  • Par élément : prédire la note de chaque produit séparément, puis trier selon la prédiction. C’est simple, mais une prédiction parfaite des notes n’est pas nécessaire : seul l’ordre compte.
  • Par paires : prendre deux produits de la même requête et apprendre lequel doit précéder l’autre. Cette approche se rapproche davantage du classement.
  • Par listes : examiner la liste entière et améliorer une mesure de toute la liste, comme le NDCG.

LambdaMART combine les deux dernières approches. Il examine des paires. Pour chaque paire mal ordonnée, il pose une question : combien le NDCG de la liste gagnerait-il si on inversait ces produits? Ensuite, il exerce une pression plus forte sur les paires offrant le plus grand gain. La partie « MART » signifie multiple additive regression trees : plusieurs arbres de régression additifs. Chaque petit arbre de décision corrige un peu les erreurs des arbres précédents. C’est l’amplification de gradient, expliquée dans la leçon Les méthodes d’ensemble du cours d’apprentissage automatique. LightGBM est une bibliothèque rapide à code source ouvert (licence MIT) qui entraîne ces arbres. Son objectif lambdarank est LambdaMART.

Trois candidats pour une requête, avec les scores actuels du modèle et les notes des juges. C’est la première cellule du carnet :

Rang Produit Score actuel du modèle Note
1 A 2,1 0 (non pertinent)
2 B 1,5 2 (exact)
3 C 0,3 1 (partiel)

Les gains sont 2^note − 1 et les facteurs de réduction, log2(rang + 1), comme dans Mesures de classement. Le DCG actuel est 0 + 3 ÷ 1,585 + 1 ÷ 2 = 2,393. L’ordre idéal (B, C, A) donne 3 + 1 ÷ 1,585 + 0 = 3,631. Le NDCG actuel est donc 2,393 ÷ 3,631 = 0,659.

Deux paires sont mal ordonnées. Un meilleur produit se trouve sous un moins bon :

Paire mal ordonnée NDCG après inversion Gain de l’inversion
B devrait précéder A 0,964 +0,305
C devrait précéder A 0,797 +0,138

La paire B–A vaut plus du double de la paire C–A. B est exact, et l’inversion le place au rang 1, où la réduction est la plus faible. LambdaMART utilise ces gains comme poids. Les arbres suivants travaillent surtout à faire passer B devant A.

  1. Entraînez le modèle sur les jugements des 260 requêtes d’entraînement. Le projet calcule les 19 variables pour 26 000 candidats, puis entraîne le modèle. Cela a pris 8 secondes sur le portable de l’équipe du cours.

    Fenêtre de terminal
    search ltr train
    Trained LambdaMART on 260 training queries, 26,000 candidates (13,763 with a label above 0), labels: judgments. Saved outputs/ltr-judgments.txt
    Feature importance (share of the total gain):
    rrf 25.4%
    hybrid_rank 15.5%
    bm25_title 11.2%
    bm25_title_fr 7.3%
    bm25_category 5.9%
    dense 4.7%
    bm25_description 4.1%
    bm25_attributes 3.7%
    price_log 3.6%
    query_words 3.2%
    carts_log 3.1%
    age_days 2.9%
    clicks_log 2.9%
    rating_count_log 2.9%
    class_match 2.2%
    query_has_number 0.7%
    rating 0.6%
    on_sale 0.1%
    in_stock 0.1%

    Si vous voyez Library not loaded: libomp.dylib (bibliothèque non chargée) sur macOS, exécutez brew install libomp et réessayez. Nous n’avons pas testé de Mac sans cette bibliothèque.

  2. Mesurez-le sur les requêtes de test :

    Fenêtre de terminal
    search eval --run ltr
    ltr on 243 test queries: NDCG@10 0.668 (95% interval 0.628 to 0.708)
    recall@100 0.540, MRR 0.698, zero results 0.0%, judged in the top 10 73.9%; 18.6 ms a query (p50), 44.4 ms (p95)

    Cette fois, le modèle s’exécute vraiment : les 18,6 ms couvrent le calcul des variables et des 300 arbres. En direct, sur 1 fil, l’équipe du cours a mesuré 36 ms au p50 et 54 ms au p95.

  3. Comparez-le à la recherche hybride, par type de requête :

    Fenêtre de terminal
    search compare hybrid-rrf ltr --by source
    ltr minus hybrid-rrf on 241 test queries: ndcg@10 +0.047 (95% interval +0.023 to +0.073); better on 101, worse on 75, the same on 65
    source queries hybrid-rrf ltr difference low high worse
    code 20 1.000 1.000 0.000 0.000 0.000 0
    planted 3 0.335 0.571 0.236 0.159 0.337 0
    translated 59 0.315 0.474 0.158 0.101 0.216 14
    typo 40 0.612 0.615 0.003 -0.065 0.079 17
    wands 119 0.719 0.729 0.010 -0.012 0.032 44
  4. Examinez de nouveau la requête française :

    Fenêtre de terminal
    search query "lit très grand format" --run ltr
    ltr: "lit très grand format" -> 10 results (query F-122: judged results are marked)
    1. LK-57005 standard king bed 107.99 [exact]
    2. LK-77012 litchville king bed Beds 629.99 [exact]
    3. LK-90382 atalfo king standard bed Beds 581.99 [exact]
    4. LK-17316 full bunk bed 73.99 [not judged]
    5. LK-88796 california king upholstered platform bed Beds 860.99 [partial]

    Les cinq premiers résultats (sur dix) sont des lits. Trois sont des lits très grand format exacts. Le NDCG@10 de cette requête passe de 0,000 à 0,715.

Le modèle dépasse la recherche hybride de +0,047 (intervalle à 95 % de +0,023 à +0,073). C’est le premier gain clair de ce module. Le NDCG@10 est de 0,668 (de 0,628 à 0,708) sur les requêtes de test de Larkfield. Mais le gain n’est pas réparti également.

LambdaMART moins la recherche hybride sur les requêtes de test de Larkfield, avec l'intervalle apparié à 95 %. Le gain vient surtout des requêtes françaises et générales. Il n'est pas clair sur les vraies requêtes anglaises.
Description textuelle du graphique

Différences avec une ligne à zéro. Toutes les requêtes +0.047 (de +0.023 à +0.073); WANDS anglais +0.010 (de −0.012 à +0.032); fautes d’orthographe +0.003 (de −0.065 à +0.079); français +0.159 (de +0.104 à +0.216); requêtes larges +0.130 (de +0.062 à +0.204).

  • Requêtes françaises : +0,159. Le modèle a appris quand faire confiance au score BM25 des titres français. La recherche hybride mélange tous ses signaux avec une seule règle fixe. Le modèle peut donner un grand poids au score du titre français seulement quand ce score est élevé.
  • Requêtes générales : +0,130. Pour « sofa » ou « couch », plusieurs produits correspondent aux mots. La classe du produit, le nombre d’évaluations et la popularité aident à choisir parmi eux.
  • Vraies requêtes anglaises : +0,010 (de −0,012 à +0,032) : le gain n’est pas clair. Pour celles-ci, la recherche hybride était déjà bonne, et le modèle suit surtout son classement.

La sortie ci-dessus affiche +0.158 pour les 59 requêtes traduites automatiquement. Avec la requête française insérée « canapé », les 60 requêtes françaises donnent +0,159. Rappelez-vous que les requêtes françaises sont traduites automatiquement. Ce grand gain pourrait être plus faible sur les requêtes de vrais clients francophones.

LightGBM indique à quel point chaque variable a aidé les arbres. L’importance par gain est l’amélioration totale de l’objectif d’entraînement apportée par toutes les divisions utilisant cette variable. Voici les dix plus grandes parts :

Importance des variables du modèle LambdaMART entraîné sur les jugements (part du gain). Le score et le rang hybrides dominent. Le score BM25 du titre français arrive quatrième.
Description textuelle du graphique

Un point par variable, de 0 % à 30 % : rrf 25.4%, hybrid_rank 15.5%, bm25_title 11.2%, bm25_title_fr 7.3%, bm25_category 5.9%, dense 4.7%, bm25_description 4.1%, bm25_attributes 3.7%, price_log 3.6%, query_words 3.2%; les 9 autres variables ensemble 15.4 %.

Trois éléments ressortent.

  1. Le modèle fait confiance à l’étape un. Ensemble, rrf et hybrid_rank représentent 40,9 % du gain. Le modèle part de l’ordre de la recherche hybride et le corrige.
  2. bm25_title_fr arrive quatrième, à 7,3 %. Ce nombre résume le gain français.
  3. in_stock et on_sale sont presque à zéro, à 0,1 % chacune. Le stock ne compte-t-il pas? Il compte pour une boutique, mais le modèle apprend seulement ce que les étiquettes récompensent. Les juges WANDS notaient la pertinence : « est-ce le produit demandé par la personne? » Un lit très grand format en rupture de stock reste exact. Si Larkfield veut tenir compte du stock, c’est une règle d’affaires, pas de la pertinence. Aucun résultat et règles d’affaires mesure le coût de telles règles.

L’importance indique ce que le modèle utilise, pas ce qui est vrai. Deux variables portant la même information se partagent le gain. Chacune pourrait suffire à elle seule.

À vous : l’encodeur croisé ou LambdaMART pour 200 ms?

Section intitulée « À vous : l’encodeur croisé ou LambdaMART pour 200 ms? »

Le budget d’Amira est de 200 ms par recherche. Le modèle que vous avez entraîné comprend des variables de clics (clicks_log, carts_log). Avant toute exécution, faites une prédiction : sur les requêtes anglaises, lequel est meilleur, l’encodeur croisé ou LambdaMART?

Fenêtre de terminal
search compare rerank-ce ltr --by language
La sortie et un choix
ltr minus rerank-ce on 241 test queries: ndcg@10 +0.033 (95% interval +0.005 to +0.064); better on 93, worse on 85, the same on 63
language queries rerank-ce ltr difference low high worse
en 181 0.758 0.733 -0.024 -0.048 0.001 74
fr 60 0.264 0.471 0.207 0.141 0.271 11

Sur les requêtes anglaises, l’encodeur croisé est un peu meilleur : 0,758 contre 0,733. La différence est de −0,024, avec un intervalle de −0,048 à +0,001, qui touche tout juste zéro. Sur les requêtes françaises, LambdaMART est nettement meilleur : 0,471 contre 0,264.

Pour un budget de 200 ms, choisissez LambdaMART. Il atteint 0,668 au total en 36 ms (p50, 1 fil). L’encodeur croisé sur 50 candidats atteint 0,635 en environ 1,1 s. En 200 ms, l’encodeur croisé ne pourrait lire que 10 candidats (0,631). Une idée à mesurer plus tard : ajouter aux variables de LambdaMART le score de l’encodeur croisé sur les 10 premiers candidats, si le temps le permet.

Erreur courante

Le modèle semble excellent sur ses propres requêtes d'entraînement

Symptôme : Tomás mesure son nouveau modèle sur les requêtes utilisées pour l’entraîner, parce qu’« elles ont le plus de jugements » :

Fenêtre de terminal
search eval --run ltr --split train
ltr on 260 train queries: NDCG@10 0.878 (95% interval 0.850 to 0.904)
recall@100 0.586, MRR 0.904, zero results 0.0%, judged in the top 10 90.0%; 18.3 ms a query (p50), 34.7 ms (p95)

Il rapporte 0,878. Sur les requêtes de test, le même modèle donne 0,668. Sur la validation, il donne 0,698.

Cause : les arbres ont appris des détails de ces 260 requêtes et de leurs produits jugés. Certains de ces détails ne se répètent pas sur de nouvelles requêtes. C’est du surapprentissage. Chaque nombre mesuré sur les données d’entraînement est trop optimiste.

Correction : rapportez les résultats du modèle seulement sur des requêtes qu’il n’a jamais vues. Choisissez les réglages sur la validation, puis mesurez une seule fois sur le test. Le cours d’apprentissage automatique explique pourquoi dans Données d’entraînement, de validation et de test.

Conséquence pour la recherche : un modèle de classement réglé sur ses requêtes d’évaluation décevra en production. Gardez les requêtes de test hors de l’entraînement et de vos choix.

Quand utiliser l’apprentissage du classement et ce qu’il coûte

Section intitulée « Quand utiliser l’apprentissage du classement et ce qu’il coûte »

Utilisez l’apprentissage du classement quand vous avez des requêtes jugées et plusieurs signaux qui apportent chacun un peu d’aide. Sur les requêtes de test de Larkfield, c’est jusqu’ici le meilleur classement qui tient dans le budget. Il obtient 0,668, soit +0,047 par rapport à la recherche hybride, en 36 ms.

Il a des coûts :

  • Jugements. Le modèle a appris à partir de 13 763 étiquettes positives sur 260 requêtes. Sans jugements, il n’a rien pour apprendre. La prochaine leçon demande si les clics peuvent les remplacer.
  • Variables au moment de la requête. Chaque variable doit être calculée pour chaque candidat à chaque recherche. Ici, cela prend environ 35 ms sur 1 fil : le budget est respecté, mais ce n’est pas gratuit.
  • Entretien. Quand une variable change (nouvel analyseur BM25, nouveau modèle de plongement), réentraînez le modèle et mesurez de nouveau.
  • Le coût monétaire est faible. Environ 0,0004 $ US par 1 000 recherches au prix du processeur supposé dans le cours.

Ne vous attendez pas à ce qu’il corrige les candidats. Comme toute deuxième étape, il garde le rappel à 100 (recall@100) à 0,540. Il réordonne seulement ce que la recherche hybride a trouvé. Ne prenez pas non plus l’importance des variables pour une vérité sur votre boutique. Elle montre ce qui prédit les étiquettes des juges.

Vérifiez votre compréhension

Une liste contient trois produits, dans cet ordre, avec les notes 0, 2, 1. Quelle paire mal ordonnée LambdaMART corrige-t-il en priorité, et pourquoi?

Afficher la réponse

Le produit exact (note 2) au rang 2, sous le produit non pertinent au rang 1. Les inverser fait passer le NDCG de 0,659 à 0,964 (+0,305). Placer le produit partiel au-dessus du produit non pertinent donne seulement +0,138. LambdaMART pondère chaque paire selon le gain de NDCG obtenu en l’inversant. Le haut de la liste compte le plus.

Vérifiez votre compréhension

in_stock représente 0,1 % du gain. Hana conclut que le stock ne compte pas pour les clients de Larkfield. Que lui dites-vous?

Afficher la réponse

Le modèle apprend ce qui prédit ses étiquettes. Les étiquettes sont les notes de pertinence des juges de WANDS. Un produit en rupture de stock peut quand même correspondre exactement à la demande. Le modèle n’a donc aucune raison d’utiliser le stock. Placer ces produits plus bas selon les préférences des clients est une question d’affaires. On la mesure avec des clics, des paniers ou une règle (module 7), pas avec cette importance.

Vérifiez votre compréhension

LambdaMART gagne +0,047 sur la recherche hybride au total, +0,159 en français et +0,010 sur les vraies requêtes anglaises. Que vérifieriez-vous avant de dire à Omar qu'il aidera autant les clients francophones?

Afficher la réponse

Nos requêtes françaises sont des traductions automatiques de requêtes anglaises et partagent leurs jugements de pertinence. Les vrais clients francophones peuvent écrire autrement. Avant de promettre ce gain en français, mesurez-le sur de vraies requêtes françaises. Vous pouvez aussi observer les recherches en français avec un test en ligne (module 8).

Récapitulatif

  • L’apprentissage du classement (learning to rank, LTR) entraîne un modèle à ordonner des candidats à partir de requêtes jugées. Il lit des variables : 19 nombres par candidat, des scores textuels au prix, à la popularité et à l’âge.
  • LambdaMART examine les paires mal ordonnées et les pondère selon le gain de NDCG obtenu en les inversant. Il utilise des arbres avec amplification de gradient (gradient boosting). La fonction lambdarank de LightGBM l’entraîne.
  • Sur les requêtes de test de Larkfield, ltr atteint 0,668 (de 0,628 à 0,708) : +0,047 sur la recherche hybride. Le gain vient surtout du français (+0,159) et des requêtes larges (+0,130). Il s’exécute en 36 ms (p50, 1 fil d’exécution).
  • Importance des variables : le score et le rang hybrides arrivent en tête (40,9 %). Le score BM25 du titre français arrive quatrième (7,3 %). Le stock et les soldes sont près de zéro, car les étiquettes sont des notes de pertinence.
  • Un modèle évalué sur ses requêtes d’entraînement paraît trop bon : 0,878 à l’entraînement, 0,668 au test.

Le modèle a appris à partir de 13 763 étiquettes attribuées par des juges. Le jugement est lent et coûteux, mais le journal des requêtes contient des milliers de clics gratuits. Ensuite, vous entraînez le modèle sur des clics. Vous verrez pourquoi un clic n’est pas une étiquette de pertinence.

Leçon suivante : Apprendre à partir des clics