Aller au contenu
English

Un modèle de classement appris

  • Leçon 21
  • 45 min
  • Module 7 : Deux étapes : les candidats et le classement

Où nous en sommes

Nous avons des candidats de plusieurs sources. Il faut maintenant placer les meilleurs en premier. Dans cette leçon, nous créons des caractéristiques pour chaque client et produit. Nous entraînons ensuite un modèle de classement LambdaMART avec LightGBM sur le prochain achat.

Leçon 21 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteUn modèle de classement appris
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Classez les candidats de chaque client avec un modèle qui a appris à partir des commandes passées. Décrivez chaque candidat avec 26 caractéristiques. Entraînez un modèle de classement LightGBM LambdaMART sur les deux semaines avant la période de test. Mesurez ensuite son apport par rapport à la meilleure source seule, segment par segment.

Carnet JupyterFaites cette leçon dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter calcule à la main un petit classement. Il construit ensuite deux sources de candidats et six caractéristiques. Il entraîne un modèle de classement LightGBM LambdaMART sur les deux semaines avant la période de test. Vous attribuez des scores aux candidats des clients de test et comparez le modèle aux tendances seules. La première cellule installe LightGBM. Les cellules de préparation téléchargent environ 7 Mo de données d’exercice. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Votre projet larkfield-recs avec les fichiers de la dernière leçon : recs candidates --quick fonctionne.

Testé sur macOS avec Python 3.12 et LightGBM 4.7.0. Les commandes Windows (PowerShell) et Linux n’ont pas été exécutées.

Revenons à la vendeuse en magasin. Elle a vingt produits sur le comptoir. Elle doit maintenant choisir leur ordre. Elle se pose de petites questions :

  • Ce client l’a-t-il regardé la semaine dernière?
  • Se vend-il bien cette semaine?
  • Correspond-il au style que ce client aime?
  • Le client achète-t-il souvent dans cette catégorie?

Chaque indice est faible à lui seul. Ensemble, ils sont forts. Elle sait aussi combien chaque indice compte, car elle a observé les achats de nombreux clients. Son expérience est un modèle, appris à partir des ventes passées.

Un modèle de classement appris fait la même chose. Il décrit chaque candidat avec des nombres. Il apprend à les pondérer à partir des commandes passées.

La dernière leçon a donné au client C106777 273 candidats de cinq sources. En voici trois :

Candidat trending item-cf ALS
Lumi Green Nordic Coffee Table #1 – #89
Navy Nitrile-Grip Garden Gloves #2 #48 #2
Bramble Terracotta Mosaic Side Table #4 – #39

Lequel vient en premier? Nous pouvons essayer des règles simples :

  • « Les tendances décident. » La table à café vient alors en premier. C’est la référence de base fondée sur les tendances : rappel à 10 (recall@10) 0,156.
  • « Additionner les scores avec des poids fixes. » C’est le mélange hybride du module 6 : 0,167.

Aucune de ces règles ne connaît le client. Pour un nouveau client, les tendances sont le seul indice. Pour un client fidèle, son propre historique compte davantage. Et les indices sont bien plus nombreux que les rangs dans trois sources. Il est impossible d’écrire à la main la bonne règle pour chaque type de client.

L’idée : apprendre l’ordre à partir des commandes passées

Section intitulée « L’idée : apprendre l’ordre à partir des commandes passées »

Nous transformons la question en données. Pour une période passée, nous connaissons les candidats et les commandes de chaque client. Un modèle peut apprendre quels candidats ont été commandés.

Caractéristiques : des nombres qui décrivent un candidat

Section intitulée « Caractéristiques : des nombres qui décrivent un candidat »

Une caractéristique est un nombre concernant un candidat pour un client. Le projet en calcule 26, réparties en quatre groupes :

Groupe Exemples
Les sources rang dans la liste de chaque source; score de item-cf, ALS et content; nombre de sources qui l’ont trouvé
Le produit acheteurs sur 7 jours, sur 28 jours et au total; saison (commandes récentes comparées aux commandes habituelles); prix; jours en vente
Le client nombre de commandes; événements des 30 derniers jours; jours depuis la dernière visite
La paire jours depuis la dernière interaction du client avec le produit; part des événements du client dans sa catégorie, sous-catégorie et son style; achat antérieur; consultations et ajouts au panier récents

Les caractéristiques de la paire comptent le plus pour une liste personnelle. Le nombre de jours depuis la dernière interaction varie pour chaque client et produit.

L’étiquette d’un candidat vaut 1 si le client l’a commandé dans les deux semaines suivantes, et 0 sinon. Le modèle apprend à donner des scores plus élevés aux candidats d’étiquette 1 qu’aux candidats d’étiquette 0 du même client.

Cette dernière partie est importante. Nous ne comparons pas le candidat d’un client à celui d’un autre. Les candidats de chaque client forment un groupe. Seul l’ordre dans ce groupe compte. Apprendre un ordre dans des groupes s’appelle l’apprentissage du classement (learning to rank). La leçon Apprentissage du classement du cours de recherche l’enseigne en profondeur; ici, nous utilisons les notions nécessaires.

Le projet utilise LightGBM, une bibliothèque d’arbres de décision avec amplification de gradient. Un arbre de décision pose quelques questions, comme « interaction dans les 30 derniers jours? », puis donne un score. L’amplification de gradient ajoute des centaines de petits arbres. Chaque nouvel arbre corrige les erreurs des arbres précédents.

Avec l’objectif d’entraînement lambdarank, les arbres apprennent un ordre. Cette combinaison s’appelle LambdaMART. L’idée : examiner chaque paire d’un groupe où un candidat d’étiquette 0 précède un candidat d’étiquette 1. Écarter leurs scores. Et les écarter davantage lorsque leur permutation changerait beaucoup le NDCG, donc près du début de la liste.

Un client a quatre candidats, A, B, C et D (un petit exemple que nous avons créé). Le client en a commandé un. Le NDCG donne au produit trouvé au rang k la valeur 1 / log2(k + 1). Avec un seul produit commandé, la meilleure valeur possible est 1.

Le produit commandé est au Sa valeur Après avoir avancé d’un rang Gain
rang 2 1 / log2(3) = 0,631 rang 1 : 1,000 +0,369
rang 4 1 / log2(5) = 0,431 rang 3 : 1 / log2(4) = 0,500 +0,069

Chaque erreur correspond à une paire dans le mauvais ordre. Mais corriger l’erreur au début vaut 0,369 / 0,069 = environ 5 fois plus. LambdaMART écarte donc les scores de cette paire environ 5 fois plus fortement. Le modèle concentre ses efforts là où le client regarde : les premiers rangs.

Le modèle apprend sur les deux semaines avant la période de test. Les candidats et les caractéristiques proviennent des événements avant le 8 juin. Les étiquettes correspondent aux commandes du 8 au 21 juin. Pour la période de test, le projet construit de nouveaux candidats et caractéristiques avec les événements avant le 22 juin. Les arbres entraînés leur attribuent ensuite des scores.

Deux encadrés de gauche à droite. Encadré 1, entraîner le modèle de classement : les événements avant le 8 juin donnent les candidats et les caractéristiques; les commandes du 8 au 21 juin donnent les étiquettes, 1 pour commandé et 0 pour non commandé. Une flèche intitulée « les arbres entraînés » mène à l'encadré 2, utiliser le modèle sur la période de test : les événements avant le 22 juin donnent les candidats et les caractéristiques; le modèle leur attribue des scores et garde 10 suggestions; les commandes du 22 juin au 5 juillet donnent le recall@10 et n'ont jamais été vues pendant l'entraînement.
Le modèle apprend sur les deux semaines avant la période de test, puis classe les candidats de cette période. Les commandes de test ne servent jamais à l'entraînement.
Description textuelle du diagramme

Encadré 1, entraîner le modèle de classement : les événements avant le 8 juin donnent les candidats et les caractéristiques. Les commandes du 8 au 21 juin donnent les étiquettes (1 = commandé, 0 = non commandé). Les arbres entraînés passent à l’encadré 2, utiliser le modèle sur la période de test : les événements avant le 22 juin donnent de nouveaux candidats et caractéristiques. Le modèle leur attribue des scores et garde 10 suggestions. Les commandes du 22 juin au 5 juillet donnent le recall@10. Elles n’ont jamais servi à l’entraînement.

La période de test reste donc à l’abri des fuites de données. Le modèle apprend aussi sur les deux semaines les plus récentes avant celle-ci. C’est important pour un magasin soumis aux saisons.

Chaque client d’entraînement a environ 200 candidats. Habituellement, un ou deux ont été commandés; les autres ont l’étiquette 0. Le projet garde tous les candidats d’étiquette 1 et 100 candidats d’étiquette 0 choisis au hasard par client. C’est l’échantillonnage négatif. Il accélère l’entraînement et réduit la taille des groupes. Les clients sans candidat commandé sont exclus : leur groupe n’offre rien à apprendre.

Sur la période de test de Larkfield, le nombre de négatifs a peu changé le recall@10 : 10 négatifs 0,228, 50 négatifs 0,230, 100 négatifs 0,234, 1 000 négatifs 0,226. La fenêtre d’entraînement comptait davantage : 7 jours 0,216, 14 jours 0,234, 28 jours 0,227. Une semaine contient trop peu de commandes pour apprendre. Quatre semaines remontent à une autre partie de la saison.

recs rank entraîne le modèle de classement et affiche ses données d’entraînement. Il a appris à partir de 1 452 clients ayant commandé un candidat pendant les deux semaines, avec 146 949 lignes de candidats. 2 117 lignes ont l’étiquette 1.

L’importance des caractéristiques indique combien chaque caractéristique a aidé. LightGBM additionne le gain : l’amélioration de l’objectif d’entraînement apportée par les divisions utilisant cette caractéristique, dans tous les arbres. Voici les dix plus importantes :

Les dix caractéristiques les plus importantes parmi les 26 du modèle, selon leur part du gain total. Les caractéristiques personnelles (récence, style, catégorie) et celles de popularité comptent toutes.
Description textuelle du graphique

Un graphique à points avec dix lignes, à partir de la caractéristique la plus importante : jours depuis la dernière interaction du client 9,6 %; acheteurs des 7 derniers jours 8,3 %; part de ce style chez le client 7,0 %; part de cette catégorie chez le client 7,0 %; acheteurs sur tout le journal 6,8 %; acheteurs des 28 derniers jours 6,3 %; rang dans trending 6,0 %; prix 4,6 %; jours depuis la dernière visite du client 4,6 %; rang dans ALS 4,4 %. Les 16 autres caractéristiques se partagent le reste du gain.

La première caractéristique est personnelle : le temps écoulé depuis la dernière interaction du client avec le produit. La deuxième est la popularité cette semaine. Viennent ensuite les goûts du client en matière de style et de catégorie. Le modèle mélange « ce que cette personne aime » et « ce qui se vend maintenant ». Aucune source seule ne fait les deux.

Interprétez l’importance avec prudence. Elle indique ce que les arbres ont utilisé, pas ce qui cause une commande. Deux caractéristiques portant la même information se partagent leur gain. Les trois caractéristiques de popularité représentent ensemble 21,3 % du gain.

Pour C106777, voici les trois premiers rangs du modèle et les deux produits commandés :

Rang Candidat trending ALS Jours depuis la dernière interaction Score Commandé?
1 Lumi Green Nordic Coffee Table #1 #89 37 1,107 non
2 Blush Rosé Wine – #73 37 1,089 non
3 Oak Label Shiraz #22 #26 66 0,893 non
11 Bramble Terracotta Mosaic Side Table #4 #39 381 -0,158 oui
15 Navy Nitrile-Grip Garden Gloves #2 #2 238 -0,307 oui

Les deux produits commandés sont aux rangs 11 et 15 : juste en dehors de la liste. Les rangs 2 et 3 sont des vins que le client a déjà commandés. Le modèle a appris que les gens rachètent souvent les produits avec lesquels ils ont interagi récemment. Pour ce client, c’est une erreur ici. Et le magasin n’a peut-être même pas le droit de suggérer du vin. Les règles de la prochaine leçon modifient cette liste.

Le recall@10 du modèle sur la période de test de Larkfield est de 0,234 (intervalle à 95 % de 0,217 à 0,251). Par segment : nouveaux 0,198, occasionnels 0,268, fidèles 0,258.

La bonne question est : quel est son apport par rapport à la meilleure source seule? Ce sont les tendances (0,156). Et par rapport à la meilleure combinaison manuelle, le mélange hybride (0,167)?

L'apport du modèle de classement en deux étapes au recall@10 sur la période de test de Larkfield, par segment, avec des intervalles à 95 % (bootstrap apparié sur les clients). Il aide chaque segment; les nouveaux clients gagnent le moins.
Description textuelle du graphique

Deux panneaux avec une ligne à zéro. Deux étapes moins les tendances : nouveaux clients 0,029 (intervalle de 0,015 à 0,044), occasionnels 0,106 (0,075 à 0,138), fidèles 0,126 (0,091 à 0,159), tous les clients 0,077 (0,062 à 0,092). Deux étapes moins le mélange hybride : nouveaux 0,039, occasionnels 0,114, fidèles 0,064, tous 0,066 (0,052 à 0,080). Chaque intervalle est au-dessus de zéro.

Chaque intervalle est au-dessus de zéro. Le gain est donc clair dans chaque segment. Mais sa taille varie :

  • Les clients occasionnels et fidèles gagnent le plus par rapport aux tendances : +0,106 et +0,126. Ils ont un historique, donc les caractéristiques de la paire apportent de l’information.
  • Les nouveaux clients gagnent le moins : +0,029. La plupart n’ont aucun historique : 633 des 952 n’avaient eu aucune interaction avant la période. Pour eux, le modèle n’a que les caractéristiques du produit. Celles-ci indiquent « populaire maintenant », comme les tendances.

Le carnet montre d’où vient la majeure partie du gain. Un petit modèle avec deux sources seulement (tendances et produits récents) et six caractéristiques obtient 0,227 sur les mêmes clients de test. Mélanger « ce qui se vend cette semaine » et « les interactions récentes du client » fait l’essentiel du travail. Les trois autres sources et les 20 caractéristiques ajoutent un peu plus.

Face au mélange hybride, les clients occasionnels gagnent le plus (+0,114). Le mélange utilise ALS, qui est faible pour les clients ayant une ou deux anciennes commandes. Le modèle apprend plutôt à faire confiance aux signaux récents et populaires pour eux.

Hybrides a aussi réglé les poids du mélange sur la période de validation (ALS 1, content 1, trending 2) : 0,193 sur la période de test. Comparez le modèle à ce mélange : recs compare "hybrid-blend[w_content=1,w_trending=2]" two-stage --by segment. Le modèle ajoute encore +0,041 (+0,027 à +0,054). Par segment : clients occasionnels +0,064, fidèles +0,062, nouveaux +0,013.

Quand l’utiliser, quand l’éviter et combien il coûte

Section intitulée « Quand l’utiliser, quand l’éviter et combien il coûte »

Utilisez un modèle de classement appris lorsque vous avez plusieurs sources de candidats et assez de commandes pour apprendre. Les deux semaines de Larkfield comptaient 2 117 candidats commandés. Utilisez-le lorsque les bons poids varient d’un client à l’autre.

Ne l’utilisez pas lorsque vous avez peu de commandes. Un petit magasin peut avoir trop peu de lignes d’étiquette 1; un mélange manuel est alors plus sûr. Ne l’utilisez pas si vous ne pouvez pas calculer les mêmes caractéristiques au moment du service et pendant l’entraînement. Une caractéristique qui diffère entre les deux perturbe le modèle sans avertissement.

Coût : ajustement en 12,4 secondes et pointe de mémoire de 841 Mo sur un fil d’exécution, contre 3,8 secondes et 496 Mo pour ALS (notre portable; vos temps varieront). Les listes des 2 118 clients de test ont pris environ 5 secondes. Au moment d’une requête, un client prend environ 10 millisecondes. Chaque source et chaque caractéristique ajoutent un élément à garder à jour et à surveiller.

Exercice guidé : entraîner le modèle de classement

Section intitulée « Exercice guidé : entraîner le modèle de classement »
  1. Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page. Exécutez la cellule d’installation et les cellules de préparation.

  2. Exécutez la section 1. Elle calcule les deux gains de NDCG de l’exemple détaillé : 0,369 et 0,069.

  3. Exécutez les sections 2 et 3. Elles construisent les lignes d’entraînement à partir des deux semaines avant la période de test, puis entraînent le modèle.

  4. Dans la section 4, classez les candidats des clients de test et calculez le recall@10 du modèle. La vérification affiche Check passed (vérification réussie).

  5. Dans un terminal, ouvrez votre dossier larkfield-recs avec l’environnement virtuel actif, puis copiez la commande rank :

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m07
    cp $S/larkfield_recs/commands/rank.py larkfield_recs/commands/
  6. Entraînez le modèle de classement et voyez ce qu’il a appris :

    Fenêtre de terminal
    recs rank
    Trained on the two weeks before 2026-06-22: 1,452 customers, 146,949 candidate rows, 2,117 ordered (label 1); candidates found 56.2% of the ordered products
    Fit time (both stages, two cut-offs): 11.5 s
    Most important features (share of the total gain):
    days_since_user_touch 9.6%
    pop_7 8.3%
    style_share 7.0%
    cat_share 7.0%
    pop_all 6.8%
    pop_28 6.2%
    trending_rank 6.0%
    log_price 4.6%
    user_days_since_last 4.6%
    als_rank 4.4%
  7. Évaluez le système de recommandation en deux étapes sur la période de test :

    Fenêtre de terminal
    recs evaluate two-stage --by segment
    Method two-stage (candidates from 5 sources, then a LightGBM LambdaMART ranker), test period
    Customers scored: 2,118; trained on events before 2026-06-22
    recall@10 0.234 (95% interval 0.217 to 0.251), NDCG@10 0.156, MAP@10 0.119, precision@10 0.036, hit rate 30.4%
    coverage 29.5% of the products on sale, novelty 5.68 bits, diversity 0.93, new products in the lists 23.2%
    time: fit 12.4 s, suggestions 5.4 s
    segment customers recall@10 NDCG@10 95% interval (recall)
    new 952 0.198 0.133 0.175 to 0.221
    occasional 556 0.268 0.173 0.235 to 0.303
    loyal 610 0.258 0.177 0.229 to 0.288
    new products: 647 orders of new products in the period; recall@10 on them 0.329
  8. Comparez-le à la meilleure source seule. Si outputs/runs/ ne contient aucune exécution de trending, exécutez d’abord recs evaluate trending.

    Fenêtre de terminal
    recs compare trending two-stage --by segment
    recall@10: trending 0.156, two-stage 0.234
    difference +0.077 (95% interval +0.062 to +0.092); better for 322 customers, worse for 113, the same for 1,683
    The difference is clear: the interval does not include 0.
    coverage 0.3% -> 29.5%; novelty 5.10 -> 5.68
    new 952 customers +0.029 (+0.015 to +0.044)
    occasional 556 customers +0.106 (+0.075 to +0.138)
    loyal 610 customers +0.126 (+0.091 to +0.159)
  9. Comparez-le au mélange hybride. Si vous n’avez aucune exécution enregistrée, exécutez d’abord recs evaluate hybrid-blend.

    Fenêtre de terminal
    recs compare hybrid-blend two-stage --by segment
    recall@10: hybrid-blend 0.167, two-stage 0.234
    difference +0.066 (95% interval +0.052 to +0.080); better for 302 customers, worse for 104, the same for 1,712
    The difference is clear: the interval does not include 0.
    coverage 32.4% -> 29.5%; novelty 5.85 -> 5.68
    new 952 customers +0.039 (+0.025 to +0.053)
    occasional 556 customers +0.114 (+0.080 to +0.147)
    loyal 610 customers +0.064 (+0.033 to +0.095)

Entraînez avec 20 négatifs par client au lieu de 100. Avant l’exécution, prédisez : combien de lignes d’entraînement y aura-t-il, et le recall@10 changera-t-il clairement?

Fenêtre de terminal
recs rank --set negatives=20
recs evaluate two-stage --set negatives=20 --by segment
recs compare two-stage "two-stage[negatives=20]-test" --by segment

Les guillemets protègent les crochets dans zsh et PowerShell.

Afficher le corrigé

recs rank --set negatives=20 affiche 1,452 customers, 31,157 candidate rows, 2,117 ordered (label 1) (1 452 clients, 31 157 lignes de candidats, 2 117 commandés, étiquette 1) et un temps d’ajustement de 9,0 secondes. Les mêmes clients et les mêmes lignes d’étiquette 1, mais environ un cinquième des lignes.

recall@10: two-stage 0.234, two-stage[negatives=20]-test 0.233
difference -0.001 (95% interval -0.009 to +0.008); better for 103 customers, worse for 100, the same for 1,915
The difference is not clear: the interval includes 0.
coverage 29.5% -> 29.4%; novelty 5.68 -> 5.82
new 952 customers +0.002 (-0.008 to +0.012)
occasional 556 customers -0.023 (-0.044 to -0.004)
loyal 610 customers +0.015 (-0.005 to +0.037)

Globalement, aucun changement clair. L’intervalle du segment occasionnel n’inclut pas 0. Mais avec trois segments, l’un peut sembler clair par hasard. Vérifiez sur la période de validation avant d’y croire. Avec 20 négatifs, le modèle s’entraîne plus vite sur un cinquième des lignes, pour un rappel à peu près identique.

Erreur courante

Choisir les réglages du modèle de classement sur la période de test

Symptôme : Tomás lit le tableau des réglages. Il voit que 100 arbres obtiennent 0,240 sur la période de test, contre 0,234 avec 300 arbres. Il fixe le réglage par défaut à 100 arbres et rapporte 0,240.

Cause : la période de test a servi à choisir le réglage. Le résultat rapporté est maintenant trop optimiste, comme pour les réglages dans Régler sans vous tromper vous-même.

Diagnostic : demandez sur quelle période chaque réglage a été choisi.

Solution : comparez les réglages avec --period validation, choisissez-en un, puis rapportez une seule fois le résultat sur la période de test. Gardez les réglages par défaut tant que la période de validation ne justifie pas un changement.

Erreur courante

Une caractéristique qui connaît l'étiquette

Symptôme : Priya ajoute une caractéristique « consulté dans les 7 derniers jours ». Le score d’entraînement du modèle de classement est très élevé, mais le rappel à 10 (recall@10) baisse sur la période de test.

Cause : pendant l’entraînement, elle a compté les consultations jusqu’à la fin de la fenêtre des étiquettes. Les clients consultent un produit juste avant de le commander. La caractéristique révèle donc l’étiquette. Au moment du test, ces consultations sont dans le futur et la caractéristique est vide.

Diagnostic : pour chaque caractéristique, vérifiez le dernier jour des événements qu’elle utilise. Il doit précéder le premier jour de ses étiquettes, à l’entraînement comme au test.

Solution : calculez chaque caractéristique uniquement à partir des événements avant la date de coupure. Utilisez le même code pour l’entraînement et le service.

Vérifiez votre compréhension

Dans la liste d'un client, un produit commandé occupe le rang 2, sous un produit non commandé. Dans la liste d'un autre client, un produit commandé occupe le rang 9, sous un produit non commandé au rang 8. Sur quelle paire LambdaMART agit-il le plus fortement, et pourquoi?

Afficher la réponse

La paire aux rangs 1 et 2. Déplacer le produit commandé du rang 2 au rang 1 fait gagner 0,369 de NDCG (de 0,631 à 1). Le déplacer du rang 9 au rang 8 fait gagner seulement 0,014 (de 0,301 à 0,315). LambdaMART pondère chaque paire selon le changement de NDCG. Les erreurs près du haut de la liste comptent donc le plus.

Vérifiez votre compréhension

Pourquoi le modèle de classement apprend-il sur les deux semaines avant la période de test, plutôt que sur cette période?

Afficher la réponse

S’il apprenait à partir des commandes de la période de test, le score de test mesurerait la mémorisation, pas la prédiction. Ce serait une fuite de données. Les deux semaines précédentes fournissent les étiquettes qu’un vrai magasin aurait le jour où il entraîne le modèle de classement. Les caractéristiques de ces étiquettes proviennent des événements avant le 8 juin. De même, les caractéristiques du test proviennent des événements avant le 22 juin.

Vérifiez votre compréhension

Expliquez ce que le modèle de classement ajoute à la meilleure source unique de candidats, par segment. Pourquoi les nouveaux clients gagnent-ils le moins?

Afficher la réponse

La meilleure source unique est trending (0,156). Le modèle de classement en deux étapes obtient 0,234 : +0,077 au total. Les nouveaux clients gagnent +0,029, les clients occasionnels +0,106 et les clients fidèles +0,126. Tous les intervalles sont au-dessus de zéro. Les clients avec un historique gagnent le plus, car les caractéristiques des paires les décrivent. La plupart des nouveaux clients n’ont eu aucune interaction avant la période. Pour eux, le modèle de classement dispose seulement des caractéristiques des produits. Celles-ci indiquent à peu près la même chose que trending.

Récapitulatif

  • Un modèle de classement appris décrit chaque candidat avec des caractéristiques (26 ici). Il apprend des commandes passées : étiquette 1 pour un candidat commandé.
  • L’apprentissage du classement (learning to rank) compare les candidats uniquement au sein du groupe d’un même client. LambdaMART (arbres par amplification de gradient avec lambdarank) sépare les paires mal classées, plus fortement près du haut. Une correction au rang 2 vaut environ 5 fois une correction au rang 4.
  • Il s’entraîne sur les deux semaines avant la période de test, avec 100 négatifs par client.
  • Caractéristiques les plus importantes : jours depuis la dernière interaction du client avec le produit, acheteurs dans les 7 derniers jours, part du style et part de la catégorie.
  • Recall@10 0,234 (de 0,217 à 0,251). Par rapport à trending : +0,077, avec +0,029 pour les nouveaux clients et +0,126 pour les clients fidèles. Par rapport au mélange hybride : +0,066.

Le modèle de classement ordonne les candidats selon l’intérêt prédit. Il a suggéré du vin et des produits que le client avait déjà achetés. Ensuite, nous ajoutons les règles d’affaires du magasin et mesurons le coût de chaque règle.

Leçon suivante : Règles d'affaires et reclassement