Un modèle de classement appris
- Leçon 21
- 45 min
- Module 7 : Deux étapes : les candidats et le classement
Où nous en sommes
Nous avons des candidats de plusieurs sources. Il faut maintenant placer les meilleurs en premier. Dans cette leçon, nous créons des caractéristiques pour chaque client et produit. Nous entraînons ensuite un modèle de classement LambdaMART avec LightGBM sur le prochain achat.
Leçon 21 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteUn modèle de classement appris
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Classez les candidats de chaque client avec un modèle qui a appris à partir des commandes passées. Décrivez chaque candidat avec 26 caractéristiques. Entraînez un modèle de classement LightGBM LambdaMART sur les deux semaines avant la période de test. Mesurez ensuite son apport par rapport à la meilleure source seule, segment par segment.
Carnet JupyterFaites cette leçon dans un carnet
Le carnet (notebook) Jupyter calcule à la main un petit classement. Il construit ensuite deux sources de candidats et six caractéristiques. Il entraîne un modèle de classement LightGBM LambdaMART sur les deux semaines avant la période de test. Vous attribuez des scores aux candidats des clients de test et comparez le modèle aux tendances seules. La première cellule installe LightGBM. Les cellules de préparation téléchargent environ 7 Mo de données d’exercice. Environ 25 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les candidats et le plafond des candidats, dans Pourquoi deux étapes.
- Le NDCG, dans Mesures de classement.
- Les arbres de décision et l’amplification de gradient (gradient boosting), dans Les méthodes d’ensemble du cours d’apprentissage automatique. Cette leçon explique les notions nécessaires.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Votre projet
larkfield-recsavec les fichiers de la dernière leçon :recs candidates --quickfonctionne.
Testé sur macOS avec Python 3.12 et LightGBM 4.7.0. Les commandes Windows (PowerShell) et Linux n’ont pas été exécutées.
La vendeuse qui évalue les indices
Section intitulée « La vendeuse qui évalue les indices »Revenons à la vendeuse en magasin. Elle a vingt produits sur le comptoir. Elle doit maintenant choisir leur ordre. Elle se pose de petites questions :
- Ce client l’a-t-il regardé la semaine dernière?
- Se vend-il bien cette semaine?
- Correspond-il au style que ce client aime?
- Le client achète-t-il souvent dans cette catégorie?
Chaque indice est faible à lui seul. Ensemble, ils sont forts. Elle sait aussi combien chaque indice compte, car elle a observé les achats de nombreux clients. Son expérience est un modèle, appris à partir des ventes passées.
Un modèle de classement appris fait la même chose. Il décrit chaque candidat avec des nombres. Il apprend à les pondérer à partir des commandes passées.
Le problème : cinq listes, un seul ordre
Section intitulée « Le problème : cinq listes, un seul ordre »La dernière leçon a donné au client C106777 273 candidats de cinq sources. En voici trois :
| Candidat | trending | item-cf | ALS |
|---|---|---|---|
| Lumi Green Nordic Coffee Table | #1 | – | #89 |
| Navy Nitrile-Grip Garden Gloves | #2 | #48 | #2 |
| Bramble Terracotta Mosaic Side Table | #4 | – | #39 |
Lequel vient en premier? Nous pouvons essayer des règles simples :
- « Les tendances décident. » La table à café vient alors en premier. C’est la référence de base fondée sur les tendances : rappel à 10 (recall@10) 0,156.
- « Additionner les scores avec des poids fixes. » C’est le mélange hybride du module 6 : 0,167.
Aucune de ces règles ne connaît le client. Pour un nouveau client, les tendances sont le seul indice. Pour un client fidèle, son propre historique compte davantage. Et les indices sont bien plus nombreux que les rangs dans trois sources. Il est impossible d’écrire à la main la bonne règle pour chaque type de client.
L’idée : apprendre l’ordre à partir des commandes passées
Section intitulée « L’idée : apprendre l’ordre à partir des commandes passées »Nous transformons la question en données. Pour une période passée, nous connaissons les candidats et les commandes de chaque client. Un modèle peut apprendre quels candidats ont été commandés.
Caractéristiques : des nombres qui décrivent un candidat
Section intitulée « Caractéristiques : des nombres qui décrivent un candidat »Une caractéristique est un nombre concernant un candidat pour un client. Le projet en calcule 26, réparties en quatre groupes :
| Groupe | Exemples |
|---|---|
| Les sources | rang dans la liste de chaque source; score de item-cf, ALS et content; nombre de sources qui l’ont trouvé |
| Le produit | acheteurs sur 7 jours, sur 28 jours et au total; saison (commandes récentes comparées aux commandes habituelles); prix; jours en vente |
| Le client | nombre de commandes; événements des 30 derniers jours; jours depuis la dernière visite |
| La paire | jours depuis la dernière interaction du client avec le produit; part des événements du client dans sa catégorie, sous-catégorie et son style; achat antérieur; consultations et ajouts au panier récents |
Les caractéristiques de la paire comptent le plus pour une liste personnelle. Le nombre de jours depuis la dernière interaction varie pour chaque client et produit.
Étiquettes : ce qui a été commandé ensuite
Section intitulée « Étiquettes : ce qui a été commandé ensuite »L’étiquette d’un candidat vaut 1 si le client l’a commandé dans les deux semaines suivantes, et 0 sinon. Le modèle apprend à donner des scores plus élevés aux candidats d’étiquette 1 qu’aux candidats d’étiquette 0 du même client.
Cette dernière partie est importante. Nous ne comparons pas le candidat d’un client à celui d’un autre. Les candidats de chaque client forment un groupe. Seul l’ordre dans ce groupe compte. Apprendre un ordre dans des groupes s’appelle l’apprentissage du classement (learning to rank). La leçon Apprentissage du classement du cours de recherche l’enseigne en profondeur; ici, nous utilisons les notions nécessaires.
Le modèle : LambdaMART
Section intitulée « Le modèle : LambdaMART »Le projet utilise LightGBM, une bibliothèque d’arbres de décision avec amplification de gradient. Un arbre de décision pose quelques questions, comme « interaction dans les 30 derniers jours? », puis donne un score. L’amplification de gradient ajoute des centaines de petits arbres. Chaque nouvel arbre corrige les erreurs des arbres précédents.
Avec l’objectif d’entraînement lambdarank, les arbres apprennent un ordre. Cette combinaison s’appelle LambdaMART. L’idée : examiner chaque paire d’un groupe où un candidat d’étiquette 0 précède un candidat d’étiquette 1. Écarter leurs scores. Et les écarter davantage lorsque leur permutation changerait beaucoup le NDCG, donc près du début de la liste.
Exemple détaillé : quelle erreur coûte le plus?
Section intitulée « Exemple détaillé : quelle erreur coûte le plus? »Un client a quatre candidats, A, B, C et D (un petit exemple que nous avons créé). Le client en a commandé un. Le NDCG donne au produit trouvé au rang k la valeur 1 / log2(k + 1). Avec un seul produit commandé, la meilleure valeur possible est 1.
| Le produit commandé est au | Sa valeur | Après avoir avancé d’un rang | Gain |
|---|---|---|---|
| rang 2 | 1 / log2(3) = 0,631 | rang 1 : 1,000 | +0,369 |
| rang 4 | 1 / log2(5) = 0,431 | rang 3 : 1 / log2(4) = 0,500 | +0,069 |
Chaque erreur correspond à une paire dans le mauvais ordre. Mais corriger l’erreur au début vaut 0,369 / 0,069 = environ 5 fois plus. LambdaMART écarte donc les scores de cette paire environ 5 fois plus fortement. Le modèle concentre ses efforts là où le client regarde : les premiers rangs.
Entraîner sans voir la période de test
Section intitulée « Entraîner sans voir la période de test »Le modèle apprend sur les deux semaines avant la période de test. Les candidats et les caractéristiques proviennent des événements avant le 8 juin. Les étiquettes correspondent aux commandes du 8 au 21 juin. Pour la période de test, le projet construit de nouveaux candidats et caractéristiques avec les événements avant le 22 juin. Les arbres entraînés leur attribuent ensuite des scores.
Description textuelle du diagramme
Encadré 1, entraîner le modèle de classement : les événements avant le 8 juin donnent les candidats et les caractéristiques. Les commandes du 8 au 21 juin donnent les étiquettes (1 = commandé, 0 = non commandé). Les arbres entraînés passent à l’encadré 2, utiliser le modèle sur la période de test : les événements avant le 22 juin donnent de nouveaux candidats et caractéristiques. Le modèle leur attribue des scores et garde 10 suggestions. Les commandes du 22 juin au 5 juillet donnent le recall@10. Elles n’ont jamais servi à l’entraînement.
La période de test reste donc à l’abri des fuites de données. Le modèle apprend aussi sur les deux semaines les plus récentes avant celle-ci. C’est important pour un magasin soumis aux saisons.
Échantillonnage négatif
Section intitulée « Échantillonnage négatif »Chaque client d’entraînement a environ 200 candidats. Habituellement, un ou deux ont été commandés; les autres ont l’étiquette 0. Le projet garde tous les candidats d’étiquette 1 et 100 candidats d’étiquette 0 choisis au hasard par client. C’est l’échantillonnage négatif. Il accélère l’entraînement et réduit la taille des groupes. Les clients sans candidat commandé sont exclus : leur groupe n’offre rien à apprendre.
Sur la période de test de Larkfield, le nombre de négatifs a peu changé le recall@10 : 10 négatifs 0,228, 50 négatifs 0,230, 100 négatifs 0,234, 1 000 négatifs 0,226. La fenêtre d’entraînement comptait davantage : 7 jours 0,216, 14 jours 0,234, 28 jours 0,227. Une semaine contient trop peu de commandes pour apprendre. Quatre semaines remontent à une autre partie de la saison.
Larkfield : ce que le modèle a appris
Section intitulée « Larkfield : ce que le modèle a appris »recs rank entraîne le modèle de classement et affiche ses données d’entraînement. Il a appris à partir de 1 452 clients ayant commandé un candidat pendant les deux semaines, avec 146 949 lignes de candidats. 2 117 lignes ont l’étiquette 1.
L’importance des caractéristiques indique combien chaque caractéristique a aidé. LightGBM additionne le gain : l’amélioration de l’objectif d’entraînement apportée par les divisions utilisant cette caractéristique, dans tous les arbres. Voici les dix plus importantes :
Description textuelle du graphique
Un graphique à points avec dix lignes, à partir de la caractéristique la plus importante : jours depuis la dernière interaction du client 9,6 %; acheteurs des 7 derniers jours 8,3 %; part de ce style chez le client 7,0 %; part de cette catégorie chez le client 7,0 %; acheteurs sur tout le journal 6,8 %; acheteurs des 28 derniers jours 6,3 %; rang dans trending 6,0 %; prix 4,6 %; jours depuis la dernière visite du client 4,6 %; rang dans ALS 4,4 %. Les 16 autres caractéristiques se partagent le reste du gain.
La première caractéristique est personnelle : le temps écoulé depuis la dernière interaction du client avec le produit. La deuxième est la popularité cette semaine. Viennent ensuite les goûts du client en matière de style et de catégorie. Le modèle mélange « ce que cette personne aime » et « ce qui se vend maintenant ». Aucune source seule ne fait les deux.
Interprétez l’importance avec prudence. Elle indique ce que les arbres ont utilisé, pas ce qui cause une commande. Deux caractéristiques portant la même information se partagent leur gain. Les trois caractéristiques de popularité représentent ensemble 21,3 % du gain.
La liste d’un client
Section intitulée « La liste d’un client »Pour C106777, voici les trois premiers rangs du modèle et les deux produits commandés :
| Rang | Candidat | trending | ALS | Jours depuis la dernière interaction | Score | Commandé? |
|---|---|---|---|---|---|---|
| 1 | Lumi Green Nordic Coffee Table | #1 | #89 | 37 | 1,107 | non |
| 2 | Blush Rosé Wine | – | #73 | 37 | 1,089 | non |
| 3 | Oak Label Shiraz | #22 | #26 | 66 | 0,893 | non |
| 11 | Bramble Terracotta Mosaic Side Table | #4 | #39 | 381 | -0,158 | oui |
| 15 | Navy Nitrile-Grip Garden Gloves | #2 | #2 | 238 | -0,307 | oui |
Les deux produits commandés sont aux rangs 11 et 15 : juste en dehors de la liste. Les rangs 2 et 3 sont des vins que le client a déjà commandés. Le modèle a appris que les gens rachètent souvent les produits avec lesquels ils ont interagi récemment. Pour ce client, c’est une erreur ici. Et le magasin n’a peut-être même pas le droit de suggérer du vin. Les règles de la prochaine leçon modifient cette liste.
L’apport du modèle, par segment
Section intitulée « L’apport du modèle, par segment »Le recall@10 du modèle sur la période de test de Larkfield est de 0,234 (intervalle à 95 % de 0,217 à 0,251). Par segment : nouveaux 0,198, occasionnels 0,268, fidèles 0,258.
La bonne question est : quel est son apport par rapport à la meilleure source seule? Ce sont les tendances (0,156). Et par rapport à la meilleure combinaison manuelle, le mélange hybride (0,167)?
Description textuelle du graphique
Deux panneaux avec une ligne à zéro. Deux étapes moins les tendances : nouveaux clients 0,029 (intervalle de 0,015 à 0,044), occasionnels 0,106 (0,075 à 0,138), fidèles 0,126 (0,091 à 0,159), tous les clients 0,077 (0,062 à 0,092). Deux étapes moins le mélange hybride : nouveaux 0,039, occasionnels 0,114, fidèles 0,064, tous 0,066 (0,052 à 0,080). Chaque intervalle est au-dessus de zéro.
Chaque intervalle est au-dessus de zéro. Le gain est donc clair dans chaque segment. Mais sa taille varie :
- Les clients occasionnels et fidèles gagnent le plus par rapport aux tendances : +0,106 et +0,126. Ils ont un historique, donc les caractéristiques de la paire apportent de l’information.
- Les nouveaux clients gagnent le moins : +0,029. La plupart n’ont aucun historique : 633 des 952 n’avaient eu aucune interaction avant la période. Pour eux, le modèle n’a que les caractéristiques du produit. Celles-ci indiquent « populaire maintenant », comme les tendances.
Le carnet montre d’où vient la majeure partie du gain. Un petit modèle avec deux sources seulement (tendances et produits récents) et six caractéristiques obtient 0,227 sur les mêmes clients de test. Mélanger « ce qui se vend cette semaine » et « les interactions récentes du client » fait l’essentiel du travail. Les trois autres sources et les 20 caractéristiques ajoutent un peu plus.
Face au mélange hybride, les clients occasionnels gagnent le plus (+0,114). Le mélange utilise ALS, qui est faible pour les clients ayant une ou deux anciennes commandes. Le modèle apprend plutôt à faire confiance aux signaux récents et populaires pour eux.
Hybrides a aussi réglé les poids du mélange sur la période de validation (ALS 1, content 1, trending 2) : 0,193 sur la période de test. Comparez le modèle à ce mélange : recs compare "hybrid-blend[w_content=1,w_trending=2]" two-stage --by segment. Le modèle ajoute encore +0,041 (+0,027 à +0,054). Par segment : clients occasionnels +0,064, fidèles +0,062, nouveaux +0,013.
Quand l’utiliser, quand l’éviter et combien il coûte
Section intitulée « Quand l’utiliser, quand l’éviter et combien il coûte »Utilisez un modèle de classement appris lorsque vous avez plusieurs sources de candidats et assez de commandes pour apprendre. Les deux semaines de Larkfield comptaient 2 117 candidats commandés. Utilisez-le lorsque les bons poids varient d’un client à l’autre.
Ne l’utilisez pas lorsque vous avez peu de commandes. Un petit magasin peut avoir trop peu de lignes d’étiquette 1; un mélange manuel est alors plus sûr. Ne l’utilisez pas si vous ne pouvez pas calculer les mêmes caractéristiques au moment du service et pendant l’entraînement. Une caractéristique qui diffère entre les deux perturbe le modèle sans avertissement.
Coût : ajustement en 12,4 secondes et pointe de mémoire de 841 Mo sur un fil d’exécution, contre 3,8 secondes et 496 Mo pour ALS (notre portable; vos temps varieront). Les listes des 2 118 clients de test ont pris environ 5 secondes. Au moment d’une requête, un client prend environ 10 millisecondes. Chaque source et chaque caractéristique ajoutent un élément à garder à jour et à surveiller.
Exercice guidé : entraîner le modèle de classement
Section intitulée « Exercice guidé : entraîner le modèle de classement »-
Ouvrez le carnet dans l’encadré Faites cette leçon dans un carnet en haut de cette page. Exécutez la cellule d’installation et les cellules de préparation.
-
Exécutez la section 1. Elle calcule les deux gains de NDCG de l’exemple détaillé : 0,369 et 0,069.
-
Exécutez les sections 2 et 3. Elles construisent les lignes d’entraînement à partir des deux semaines avant la période de test, puis entraînent le modèle.
-
Dans la section 4, classez les candidats des clients de test et calculez le recall@10 du modèle. La vérification affiche
Check passed(vérification réussie). -
Dans un terminal, ouvrez votre dossier
larkfield-recsavec l’environnement virtuel actif, puis copiez la commanderank:Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m07cp $S/larkfield_recs/commands/rank.py larkfield_recs/commands/Fenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m07"Copy-Item "$S\larkfield_recs\commands\rank.py" larkfield_recs\commands\ -
Entraînez le modèle de classement et voyez ce qu’il a appris :
Fenêtre de terminal recs rankTrained on the two weeks before 2026-06-22: 1,452 customers, 146,949 candidate rows, 2,117 ordered (label 1); candidates found 56.2% of the ordered productsFit time (both stages, two cut-offs): 11.5 sMost important features (share of the total gain):days_since_user_touch 9.6%pop_7 8.3%style_share 7.0%cat_share 7.0%pop_all 6.8%pop_28 6.2%trending_rank 6.0%log_price 4.6%user_days_since_last 4.6%als_rank 4.4% -
Évaluez le système de recommandation en deux étapes sur la période de test :
Fenêtre de terminal recs evaluate two-stage --by segmentMethod two-stage (candidates from 5 sources, then a LightGBM LambdaMART ranker), test periodCustomers scored: 2,118; trained on events before 2026-06-22recall@10 0.234 (95% interval 0.217 to 0.251), NDCG@10 0.156, MAP@10 0.119, precision@10 0.036, hit rate 30.4%coverage 29.5% of the products on sale, novelty 5.68 bits, diversity 0.93, new products in the lists 23.2%time: fit 12.4 s, suggestions 5.4 ssegment customers recall@10 NDCG@10 95% interval (recall)new 952 0.198 0.133 0.175 to 0.221occasional 556 0.268 0.173 0.235 to 0.303loyal 610 0.258 0.177 0.229 to 0.288new products: 647 orders of new products in the period; recall@10 on them 0.329 -
Comparez-le à la meilleure source seule. Si
outputs/runs/ne contient aucune exécution detrending, exécutez d’abordrecs evaluate trending.Fenêtre de terminal recs compare trending two-stage --by segmentrecall@10: trending 0.156, two-stage 0.234difference +0.077 (95% interval +0.062 to +0.092); better for 322 customers, worse for 113, the same for 1,683The difference is clear: the interval does not include 0.coverage 0.3% -> 29.5%; novelty 5.10 -> 5.68new 952 customers +0.029 (+0.015 to +0.044)occasional 556 customers +0.106 (+0.075 to +0.138)loyal 610 customers +0.126 (+0.091 to +0.159) -
Comparez-le au mélange hybride. Si vous n’avez aucune exécution enregistrée, exécutez d’abord
recs evaluate hybrid-blend.Fenêtre de terminal recs compare hybrid-blend two-stage --by segmentrecall@10: hybrid-blend 0.167, two-stage 0.234difference +0.066 (95% interval +0.052 to +0.080); better for 302 customers, worse for 104, the same for 1,712The difference is clear: the interval does not include 0.coverage 32.4% -> 29.5%; novelty 5.85 -> 5.68new 952 customers +0.039 (+0.025 to +0.053)occasional 556 customers +0.114 (+0.080 to +0.147)loyal 610 customers +0.064 (+0.033 to +0.095)
À vous de jouer : moins de négatifs
Section intitulée « À vous de jouer : moins de négatifs »Entraînez avec 20 négatifs par client au lieu de 100. Avant l’exécution, prédisez : combien de lignes d’entraînement y aura-t-il, et le recall@10 changera-t-il clairement?
recs rank --set negatives=20recs evaluate two-stage --set negatives=20 --by segmentrecs compare two-stage "two-stage[negatives=20]-test" --by segmentLes guillemets protègent les crochets dans zsh et PowerShell.
Afficher le corrigé
recs rank --set negatives=20 affiche 1,452 customers, 31,157 candidate rows, 2,117 ordered (label 1) (1 452 clients, 31 157 lignes de candidats, 2 117 commandés, étiquette 1) et un temps d’ajustement de 9,0 secondes. Les mêmes clients et les mêmes lignes d’étiquette 1, mais environ un cinquième des lignes.
recall@10: two-stage 0.234, two-stage[negatives=20]-test 0.233difference -0.001 (95% interval -0.009 to +0.008); better for 103 customers, worse for 100, the same for 1,915The difference is not clear: the interval includes 0.coverage 29.5% -> 29.4%; novelty 5.68 -> 5.82 new 952 customers +0.002 (-0.008 to +0.012) occasional 556 customers -0.023 (-0.044 to -0.004) loyal 610 customers +0.015 (-0.005 to +0.037)Globalement, aucun changement clair. L’intervalle du segment occasionnel n’inclut pas 0. Mais avec trois segments, l’un peut sembler clair par hasard. Vérifiez sur la période de validation avant d’y croire. Avec 20 négatifs, le modèle s’entraîne plus vite sur un cinquième des lignes, pour un rappel à peu près identique.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Choisir les réglages du modèle de classement sur la période de test
Symptôme : Tomás lit le tableau des réglages. Il voit que 100 arbres obtiennent 0,240 sur la période de test, contre 0,234 avec 300 arbres. Il fixe le réglage par défaut à 100 arbres et rapporte 0,240.
Cause : la période de test a servi à choisir le réglage. Le résultat rapporté est maintenant trop optimiste, comme pour les réglages dans Régler sans vous tromper vous-même.
Diagnostic : demandez sur quelle période chaque réglage a été choisi.
Solution : comparez les réglages avec --period validation, choisissez-en un, puis rapportez une seule fois le résultat sur la période de test. Gardez les réglages par défaut tant que la période de validation ne justifie pas un changement.
Erreur courante
Une caractéristique qui connaît l'étiquette
Symptôme : Priya ajoute une caractéristique « consulté dans les 7 derniers jours ». Le score d’entraînement du modèle de classement est très élevé, mais le rappel à 10 (recall@10) baisse sur la période de test.
Cause : pendant l’entraînement, elle a compté les consultations jusqu’à la fin de la fenêtre des étiquettes. Les clients consultent un produit juste avant de le commander. La caractéristique révèle donc l’étiquette. Au moment du test, ces consultations sont dans le futur et la caractéristique est vide.
Diagnostic : pour chaque caractéristique, vérifiez le dernier jour des événements qu’elle utilise. Il doit précéder le premier jour de ses étiquettes, à l’entraînement comme au test.
Solution : calculez chaque caractéristique uniquement à partir des événements avant la date de coupure. Utilisez le même code pour l’entraînement et le service.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Dans la liste d'un client, un produit commandé occupe le rang 2, sous un produit non commandé. Dans la liste d'un autre client, un produit commandé occupe le rang 9, sous un produit non commandé au rang 8. Sur quelle paire LambdaMART agit-il le plus fortement, et pourquoi?
Afficher la réponse
La paire aux rangs 1 et 2. Déplacer le produit commandé du rang 2 au rang 1 fait gagner 0,369 de NDCG (de 0,631 à 1). Le déplacer du rang 9 au rang 8 fait gagner seulement 0,014 (de 0,301 à 0,315). LambdaMART pondère chaque paire selon le changement de NDCG. Les erreurs près du haut de la liste comptent donc le plus.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le modèle de classement apprend-il sur les deux semaines avant la période de test, plutôt que sur cette période?
Afficher la réponse
S’il apprenait à partir des commandes de la période de test, le score de test mesurerait la mémorisation, pas la prédiction. Ce serait une fuite de données. Les deux semaines précédentes fournissent les étiquettes qu’un vrai magasin aurait le jour où il entraîne le modèle de classement. Les caractéristiques de ces étiquettes proviennent des événements avant le 8 juin. De même, les caractéristiques du test proviennent des événements avant le 22 juin.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Expliquez ce que le modèle de classement ajoute à la meilleure source unique de candidats, par segment. Pourquoi les nouveaux clients gagnent-ils le moins?
Afficher la réponse
La meilleure source unique est trending (0,156). Le modèle de classement en deux étapes obtient 0,234 : +0,077 au total. Les nouveaux clients gagnent +0,029, les clients occasionnels +0,106 et les clients fidèles +0,126. Tous les intervalles sont au-dessus de zéro. Les clients avec un historique gagnent le plus, car les caractéristiques des paires les décrivent. La plupart des nouveaux clients n’ont eu aucune interaction avant la période. Pour eux, le modèle de classement dispose seulement des caractéristiques des produits. Celles-ci indiquent à peu près la même chose que trending.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle de classement appris décrit chaque candidat avec des caractéristiques (26 ici). Il apprend des commandes passées : étiquette 1 pour un candidat commandé.
- L’apprentissage du classement (learning to rank) compare les candidats uniquement au sein du groupe d’un même client. LambdaMART (arbres par amplification de gradient avec
lambdarank) sépare les paires mal classées, plus fortement près du haut. Une correction au rang 2 vaut environ 5 fois une correction au rang 4. - Il s’entraîne sur les deux semaines avant la période de test, avec 100 négatifs par client.
- Caractéristiques les plus importantes : jours depuis la dernière interaction du client avec le produit, acheteurs dans les 7 derniers jours, part du style et part de la catégorie.
- Recall@10 0,234 (de 0,217 à 0,251). Par rapport à trending : +0,077, avec +0,029 pour les nouveaux clients et +0,126 pour les clients fidèles. Par rapport au mélange hybride : +0,066.
Le modèle de classement ordonne les candidats selon l’intérêt prédit. Il a suggéré du vin et des produits que le client avait déjà achetés. Ensuite, nous ajoutons les règles d’affaires du magasin et mesurons le coût de chaque règle.
Leçon suivante : Règles d'affaires et reclassement