Pourquoi deux étapes
- Leçon 20
- 30 min
- Module 7 : Deux étapes : les candidats et le classement
Où nous en sommes
Nos hybrides combinent les méthodes à la main. Les grands magasins suivent une structure fixe pour cela. Dans cette leçon, nous prenons des candidats de plusieurs sources. Nous voyons pourquoi cette étape limite tout ce qui suit.
Leçon 20 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui comptePourquoi deux étapes
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Voyez pourquoi les grands magasins recommandent en deux étapes. Plusieurs sources rapides trouvent quelques centaines de produits candidats. Ensuite, un modèle les classe soigneusement. Mesurez ce que trouve chacune des cinq sources de Larkfield. Mesurez aussi la limite que les candidats imposent à tout modèle de classement qui suit.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter construit deux sources simples de candidats : les 100 produits tendance et les produits consultés ou achetés par chaque client dans les 30 derniers jours. Il mesure la part des produits commandés que chaque source trouve. Vous calculez la part que les deux sources trouvent ensemble. Ses cellules de préparation téléchargent environ 7 Mo de données d’exercice. Environ 15 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le rappel à 10 (recall@10), présenté dans Mesures de classement.
- Le filtrage collaboratif article-article, présenté dans Filtrage collaboratif article-article.
- ALS, présenté dans ALS et BPR avec implicit, et les suggestions par le contenu, présentées dans Recommandations par le contenu.
- Le mélange hybride, présenté dans Hybrides.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet; le carnet n’en a pas besoin)
- Votre projet
larkfield-recsà la fin du module 6, avec son environnement virtuel actif.recs checkafficheSetup check passed.(vérification de la configuration réussie). - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet. - Sur macOS, la bibliothèque OpenMP de Homebrew pour LightGBM :
brew install libomp.
Testé sur macOS avec Python 3.12 et LightGBM 4.7.0. Les commandes Windows (PowerShell) et Linux n’ont pas été exécutées.
La vendeuse et l’entrepôt au complet
Section intitulée « La vendeuse et l’entrepôt au complet »Un client demande à une vendeuse : « Qu’est-ce qui me plairait? » Le magasin vend 3 000 produits. La vendeuse ne réfléchit pas longuement à chacun des 3 000 produits. Cela prendrait toute la journée.
Elle procède en deux étapes. D’abord, elle passe rapidement devant quelques étagères et choisit une vingtaine de produits prometteurs. Certains sont les meilleurs vendeurs à l’avant du magasin. D’autres vont avec ce que le client a acheté la dernière fois. D’autres ressemblent à ce que le client a regardé aujourd’hui. Cette étape est rapide et approximative.
Ensuite, elle examine attentivement les vingt produits. Elle pense aux goûts du client, à la saison et au prix. Elle met les cinq meilleurs sur le comptoir.
Un système de recommandation en deux étapes fonctionne de la même façon. Cette leçon porte sur la première étape et sur la limite qu’elle impose.
Le problème : une méthode ne peut pas faire les deux tâches
Section intitulée « Le problème : une méthode ne peut pas faire les deux tâches »Dans les modules 4 à 6, chaque méthode faisait tout à la fois. Elle attribuait un score aux 2 994 produits pour chaque client et gardait les 10 premiers. Cela pose deux problèmes.
Un modèle soigneux est trop lent pour tous les produits
Section intitulée « Un modèle soigneux est trop lent pour tous les produits »Un modèle soigneux examine beaucoup d’informations sur chaque paire client-produit. La prochaine leçon utilise 26 informations par paire. Larkfield compte 40 000 clients et 2 994 produits. Cela donne 40 000 × 2 994 = 119,8 millions de paires à décrire et à évaluer chaque nuit.
Avec environ 200 candidats par client, cela donne 40 000 × 202 = 8,1 millions de paires. C’est environ 15 fois moins de travail. Dans En lot ou en temps réel, le projet classe les 200 candidats d’un client en environ 10 millisecondes. Quinze fois plus donne environ 150 millisecondes. Cela dépasse le budget d’Amira de 100 millisecondes par requête (une estimation, pas une mesure).
Chaque méthode rapide manque des produits différents
Section intitulée « Chaque méthode rapide manque des produits différents »Chaque méthode rapide voit une partie différente de la réalité :
- Tendances trouve les meilleurs vendeurs de la saison, pour tout le monde.
- Item-cf trouve les produits achetés avec ceux que le client a achetés auparavant.
- ALS trouve les produits qui correspondent aux goûts cachés du client.
- Contenu trouve les produits au texte semblable, y compris les nouveaux produits sans historique.
- Les produits récents du client trouvent ce qu’il a regardé sans encore l’acheter.
Dans Hybrides, nous avons additionné trois de ces scores avec des poids fixes. Cela a donné 0,167, et 0,193 avec des poids réglés sur la période de validation. Mais des poids fixes ne peuvent pas dire : « Pour ce client, faites davantage confiance à ALS. » Il nous faut une meilleure façon de les combiner.
L’idée : récupérer, puis classer
Section intitulée « L’idée : récupérer, puis classer »Un système de recommandation en deux étapes divise le travail :
- Génération de candidats (aussi appelée retrieval, ou récupération). Plusieurs sources rapides fournissent chacune une courte liste. Ensemble, elles donnent quelques centaines de candidats par client.
- Classement. Un modèle soigneux attribue un score aux candidats seulement et les ordonne. Ensuite, les règles d’affaires retirent les produits que le magasin ne doit pas montrer.
Cette structure est courante dans les grands magasins et les services de diffusion en continu. Les ingénieurs de YouTube l’ont décrite en 2016 pour les vidéos. La première étape doit être rapide et manquer peu de produits. La deuxième doit être exacte sur une courte liste.
Description textuelle du diagramme
L’historique d’un client alimente cinq sources de candidats. Ce sont trending (100 produits), item-cf (100), ALS (100), content (50) et les produits récents du client sur 30 jours (jusqu’à 30). Ensemble, elles donnent environ 202 candidats distincts parmi 2 994 produits, car les listes se chevauchent. Un modèle de classement attribue un score à chaque candidat avec 26 caractéristiques (LightGBM). Les règles d’affaires retirent les produits que le magasin ne doit pas montrer. Ce sont les produits en rupture de stock, réservés à certains âges, déjà achetés ou sensibles, ou trop nombreux d’un même type. Il reste dix suggestions.
Le rappel des candidats : le plafond
Section intitulée « Le rappel des candidats : le plafond »Le modèle de classement peut seulement mettre en premier un produit trouvé par une source. Un produit qu’aucune source n’a trouvé est perdu, peu importe ce que fait le modèle.
Nous mesurons donc la première étape seule. Le rappel des candidats est la part des produits commandés pendant la période de test qui figurent parmi les candidats d’un client. Leur position n’importe pas. C’est le plafond de la deuxième étape. Aucun modèle de classement ne peut en trouver davantage.
Un exemple détaillé : un client
Section intitulée « Un exemple détaillé : un client »Le client C106777 est fidèle. Vous l’avez rencontré dans Mesures de classement. Pendant la période de test, il a commandé trois produits. Les cinq sources ont donné 273 candidats pour ce client. Le tableau montre la position de chaque produit commandé dans la liste de chaque source (« – » = absent de cette liste).
| Produit commandé | trending | item-cf | ALS | content | recent | Un candidat? |
|---|---|---|---|---|---|---|
| Navy Nitrile-Grip Garden Gloves | #2 | #48 | #2 | – | – | oui |
| Bramble Terracotta Mosaic Side Table | #4 | – | #39 | – | – | oui |
| Hartley Blue Wall Lantern | – | – | – | – | – | non |
Les gants figurent dans trois listes, et la table d’appoint dans deux. La lanterne murale ne figure dans aucune liste. Pour ce client, le plafond est donc de 2 sur 3 = 0,667. Même un modèle de classement parfait ne pourrait pas montrer la lanterne.
Regardez aussi la table d’appoint. Tendances la place au rang 4, et ALS au rang 39. Devrait-elle venir en premier? C’est la question du modèle de classement, dans la prochaine leçon.
Les parts ne s’additionnent pas
Section intitulée « Les parts ne s’additionnent pas »Chaque source trouve une part de tous les produits commandés. Si nous additionnons les cinq parts, nous obtenons 37,8 % + 25,7 % + 23,4 % + 10,7 % + 6,8 % = 104,5 %. Cela dépasse l’ensemble des produits. La vraie part de toutes les sources réunies est 55,5 %.
La raison est le chevauchement, comme pour les gants ci-dessus. Beaucoup de produits commandés figurent dans deux ou trois listes. Une nouvelle source aide seulement pour les produits que les autres sources manquent.
Larkfield : ce que chaque source trouve
Section intitulée « Larkfield : ce que chaque source trouve »Passons maintenant aux 2 118 clients de test. La commande recs candidates du projet mesure chaque source et leur ensemble sur la période de test de Larkfield.
Description textuelle du graphique
Un graphique à six colonnes. Tendances (100 produits) trouve 37,8 % des produits commandés pendant la période de test. ALS (100) trouve 25,7 %. Item-cf (100) trouve 23,4 %. Contenu (50) trouve 10,7 %. Les produits récents du client (jusqu’à 30) trouvent 6,8 %. Les cinq réunies trouvent 55,5 %.
Trois choses ressortent :
- Tendances en trouve le plus. C’est une seule liste pour tout le monde, et elle trouve 37,8 %. À la fin juin, beaucoup de clients achètent les mêmes meilleurs vendeurs de la saison.
- Les sources personnelles ajoutent beaucoup. Avec tendances, elles font passer la part de 37,8 % à 55,5 %.
- Presque la moitié est perdue. 44,5 % des produits commandés ne figurent pas parmi les 202 candidats. Aucun modèle de classement ne peut les trouver. Beaucoup sont des produits jamais consultés par le client, dans une catégorie qu’il n’a jamais visitée.
Le plafond et les scores réels
Section intitulée « Le plafond et les scores réels »Le plafond compte un candidat à n’importe laquelle des quelque 200 positions. Une page d’accueil en montre 10. Le recall@10 réel est donc bien inférieur au plafond :
Description textuelle du graphique
Un graphique à quatre colonnes. Recall@10 sur la période de test : tendances 0,156, mélange hybride 0,167, modèle de classement en deux étapes 0,234. La quatrième colonne est le plafond des candidats, 0,555 : la part des produits commandés trouvés n’importe où parmi les candidats.
Le modèle de classement en deux étapes obtient 0,234 (intervalle à 95 % de 0,217 à 0,251) sur la période de test de Larkfield. C’est le meilleur score du cours jusqu’ici. La prochaine leçon explique comment. Mais l’écart avec 0,555 est grand. Un meilleur modèle de classement peut en réduire une partie. Une meilleure première étape peut relever le plafond lui-même.
Pourquoi pas davantage de candidats?
Section intitulée « Pourquoi pas davantage de candidats? »Plus de candidats relèvent le plafond, mais ont un coût :
- Temps. Le modèle de classement doit décrire et évaluer chaque candidat.
- Bruit. Le produit au rang 300 d’une liste est rarement un bon choix. Le modèle doit faire descendre davantage de candidats faibles.
- Mémoire. Chaque ligne de candidat contient 26 nombres.
Nous n’avons pas mesuré d’autres tailles de sources dans ce cours. Les tailles 100, 100, 100, 50 et 30 sont un point de départ raisonnable, pas un choix réglé. Pour les changer, mesurez d’abord le rappel des candidats sur la période de validation.
Quand l’utiliser, quand l’éviter et ce que cela coûte
Section intitulée « Quand l’utiliser, quand l’éviter et ce que cela coûte »Utilisez deux étapes quand le catalogue est grand et que plusieurs signaux voient des choses différentes. Cela donne un seul endroit pour les combiner : le modèle de classement. Chaque source peut aussi rester simple et rapide.
Ne l’utilisez pas quand le catalogue est petit. Un magasin de 200 produits peut évaluer chaque produit avec le modèle soigneux. Ne commencez pas non plus par cela : construisez d’abord les références de base, comme dans ce cours. Sans elles, vous ne pouvez pas savoir ce qu’ajoute la deuxième étape.
Coût : plus de composants à garder à jour. Larkfield construit maintenant item-cf, ALS et contenu, puis entraîne le modèle de classement. Sur notre portable, construire les sources et entraîner le modèle a pris environ 12 secondes sur un seul fil d’exécution. Votre durée sera différente. Chaque source peut échouer séparément, donc chacune a besoin d’une vérification.
Exercice guidé : mesurer les candidats
Section intitulée « Exercice guidé : mesurer les candidats »-
Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page. Exécutez les cellules de préparation.
-
Exécutez la section 1. Elle construit deux sources simples : les 100 produits tendance et les produits de chaque client des 30 derniers jours.
-
Exécutez la section 2. Les sources plus simples du carnet trouvent un peu plus que celles du projet : tendances 37,9 % et produits récents 6,9 %.
-
Dans la section 3, faites une prédiction : l’union des deux sources dépasse-t-elle la meilleure source seule, et de combien? Calculez ensuite la part. La vérification affiche
Check passed: r_both is 0.418.(vérification réussie : r_both vaut 0,418). -
Dans un terminal, allez dans votre dossier
larkfield-recset activez son environnement virtuel. Copiez le nouveau fichier des dépendances et installez LightGBM :Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m07cp $S/requirements.txt .pip install -r requirements.txtFenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m07"Copy-Item "$S\requirements.txt" .pip install -r requirements.txtLe fichier ajoute une ligne,
lightgbm==4.7.0. Sur macOS, LightGBM a aussi besoin debrew install libomp. -
Copiez la méthode en deux étapes et la commande
candidates:Fenêtre de terminal cp $S/larkfield_recs/methods/twostage.py larkfield_recs/methods/cp $S/larkfield_recs/commands/candidates.py larkfield_recs/commands/Fenêtre de terminal Copy-Item "$S\larkfield_recs\methods\twostage.py" larkfield_recs\methods\Copy-Item "$S\larkfield_recs\commands\candidates.py" larkfield_recs\commands\ -
Vérifiez que le projet connaît la nouvelle méthode :
Fenêtre de terminal recs evaluate --listLa liste contient une nouvelle ligne :
two-stage candidates from 5 sources, then a LightGBM LambdaMART ranker(candidats de cinq sources, puis modèle de classement LightGBM LambdaMART). -
Mesurez les candidats sur un échantillon fixe de 1 000 clients de test :
Fenêtre de terminal recs candidates --quick1,000 customers, 202 candidates per customer on averagesource size ordered products foundtrending 100 38.8%item_cf 100 24.6%als 100 26.0%content 50 10.9%recent 30 6.1%all 56.9% <- no ranker can find more than thisLa commande entraîne aussi le modèle de classement de la prochaine leçon. Cela a pris environ 14 secondes sur notre portable.
Afficher la réponse à l’étape 4
r_both = found(lambda c: trending100 | recent_by_customer.get(c, set()))L’opérateur | réunit deux ensembles. Chaque produit compte une fois, donc le chevauchement compte une fois. Ensemble, les deux sources trouvent 0,418 : plus que tendances seule (0,379), mais moins que 0,379 + 0,069. Certains produits récents sont aussi tendance.
À vous de jouer : toute la période de test
Section intitulée « À vous de jouer : toute la période de test »L’échantillon rapide compte 1 000 clients. Avant de lancer la commande, faites une prédiction. Sur les 2 118 clients de test, la part des cinq sources sera-t-elle supérieure ou inférieure à 56,9 %? Exécutez ensuite recs candidates sans --quick.
Afficher la réponse
2,118 customers, 202 candidates per customer on averagesource size ordered products foundtrending 100 37.8%item_cf 100 23.4%als 100 25.7%content 50 10.7%recent 30 6.8%all 55.5% <- no ranker can find more than thisElle est un peu inférieure : 55,5 % contre 56,9 %. Un échantillon de 1 000 clients est proche, mais pas identique. Chaque source varie d’environ un point, et leur ordre reste le même. Citez l’exécution complète quand vous rapportez un nombre. Utilisez --quick pendant vos essais.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
Régler le modèle de classement quand les candidats sont la limite
Symptôme : Tomás passe une semaine sur les réglages du modèle de classement. Le recall@10 change à peine.
Cause : 44,5 % des produits commandés ne figurent pas parmi les candidats. Le modèle de classement ne peut pas les montrer. Un modèle réglé déplace seulement les produits parmi les candidats.
Diagnostic : exécutez recs candidates. Comparez le plafond (55,5 %) au recall@10 (0,234). Regardez ensuite les produits commandés qu’aucune source n’a trouvés. Quel type de source les trouverait?
Correction : améliorez l’étape qui vous limite. Si le plafond est bas, ajoutez une source ou augmentez sa taille. Si le plafond est élevé et le recall@10 faible, travaillez sur le modèle de classement.
Erreur courante
Une source de candidats qui voit la période de test
Symptôme : Priya ajoute une nouvelle source, « produits que le client a consultés ce mois-ci ». Le rappel des candidats dépasse soudainement 80 %.
Cause : « ce mois-ci » inclut la période de test. La source regarde les consultations pendant les deux semaines sur lesquelles elle est testée. Les clients consultent souvent un produit juste avant de le commander. C’est une fuite de données, comme dans Découper selon le temps.
Diagnostic : vérifiez la date de coupure de chaque source. Dans le projet, les cinq sources utilisent seulement les événements avant la période.
Correction : construisez chaque source uniquement à partir des événements avant la période. Un bond qui semble trop beau l’est généralement.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La source A trouve 30 % des produits commandés, et la source B en trouve 20 %. Ensemble, peuvent-elles en trouver 60 %?
Afficher la réponse
Non. Ensemble, elles trouvent au maximum 30 % + 20 % = 50 %, et seulement si elles ne trouvent jamais le même produit. En général, elles se chevauchent, donc l’union est plus petite. Chez Larkfield, les cinq parts totalisent 104,4 %, mais ensemble, les sources trouvent 55,5 % des produits.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi l'étape des candidats limite-t-elle le modèle de classement, mais pas l'inverse?
Afficher la réponse
Le modèle de classement voit seulement les candidats. Il peut faire monter ou descendre un candidat, mais il ne peut pas ajouter un produit qu’aucune source n’a trouvé. La part des produits commandés parmi les candidats est donc le rappel maximal que tout modèle de classement peut atteindre. L’étape des candidats ne dépend pas du tout du modèle de classement.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les candidats de Larkfield contiennent 55,5 % des produits commandés, et le recall@10 du modèle de classement est de 0,234. Nommez une façon d'augmenter chaque nombre.
Afficher la réponse
Pour augmenter le plafond (55,5 %), ajoutez une source qui trouve d’autres produits, ou allongez la liste d’une source. Vérifiez le rappel des candidats sur la période de validation. Pour augmenter le rappel à 10 (recall@10) (0,234), donnez au modèle de classement de meilleures caractéristiques ou de meilleures données d’entraînement. Ainsi, davantage de produits trouvés atteignent les 10 premiers rangs. La prochaine leçon applique cette deuxième approche.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un système de recommandation en deux étapes récupère d’abord quelques centaines de candidats auprès de sources rapides. Ensuite, il les classe avec un modèle plus minutieux. Cela représente environ 15 fois moins de travail que d’attribuer un score à chaque produit.
- Le rappel des candidats est la part des produits commandés parmi les candidats. C’est le plafond de tout modèle de classement.
- Les cinq sources de Larkfield (trending, item-cf, ALS, content, recent) donnent environ 202 candidats par client. Ensemble, elles trouvent 55,5 % des produits commandés. Trending seul en trouve 37,8 %.
- Les parts se chevauchent. Elles totalisent 104,5 %, mais l’union est de 55,5 %.
- Pour C106777, le plafond est de 2 sur 3 : aucune source n’a trouvé la lanterne murale.
Nous avons des candidats provenant de cinq sources. Maintenant, nous devons placer les meilleurs en premier. Ensuite, nous décrivons chaque candidat par des caractéristiques et entraînons un modèle de classement LambdaMART avec LightGBM sur les prochaines commandes.
Leçon suivante : Un modèle de classement appris