Aller au contenu
English

Pourquoi deux étapes

  • Leçon 20
  • 30 min
  • Module 7 : Deux étapes : les candidats et le classement

Où nous en sommes

Nos hybrides combinent les méthodes à la main. Les grands magasins suivent une structure fixe pour cela. Dans cette leçon, nous prenons des candidats de plusieurs sources. Nous voyons pourquoi cette étape limite tout ce qui suit.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 20 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui comptePourquoi deux étapes
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Voyez pourquoi les grands magasins recommandent en deux étapes. Plusieurs sources rapides trouvent quelques centaines de produits candidats. Ensuite, un modèle les classe soigneusement. Mesurez ce que trouve chacune des cinq sources de Larkfield. Mesurez aussi la limite que les candidats imposent à tout modèle de classement qui suit.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter construit deux sources simples de candidats : les 100 produits tendance et les produits consultés ou achetés par chaque client dans les 30 derniers jours. Il mesure la part des produits commandés que chaque source trouve. Vous calculez la part que les deux sources trouvent ensemble. Ses cellules de préparation téléchargent environ 7 Mo de données d’exercice. Environ 15 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet; le carnet n’en a pas besoin)

  • Votre projet larkfield-recs à la fin du module 6, avec son environnement virtuel actif. recs check affiche Setup check passed. (vérification de la configuration réussie).
  • Les fichiers d’exercice dans ../nextia-learning-labs, à côté du dossier du projet.
  • Sur macOS, la bibliothèque OpenMP de Homebrew pour LightGBM : brew install libomp.

Testé sur macOS avec Python 3.12 et LightGBM 4.7.0. Les commandes Windows (PowerShell) et Linux n’ont pas été exécutées.

Un client demande à une vendeuse : « Qu’est-ce qui me plairait? » Le magasin vend 3 000 produits. La vendeuse ne réfléchit pas longuement à chacun des 3 000 produits. Cela prendrait toute la journée.

Elle procède en deux étapes. D’abord, elle passe rapidement devant quelques étagères et choisit une vingtaine de produits prometteurs. Certains sont les meilleurs vendeurs à l’avant du magasin. D’autres vont avec ce que le client a acheté la dernière fois. D’autres ressemblent à ce que le client a regardé aujourd’hui. Cette étape est rapide et approximative.

Ensuite, elle examine attentivement les vingt produits. Elle pense aux goûts du client, à la saison et au prix. Elle met les cinq meilleurs sur le comptoir.

Un système de recommandation en deux étapes fonctionne de la même façon. Cette leçon porte sur la première étape et sur la limite qu’elle impose.

Le problème : une méthode ne peut pas faire les deux tâches

Section intitulée « Le problème : une méthode ne peut pas faire les deux tâches »

Dans les modules 4 à 6, chaque méthode faisait tout à la fois. Elle attribuait un score aux 2 994 produits pour chaque client et gardait les 10 premiers. Cela pose deux problèmes.

Un modèle soigneux est trop lent pour tous les produits

Section intitulée « Un modèle soigneux est trop lent pour tous les produits »

Un modèle soigneux examine beaucoup d’informations sur chaque paire client-produit. La prochaine leçon utilise 26 informations par paire. Larkfield compte 40 000 clients et 2 994 produits. Cela donne 40 000 × 2 994 = 119,8 millions de paires à décrire et à évaluer chaque nuit.

Avec environ 200 candidats par client, cela donne 40 000 × 202 = 8,1 millions de paires. C’est environ 15 fois moins de travail. Dans En lot ou en temps réel, le projet classe les 200 candidats d’un client en environ 10 millisecondes. Quinze fois plus donne environ 150 millisecondes. Cela dépasse le budget d’Amira de 100 millisecondes par requête (une estimation, pas une mesure).

Chaque méthode rapide manque des produits différents

Section intitulée « Chaque méthode rapide manque des produits différents »

Chaque méthode rapide voit une partie différente de la réalité :

  • Tendances trouve les meilleurs vendeurs de la saison, pour tout le monde.
  • Item-cf trouve les produits achetés avec ceux que le client a achetés auparavant.
  • ALS trouve les produits qui correspondent aux goûts cachés du client.
  • Contenu trouve les produits au texte semblable, y compris les nouveaux produits sans historique.
  • Les produits récents du client trouvent ce qu’il a regardé sans encore l’acheter.

Dans Hybrides, nous avons additionné trois de ces scores avec des poids fixes. Cela a donné 0,167, et 0,193 avec des poids réglés sur la période de validation. Mais des poids fixes ne peuvent pas dire : « Pour ce client, faites davantage confiance à ALS. » Il nous faut une meilleure façon de les combiner.

Un système de recommandation en deux étapes divise le travail :

  1. Génération de candidats (aussi appelée retrieval, ou récupération). Plusieurs sources rapides fournissent chacune une courte liste. Ensemble, elles donnent quelques centaines de candidats par client.
  2. Classement. Un modèle soigneux attribue un score aux candidats seulement et les ordonne. Ensuite, les règles d’affaires retirent les produits que le magasin ne doit pas montrer.

Cette structure est courante dans les grands magasins et les services de diffusion en continu. Les ingénieurs de YouTube l’ont décrite en 2016 pour les vidéos. La première étape doit être rapide et manquer peu de produits. La deuxième doit être exacte sur une courte liste.

Un flux de gauche à droite. L'historique d'un client alimente cinq sources de candidats : trending, 100 produits; item-cf, 100; ALS, 100; content, 50; et les produits récents des 30 derniers jours, 30. Leurs listes se combinent en environ 202 candidats distincts, parmi 2 994 produits. Un modèle de classement construit avec LightGBM les ordonne à partir de 26 caractéristiques par candidat. Des règles d'affaires sur le stock, l'âge, les produits déjà achetés, les produits de santé et la variété en retirent certains. Le résultat est 10 suggestions.
Le système de recommandation en deux étapes de Larkfield. Cinq sources rapides donnent environ 202 candidats par client; un modèle soigneux les ordonne; les règles nettoient la liste.
Description textuelle du diagramme

L’historique d’un client alimente cinq sources de candidats. Ce sont trending (100 produits), item-cf (100), ALS (100), content (50) et les produits récents du client sur 30 jours (jusqu’à 30). Ensemble, elles donnent environ 202 candidats distincts parmi 2 994 produits, car les listes se chevauchent. Un modèle de classement attribue un score à chaque candidat avec 26 caractéristiques (LightGBM). Les règles d’affaires retirent les produits que le magasin ne doit pas montrer. Ce sont les produits en rupture de stock, réservés à certains âges, déjà achetés ou sensibles, ou trop nombreux d’un même type. Il reste dix suggestions.

Le modèle de classement peut seulement mettre en premier un produit trouvé par une source. Un produit qu’aucune source n’a trouvé est perdu, peu importe ce que fait le modèle.

Nous mesurons donc la première étape seule. Le rappel des candidats est la part des produits commandés pendant la période de test qui figurent parmi les candidats d’un client. Leur position n’importe pas. C’est le plafond de la deuxième étape. Aucun modèle de classement ne peut en trouver davantage.

Le client C106777 est fidèle. Vous l’avez rencontré dans Mesures de classement. Pendant la période de test, il a commandé trois produits. Les cinq sources ont donné 273 candidats pour ce client. Le tableau montre la position de chaque produit commandé dans la liste de chaque source (« – » = absent de cette liste).

Produit commandé trending item-cf ALS content recent Un candidat?
Navy Nitrile-Grip Garden Gloves #2 #48 #2 – – oui
Bramble Terracotta Mosaic Side Table #4 – #39 – – oui
Hartley Blue Wall Lantern – – – – – non

Les gants figurent dans trois listes, et la table d’appoint dans deux. La lanterne murale ne figure dans aucune liste. Pour ce client, le plafond est donc de 2 sur 3 = 0,667. Même un modèle de classement parfait ne pourrait pas montrer la lanterne.

Regardez aussi la table d’appoint. Tendances la place au rang 4, et ALS au rang 39. Devrait-elle venir en premier? C’est la question du modèle de classement, dans la prochaine leçon.

Chaque source trouve une part de tous les produits commandés. Si nous additionnons les cinq parts, nous obtenons 37,8 % + 25,7 % + 23,4 % + 10,7 % + 6,8 % = 104,5 %. Cela dépasse l’ensemble des produits. La vraie part de toutes les sources réunies est 55,5 %.

La raison est le chevauchement, comme pour les gants ci-dessus. Beaucoup de produits commandés figurent dans deux ou trois listes. Une nouvelle source aide seulement pour les produits que les autres sources manquent.

Passons maintenant aux 2 118 clients de test. La commande recs candidates du projet mesure chaque source et leur ensemble sur la période de test de Larkfield.

Part des produits commandés pendant la période de test que chaque source de candidats trouve, à n'importe quelle position. Les cinq réunies trouvent 55,5 % : le plafond de tout modèle de classement. 2 118 clients.
Description textuelle du graphique

Un graphique à six colonnes. Tendances (100 produits) trouve 37,8 % des produits commandés pendant la période de test. ALS (100) trouve 25,7 %. Item-cf (100) trouve 23,4 %. Contenu (50) trouve 10,7 %. Les produits récents du client (jusqu’à 30) trouvent 6,8 %. Les cinq réunies trouvent 55,5 %.

Trois choses ressortent :

  • Tendances en trouve le plus. C’est une seule liste pour tout le monde, et elle trouve 37,8 %. À la fin juin, beaucoup de clients achètent les mêmes meilleurs vendeurs de la saison.
  • Les sources personnelles ajoutent beaucoup. Avec tendances, elles font passer la part de 37,8 % à 55,5 %.
  • Presque la moitié est perdue. 44,5 % des produits commandés ne figurent pas parmi les 202 candidats. Aucun modèle de classement ne peut les trouver. Beaucoup sont des produits jamais consultés par le client, dans une catégorie qu’il n’a jamais visitée.

Le plafond compte un candidat à n’importe laquelle des quelque 200 positions. Une page d’accueil en montre 10. Le recall@10 réel est donc bien inférieur au plafond :

Recall@10 de tendances, du mélange hybride et du modèle de classement en deux étapes sur la période de test de Larkfield. À côté, le plafond des candidats (n'importe quelle position parmi environ 202 candidats).
Description textuelle du graphique

Un graphique à quatre colonnes. Recall@10 sur la période de test : tendances 0,156, mélange hybride 0,167, modèle de classement en deux étapes 0,234. La quatrième colonne est le plafond des candidats, 0,555 : la part des produits commandés trouvés n’importe où parmi les candidats.

Le modèle de classement en deux étapes obtient 0,234 (intervalle à 95 % de 0,217 à 0,251) sur la période de test de Larkfield. C’est le meilleur score du cours jusqu’ici. La prochaine leçon explique comment. Mais l’écart avec 0,555 est grand. Un meilleur modèle de classement peut en réduire une partie. Une meilleure première étape peut relever le plafond lui-même.

Plus de candidats relèvent le plafond, mais ont un coût :

  • Temps. Le modèle de classement doit décrire et évaluer chaque candidat.
  • Bruit. Le produit au rang 300 d’une liste est rarement un bon choix. Le modèle doit faire descendre davantage de candidats faibles.
  • Mémoire. Chaque ligne de candidat contient 26 nombres.

Nous n’avons pas mesuré d’autres tailles de sources dans ce cours. Les tailles 100, 100, 100, 50 et 30 sont un point de départ raisonnable, pas un choix réglé. Pour les changer, mesurez d’abord le rappel des candidats sur la période de validation.

Quand l’utiliser, quand l’éviter et ce que cela coûte

Section intitulée « Quand l’utiliser, quand l’éviter et ce que cela coûte »

Utilisez deux étapes quand le catalogue est grand et que plusieurs signaux voient des choses différentes. Cela donne un seul endroit pour les combiner : le modèle de classement. Chaque source peut aussi rester simple et rapide.

Ne l’utilisez pas quand le catalogue est petit. Un magasin de 200 produits peut évaluer chaque produit avec le modèle soigneux. Ne commencez pas non plus par cela : construisez d’abord les références de base, comme dans ce cours. Sans elles, vous ne pouvez pas savoir ce qu’ajoute la deuxième étape.

Coût : plus de composants à garder à jour. Larkfield construit maintenant item-cf, ALS et contenu, puis entraîne le modèle de classement. Sur notre portable, construire les sources et entraîner le modèle a pris environ 12 secondes sur un seul fil d’exécution. Votre durée sera différente. Chaque source peut échouer séparément, donc chacune a besoin d’une vérification.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page. Exécutez les cellules de préparation.

  2. Exécutez la section 1. Elle construit deux sources simples : les 100 produits tendance et les produits de chaque client des 30 derniers jours.

  3. Exécutez la section 2. Les sources plus simples du carnet trouvent un peu plus que celles du projet : tendances 37,9 % et produits récents 6,9 %.

  4. Dans la section 3, faites une prédiction : l’union des deux sources dépasse-t-elle la meilleure source seule, et de combien? Calculez ensuite la part. La vérification affiche Check passed: r_both is 0.418. (vérification réussie : r_both vaut 0,418).

  5. Dans un terminal, allez dans votre dossier larkfield-recs et activez son environnement virtuel. Copiez le nouveau fichier des dépendances et installez LightGBM :

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m07
    cp $S/requirements.txt .
    pip install -r requirements.txt

    Le fichier ajoute une ligne, lightgbm==4.7.0. Sur macOS, LightGBM a aussi besoin de brew install libomp.

  6. Copiez la méthode en deux étapes et la commande candidates :

    Fenêtre de terminal
    cp $S/larkfield_recs/methods/twostage.py larkfield_recs/methods/
    cp $S/larkfield_recs/commands/candidates.py larkfield_recs/commands/
  7. Vérifiez que le projet connaît la nouvelle méthode :

    Fenêtre de terminal
    recs evaluate --list

    La liste contient une nouvelle ligne : two-stage candidates from 5 sources, then a LightGBM LambdaMART ranker (candidats de cinq sources, puis modèle de classement LightGBM LambdaMART).

  8. Mesurez les candidats sur un échantillon fixe de 1 000 clients de test :

    Fenêtre de terminal
    recs candidates --quick
    1,000 customers, 202 candidates per customer on average
    source size ordered products found
    trending 100 38.8%
    item_cf 100 24.6%
    als 100 26.0%
    content 50 10.9%
    recent 30 6.1%
    all 56.9% <- no ranker can find more than this

    La commande entraîne aussi le modèle de classement de la prochaine leçon. Cela a pris environ 14 secondes sur notre portable.

Afficher la réponse à l’étape 4
r_both = found(lambda c: trending100 | recent_by_customer.get(c, set()))

L’opérateur | réunit deux ensembles. Chaque produit compte une fois, donc le chevauchement compte une fois. Ensemble, les deux sources trouvent 0,418 : plus que tendances seule (0,379), mais moins que 0,379 + 0,069. Certains produits récents sont aussi tendance.

L’échantillon rapide compte 1 000 clients. Avant de lancer la commande, faites une prédiction. Sur les 2 118 clients de test, la part des cinq sources sera-t-elle supérieure ou inférieure à 56,9 %? Exécutez ensuite recs candidates sans --quick.

Afficher la réponse
2,118 customers, 202 candidates per customer on average
source size ordered products found
trending 100 37.8%
item_cf 100 23.4%
als 100 25.7%
content 50 10.7%
recent 30 6.8%
all 55.5% <- no ranker can find more than this

Elle est un peu inférieure : 55,5 % contre 56,9 %. Un échantillon de 1 000 clients est proche, mais pas identique. Chaque source varie d’environ un point, et leur ordre reste le même. Citez l’exécution complète quand vous rapportez un nombre. Utilisez --quick pendant vos essais.

Erreur courante

Régler le modèle de classement quand les candidats sont la limite

Symptôme : Tomás passe une semaine sur les réglages du modèle de classement. Le recall@10 change à peine.

Cause : 44,5 % des produits commandés ne figurent pas parmi les candidats. Le modèle de classement ne peut pas les montrer. Un modèle réglé déplace seulement les produits parmi les candidats.

Diagnostic : exécutez recs candidates. Comparez le plafond (55,5 %) au recall@10 (0,234). Regardez ensuite les produits commandés qu’aucune source n’a trouvés. Quel type de source les trouverait?

Correction : améliorez l’étape qui vous limite. Si le plafond est bas, ajoutez une source ou augmentez sa taille. Si le plafond est élevé et le recall@10 faible, travaillez sur le modèle de classement.

Erreur courante

Une source de candidats qui voit la période de test

Symptôme : Priya ajoute une nouvelle source, « produits que le client a consultés ce mois-ci ». Le rappel des candidats dépasse soudainement 80 %.

Cause : « ce mois-ci » inclut la période de test. La source regarde les consultations pendant les deux semaines sur lesquelles elle est testée. Les clients consultent souvent un produit juste avant de le commander. C’est une fuite de données, comme dans Découper selon le temps.

Diagnostic : vérifiez la date de coupure de chaque source. Dans le projet, les cinq sources utilisent seulement les événements avant la période.

Correction : construisez chaque source uniquement à partir des événements avant la période. Un bond qui semble trop beau l’est généralement.

Vérifiez votre compréhension

La source A trouve 30 % des produits commandés, et la source B en trouve 20 %. Ensemble, peuvent-elles en trouver 60 %?

Afficher la réponse

Non. Ensemble, elles trouvent au maximum 30 % + 20 % = 50 %, et seulement si elles ne trouvent jamais le même produit. En général, elles se chevauchent, donc l’union est plus petite. Chez Larkfield, les cinq parts totalisent 104,4 %, mais ensemble, les sources trouvent 55,5 % des produits.

Vérifiez votre compréhension

Pourquoi l'étape des candidats limite-t-elle le modèle de classement, mais pas l'inverse?

Afficher la réponse

Le modèle de classement voit seulement les candidats. Il peut faire monter ou descendre un candidat, mais il ne peut pas ajouter un produit qu’aucune source n’a trouvé. La part des produits commandés parmi les candidats est donc le rappel maximal que tout modèle de classement peut atteindre. L’étape des candidats ne dépend pas du tout du modèle de classement.

Vérifiez votre compréhension

Les candidats de Larkfield contiennent 55,5 % des produits commandés, et le recall@10 du modèle de classement est de 0,234. Nommez une façon d'augmenter chaque nombre.

Afficher la réponse

Pour augmenter le plafond (55,5 %), ajoutez une source qui trouve d’autres produits, ou allongez la liste d’une source. Vérifiez le rappel des candidats sur la période de validation. Pour augmenter le rappel à 10 (recall@10) (0,234), donnez au modèle de classement de meilleures caractéristiques ou de meilleures données d’entraînement. Ainsi, davantage de produits trouvés atteignent les 10 premiers rangs. La prochaine leçon applique cette deuxième approche.

Récapitulatif

  • Un système de recommandation en deux étapes récupère d’abord quelques centaines de candidats auprès de sources rapides. Ensuite, il les classe avec un modèle plus minutieux. Cela représente environ 15 fois moins de travail que d’attribuer un score à chaque produit.
  • Le rappel des candidats est la part des produits commandés parmi les candidats. C’est le plafond de tout modèle de classement.
  • Les cinq sources de Larkfield (trending, item-cf, ALS, content, recent) donnent environ 202 candidats par client. Ensemble, elles trouvent 55,5 % des produits commandés. Trending seul en trouve 37,8 %.
  • Les parts se chevauchent. Elles totalisent 104,5 %, mais l’union est de 55,5 %.
  • Pour C106777, le plafond est de 2 sur 3 : aucune source n’a trouvé la lanterne murale.

Nous avons des candidats provenant de cinq sources. Maintenant, nous devons placer les meilleurs en premier. Ensuite, nous décrivons chaque candidat par des caractéristiques et entraînons un modèle de classement LambdaMART avec LightGBM sur les prochaines commandes.

Leçon suivante : Un modèle de classement appris