Recommander des produits pour un détaillant en ligne
- Étude de cas 1
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
En neuf modules, nous avons construit le système de recommandation de Larkfield avec des données synthétiques. Dans cette étude de cas, nous utilisons des transactions réelles d'un détaillant en ligne. Nous comparons quatre familles de méthodes avec un découpage temporel et présentons les résultats par segment de clients.
Étude de cas 1 sur 4 · Recommandation et personnalisation : montrer à chacun ce qui compteRecommander des produits pour un détaillant en ligne
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Construisez et comparez des systèmes de recommandation avec deux ans de factures réelles d’un magasin en ligne britannique. Nettoyez les données, découpez-les dans le temps et comparez les résultats par segment. Décidez ensuite ce que le magasin devrait montrer, et à qui, combien cela coûte et ce qu’une personne vérifie encore. Enfin, exécutez la conception une seule fois sur des jours qu’aucune méthode n’a vus.
Cette étude de cas est un carnet (notebook) Jupyter, pas le projet larkfield-recs. Il contient tous les blocs de code de cette page, dans le même ordre, avec trois tâches et leurs vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (15 Mo). Il s’exécute en environ 3 minutes sur le processeur d’un portable. Lisez les explications ici et exécutez le code dans le carnet.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le découpage temporel, dans Découper selon le temps, et les références de base, dans Les références de base à battre.
- Le rappel à 10 (recall@10) et le NDCG@10, dans Mesures de classement; la couverture, la nouveauté et la diversité, dans Au-delà de l’exactitude; les segments et les différences appariées, dans Évaluer par segment.
- Le filtrage collaboratif article-article, dans Filtrage collaboratif article-article, et ALS, dans Goûts cachés.
- Le modèle de classement en deux étapes, dans Pourquoi deux étapes et Un modèle de classement appris, et les règles, dans Règles d’affaires et reclassement.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)
- Python 3.12 dans un nouvel environnement virtuel, avec Jupyter. La première cellule du carnet installe NumPy, pandas, SciPy, matplotlib, implicit et LightGBM. Sur Mac, LightGBM nécessite aussi
brew install libomp. - Un nouveau dossier vide. La cellule de préparation télécharge les données dans un dossier
online-retailer-recs. Pour recommencer, supprimez-le et exécutez le carnet depuis le début.
Testé sur macOS (Apple M4, 16 Go) dans Jupyter, avec Python 3.12, NumPy 2.5.4, pandas 3.1.1, SciPy 1.18.1, implicit 0.7.3 et LightGBM 4.7.0. Aucune exécution sur Windows, Linux, Colab ou Kaggle.
La situation
Section intitulée « La situation »Un magasin en ligne britannique vend des cadeaux et des articles pour la maison : porte-lampions, sacs à lunch, guirlandes en papier, moules à gâteau. Beaucoup de ses clients ne sont pas des familles. Ce sont de petites boutiques de cadeaux qui achètent par cartons de 12 ou 24 pour revendre les produits. Un bon client commande toutes les quelques semaines. Vous connaissez peut-être ce magasin grâce à l’étude de cas Segmenter les clients d’une boutique en ligne du cours d’apprentissage automatique.
Grace gère le site Web du magasin. Elle veut un bloc de dix produits à deux endroits :
- La page du compte. Un client se connecte pour commander à nouveau. Le bloc doit l’aider à trouver rapidement ce qu’il lui faut.
- La page d’accueil. Les visiteurs et les nouveaux clients la voient. Personne n’est connecté, donc le bloc ne peut pas être personnalisé.
Jonah est le seul développeur du magasin. Il construira et exploitera ce que vous recommanderez. Il demande : « Quelle méthode, pour qui? Combien de temps prend-elle chaque nuit? Que dois-je faire quand elle tombe en panne? »
Un bloc peu utile gaspille le meilleur emplacement de la page. Un modèle complexe à peine meilleur prend du temps à Jonah chaque semaine.
Grace et Jonah sont fictifs. Les données sont réelles.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Une comparaison de sept méthodes sur les mêmes clients et le même mois. Elles reposent sur la popularité (popular, trending), l’historique du client (buy-again), les voisins (co-occurrence, item-cf), ALS (als) et un modèle de classement en deux étapes. Le résultat est une recommandation pour Grace et Jonah : une conception, ses réglages, son coût et ce qu’une personne vérifie encore.
Les données
Section intitulée « Les données »Online Retail II est un jeu de données public de l’UCI Machine Learning Repository. Il contient toutes les lignes de facture du magasin du 1er décembre 2009 au 9 décembre 2011.
| Source | UCI Machine Learning Repository, jeu de données 502 : Online Retail II, DOI 10.24432/C5CG6D |
| Créateur | Daqing Chen |
| Licence | Creative Commons Attribution 4.0 International (CC BY 4.0) |
| Attribution | “Online Retail II” by Daqing Chen, UCI Machine Learning Repository, https://doi.org/10.24432/C5CG6D, licensed under CC BY 4.0. Changed by Nextia Learning: the two Excel sheets joined into one gzip CSV file. |
| Fichier | online_retail_ii.csv.gz (15 Mo), la copie fixe du cours dans le dépôt des laboratoires, avec une fiche du jeu de données. Nous l’avons comparée au fichier de l’UCI : les mêmes 1 067 371 lignes, dans le même ordre. |
Une ligne représente un produit sur une facture : qui l’a acheté, quand, en quelle quantité et à quel prix. Il n’y a ni consultations, ni ajouts au panier, ni notes. Une méthode peut donc apprendre seulement à partir des achats.
Les colonnes que nous utilisons :
| Colonne | Signification |
|---|---|
Invoice |
Le numéro de facture. Un numéro qui commence par C indique une annulation : le client a retourné les produits. |
StockCode |
Le code du produit, comme 85123A. Certains codes ne sont pas des produits : frais de poste, modifications manuelles, frais bancaires. |
Description |
Le nom du produit, en majuscules, comme WHITE HANGING HEART T-LIGHT HOLDER. |
Quantity |
Le nombre d’unités sur la ligne. Négatif pour un retour. |
InvoiceDate |
La date et l’heure de la facture. Le découpage temporel utilise cette colonne. |
Price |
Le prix d’une unité, en livres sterling. |
Customer ID |
Un numéro à cinq chiffres. Absent sur 22,8 % des lignes. |
Ce qui distingue ces données de celles de Larkfield
Section intitulée « Ce qui distingue ces données de celles de Larkfield »Le journal du magasin Larkfield est synthétique. Ces données représentent le comportement réel de vrais clients (sous pseudonyme). Trois différences comptent :
- Les clients reviennent. Sur les 5 852 clients, 1 618 (28 %) ont acheté une seule fois. Chez Larkfield, 53,7 % des acheteurs ont commandé une seule fois.
- Les paniers sont gros. La facture médiane contient 15 produits différents. Pendant la période de test de Larkfield, un client commandait en moyenne 1,77 produit en deux semaines.
- Il y a moins de données pour apprendre. Aucune consultation, catégorie, indication de stock ou description de produit, seulement des noms courts.
Nettoyer les lignes
Section intitulée « Nettoyer les lignes »Les lignes de facture brutes ne sont pas encore des achats. Les premières cellules du carnet les nettoient en quatre étapes et comptent les lignes à chaque étape :
raw = read("data/online_retail_ii.csv.gz")lines, steps = clean(raw)for step, n in steps.items(): print(f"{step:16} {n:>9,}")lines 1,067,371repeated lines 34,335no customer ID 235,151not a product 3,641price 0 or less 61kept 794,183return lines 17,587Description textuelle du diagramme
Le nettoyage supprime 34 335 lignes répétées et 235 151 lignes sans identifiant de client. Il supprime aussi 3 641 lignes qui ne sont pas des produits et 61 lignes dont le prix est nul ou négatif. Il reste 794 183 lignes, provenant de 5 852 clients et de 4 621 produits. Parmi celles-ci, 17 587 sont des lignes de retour. Elles sont conservées à part.
Ce que fait chaque étape, et pourquoi :
- Lignes répétées. La source contient deux feuilles Excel, qui incluent toutes deux les jours du 1er au 9 décembre 2010. Une copie exacte d’une ligne n’est pas un deuxième achat.
- Aucun identifiant de client. Ce sont des visiteurs ou des clients qui ne se sont pas connectés : nous ne pouvons pas personnaliser leurs suggestions. (Ce sont les personnes qui voient la page d’accueil.)
- Pas un produit.
POSTetDOTsont des frais de poste,Mune modification manuelle,BANK CHARGESetAMAZONFEEdes frais,GIFTetgift_0001_…des bons d’achat. Personne ne veut voir « frais de poste » dans une liste de suggestions. - Retours. Une ligne dont la facture commence par
Cest un retour, pas une vente. Parfois, les retours d’un client annulent toutes les unités d’un produit acheté avant la date de coupure. Nous n’apprenons alors rien de cette paire : un produit retourné n’est pas un goût à reproduire. Avant novembre 2011, les clients ont retourné intégralement les produits de 2 994 paires.
Définir le problème
Section intitulée « Définir le problème »- Quand les listes sont-elles créées? Chaque nuit, à partir de toutes les factures antérieures à cette nuit.
- Que prédisons-nous? Pour chaque client qui achète pendant la période suivante, les produits qu’il achète durant cette période.
- La mesure principale : recall@10, la part des produits achetés par un client qui figurent dans les 10 premières suggestions, moyennée sur les clients. Nous présentons aussi le NDCG@10, la couverture, la nouveauté, la diversité et le rappel sur les produits nouveaux pour le client. Nous présentons également le rappel par segment, comme le fait le dispositif d’évaluation du cours.
- Les segments, comme dans Évaluer par segment, mais selon le nombre de factures avant la période. Les nouveaux clients n’en ont aucune, les clients occasionnels en ont 1 ou 2 et les clients fidèles, 3 ou plus.
Le découpage temporel
Section intitulée « Le découpage temporel »Le futur ne doit pas contaminer le passé, comme dans Découper selon le temps. Nous utilisons des mois civils, car ces clients commandent toutes les quelques semaines :
Description textuelle du diagramme
La validation porte sur octobre 2011 : nous essayons 12 réglages ALS et toutes les méthodes, puis gardons les meilleurs. Le test porte sur novembre 2011 : chaque méthode s’exécute une fois, avec tout ce qui est connu avant le 1er novembre. Les nouvelles données d’entrée couvrent la période du 1er au 9 décembre 2011 : seule la conception choisie s’exécute, une fois. Le modèle de classement apprend toujours sur le mois qui précède celui qu’il prédit.
Le mois de test compte 1 656 clients : 190 nouveaux, 356 occasionnels et 1 110 fidèles. La plupart sont fidèles. La période de test de Larkfield présente l’inverse : 952 de ses 2 118 clients sont nouveaux.
Explorer ce qu’il faut pour décider
Section intitulée « Explorer ce qu’il faut pour décider »La saison
Section intitulée « La saison »Description textuelle du graphique
La courbe montre le nombre de clients ayant acheté chaque mois, de décembre 2009 à décembre 2011. La plupart des mois comptent de 700 à 1 100 clients. Chaque année, ce nombre augmente en septembre et atteint son maximum en novembre : 1 606 clients en novembre 2010 et 1 660 en novembre 2011. Décembre 2011 en compte 614, car les données s’arrêtent le 9 décembre.
Le mois de test, novembre 2011, est le plus actif des données : les boutiques achètent leur stock de Noël. Les trois premiers produits de trending avant novembre sont un ensemble de guirlandes de Noël en papier, une bouillotte et un sac géant. Quatre des dix premiers ont « Christmas » (Noël) dans leur nom. Les ventes de toute la période manqueraient cette saisonnalité, comme les manteaux d’hiver de Larkfield en juillet.
Gros paniers et achats répétés
Section intitulée « Gros paniers et achats répétés »En novembre, un client a acheté 33,2 produits différents en moyenne (médiane de 21). Une liste de 10 peut en trouver au plus 10. Le recall@10 paraît donc faible, même pour une bonne liste. Comparez les méthodes entre elles, pas avec les chiffres de Larkfield.
Le deuxième chiffre détermine l’issue de cette étude de cas. 39,0 % des paires (client, produit) de novembre concernent des produits que le client avait déjà achetés. La première tâche du carnet calcule cette part. Les règles de Larkfield retirent les produits déjà achetés par un client, car la plupart sont achetés une seule fois. Ici, racheter est normal : un magasin de cadeaux qui vend des sacs à lunch en commande d’autres.
Description textuelle du graphique
Trois colonnes. Parmi les 54 914 paires (client, produit) de novembre 2011, 39,0 % concernent des produits que le client avait déjà achetés. 60,3 % concernent des produits que le magasin avait déjà vendus, mais pas à ce client. 0,8 % concernent des produits que le magasin n’avait jamais vendus avant le 1er novembre.
Seulement 0,8 % des paires de novembre concernent des produits jamais vendus avant le 1er novembre. Aucune méthode qui apprend du passé ne peut les montrer, mais ils sont peu nombreux ce mois-ci.
Les références de base
Section intitulée « Les références de base »Nous utilisons trois références de base. popular classe les produits selon le nombre de clients qui les ont achetés depuis le début. trending fait de même pour les 28 derniers jours avant la période. Tout le monde reçoit la même liste. Ces méthodes viennent de Les références de base à battre :
def popular(period): return np.argsort(-period.popularity(), kind="stable")
def trending(period, days=28): return np.argsort(-period.popularity(days), kind="stable")La troisième vient de l’exploration précédente : si les clients rachètent les mêmes produits, la liste personnalisée la plus simple est leur historique. buy-again montre les produits du client : d’abord ceux qui figurent sur le plus de factures, puis les plus récents. Un nouveau client n’a pas d’historique, donc la liste est remplie avec les produits tendance.
def buy_again_scores(period, rows): """The customer's own products: more invoices first, then the most recent.""" X, D = period.X[rows].toarray(), period.D[rows].toarray() recency = np.divide(1.0, D, out=np.zeros_like(D), where=D > 0) return np.where(X > 0, X + recency, 0.0)Sur le mois de test : popular 0,035, trending 0,047 et buy-again 0,139 (intervalle à 95 % : 0,130 à 0,150). Le rachat est trois fois meilleur que les tendances. La différence appariée sur les mêmes clients est de +0,092 (de +0,083 à +0,102).
Chez Larkfield, les tendances (0,156) dépassaient toutes les méthodes personnalisées. Ici, l’historique du client gagne largement, grâce aux clients, pas à la méthode.
Les autres options
Section intitulée « Les autres options »Cooccurrence et item-cf
Section intitulée « Cooccurrence et item-cf »La cooccurrence compte les clients qui ont acheté les deux produits : « les clients qui ont acheté ceci ont aussi acheté cela », comme dans Les clients ont aussi acheté. Item-cf divise ce nombre par la taille de chaque produit (cosinus), pour éviter que les meilleurs vendeurs dominent chaque paire. Les deux méthodes calculent le score d’un produit pour un client en additionnant sa similarité avec chaque produit déjà acheté. Les produits achetés sur plusieurs factures ont plus de poids (poids de 1 + logarithme du nombre de factures).
def neighbour_scores(period, S, rows): """Sum over the customer's products of (weight x similarity); weight = 1 + log(invoices).""" W = period.X[rows].copy() W.data = 1 + np.log(W.data) return np.asarray(W @ S)La cooccurrence obtient 0,047 et item-cf 0,063. La cooccurrence ne fait pas mieux que trending : les meilleurs vendeurs sont achetés avec tout, donc ils dominent chaque liste. Item-cf fait mieux, mais reste loin derrière buy-again. Les deux méthodes suggèrent d’autres produits. Ici, la prochaine commande contient surtout les mêmes produits.
ALS apprend un vecteur pour chaque client et chaque produit, comme dans Goûts cachés. La bibliothèque implicit ajuste le modèle; la confiance d’une paire est de 1 + logarithme du nombre de factures.
ALS a des réglages. Nous en avons essayé 12 sur le mois de validation (octobre), comme dans Régler sans vous tromper vous-même :
Description textuelle du graphique
Deux courbes, pour les régularisations 0,1 et 10, avec 32, 64, 128 et 256 facteurs. La courbe de régularisation 1 se superpose à celle de 0,1; elle n’est donc pas tracée. Le rappel à 10 (recall@10) du mois de validation augmente avec le nombre de facteurs. Avec une régularisation de 10, il passe de 0,082 à 32 facteurs à 0,104 à 256. La régularisation 10 donne le meilleur résultat pour chaque taille.
Le meilleur réglage est le plus grand modèle : 256 facteurs et une régularisation de 10. Un grand modèle ALS peut mémoriser les produits de chaque client, ce qui le rapproche de buy-again. Sur le mois de test, ALS obtient 0,122 (0,114 à 0,133). C’est clairement mieux qu’item-cf, et clairement moins bien que buy-again seul. La différence appariée ALS moins buy-again est de −0,017 (de −0,023 à −0,011).
Le modèle de classement en deux étapes
Section intitulée « Le modèle de classement en deux étapes »La conception de Pourquoi deux étapes trouve quelques centaines de candidats avec des sources rapides. Un modèle de classement appris les ordonne ensuite. Nous avons modifié la conception de Larkfield de deux façons. Il n’y a aucune source de contenu, car il n’y a aucune description de produit. Et les produits déjà achetés par le client (jusqu’à 50) constituent une source : le signal le plus fort ici.
| Source | Candidats | Part des achats de novembre trouvés (à n’importe quel rang) |
|---|---|---|
| trending | 100 | 20,4 % |
| item-cf | 100 | 20,0 % |
| ALS | 100 | 27,2 % |
| produits déjà achetés | jusqu’à 50 | 19,5 % |
| les quatre | environ 215 par client | 43,4 % |
Ensemble, les quatre sources trouvent 43,4 % de ce que les clients ont acheté en novembre. C’est le plafond : aucun modèle de classement ne peut en trouver davantage.
Le modèle de classement utilise LightGBM avec l’objectif lambdarank, comme dans Un modèle de classement appris. Il décrit chaque candidat avec 18 variables. Elles comprennent son rang et son score dans chaque source, ainsi que sa popularité. Celle-ci couvre toute la période, 28 jours, 7 jours et le même mois un an auparavant. Elles comprennent aussi son prix, son âge et l’historique du client avec ce produit. Cet historique comprend les factures et les jours écoulés depuis le dernier achat du produit par le client. Le modèle apprend sur octobre : les candidats et variables viennent d’avant le 1er octobre, les étiquettes des achats d’octobre. Il classe ensuite les candidats de novembre avec les variables d’avant le 1er novembre. Il ne voit jamais novembre.
Le modèle a appris à partir de 1 305 clients, 146 321 lignes de candidats et 17 063 achats. Ses variables les plus utiles, selon le gain :
Description textuelle du graphique
Six colonnes. Le rang dans l’historique du client représente 29,4 % du gain. Puis les jours depuis la dernière commande du client 8,3 %, les clients ayant déjà acheté le produit 7,0 %, les jours depuis l'achat du produit par ce client 6,4 %, les clients des 7 derniers jours 5,8 % et le rang dans la liste ALS 5,4 %.
Le modèle utilise d’abord l’historique du client, puis le moment et la popularité. Il a appris quelque chose que buy-again ne peut pas faire : quand suggérer à nouveau un produit. Et quand un produit de saison l’emporte sur un ancien favori.
Une comparaison équitable
Section intitulée « Une comparaison équitable »Chaque méthode a été exécutée sur les mêmes 1 656 clients de novembre 2011, avec le même historique et les mêmes mesures :
| Méthode | recall@10 (intervalle à 95 %) | NDCG@10 | nouveau pour le client | couverture | nouveauté (bits) | diversité | entraînement (s) |
|---|---|---|---|---|---|---|---|
popular |
0,035 (0,031 à 0,039) | 0,091 | 0,018 | 0,3 % | 2,52 | 0,98 | 0,0 |
trending |
0,047 (0,043 à 0,052) | 0,124 | 0,032 | 0,3 % | 3,11 | 0,98 | 0,0 |
buy-again |
0,139 (0,130 à 0,150) | 0,273 | 0,006 | 66,8 % | 4,08 | 0,97 | 0,0 |
co-occurrence |
0,047 (0,043 à 0,052) | 0,114 | 0,024 | 5,1 % | 2,68 | 0,97 | 0,4 |
item-cf |
0,063 (0,058 à 0,069) | 0,147 | 0,026 | 21,1 % | 3,15 | 0,94 | 0,4 |
als |
0,122 (0,114 à 0,133) | 0,238 | 0,012 | 28,4 % | 3,47 | 0,94 | 7,7 |
two-stage |
0,159 (0,149 à 0,170) | 0,323 | 0,008 | 44,5 % | 3,81 | 0,96 | 30,0 |
« Nouveau pour le client » est le rappel sur les produits que le client n’avait jamais achetés. « Entraînement » est le temps d’entraînement sur un seul fil d’exécution (Apple M4). Pour le modèle en deux étapes, il comprend ses sources et son mois d’entraînement.
Comment lire ce tableau :
- Le modèle en deux étapes est le meilleur pour le rappel et le NDCG. Face à buy-again, la différence appariée est de +0,020 (de +0,015 à +0,024) : faible, mais claire. Il fait mieux pour 672 clients, moins bien pour 299 et pareil pour 685.
- Buy-again est une référence de base très forte. Son entraînement ne coûte rien et il bat ALS, item-cf et la cooccurrence.
- Toutes les méthodes trouvent mal les produits nouveaux pour le client. Le meilleur score « nouveau pour le client » du tableau est de 0,032, pour trending. Trouver un produit qu’un client n’a jamais acheté est beaucoup plus difficile que lui rappeler un produit.
- La couverture de buy-again est élevée (66,8 %), car chaque client a un historique différent. Les listes de popularité montrent seulement 10 produits à tout le monde.
Par segment
Section intitulée « Par segment »La moyenne cache les segments. Voici le recall@10 par segment, avec des intervalles à 95 % :
Description textuelle du graphique
Trois panneaux, un par segment, avec cinq méthodes chacun. Nouveaux clients (190) : trending, item-cf, ALS et buy-again affichent tous la liste trending et obtiennent 0,044; le modèle en deux étapes obtient 0,035. Clients occasionnels (356) : trending 0,040, item-cf 0,056, ALS 0,124, buy-again 0,107, modèle en deux étapes 0,135. Clients fidèles (1 110) : trending 0,050, item-cf 0,068, ALS 0,135, buy-again 0,166, modèle en deux étapes 0,188.
- Les clients fidèles profitent le plus du modèle de classement : 0,188 contre 0,166 pour buy-again (+0,022, intervalle de +0,018 à +0,027).
- Les clients occasionnels ont une ou deux factures. Pour eux, ALS (0,124) fait un peu mieux que buy-again (0,107; différence de +0,018, intervalle de +0,003 à +0,033). Avec peu d’historique, ALS remplit la liste de produits achetés par des clients similaires. Le modèle de classement fait encore mieux (0,135; face à buy-again, +0,028, intervalle de +0,018 à +0,039).
- Les nouveaux clients n’ont aucun historique. Chaque méthode personnalisée utilise trending comme solution de repli. Le modèle de classement réordonne les 100 produits de trending avec ses variables. Son score est inférieur à celui de l’ordre de trending (0,035 contre 0,044). Il a appris son ordre sur des clients connus, dont les variables sont différentes. La différence n’est pas claire : son intervalle (−0,010, de −0,029 à +0,005) comprend zéro, car il n’y a que 190 nouveaux clients. Mais le modèle ne fait pas mieux pour eux, et trending est plus simple.
Ce dernier point définit la conception : le modèle de classement pour les clients connus, et trending seul pour les nouveaux clients. Nous l’appelons deux étapes + trending pour les nouveaux clients. Sur le mois de test, elle obtient 0,160 (0,150 à 0,171). Nous l’avons choisie sur le mois de validation, avant de regarder novembre. Elle était aussi la meilleure à ce moment-là : 0,127, contre 0,121 pour buy-again et 0,126 pour le modèle de classement seul.
Cas d’échec : une règle d’un autre magasin
Section intitulée « Cas d’échec : une règle d’un autre magasin »Erreur courante
Retirer les produits que le client a déjà achetés
Symptôme : Jonah copie les règles d’affaires de Larkfield dans le magasin. Le recall@10 passe de 0,159 à 0,030, sous trending.
Cause : la règle retire tous les produits que le client a déjà achetés. Chez Larkfield, c’est correct : la plupart des produits sont achetés une seule fois. Un ancien achat dans la liste occupe donc inutilement une case. Dans ce magasin, 39,0 % de ce que les clients achètent le mois suivant a déjà été acheté. La règle retire les meilleures suggestions.
Diagnostic : avant de copier une règle, mesurez la part des achats de la période suivante qui sont des achats répétés. Comparez ensuite la liste avec et sans la règle sur la période de validation, par segment. Ici, les clients fidèles passent de 0,188 à 0,025.
Correction : une règle est une décision d’affaires propre à un magasin. Prenez donc cette décision pour ce magasin. Gardez les produits déjà achetés par le client dans le bloc de la page du compte. Si Grace veut aussi favoriser la découverte, donnez-lui un bloc distinct. Sans la règle, le rappel sur les produits nouveaux pour le client est seulement de 0,008; avec elle, de 0,059. La découverte est une autre tâche.
Description textuelle du graphique
Quatre colonnes. Le recall@10 du modèle en deux étapes est de 0,159 sans la règle, et de 0,030 avec elle. Le rappel sur les produits nouveaux pour le client est de 0,008 sans la règle et de 0,059 avec elle.
La recommandation
Section intitulée « La recommandation »Description textuelle du diagramme
Un visiteur sans facture (invité ou nouveau client) voit trending sur la page d’accueil : les meilleurs vendeurs des 28 derniers jours. Un client connecté avec au moins une facture voit la liste en deux étapes sur la page du compte. Elle est créée chaque nuit. Une personne vérifie les deux listes chaque semaine.
Ce que nous disons à Grace et Jonah :
- Page d’accueil, pour les invités et les nouveaux clients :
trending, les meilleurs vendeurs des 28 derniers jours, par nombre de clients. C’est notre meilleure option pour les personnes sans historique, et elle suit la saison. Aucune méthode personnalisée ne les aide, car il n’y a rien à apprendre. - Page du compte, pour les clients avec au moins une facture : le modèle en deux étapes. Sources : trending 100, item-cf 100, ALS 100 (256 facteurs, régularisation 10) et 50 produits déjà achetés par le client. LightGBM
lambdarank, 300 arbres, taux d’apprentissage de 0,05, 31 feuilles, 100 négatifs échantillonnés par client. Il est entraîné chaque mois sur le mois précédent. Aucune règle des produits déjà achetés. - La solution de repli est buy-again. Si la tâche nocturne échoue, affichez les produits déjà achetés par le client. Le calcul ne coûte rien et c’est la deuxième meilleure méthode (0,139). Jonah peut la livrer d’abord, en une journée, et ajouter le modèle de classement quand il fonctionne.
- Ce qu’une personne vérifie chaque semaine : les produits en rupture de stock. Les données n’ont aucun indicateur de stock, donc les listes ne peuvent pas le savoir. Les produits hors saison, comme les produits de Noël après décembre. Et les listes qui montrent un produit en plusieurs couleurs (l’exemple ci-dessous). Une personne révise aussi les résultats du modèle sur le dernier mois avant chaque réentraînement mensuel.
Ce que cela coûte
Section intitulée « Ce que cela coûte »Mesuré sur un seul fil d’exécution d’un Apple M4. Les coûts en argent sont des hypothèses.
| Élément | Modèle en deux étapes | Buy-again |
|---|---|---|
| Entraînement chaque nuit (sources et modèle de classement) | 30 s | 0 s |
| Listes pour les 5 616 clients connus | 11 s | 0,1 s |
| Mémoire (analyse complète, toutes les méthodes, un processus) | pic de 2,5 Go | moins |
| Temps serveur, hypothèse : serveur de 4 vCPU à 0,17 $ US l’heure, facturé pour 1 heure par nuit | 0,17 $ US par nuit, environ 62 $ US par année | environ autant |
| Temps de Jonah, hypothèse | vérification mensuelle du modèle de classement et correction quand les données changent | presque aucun |
Le serveur n’est pas le coût : moins d’une minute par nuit est presque gratuit. Le vrai coût est le temps de Jonah : un modèle de plus à réentraîner, vérifier et réparer. Le modèle de classement ajoute +0,021 de recall@10 par rapport à buy-again (de +0,017 à +0,025). Les 10 premiers résultats trouvent donc environ 15 % de plus de ce que les clients achètent. Est-ce que cela vaut le temps de Jonah? Cela dépend de ce que rapporte un produit trouvé, et le rappel hors ligne ne peut pas le dire.
Notre conseil : livrez buy-again d’abord, puis ajoutez le modèle de classement et testez-le en ligne contre buy-again avant de le garder. Les gains hors ligne ne sont pas des gains en ligne expliquait pourquoi, et Tests en ligne et garde-fous expliquait comment.
De bout en bout sur de nouvelles données
Section intitulée « De bout en bout sur de nouvelles données »Les neuf derniers jours, du 1er au 9 décembre 2011, n’ont jamais été utilisés. Nous exécutons toute la conception une fois : le modèle de classement apprend sur novembre. Il classe ensuite les produits pour décembre avec tout ce qui était connu avant le 1er décembre. Les nouveaux clients reçoivent trending.
| Méthode | recall@10 (intervalle à 95 %) | nouveaux | occasionnels | fidèles |
|---|---|---|---|---|
trending |
0,052 (0,045 à 0,059) | 0,015 | 0,044 | 0,055 |
buy-again |
0,173 (0,156 à 0,191) | 0,015 | 0,129 | 0,191 |
| deux étapes + trending pour les nouveaux clients | 0,207 (0,189 à 0,226) | 0,015 | 0,156 | 0,228 |
610 clients ont acheté pendant ces neuf jours : 27 nouveaux, 101 occasionnels et 482 fidèles. L’ordre est le même qu’en novembre : la conception en premier, buy-again en deuxième, trending loin derrière. Les résultats sont plus élevés qu’en novembre, car la période est plus courte et chaque client achète moins de produits. Seulement 27 clients sont nouveaux, donc leur résultat dit peu de choses.
La liste d’un client
Section intitulée « La liste d’un client »Le client 12347 est fidèle : 7 factures avant décembre. Du 1er au 9 décembre, il a acheté 11 produits différents. Voici sa liste produite par la conception (sur la page du compte) :
| Rang | Produit | Factures antérieures | Sources | Acheté du 1er au 9 déc. |
|---|---|---|---|---|
| 1 | RABBIT NIGHT LIGHT | 2 | trending, item-cf, ALS, own | oui |
| 2 | ALARM CLOCK BAKELIKE PINK | 3 | trending, item-cf, ALS, own | |
| 3 | ALARM CLOCK BAKELIKE GREEN | 3 | trending, item-cf, ALS, own | |
| 4 | ALARM CLOCK BAKELIKE RED | 5 | trending, item-cf, ALS, own | |
| 5 | ALARM CLOCK BAKELIKE CHOCOLATE | 4 | item-cf, ALS, own | |
| 6 | AIRLINE BAG VINTAGE TOKYO 78 | 4 | item-cf, ALS, own | |
| 7 | PINK REGENCY TEACUP AND SAUCER | 2 | item-cf, ALS, own | |
| 8 | RED TOADSTOOL LED NIGHT LIGHT | 4 | trending, ALS, own | oui |
| 9 | WOODLAND CHARLOTTE BAG | 4 | ALS, own | oui |
| 10 | ROSES REGENCY TEACUP AND SAUCER | 3 | item-cf, ALS, own |
3 des 10 produits ont été achetés. Le recall@10 de ce client est donc de 3 sur 11 = 0,273. Chaque produit de la liste a déjà été acheté par le client. La plupart sont trouvés par trois ou quatre sources. Regardez les rangs 2 à 5 : le même réveil en quatre couleurs. Le client a déjà acheté chaque couleur, donc le modèle de classement les apprécie toutes. Une personne montrerait une seule couleur et utiliserait les autres cases pour autre chose. C’est la vérification du point 4 de la recommandation.
Constats et limites
Section intitulée « Constats et limites »Ce que nous avons appris :
- Connaissez vos clients avant de choisir une méthode. Dans ce magasin, la plupart des acheteurs reviennent acheter les mêmes produits. Ce seul fait rendait buy-again très solide comme référence de base, et la règle excluant les achats précédents était une erreur.
- Le modèle de classement aide, mais dépasse peu une bonne référence de base. +0,020 de rappel à 10 (recall@10) de plus que buy-again sur le mois de test. Comparez le modèle de classement à la meilleure méthode simple, pas seulement à trending.
- Les nouveaux clients ont besoin d’une autre méthode. Le modèle de classement, entraîné sur les clients connus, ne faisait pas mieux que trending pour eux.
- La découverte est difficile ici. Aucune méthode n’a trouvé beaucoup de produits nouveaux pour le client. Il faut un autre bloc, d’autres données (consultations, descriptions) et un test en ligne.
Par rapport au magasin synthétique de Larkfield : ces données réelles sont plus faciles pour les méthodes personnalisées, car les clients rachètent les mêmes produits. Elles sont plus difficiles à d’autres égards. Les gros paniers maintiennent le recall@10 à un niveau bas, et les nouveaux clients n’ont aucune consultation. Il n’y a ni catégories, ni stocks, ni descriptions, donc aucune source de contenu et aucune règle de stock. Comparez l’ordre des méthodes, pas les valeurs. Sur la période de test de Larkfield, le modèle de classement en deux étapes était aussi le meilleur (0,234). La méthode item-cf était aussi faible (0,088).
Limites :
- Un seul magasin, de 2009 à 2011. Les magasins en ligne et leurs clients ont changé depuis. Utilisez la méthode présentée ici, pas les chiffres.
- Un seul mois de test, novembre, pendant la pointe de Noël. Un modèle de classement entraîné sur octobre apprend le début de la saison. Le résultat peut différer durant un mois calme. Avant de faire confiance à cette conception, refaites la comparaison sur deux ou trois autres mois.
- Une évaluation hors ligne seulement. Le rappel indique si les clients ont acheté les produits de la liste. Il ne dit pas si la liste a causé l’achat. Un magasin de cadeaux qui commande des sacs à lunch chaque mois les commandera de toute façon. Seul un test en ligne peut mesurer ce que le bloc apporte.
- Les visiteurs sans compte sont exclus. 22,8 % des lignes brutes n’ont aucun identifiant client. Notre mesure ne tient pas compte des visiteurs sans compte de la page d’accueil.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les clients sont réels. Les identifiants clients sont seulement des nombres, accompagnés d’un pays. Ne tentez pas d’identifier un client. Ne joignez pas ces données à d’autres données sur les clients du magasin.
- Un système de recommandation décide de ce que les gens voient. Les listes qui répètent les achats précédents empêchent les nouveaux produits d’être vus. Surveillez la couverture et réservez une place aux nouveaux produits, comme dans Démarrage à froid pour les nouveaux produits et les nouveaux clients.
- Dites ce qui est mesuré. Tous les chiffres présentés ici viennent d’une évaluation hors ligne, sur des données passées. Ne promettez pas plus de ventes à Grace.
- Citez la source des données. La licence CC BY 4.0 exige l’attribution ci-dessus partout où vous utilisez ou partagez les données ou vos résultats.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous savez transformer une demande vague (« mettez des suggestions sur la page ») en une conception que vous pouvez défendre. Elle montre aussi que vous savez refuser une règle qui ne convient pas.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
DECISION.md: la recommandation, les paramètres, les coûts et leurs hypothèses, ainsi que les vérifications hebdomadaires.- La source des données, la licence et l’attribution. N’incluez pas le fichier de données dans un commit (enregistrement des modifications) : fournissez le lien vers la source et son SHA-256.
Un modèle de README :
# Product suggestions for an online gift wholesaler
## QuestionWhat should the shop show in a block of 10 products, for guests, new customersand returning customers, and is a learned ranker worth running?
## Data and licenceOnline Retail II (UCI, Daqing Chen, doi:10.24432/C5CG6D), CC BY 4.0.Invoice lines 2009-12 to 2011-12. Cleaned: repeated lines, no customer ID,non-product codes, price <= 0; returns used to drop pairs returned in full.
## ApproachTime split by month: choose on October 2011, test once on November 2011,run the chosen design once on 1-9 December 2011. Methods: popular, trending,buy-again, co-occurrence, item-cf, ALS (implicit), two-stage (LightGBM lambdarank).Measures: recall@10 with bootstrap intervals, NDCG@10, coverage, novelty,diversity, recall on new-to-customer products, by segment.
## Results(the comparison table and the segment chart)
## DecisionTrending for guests and new customers; two-stage for known customers; buy-againas the fallback. No already-bought rule (it cuts recall by four fifths here).
## LimitsOne shop, one test month (the Christmas peak), offline only, guests not measured.Comment le décrire en deux phrases : « J’ai comparé sept méthodes de recommandation sur deux années de factures réelles, avec un découpage temporel et des segments de clients. L’historique des clients était le signal le plus fort. J’ai recommandé un modèle de classement en deux étapes pour les clients qui reviennent, trending pour les nouveaux et buy-again comme solution de repli. »
Pour aller plus loin :
- Faites la comparaison sur deux autres mois (par exemple, mars et juin 2011). L’ordre des méthodes reste-t-il le même?
- Ajoutez une règle de diversité : au plus un produit par groupe de noms (les réveils). Mesurez ce qu’elle coûte en rappel.
- Créez un deuxième bloc pour la découverte : item-cf, sans les produits que le client a déjà achetés. Mesurez séparément les produits « nouveaux pour le client ».
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Les règles d'affaires de Larkfield retirent les produits que le client a déjà achetés. Pourquoi cette règle ne convient-elle pas à ce magasin, et comment vérifieriez-vous une règle avant de la copier?
Afficher la réponse
Dans ce magasin, 39,0 % des produits achetés le mois suivant ont déjà été achetés : les revendeurs commandent les mêmes produits. La règle les retire, et le recall@10 du modèle de classement passe de 0,159 à 0,030. Avant de copier une règle, mesurez la part des achats répétés parmi les achats de la période suivante. Comparez ensuite les listes avec et sans la règle sur la période de validation, par segment.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle de classement en deux étapes est le meilleur en moyenne. Pourquoi montrons-nous encore trending aux nouveaux clients?
Afficher la réponse
Les nouveaux clients n’ont aucun historique, donc le modèle de classement ne fait que réordonner les 100 candidats de trending. Il a appris son ordre sur les clients connus. Pour les nouveaux clients, son score était inférieur à celui de l’ordre de trending (0,035 contre 0,044). La différence n’est pas claire, car il n’y a que 190 nouveaux clients. Le modèle de classement n’apporte donc rien pour eux, tandis que trending est plus simple et suit la saison. Nous avons fait ce choix sur le mois de validation, avant le test.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Grace demande : le modèle de classement trouve davantage de produits que les clients achètent. Va-t-il donc augmenter les ventes? Que répondez-vous?
Afficher la réponse
Pas nécessairement. Le rappel indique que les clients ont acheté les produits de la liste, pas que la liste les a poussés à acheter. Beaucoup de ces produits font partie de commandes régulières qui auraient lieu de toute façon. Hors ligne, le modèle de classement apporte +0,021 de recall@10 de plus que buy-again. Mettez d’abord buy-again en production, puis comparez le modèle de classement à cette méthode en ligne. Gardez-le seulement si les ventes supplémentaires couvrent le coût du temps de Jonah.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Il faut d’abord nettoyer les données d’achats réels : lignes répétées, identifiants clients manquants, codes sans produit et retours. Une paire entièrement retournée n’indique pas un goût.
- Faites un découpage temporel et choisissez sur un mois de validation. Ici : choisissez sur octobre 2011, testez une fois sur novembre, puis exécutez une fois du 1er au 9 décembre.
- Dans ce magasin, 39,0 % des achats du mois suivant sont des achats répétés. Ainsi, buy-again (0,139) dépasse trending (0,047), ALS (0,122) et item-cf (0,063).
- Le modèle de classement en deux étapes est le meilleur pour les clients connus (0,159). Il ne fait toutefois pas mieux que trending pour les nouveaux clients.
- La conception : trending pour les visiteurs sans compte et les nouveaux clients, le modèle de classement pour les clients connus, buy-again comme solution de repli et une vérification hebdomadaire par une personne. Le serveur ne coûte presque rien; le coût vient du temps de Jonah. Testez cette conception en ligne avant de la garder.
- Une règle provenant d’un autre magasin peut être mauvaise : ici, l’exclusion des produits déjà achetés réduit le rappel de 0,159 à 0,030.
Nous laissons maintenant les achats de côté. Dans la prochaine étude de cas, nous suggérons le produit suivant à partir de sessions de navigation réelles de visiteurs anonymes. Il n’y a alors aucun historique client.
Leçon suivante : L'article suivant à partir des sessions de navigation