Aller au contenu
English

Recommander des produits pour un détaillant en ligne

  • Étude de cas 1
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

En neuf modules, nous avons construit le système de recommandation de Larkfield avec des données synthétiques. Dans cette étude de cas, nous utilisons des transactions réelles d'un détaillant en ligne. Nous comparons quatre familles de méthodes avec un découpage temporel et présentons les résultats par segment de clients.

Étude de cas 1 sur 4 · Recommandation et personnalisation : montrer à chacun ce qui compteRecommander des produits pour un détaillant en ligne
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Construisez et comparez des systèmes de recommandation avec deux ans de factures réelles d’un magasin en ligne britannique. Nettoyez les données, découpez-les dans le temps et comparez les résultats par segment. Décidez ensuite ce que le magasin devrait montrer, et à qui, combien cela coûte et ce qu’une personne vérifie encore. Enfin, exécutez la conception une seule fois sur des jours qu’aucune méthode n’a vus.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Nettoyage des données d'achat
  • Découpage temporel
  • Segments
  • Références de base de popularité et de rachat
  • Cooccurrence et item-cf
  • ALS
  • Modèle de classement en deux étapes
  • Comparaison équitable
  • Une décision de conception avec les coûts

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Cette étude de cas est un carnet (notebook) Jupyter, pas le projet larkfield-recs. Il contient tous les blocs de code de cette page, dans le même ordre, avec trois tâches et leurs vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (15 Mo). Il s’exécute en environ 3 minutes sur le processeur d’un portable. Lisez les explications ici et exécutez le code dans le carnet.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)

  • Python 3.12 dans un nouvel environnement virtuel, avec Jupyter. La première cellule du carnet installe NumPy, pandas, SciPy, matplotlib, implicit et LightGBM. Sur Mac, LightGBM nécessite aussi brew install libomp.
  • Un nouveau dossier vide. La cellule de préparation télécharge les données dans un dossier online-retailer-recs. Pour recommencer, supprimez-le et exécutez le carnet depuis le début.

Testé sur macOS (Apple M4, 16 Go) dans Jupyter, avec Python 3.12, NumPy 2.5.4, pandas 3.1.1, SciPy 1.18.1, implicit 0.7.3 et LightGBM 4.7.0. Aucune exécution sur Windows, Linux, Colab ou Kaggle.

Un magasin en ligne britannique vend des cadeaux et des articles pour la maison : porte-lampions, sacs à lunch, guirlandes en papier, moules à gâteau. Beaucoup de ses clients ne sont pas des familles. Ce sont de petites boutiques de cadeaux qui achètent par cartons de 12 ou 24 pour revendre les produits. Un bon client commande toutes les quelques semaines. Vous connaissez peut-être ce magasin grâce à l’étude de cas Segmenter les clients d’une boutique en ligne du cours d’apprentissage automatique.

Grace gère le site Web du magasin. Elle veut un bloc de dix produits à deux endroits :

  • La page du compte. Un client se connecte pour commander à nouveau. Le bloc doit l’aider à trouver rapidement ce qu’il lui faut.
  • La page d’accueil. Les visiteurs et les nouveaux clients la voient. Personne n’est connecté, donc le bloc ne peut pas être personnalisé.

Jonah est le seul développeur du magasin. Il construira et exploitera ce que vous recommanderez. Il demande : « Quelle méthode, pour qui? Combien de temps prend-elle chaque nuit? Que dois-je faire quand elle tombe en panne? »

Un bloc peu utile gaspille le meilleur emplacement de la page. Un modèle complexe à peine meilleur prend du temps à Jonah chaque semaine.

Grace et Jonah sont fictifs. Les données sont réelles.

Une comparaison de sept méthodes sur les mêmes clients et le même mois. Elles reposent sur la popularité (popular, trending), l’historique du client (buy-again), les voisins (co-occurrence, item-cf), ALS (als) et un modèle de classement en deux étapes. Le résultat est une recommandation pour Grace et Jonah : une conception, ses réglages, son coût et ce qu’une personne vérifie encore.

Online Retail II est un jeu de données public de l’UCI Machine Learning Repository. Il contient toutes les lignes de facture du magasin du 1er décembre 2009 au 9 décembre 2011.

Source UCI Machine Learning Repository, jeu de données 502 : Online Retail II, DOI 10.24432/C5CG6D
Créateur Daqing Chen
Licence Creative Commons Attribution 4.0 International (CC BY 4.0)
Attribution “Online Retail II” by Daqing Chen, UCI Machine Learning Repository, https://doi.org/10.24432/C5CG6D, licensed under CC BY 4.0. Changed by Nextia Learning: the two Excel sheets joined into one gzip CSV file.
Fichier online_retail_ii.csv.gz (15 Mo), la copie fixe du cours dans le dépôt des laboratoires, avec une fiche du jeu de données. Nous l’avons comparée au fichier de l’UCI : les mêmes 1 067 371 lignes, dans le même ordre.

Une ligne représente un produit sur une facture : qui l’a acheté, quand, en quelle quantité et à quel prix. Il n’y a ni consultations, ni ajouts au panier, ni notes. Une méthode peut donc apprendre seulement à partir des achats.

Les colonnes que nous utilisons :

Colonne Signification
Invoice Le numéro de facture. Un numéro qui commence par C indique une annulation : le client a retourné les produits.
StockCode Le code du produit, comme 85123A. Certains codes ne sont pas des produits : frais de poste, modifications manuelles, frais bancaires.
Description Le nom du produit, en majuscules, comme WHITE HANGING HEART T-LIGHT HOLDER.
Quantity Le nombre d’unités sur la ligne. Négatif pour un retour.
InvoiceDate La date et l’heure de la facture. Le découpage temporel utilise cette colonne.
Price Le prix d’une unité, en livres sterling.
Customer ID Un numéro à cinq chiffres. Absent sur 22,8 % des lignes.

Le journal du magasin Larkfield est synthétique. Ces données représentent le comportement réel de vrais clients (sous pseudonyme). Trois différences comptent :

  • Les clients reviennent. Sur les 5 852 clients, 1 618 (28 %) ont acheté une seule fois. Chez Larkfield, 53,7 % des acheteurs ont commandé une seule fois.
  • Les paniers sont gros. La facture médiane contient 15 produits différents. Pendant la période de test de Larkfield, un client commandait en moyenne 1,77 produit en deux semaines.
  • Il y a moins de données pour apprendre. Aucune consultation, catégorie, indication de stock ou description de produit, seulement des noms courts.

Les lignes de facture brutes ne sont pas encore des achats. Les premières cellules du carnet les nettoient en quatre étapes et comptent les lignes à chaque étape :

raw = read("data/online_retail_ii.csv.gz")
lines, steps = clean(raw)
for step, n in steps.items():
print(f"{step:16} {n:>9,}")
lines 1,067,371
repeated lines 34,335
no customer ID 235,151
not a product 3,641
price 0 or less 61
kept 794,183
return lines 17,587
Quatre encadrés de gauche à droite. 1 067 371 lignes de facture. Retirer 34 335 lignes répétées, 235 151 lignes sans identifiant de client, 3 641 lignes qui ne sont pas des produits (frais de poste, modifications manuelles, frais et bons d'achat) et 61 lignes dont le prix est nul ou négatif. Résultat : 794 183 lignes, 5 852 clients et 4 621 produits. Les 17 587 lignes de retour, dont la facture commence par C, sont conservées à part et servent à retirer les paires entièrement retournées.
Des lignes de facture aux achats : quatre étapes de nettoyage et des retours conservés à part.
Description textuelle du diagramme

Le nettoyage supprime 34 335 lignes répétées et 235 151 lignes sans identifiant de client. Il supprime aussi 3 641 lignes qui ne sont pas des produits et 61 lignes dont le prix est nul ou négatif. Il reste 794 183 lignes, provenant de 5 852 clients et de 4 621 produits. Parmi celles-ci, 17 587 sont des lignes de retour. Elles sont conservées à part.

Ce que fait chaque étape, et pourquoi :

  • Lignes répétées. La source contient deux feuilles Excel, qui incluent toutes deux les jours du 1er au 9 décembre 2010. Une copie exacte d’une ligne n’est pas un deuxième achat.
  • Aucun identifiant de client. Ce sont des visiteurs ou des clients qui ne se sont pas connectés : nous ne pouvons pas personnaliser leurs suggestions. (Ce sont les personnes qui voient la page d’accueil.)
  • Pas un produit. POST et DOT sont des frais de poste, M une modification manuelle, BANK CHARGES et AMAZONFEE des frais, GIFT et gift_0001_… des bons d’achat. Personne ne veut voir « frais de poste » dans une liste de suggestions.
  • Retours. Une ligne dont la facture commence par C est un retour, pas une vente. Parfois, les retours d’un client annulent toutes les unités d’un produit acheté avant la date de coupure. Nous n’apprenons alors rien de cette paire : un produit retourné n’est pas un goût à reproduire. Avant novembre 2011, les clients ont retourné intégralement les produits de 2 994 paires.
  • Quand les listes sont-elles créées? Chaque nuit, à partir de toutes les factures antérieures à cette nuit.
  • Que prédisons-nous? Pour chaque client qui achète pendant la période suivante, les produits qu’il achète durant cette période.
  • La mesure principale : recall@10, la part des produits achetés par un client qui figurent dans les 10 premières suggestions, moyennée sur les clients. Nous présentons aussi le NDCG@10, la couverture, la nouveauté, la diversité et le rappel sur les produits nouveaux pour le client. Nous présentons également le rappel par segment, comme le fait le dispositif d’évaluation du cours.
  • Les segments, comme dans Évaluer par segment, mais selon le nombre de factures avant la période. Les nouveaux clients n’en ont aucune, les clients occasionnels en ont 1 ou 2 et les clients fidèles, 3 ou plus.

Le futur ne doit pas contaminer le passé, comme dans Découper selon le temps. Nous utilisons des mois civils, car ces clients commandent toutes les quelques semaines :

Trois encadrés de gauche à droite. Choisir, avec plusieurs exécutions : validation sur octobre 2011, avec 12 réglages ALS et toutes les méthodes; le modèle de classement apprend sur septembre. Les réglages choisis passent au test, une exécution chacun : novembre 2011, avec l'historique avant le 1er novembre; le modèle de classement apprend sur octobre. La conception choisie passe aux nouvelles données d'entrée, une fois : du 1er au 9 décembre 2011, avec l'historique avant le 1er décembre; le modèle de classement apprend sur novembre.
Choisir sur octobre, tester une fois sur novembre, puis exécuter la conception choisie une fois du 1er au 9 décembre. Le modèle de classement apprend toujours sur le mois qui précède celui qu'il prédit.
Description textuelle du diagramme

La validation porte sur octobre 2011 : nous essayons 12 réglages ALS et toutes les méthodes, puis gardons les meilleurs. Le test porte sur novembre 2011 : chaque méthode s’exécute une fois, avec tout ce qui est connu avant le 1er novembre. Les nouvelles données d’entrée couvrent la période du 1er au 9 décembre 2011 : seule la conception choisie s’exécute, une fois. Le modèle de classement apprend toujours sur le mois qui précède celui qu’il prédit.

Le mois de test compte 1 656 clients : 190 nouveaux, 356 occasionnels et 1 110 fidèles. La plupart sont fidèles. La période de test de Larkfield présente l’inverse : 952 de ses 2 118 clients sont nouveaux.

Clients ayant acheté chaque mois (après nettoyage). Le magasin est surtout actif en octobre et novembre, quand les boutiques achètent leur stock de Noël. Décembre 2011 ne compte que 9 jours.
Description textuelle du graphique

La courbe montre le nombre de clients ayant acheté chaque mois, de décembre 2009 à décembre 2011. La plupart des mois comptent de 700 à 1 100 clients. Chaque année, ce nombre augmente en septembre et atteint son maximum en novembre : 1 606 clients en novembre 2010 et 1 660 en novembre 2011. Décembre 2011 en compte 614, car les données s’arrêtent le 9 décembre.

Le mois de test, novembre 2011, est le plus actif des données : les boutiques achètent leur stock de Noël. Les trois premiers produits de trending avant novembre sont un ensemble de guirlandes de Noël en papier, une bouillotte et un sac géant. Quatre des dix premiers ont « Christmas » (Noël) dans leur nom. Les ventes de toute la période manqueraient cette saisonnalité, comme les manteaux d’hiver de Larkfield en juillet.

En novembre, un client a acheté 33,2 produits différents en moyenne (médiane de 21). Une liste de 10 peut en trouver au plus 10. Le recall@10 paraît donc faible, même pour une bonne liste. Comparez les méthodes entre elles, pas avec les chiffres de Larkfield.

Le deuxième chiffre détermine l’issue de cette étude de cas. 39,0 % des paires (client, produit) de novembre concernent des produits que le client avait déjà achetés. La première tâche du carnet calcule cette part. Les règles de Larkfield retirent les produits déjà achetés par un client, car la plupart sont achetés une seule fois. Ici, racheter est normal : un magasin de cadeaux qui vend des sacs à lunch en commande d’autres.

Ce que les clients ont acheté en novembre 2011 (54 914 paires client et produit). Près de deux sur cinq étaient des produits que le client avait déjà achetés.
Description textuelle du graphique

Trois colonnes. Parmi les 54 914 paires (client, produit) de novembre 2011, 39,0 % concernent des produits que le client avait déjà achetés. 60,3 % concernent des produits que le magasin avait déjà vendus, mais pas à ce client. 0,8 % concernent des produits que le magasin n’avait jamais vendus avant le 1er novembre.

Seulement 0,8 % des paires de novembre concernent des produits jamais vendus avant le 1er novembre. Aucune méthode qui apprend du passé ne peut les montrer, mais ils sont peu nombreux ce mois-ci.

Nous utilisons trois références de base. popular classe les produits selon le nombre de clients qui les ont achetés depuis le début. trending fait de même pour les 28 derniers jours avant la période. Tout le monde reçoit la même liste. Ces méthodes viennent de Les références de base à battre :

def popular(period):
return np.argsort(-period.popularity(), kind="stable")
def trending(period, days=28):
return np.argsort(-period.popularity(days), kind="stable")

La troisième vient de l’exploration précédente : si les clients rachètent les mêmes produits, la liste personnalisée la plus simple est leur historique. buy-again montre les produits du client : d’abord ceux qui figurent sur le plus de factures, puis les plus récents. Un nouveau client n’a pas d’historique, donc la liste est remplie avec les produits tendance.

def buy_again_scores(period, rows):
"""The customer's own products: more invoices first, then the most recent."""
X, D = period.X[rows].toarray(), period.D[rows].toarray()
recency = np.divide(1.0, D, out=np.zeros_like(D), where=D > 0)
return np.where(X > 0, X + recency, 0.0)

Sur le mois de test : popular 0,035, trending 0,047 et buy-again 0,139 (intervalle à 95 % : 0,130 à 0,150). Le rachat est trois fois meilleur que les tendances. La différence appariée sur les mêmes clients est de +0,092 (de +0,083 à +0,102).

Chez Larkfield, les tendances (0,156) dépassaient toutes les méthodes personnalisées. Ici, l’historique du client gagne largement, grâce aux clients, pas à la méthode.

La cooccurrence compte les clients qui ont acheté les deux produits : « les clients qui ont acheté ceci ont aussi acheté cela », comme dans Les clients ont aussi acheté. Item-cf divise ce nombre par la taille de chaque produit (cosinus), pour éviter que les meilleurs vendeurs dominent chaque paire. Les deux méthodes calculent le score d’un produit pour un client en additionnant sa similarité avec chaque produit déjà acheté. Les produits achetés sur plusieurs factures ont plus de poids (poids de 1 + logarithme du nombre de factures).

def neighbour_scores(period, S, rows):
"""Sum over the customer's products of (weight x similarity); weight = 1 + log(invoices)."""
W = period.X[rows].copy()
W.data = 1 + np.log(W.data)
return np.asarray(W @ S)

La cooccurrence obtient 0,047 et item-cf 0,063. La cooccurrence ne fait pas mieux que trending : les meilleurs vendeurs sont achetés avec tout, donc ils dominent chaque liste. Item-cf fait mieux, mais reste loin derrière buy-again. Les deux méthodes suggèrent d’autres produits. Ici, la prochaine commande contient surtout les mêmes produits.

ALS apprend un vecteur pour chaque client et chaque produit, comme dans Goûts cachés. La bibliothèque implicit ajuste le modèle; la confiance d’une paire est de 1 + logarithme du nombre de factures.

ALS a des réglages. Nous en avons essayé 12 sur le mois de validation (octobre), comme dans Régler sans vous tromper vous-même :

ALS sur le mois de validation (octobre 2011) : 12 réglages. Plus de facteurs et une régularisation plus forte donnent de meilleurs résultats; le meilleur réglage compte 256 facteurs, avec une régularisation de 10.
Description textuelle du graphique

Deux courbes, pour les régularisations 0,1 et 10, avec 32, 64, 128 et 256 facteurs. La courbe de régularisation 1 se superpose à celle de 0,1; elle n’est donc pas tracée. Le rappel à 10 (recall@10) du mois de validation augmente avec le nombre de facteurs. Avec une régularisation de 10, il passe de 0,082 à 32 facteurs à 0,104 à 256. La régularisation 10 donne le meilleur résultat pour chaque taille.

Le meilleur réglage est le plus grand modèle : 256 facteurs et une régularisation de 10. Un grand modèle ALS peut mémoriser les produits de chaque client, ce qui le rapproche de buy-again. Sur le mois de test, ALS obtient 0,122 (0,114 à 0,133). C’est clairement mieux qu’item-cf, et clairement moins bien que buy-again seul. La différence appariée ALS moins buy-again est de −0,017 (de −0,023 à −0,011).

La conception de Pourquoi deux étapes trouve quelques centaines de candidats avec des sources rapides. Un modèle de classement appris les ordonne ensuite. Nous avons modifié la conception de Larkfield de deux façons. Il n’y a aucune source de contenu, car il n’y a aucune description de produit. Et les produits déjà achetés par le client (jusqu’à 50) constituent une source : le signal le plus fort ici.

Source Candidats Part des achats de novembre trouvés (à n’importe quel rang)
trending 100 20,4 %
item-cf 100 20,0 %
ALS 100 27,2 %
produits déjà achetés jusqu’à 50 19,5 %
les quatre environ 215 par client 43,4 %

Ensemble, les quatre sources trouvent 43,4 % de ce que les clients ont acheté en novembre. C’est le plafond : aucun modèle de classement ne peut en trouver davantage.

Le modèle de classement utilise LightGBM avec l’objectif lambdarank, comme dans Un modèle de classement appris. Il décrit chaque candidat avec 18 variables. Elles comprennent son rang et son score dans chaque source, ainsi que sa popularité. Celle-ci couvre toute la période, 28 jours, 7 jours et le même mois un an auparavant. Elles comprennent aussi son prix, son âge et l’historique du client avec ce produit. Cet historique comprend les factures et les jours écoulés depuis le dernier achat du produit par le client. Le modèle apprend sur octobre : les candidats et variables viennent d’avant le 1er octobre, les étiquettes des achats d’octobre. Il classe ensuite les candidats de novembre avec les variables d’avant le 1er novembre. Il ne voit jamais novembre.

Le modèle a appris à partir de 1 305 clients, 146 321 lignes de candidats et 17 063 achats. Ses variables les plus utiles, selon le gain :

Les six variables les plus utiles du modèle de classement, selon leur part du gain. propre : rang parmi les produits déjà achetés par le client; inactif : jours depuis sa dernière commande; pop. : clients ayant déjà acheté le produit; depuis : jours depuis l'achat du produit par ce client; pop. 7 j : clients des 7 derniers jours; ALS : rang dans la liste ALS.
Description textuelle du graphique

Six colonnes. Le rang dans l’historique du client représente 29,4 % du gain. Puis les jours depuis la dernière commande du client 8,3 %, les clients ayant déjà acheté le produit 7,0 %, les jours depuis l'achat du produit par ce client 6,4 %, les clients des 7 derniers jours 5,8 % et le rang dans la liste ALS 5,4 %.

Le modèle utilise d’abord l’historique du client, puis le moment et la popularité. Il a appris quelque chose que buy-again ne peut pas faire : quand suggérer à nouveau un produit. Et quand un produit de saison l’emporte sur un ancien favori.

Chaque méthode a été exécutée sur les mêmes 1 656 clients de novembre 2011, avec le même historique et les mêmes mesures :

Méthode recall@10 (intervalle à 95 %) NDCG@10 nouveau pour le client couverture nouveauté (bits) diversité entraînement (s)
popular 0,035 (0,031 à 0,039) 0,091 0,018 0,3 % 2,52 0,98 0,0
trending 0,047 (0,043 à 0,052) 0,124 0,032 0,3 % 3,11 0,98 0,0
buy-again 0,139 (0,130 à 0,150) 0,273 0,006 66,8 % 4,08 0,97 0,0
co-occurrence 0,047 (0,043 à 0,052) 0,114 0,024 5,1 % 2,68 0,97 0,4
item-cf 0,063 (0,058 à 0,069) 0,147 0,026 21,1 % 3,15 0,94 0,4
als 0,122 (0,114 à 0,133) 0,238 0,012 28,4 % 3,47 0,94 7,7
two-stage 0,159 (0,149 à 0,170) 0,323 0,008 44,5 % 3,81 0,96 30,0

« Nouveau pour le client » est le rappel sur les produits que le client n’avait jamais achetés. « Entraînement » est le temps d’entraînement sur un seul fil d’exécution (Apple M4). Pour le modèle en deux étapes, il comprend ses sources et son mois d’entraînement.

Comment lire ce tableau :

  • Le modèle en deux étapes est le meilleur pour le rappel et le NDCG. Face à buy-again, la différence appariée est de +0,020 (de +0,015 à +0,024) : faible, mais claire. Il fait mieux pour 672 clients, moins bien pour 299 et pareil pour 685.
  • Buy-again est une référence de base très forte. Son entraînement ne coûte rien et il bat ALS, item-cf et la cooccurrence.
  • Toutes les méthodes trouvent mal les produits nouveaux pour le client. Le meilleur score « nouveau pour le client » du tableau est de 0,032, pour trending. Trouver un produit qu’un client n’a jamais acheté est beaucoup plus difficile que lui rappeler un produit.
  • La couverture de buy-again est élevée (66,8 %), car chaque client a un historique différent. Les listes de popularité montrent seulement 10 produits à tout le monde.

La moyenne cache les segments. Voici le recall@10 par segment, avec des intervalles à 95 % :

Recall@10 par segment sur le mois de test (novembre 2011), avec des intervalles à 95 %. Pour les clients connus, le modèle en deux étapes est le meilleur. Pour les nouveaux clients, chaque méthode personnalisée affiche trending, et le modèle de classement ne fait pas mieux.
Description textuelle du graphique

Trois panneaux, un par segment, avec cinq méthodes chacun. Nouveaux clients (190) : trending, item-cf, ALS et buy-again affichent tous la liste trending et obtiennent 0,044; le modèle en deux étapes obtient 0,035. Clients occasionnels (356) : trending 0,040, item-cf 0,056, ALS 0,124, buy-again 0,107, modèle en deux étapes 0,135. Clients fidèles (1 110) : trending 0,050, item-cf 0,068, ALS 0,135, buy-again 0,166, modèle en deux étapes 0,188.

  • Les clients fidèles profitent le plus du modèle de classement : 0,188 contre 0,166 pour buy-again (+0,022, intervalle de +0,018 à +0,027).
  • Les clients occasionnels ont une ou deux factures. Pour eux, ALS (0,124) fait un peu mieux que buy-again (0,107; différence de +0,018, intervalle de +0,003 à +0,033). Avec peu d’historique, ALS remplit la liste de produits achetés par des clients similaires. Le modèle de classement fait encore mieux (0,135; face à buy-again, +0,028, intervalle de +0,018 à +0,039).
  • Les nouveaux clients n’ont aucun historique. Chaque méthode personnalisée utilise trending comme solution de repli. Le modèle de classement réordonne les 100 produits de trending avec ses variables. Son score est inférieur à celui de l’ordre de trending (0,035 contre 0,044). Il a appris son ordre sur des clients connus, dont les variables sont différentes. La différence n’est pas claire : son intervalle (−0,010, de −0,029 à +0,005) comprend zéro, car il n’y a que 190 nouveaux clients. Mais le modèle ne fait pas mieux pour eux, et trending est plus simple.

Ce dernier point définit la conception : le modèle de classement pour les clients connus, et trending seul pour les nouveaux clients. Nous l’appelons deux étapes + trending pour les nouveaux clients. Sur le mois de test, elle obtient 0,160 (0,150 à 0,171). Nous l’avons choisie sur le mois de validation, avant de regarder novembre. Elle était aussi la meilleure à ce moment-là : 0,127, contre 0,121 pour buy-again et 0,126 pour le modèle de classement seul.

Erreur courante

Retirer les produits que le client a déjà achetés

Symptôme : Jonah copie les règles d’affaires de Larkfield dans le magasin. Le recall@10 passe de 0,159 à 0,030, sous trending.

Cause : la règle retire tous les produits que le client a déjà achetés. Chez Larkfield, c’est correct : la plupart des produits sont achetés une seule fois. Un ancien achat dans la liste occupe donc inutilement une case. Dans ce magasin, 39,0 % de ce que les clients achètent le mois suivant a déjà été acheté. La règle retire les meilleures suggestions.

Diagnostic : avant de copier une règle, mesurez la part des achats de la période suivante qui sont des achats répétés. Comparez ensuite la liste avec et sans la règle sur la période de validation, par segment. Ici, les clients fidèles passent de 0,188 à 0,025.

Correction : une règle est une décision d’affaires propre à un magasin. Prenez donc cette décision pour ce magasin. Gardez les produits déjà achetés par le client dans le bloc de la page du compte. Si Grace veut aussi favoriser la découverte, donnez-lui un bloc distinct. Sans la règle, le rappel sur les produits nouveaux pour le client est seulement de 0,008; avec elle, de 0,059. La découverte est une autre tâche.

Le modèle en deux étapes avec et sans la règle des produits déjà achetés de Larkfield, sur le mois de test. La règle réduit le recall@10 de quatre cinquièmes et augmente le rappel sur les produits nouveaux pour le client.
Description textuelle du graphique

Quatre colonnes. Le recall@10 du modèle en deux étapes est de 0,159 sans la règle, et de 0,030 avec elle. Le rappel sur les produits nouveaux pour le client est de 0,008 sans la règle et de 0,059 avec elle.

Un visiteur arrive. La question : est-il connecté, avec au moins une facture avant ce soir? Si non, c'est un nouveau client ou un invité. La page d'accueil affiche trending, les meilleurs vendeurs des 28 derniers jours. Si oui, c'est un client occasionnel ou fidèle. La page du compte affiche les listes en deux étapes, créées chaque nuit. Une personne vérifie les deux listes chaque semaine : stock, saison et un produit en quatre couleurs.
La conception recommandée : trending pour les invités et les nouveaux clients, le modèle en deux étapes pour les clients avec un historique, et une vérification hebdomadaire par une personne.
Description textuelle du diagramme

Un visiteur sans facture (invité ou nouveau client) voit trending sur la page d’accueil : les meilleurs vendeurs des 28 derniers jours. Un client connecté avec au moins une facture voit la liste en deux étapes sur la page du compte. Elle est créée chaque nuit. Une personne vérifie les deux listes chaque semaine.

Ce que nous disons à Grace et Jonah :

  1. Page d’accueil, pour les invités et les nouveaux clients : trending, les meilleurs vendeurs des 28 derniers jours, par nombre de clients. C’est notre meilleure option pour les personnes sans historique, et elle suit la saison. Aucune méthode personnalisée ne les aide, car il n’y a rien à apprendre.
  2. Page du compte, pour les clients avec au moins une facture : le modèle en deux étapes. Sources : trending 100, item-cf 100, ALS 100 (256 facteurs, régularisation 10) et 50 produits déjà achetés par le client. LightGBM lambdarank, 300 arbres, taux d’apprentissage de 0,05, 31 feuilles, 100 négatifs échantillonnés par client. Il est entraîné chaque mois sur le mois précédent. Aucune règle des produits déjà achetés.
  3. La solution de repli est buy-again. Si la tâche nocturne échoue, affichez les produits déjà achetés par le client. Le calcul ne coûte rien et c’est la deuxième meilleure méthode (0,139). Jonah peut la livrer d’abord, en une journée, et ajouter le modèle de classement quand il fonctionne.
  4. Ce qu’une personne vérifie chaque semaine : les produits en rupture de stock. Les données n’ont aucun indicateur de stock, donc les listes ne peuvent pas le savoir. Les produits hors saison, comme les produits de Noël après décembre. Et les listes qui montrent un produit en plusieurs couleurs (l’exemple ci-dessous). Une personne révise aussi les résultats du modèle sur le dernier mois avant chaque réentraînement mensuel.

Mesuré sur un seul fil d’exécution d’un Apple M4. Les coûts en argent sont des hypothèses.

Élément Modèle en deux étapes Buy-again
Entraînement chaque nuit (sources et modèle de classement) 30 s 0 s
Listes pour les 5 616 clients connus 11 s 0,1 s
Mémoire (analyse complète, toutes les méthodes, un processus) pic de 2,5 Go moins
Temps serveur, hypothèse : serveur de 4 vCPU à 0,17 $ US l’heure, facturé pour 1 heure par nuit 0,17 $ US par nuit, environ 62 $ US par année environ autant
Temps de Jonah, hypothèse vérification mensuelle du modèle de classement et correction quand les données changent presque aucun

Le serveur n’est pas le coût : moins d’une minute par nuit est presque gratuit. Le vrai coût est le temps de Jonah : un modèle de plus à réentraîner, vérifier et réparer. Le modèle de classement ajoute +0,021 de recall@10 par rapport à buy-again (de +0,017 à +0,025). Les 10 premiers résultats trouvent donc environ 15 % de plus de ce que les clients achètent. Est-ce que cela vaut le temps de Jonah? Cela dépend de ce que rapporte un produit trouvé, et le rappel hors ligne ne peut pas le dire.

Notre conseil : livrez buy-again d’abord, puis ajoutez le modèle de classement et testez-le en ligne contre buy-again avant de le garder. Les gains hors ligne ne sont pas des gains en ligne expliquait pourquoi, et Tests en ligne et garde-fous expliquait comment.

Les neuf derniers jours, du 1er au 9 décembre 2011, n’ont jamais été utilisés. Nous exécutons toute la conception une fois : le modèle de classement apprend sur novembre. Il classe ensuite les produits pour décembre avec tout ce qui était connu avant le 1er décembre. Les nouveaux clients reçoivent trending.

Méthode recall@10 (intervalle à 95 %) nouveaux occasionnels fidèles
trending 0,052 (0,045 à 0,059) 0,015 0,044 0,055
buy-again 0,173 (0,156 à 0,191) 0,015 0,129 0,191
deux étapes + trending pour les nouveaux clients 0,207 (0,189 à 0,226) 0,015 0,156 0,228

610 clients ont acheté pendant ces neuf jours : 27 nouveaux, 101 occasionnels et 482 fidèles. L’ordre est le même qu’en novembre : la conception en premier, buy-again en deuxième, trending loin derrière. Les résultats sont plus élevés qu’en novembre, car la période est plus courte et chaque client achète moins de produits. Seulement 27 clients sont nouveaux, donc leur résultat dit peu de choses.

Le client 12347 est fidèle : 7 factures avant décembre. Du 1er au 9 décembre, il a acheté 11 produits différents. Voici sa liste produite par la conception (sur la page du compte) :

RangProduitFactures antérieuresSourcesAcheté du 1er au 9 déc.
1RABBIT NIGHT LIGHT2trending, item-cf, ALS, ownoui
2ALARM CLOCK BAKELIKE PINK3trending, item-cf, ALS, own
3ALARM CLOCK BAKELIKE GREEN3trending, item-cf, ALS, own
4ALARM CLOCK BAKELIKE RED5trending, item-cf, ALS, own
5ALARM CLOCK BAKELIKE CHOCOLATE4item-cf, ALS, own
6AIRLINE BAG VINTAGE TOKYO 784item-cf, ALS, own
7PINK REGENCY TEACUP AND SAUCER2item-cf, ALS, own
8RED TOADSTOOL LED NIGHT LIGHT4trending, ALS, ownoui
9WOODLAND CHARLOTTE BAG4ALS, ownoui
10ROSES REGENCY TEACUP AND SAUCER3item-cf, ALS, own

3 des 10 produits ont été achetés. Le recall@10 de ce client est donc de 3 sur 11 = 0,273. Chaque produit de la liste a déjà été acheté par le client. La plupart sont trouvés par trois ou quatre sources. Regardez les rangs 2 à 5 : le même réveil en quatre couleurs. Le client a déjà acheté chaque couleur, donc le modèle de classement les apprécie toutes. Une personne montrerait une seule couleur et utiliserait les autres cases pour autre chose. C’est la vérification du point 4 de la recommandation.

Ce que nous avons appris :

  • Connaissez vos clients avant de choisir une méthode. Dans ce magasin, la plupart des acheteurs reviennent acheter les mêmes produits. Ce seul fait rendait buy-again très solide comme référence de base, et la règle excluant les achats précédents était une erreur.
  • Le modèle de classement aide, mais dépasse peu une bonne référence de base. +0,020 de rappel à 10 (recall@10) de plus que buy-again sur le mois de test. Comparez le modèle de classement à la meilleure méthode simple, pas seulement à trending.
  • Les nouveaux clients ont besoin d’une autre méthode. Le modèle de classement, entraîné sur les clients connus, ne faisait pas mieux que trending pour eux.
  • La découverte est difficile ici. Aucune méthode n’a trouvé beaucoup de produits nouveaux pour le client. Il faut un autre bloc, d’autres données (consultations, descriptions) et un test en ligne.

Par rapport au magasin synthétique de Larkfield : ces données réelles sont plus faciles pour les méthodes personnalisées, car les clients rachètent les mêmes produits. Elles sont plus difficiles à d’autres égards. Les gros paniers maintiennent le recall@10 à un niveau bas, et les nouveaux clients n’ont aucune consultation. Il n’y a ni catégories, ni stocks, ni descriptions, donc aucune source de contenu et aucune règle de stock. Comparez l’ordre des méthodes, pas les valeurs. Sur la période de test de Larkfield, le modèle de classement en deux étapes était aussi le meilleur (0,234). La méthode item-cf était aussi faible (0,088).

Limites :

  • Un seul magasin, de 2009 à 2011. Les magasins en ligne et leurs clients ont changé depuis. Utilisez la méthode présentée ici, pas les chiffres.
  • Un seul mois de test, novembre, pendant la pointe de Noël. Un modèle de classement entraîné sur octobre apprend le début de la saison. Le résultat peut différer durant un mois calme. Avant de faire confiance à cette conception, refaites la comparaison sur deux ou trois autres mois.
  • Une évaluation hors ligne seulement. Le rappel indique si les clients ont acheté les produits de la liste. Il ne dit pas si la liste a causé l’achat. Un magasin de cadeaux qui commande des sacs à lunch chaque mois les commandera de toute façon. Seul un test en ligne peut mesurer ce que le bloc apporte.
  • Les visiteurs sans compte sont exclus. 22,8 % des lignes brutes n’ont aucun identifiant client. Notre mesure ne tient pas compte des visiteurs sans compte de la page d’accueil.
  • Les clients sont réels. Les identifiants clients sont seulement des nombres, accompagnés d’un pays. Ne tentez pas d’identifier un client. Ne joignez pas ces données à d’autres données sur les clients du magasin.
  • Un système de recommandation décide de ce que les gens voient. Les listes qui répètent les achats précédents empêchent les nouveaux produits d’être vus. Surveillez la couverture et réservez une place aux nouveaux produits, comme dans Démarrage à froid pour les nouveaux produits et les nouveaux clients.
  • Dites ce qui est mesuré. Tous les chiffres présentés ici viennent d’une évaluation hors ligne, sur des données passées. Ne promettez pas plus de ventes à Grace.
  • Citez la source des données. La licence CC BY 4.0 exige l’attribution ci-dessus partout où vous utilisez ou partagez les données ou vos résultats.

Cette étude de cas montre à un employeur que vous savez transformer une demande vague (« mettez des suggestions sur la page ») en une conception que vous pouvez défendre. Elle montre aussi que vous savez refuser une règle qui ne convient pas.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • DECISION.md : la recommandation, les paramètres, les coûts et leurs hypothèses, ainsi que les vérifications hebdomadaires.
  • La source des données, la licence et l’attribution. N’incluez pas le fichier de données dans un commit (enregistrement des modifications) : fournissez le lien vers la source et son SHA-256.

Un modèle de README :

# Product suggestions for an online gift wholesaler
## Question
What should the shop show in a block of 10 products, for guests, new customers
and returning customers, and is a learned ranker worth running?
## Data and licence
Online Retail II (UCI, Daqing Chen, doi:10.24432/C5CG6D), CC BY 4.0.
Invoice lines 2009-12 to 2011-12. Cleaned: repeated lines, no customer ID,
non-product codes, price <= 0; returns used to drop pairs returned in full.
## Approach
Time split by month: choose on October 2011, test once on November 2011,
run the chosen design once on 1-9 December 2011. Methods: popular, trending,
buy-again, co-occurrence, item-cf, ALS (implicit), two-stage (LightGBM lambdarank).
Measures: recall@10 with bootstrap intervals, NDCG@10, coverage, novelty,
diversity, recall on new-to-customer products, by segment.
## Results
(the comparison table and the segment chart)
## Decision
Trending for guests and new customers; two-stage for known customers; buy-again
as the fallback. No already-bought rule (it cuts recall by four fifths here).
## Limits
One shop, one test month (the Christmas peak), offline only, guests not measured.

Comment le décrire en deux phrases : « J’ai comparé sept méthodes de recommandation sur deux années de factures réelles, avec un découpage temporel et des segments de clients. L’historique des clients était le signal le plus fort. J’ai recommandé un modèle de classement en deux étapes pour les clients qui reviennent, trending pour les nouveaux et buy-again comme solution de repli. »

Pour aller plus loin :

  • Faites la comparaison sur deux autres mois (par exemple, mars et juin 2011). L’ordre des méthodes reste-t-il le même?
  • Ajoutez une règle de diversité : au plus un produit par groupe de noms (les réveils). Mesurez ce qu’elle coûte en rappel.
  • Créez un deuxième bloc pour la découverte : item-cf, sans les produits que le client a déjà achetés. Mesurez séparément les produits « nouveaux pour le client ».

Vérifiez votre compréhension

Les règles d'affaires de Larkfield retirent les produits que le client a déjà achetés. Pourquoi cette règle ne convient-elle pas à ce magasin, et comment vérifieriez-vous une règle avant de la copier?

Afficher la réponse

Dans ce magasin, 39,0 % des produits achetés le mois suivant ont déjà été achetés : les revendeurs commandent les mêmes produits. La règle les retire, et le recall@10 du modèle de classement passe de 0,159 à 0,030. Avant de copier une règle, mesurez la part des achats répétés parmi les achats de la période suivante. Comparez ensuite les listes avec et sans la règle sur la période de validation, par segment.

Vérifiez votre compréhension

Le modèle de classement en deux étapes est le meilleur en moyenne. Pourquoi montrons-nous encore trending aux nouveaux clients?

Afficher la réponse

Les nouveaux clients n’ont aucun historique, donc le modèle de classement ne fait que réordonner les 100 candidats de trending. Il a appris son ordre sur les clients connus. Pour les nouveaux clients, son score était inférieur à celui de l’ordre de trending (0,035 contre 0,044). La différence n’est pas claire, car il n’y a que 190 nouveaux clients. Le modèle de classement n’apporte donc rien pour eux, tandis que trending est plus simple et suit la saison. Nous avons fait ce choix sur le mois de validation, avant le test.

Vérifiez votre compréhension

Grace demande : le modèle de classement trouve davantage de produits que les clients achètent. Va-t-il donc augmenter les ventes? Que répondez-vous?

Afficher la réponse

Pas nécessairement. Le rappel indique que les clients ont acheté les produits de la liste, pas que la liste les a poussés à acheter. Beaucoup de ces produits font partie de commandes régulières qui auraient lieu de toute façon. Hors ligne, le modèle de classement apporte +0,021 de recall@10 de plus que buy-again. Mettez d’abord buy-again en production, puis comparez le modèle de classement à cette méthode en ligne. Gardez-le seulement si les ventes supplémentaires couvrent le coût du temps de Jonah.

Récapitulatif

  • Il faut d’abord nettoyer les données d’achats réels : lignes répétées, identifiants clients manquants, codes sans produit et retours. Une paire entièrement retournée n’indique pas un goût.
  • Faites un découpage temporel et choisissez sur un mois de validation. Ici : choisissez sur octobre 2011, testez une fois sur novembre, puis exécutez une fois du 1er au 9 décembre.
  • Dans ce magasin, 39,0 % des achats du mois suivant sont des achats répétés. Ainsi, buy-again (0,139) dépasse trending (0,047), ALS (0,122) et item-cf (0,063).
  • Le modèle de classement en deux étapes est le meilleur pour les clients connus (0,159). Il ne fait toutefois pas mieux que trending pour les nouveaux clients.
  • La conception : trending pour les visiteurs sans compte et les nouveaux clients, le modèle de classement pour les clients connus, buy-again comme solution de repli et une vérification hebdomadaire par une personne. Le serveur ne coûte presque rien; le coût vient du temps de Jonah. Testez cette conception en ligne avant de la garder.
  • Une règle provenant d’un autre magasin peut être mauvaise : ici, l’exclusion des produits déjà achetés réduit le rappel de 0,159 à 0,030.

Nous laissons maintenant les achats de côté. Dans la prochaine étude de cas, nous suggérons le produit suivant à partir de sessions de navigation réelles de visiteurs anonymes. Il n’y a alors aucun historique client.

Leçon suivante : L'article suivant à partir des sessions de navigation