Aller au contenu
English

L'article suivant à partir des sessions de navigation

  • Étude de cas 2
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Pendant neuf modules, nous connaissions l'historique de chaque client. Dans cette étude de cas, nous suggérons le produit suivant à partir de vraies sessions de navigation de visiteurs anonymes, avec clics, ajouts au panier et commandes.

Étude de cas 2 sur 4 · Recommandation et personnalisation : montrer à chacun ce qui compteL'article suivant à partir des sessions de navigation
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Suggérez le produit suivant à des visiteurs que vous ne connaissez pas, à partir de vraies sessions d’un grand magasin en ligne. Vous découpez les visites par jour, coupez chacune à un point aléatoire et mesurez séparément clics, ajouts au panier et commandes. Ensuite, vous décidez ce que le bloc devrait afficher, son coût et ce qu’une personne vérifie encore. Enfin, vous exécutez la conception une fois sur une journée qu’aucune méthode n’a vue.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 heures
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Données de sessions
  • Découpage temporel avec coupure aléatoire
  • Démarrage à froid
  • Référence de base de popularité
  • Covisitation
  • Transitions de Markov
  • ALS
  • Rappel par type d'événement
  • Comparaison équitable
  • Une décision de conception avec les coûts

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Cette étude de cas est un carnet (notebook) Jupyter, pas le projet larkfield-recs. Il contient tous les blocs de code de cette page, dans le même ordre, avec deux tâches et leurs vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (20 Mo). Il s’exécute en environ 5 minutes sur le processeur d’un portable. Lisez les explications ici et exécutez le code dans le carnet.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)

  • Python 3.12 dans un nouvel environnement virtuel, avec Jupyter. La première cellule du carnet installe NumPy, pandas, SciPy, matplotlib et implicit.
  • Un nouveau dossier vide. La cellule de préparation télécharge les données dans un dossier browsing-sessions. Pour recommencer, supprimez-le et exécutez le carnet depuis le début.
  • Environ 3 Go de mémoire libre.

Testé sur macOS (Apple M4, 16 Go) dans Jupyter, avec Python 3.12, NumPy 2.5.4, pandas 3.1.1, SciPy 1.18.1 et implicit 0.7.3. Aucune exécution n’a été faite sur Windows, Linux, Colab ou Kaggle.

Une personne inconnue entre dans un magasin. Un bon vendeur ne sait rien d’elle. Mais il observe : elle prend une tente, la repose, prend un matelas de camping, puis revient à la tente. Le vendeur ne suggère pas un sofa. Il dit : « La tente est un bon choix. Les gens qui l’achètent prennent souvent cette lampe aussi. »

Un magasin en ligne rencontre le même problème plusieurs milliers de fois par heure. La plupart des visiteurs ne sont pas connectés. Le magasin sait donc seulement ce qu’ils ont fait pendant cette visite. Recommander sans historique s’appelle le démarrage à froid. Plus tôt, dans Démarrage à froid pour les nouveaux produits et les nouveaux clients, les nouveaux clients de Larkfield recevaient les tendances. Ici, nous essayons de faire mieux avec la visite elle-même.

Lena est gestionnaire de produit dans un grand magasin en ligne. Elle veut un bloc de 20 produits sur chaque page produit, pour les visiteurs qui ne sont pas connectés. Elle demande : « Que devrait afficher le bloc? Et à quel point est-ce meilleur que nos meilleurs vendeurs? »

Jonas est l’ingénieur qui le construira. Ses questions : « La liste peut-elle être prête pendant le chargement de la page? Combien de travail cela demande-t-il chaque nuit? »

Lena et Jonas sont des personnages fictifs. Ils ne travaillent pas pour OTTO. Les données sont réelles.

Une comparaison de huit listes sur les mêmes visites et la même journée. Elles viennent de quatre familles : la popularité, la visite elle-même, les voisins (covisitation et dernier article) et un modèle appris (ALS). Le résultat est une recommandation pour Lena et Jonas : une conception, ses réglages, son coût et ce qu’une personne vérifie encore.

OTTO est un grand magasin en ligne en Allemagne. Son équipe de données a publié le OTTO Recommender Systems Dataset : des sessions de navigation anonymisées de son site et de son application, en 2022.

Source github.com/otto-de/recsys-dataset (les fichiers sont sur Kaggle, qui exige un compte)
Créateurs Philipp Normann, Sophie Baumeister et Timo Wilm (OTTO)
Licence Creative Commons Attribution 4.0 International (CC BY 4.0) for the data; the code is MIT
Attribution “OTTO Recommender Systems Dataset” by Philipp Normann, Sophie Baumeister and Timo Wilm (OTTO), licensed under CC BY 4.0. Changed by Nextia Learning: every 5th session of the test week, one row per event, timestamps in seconds.
Fichier otto-sample.csv.gz (20 Mo), l’échantillon fixe du cours dans le dépôt des laboratoires, avec une fiche du jeu de données

Le jeu complet contient 12,9 millions de sessions sur quatre semaines, plus une semaine de test : environ 12 Go. C’est trop volumineux pour un portable et un carnet de 5 minutes. Son téléchargement exige aussi un compte. Le cours a donc créé un échantillon : une session sur cinq de la semaine de test, du lundi 29 août au dimanche 4 septembre 2022. Les sessions sont conservées en entier. L’échantillon contient 2 763 918 événements dans 334 361 sessions, sur 491 129 produits.

Ce que signifie une ligne. Une ligne représente un événement dans une visite. Un événement est un clic sur une page produit, un produit mis au panier (ajout au panier) ou une commande.

Colonne Signification
session L’identifiant de la visite. Dans ces données, une session regroupe toute l’activité d’un visiteur pendant la semaine.
aid L’identifiant du produit. C’est seulement un nombre : il n’y a ni noms, ni prix, ni catégories.
ts L’heure de l’événement, en secondes (UTC). Les journées du magasin commencent à 22 h UTC, soit minuit en Allemagne.
type clicks (clics), carts (ajouts au panier) ou orders (commandes).

Parmi les événements, 2 463 954 sont des clics, 229 815 des ajouts au panier et 70 149 des commandes. La moitié des visites comptent 4 événements ou moins; 27 % en comptent exactement 2.

Les autres jeux de données ouverts de sessions ne permettaient pas cet usage. Retailrocket est sous licence CC BY-NC-SA 4.0 (aucun usage commercial). Nous n’avons trouvé aucune licence pour YOOCHOOSE et Diginetica.

En quoi ces données diffèrent de celles de Larkfield

Section intitulée « En quoi ces données diffèrent de celles de Larkfield »

Le journal du magasin Larkfield est synthétique : notre code l’a créé avec un modèle du comportement des clients. Ces données représentent des comportements réels. Trois différences comptent :

  • Les visiteurs sont inconnus. Les sessions d’OTTO sont anonymes. Les visiteurs de la semaine de test ne figurent pas dans les semaines d’entraînement. Les clients de Larkfield ont des identifiants et des mois d’historique.
  • Le catalogue est immense. 491 129 produits dans un cinquième d’une semaine, contre 2 994 chez Larkfield. 55 % des produits ont été consultés dans une seule visite.
  • Les produits sont des nombres. Aucun titre, aucune catégorie, aucune description, aucun stock. Une méthode par le contenu de Recommandations par le contenu ne peut pas fonctionner ici.
  • Quand la liste est-elle créée? Au moment où un visiteur ouvre une page, à partir des événements de la visite jusqu’ici. Les tables qui ont besoin du passé (décomptes, modèles) sont reconstruites chaque nuit.
  • Que prédisons-nous? Le reste de la visite : le prochain clic et chaque produit que le visiteur ajoute au panier ou commande ensuite.
  • Pour qui? Les visites qui commencent le jour du test. Elles n’ont aucun historique avant ce jour.

En usage réel, la liste est créée au milieu d’une visite. Nous ne savons pas quand le visiteur s’arrêtera. Nous reproduisons donc cela : nous coupons chaque visite de test à un point aléatoire. Les événements avant la coupure sont visibles. Nous prédisons ceux qui suivent.

Une visite de six événements consécutifs. Partie vue, la visite jusqu'ici : 1. clic A, 2. clic B, 3. clic A. Puis une coupure aléatoire. À prédire, le reste de la visite : 4. clic C, le prochain clic, 5. ajout au panier C, 6. commande C.
Une visite (un exemple que nous avons créé), coupée à un point aléatoire. Les méthodes voient les événements 1 à 3. Elles doivent deviner le prochain clic (C) et les produits ajoutés au panier et commandés ensuite (C).
Description textuelle du diagramme

La visite compte six événements. Les trois premiers sont visibles : clic A, clic B, clic A. La coupure est aléatoire. Ensuite viennent le clic C (le prochain clic), l’ajout au panier C et la commande C. Une liste est correcte pour les clics si elle contient C. Elle est correcte pour les ajouts au panier et les commandes si elle contient C.

Le concours Kaggle d’OTTO coupait ses sessions de test de la même façon. Une visite de 2 événements est toujours coupée après le premier. Le jour du test, les méthodes voient en moyenne 4,0 événements.

Nous mesurons le rappel à 20 (recall@20) trois fois, comme dans le concours d’OTTO (nous calculons la moyenne par visite, comme dans le cours) :

  • clics : le prochain clic figure-t-il dans la liste de 20? (1 ou 0, en moyenne sur les visites avec un prochain clic);
  • ajouts au panier : la part des produits ajoutés au panier ensuite qui figurent dans la liste;
  • commandes : la même chose pour les commandes.

Pour comparer les méthodes avec un seul nombre, nous utilisons le score pondéré d’OTTO : 0,1 × clics + 0,3 × ajouts au panier + 0,6 × commandes. Les commandes pèsent le plus, car elles représentent ce que le magasin vend. Nous rapportons aussi le MRR@20 pour le prochain clic (OTTO le recommande) et la couverture. La diversité dans l’outil d’évaluation du cours exige des catégories, absentes de ces données. Chaque rappel reçoit un intervalle à 95 % par bootstrap (rééchantillonnage), comme dans Évaluer par segment.

Les segments regroupent les visites selon le nombre d’événements vus jusqu’ici. 1 événement (nous ne savons presque rien), 2 à 4 événements et 5 ou plus.

Le futur ne doit pas contaminer le passé, comme dans Découper selon le temps. Nous avons une semaine, donc nous la découpons par jour :

Quatre encadrés de gauche à droite. Du lundi au jeudi : visites passées seulement, les modèles apprennent. Vendredi 2 septembre : validation, choisir les réglages et la conception. Les réglages choisis passent au samedi 3 septembre : le test, chaque méthode une fois, avec l'historique avant samedi; ces nombres sont rapportés. La conception choisie passe au dimanche 4 septembre : les nouvelles données d'entrée, la conception une fois, avec l'historique avant dimanche.
Choisissez le vendredi, testez une fois le samedi, puis exécutez la conception choisie une fois le dimanche. Les modèles de chaque jour apprennent seulement des événements précédant ce jour.
Description textuelle du diagramme

Du lundi au jeudi, les données servent seulement d’historique. Vendredi est le jour de validation : nous choisissons les réglages d’ALS et la conception. Samedi est le jour du test : chaque méthode s’exécute une fois, avec tout ce qui était connu avant samedi. Nous rapportons ces nombres. Dimanche fournit les nouvelles données d’entrée : seule la conception choisie s’exécute, une fois, avec tout ce qui était connu avant dimanche.

Le jour du test compte 41 273 visites : 18 689 avec 1 événement vu, 13 783 avec 2 à 4 et 8 801 avec 5 ou plus. 40 221 ont un prochain clic, 6 729 ajoutent quelque chose au panier ensuite et 3 362 commandent quelque chose ensuite.

Une question détermine quelles méthodes peuvent fonctionner : les visiteurs reviennent-ils aux produits qu’ils ont déjà vus? La première tâche du carnet calcule une partie de la réponse.

Ce que les visiteurs ont fait après la coupure le jour du test : la part des produits déjà vus avant la coupure.
Description textuelle du graphique

Trois colonnes. Parmi les prochains clics, 32,2 % portaient sur un produit déjà vu dans la partie visible de la visite. Parmi les produits ajoutés au panier ensuite, 32,6 % avaient été vus. Parmi les produits commandés ensuite, 61,4 % avaient été vus.

Trois produits commandés ensuite sur cinq figuraient déjà dans la partie visible de la visite. Les gens regardent un produit, en regardent d’autres, puis reviennent avant d’acheter. Les produits de la visite devraient donc former une liste forte pour les commandes, et bonne pour les ajouts au panier. Pour le prochain clic, deux visiteurs sur trois passent à un produit qu’ils n’ont pas encore vu. Ici, les méthodes doivent trouver de nouveaux produits. Le prochain clic porte sur le même produit que le dernier événement dans 22,2 % des visites.

Le deuxième fait est la taille du catalogue. Les 1 % de produits les plus visités ne représentent que 23 % des consultations de produits. Les mêmes 20 meilleurs vendeurs pour tout le monde contiendront donc rarement ce qu’un visiteur veut.

Nous utilisons deux références de base.

popular (populaire) classe les produits selon le nombre de visites où ils ont été consultés dans les 24 heures précédant la journée. C’est la « fenêtre de sessions » du magasin : les produits du moment. Tout le monde reçoit la même liste, comme avec les tendances dans Les références de base à battre.

def popular(split, hours=24):
"""Products ranked by the number of visits that touched them in the last `hours` before the day."""
h = split.history
recent = h[h["ts"] >= split.start - hours * 3600].drop_duplicates(["session", "item"])
counts = np.bincount(recent["item"], minlength=split.n_items)
return np.argsort(-counts, kind="stable")[:100] # 100, so that fill() never runs short

La deuxième référence de base vient de l’exploration ci-dessus. visit so far (visite jusqu’ici) affiche les produits de la visite. Un ajout au panier compte 6 fois un clic et une commande, 3 fois. Les événements récents comptent davantage : le premier événement de la visite a un poids de 0,1, le dernier de 1. Une visite avec moins de 20 produits est complétée par des produits populaires.

Le jour du test : popular obtient un score de 0,014. visit so far obtient 0,568 (0,556 à 0,579) : clics 0,327, ajouts au panier 0,439, commandes 0,672.

Les 20 meilleurs vendeurs ne contiennent presque jamais ce qu’un visiteur veut : 0,010 pour le prochain clic. Pendant la période de test de Larkfield, les tendances trouvaient le prochain produit consulté 2,7 % du temps (hit@10). Ici, le catalogue est 160 fois plus grand, et la popularité est encore plus faible.

Pensez encore au vendeur en magasin. Au fil des jours, il remarque ceci : les personnes qui prennent la tente prennent souvent le matelas dans la même visite. Cette mémoire est la covisitation : pour chaque paire de produits, comptez les visites passées où les deux ont été consultés.

C’est la cooccurrence de Les clients ont aussi acheté, avec deux changements. Nous comptons les visites, pas les clients, car nous ne connaissons pas les visiteurs. Et nous comptons seulement les paires consultées à 24 heures ou moins d’intervalle.

Voici trois petites visites pour l’illustrer (un exemple construit) :

Visite Produits, dans l’ordre
1 tente, matelas, lampe
2 tente, matelas
3 tente, lampe, réchaud
Les visiteurs qui ont consulté la tente ont aussi consulté Visites
lampe 2 sur 3
matelas 2 sur 3
réchaud 1 sur 3

Sur la page de la tente, le visiteur reçoit d’abord la lampe et le matelas (à égalité), puis le réchaud. Chaque visite compte une fois, même si le visiteur a consulté la tente cinq fois.

Avec les données réelles, nous utilisons les 30 derniers événements de chaque visite passée. Nous comptons chaque paire une fois par visite. Nous gardons les 20 meilleurs voisins de chaque produit. Pour une visite de test, le score d’un produit est la somme de ses décomptes avec les produits de la visite. Nous les pondérons comme dans visit so far (visite jusqu’ici) :

def covisit_scores(split, C):
"""Score each product by its co-visitation counts with the products of the visit, weighted by
session_weights (recent events and carts count more)."""
return session_matrix(split, session_weights(split)) @ C

Avant samedi, la table contient 4 162 629 paires et sa construction prend 16 secondes. Seule, la covisitation obtient un score de 0,109. C’est bien inférieur à visit so far. La raison est simple : un produit n’est pas son propre voisin. La covisitation ne montre donc jamais les produits auxquels le visiteur revient. Mais pour le prochain clic sur un nouveau produit, c’est la meilleure méthode : 0,181.

Sessions, séquences et LLM, en bref présentait le modèle de Markov. Il compte quel produit vient directement après chaque produit dans les visites passées. Il suggère les produits qui suivent le plus souvent le dernier produit du visiteur. Il ignore le reste de la visite.

Seul, il obtient 0,062, et 0,133 pour le prochain clic sur un nouveau produit. C’est inférieur à la covisitation (différence appariée du score : +0,047 (+0,041 à +0,053)).

Chez Larkfield, Markov trouvait le prochain produit consulté dans 62,2 % des cas (hit@10, 16 801 transitions). Les deux nombres mesurent des choses différentes, mais l’écart est réel. Les visiteurs synthétiques de Larkfield passent entre quelques produits liés, parmi 2 994 produits. Les visiteurs réels d’OTTO passent d’un produit à l’autre dans un catalogue de centaines de milliers de produits. Dans notre échantillon, la plupart des paires de produits apparaissent dans seulement une ou deux visites.

ALS apprend un court vecteur pour chaque produit, comme dans Goûts cachés. Ici, chaque visite passée forme une ligne, comme un client. Nous gardons seulement les 48 655 produits consultés dans au moins 5 visites passées. Un vecteur appris à partir d’une ou deux visites est du bruit.

Une visite de test est nouvelle, donc elle n’a pas de vecteur. Nous en construisons un à partir de ses produits : la somme pondérée de leurs vecteurs. Puis nous suggérons les produits dont les vecteurs pointent le plus dans la même direction (cosinus, comme dans item-cf). Nous avons choisi les réglages le vendredi, comme dans Régler sans vous tromper vous-même :

FacteursRégularisationScore du vendrediAjustement (s)
6410,23635
12810,25269
128100,24858

Le meilleur réglage est 128 facteurs avec une régularisation de 1. Le samedi, ALS seul obtient 0,275. C’est supérieur à la covisitation, car le vecteur d’un produit pointe dans sa propre direction. ALS peut donc montrer les produits de la visite. Pour le prochain clic sur un nouveau produit, il est plus faible (0,071 contre 0,181). Son ajustement a pris 73 secondes sur un seul fil d’exécution.

Chaque famille réussit une partie du travail. Les produits de la visite trouvent les ajouts au panier et les commandes. Les voisins trouvent de nouveaux produits pour le prochain clic. Nous plaçons donc les produits de la visite en premier. Puis nous remplissons les cases libres avec une méthode de voisins, puis avec des produits populaires.

def combine(first, then):
"""The products of `first` (in order), then those of `then` that are not in it yet."""
out = np.full_like(first, -1)
for r in range(len(first)):
seen, row = set(), []
for p in list(first[r]) + list(then[r]):
if p >= 0 and p not in seen:
seen.add(p)
row.append(p)
if len(row) == K:
break
out[r, :len(row)] = row
return out

Le vendredi, avant d’examiner le samedi, les trois combinaisons obtenaient ces scores : visite + covisitation 0,606, visite + ALS 0,579, visite + Markov 0,595. Nous avons choisi visit + co-visitation. La deuxième tâche du carnet (notebook) Jupyter construit cette combinaison.

Chaque méthode a utilisé les mêmes 41 273 visites du samedi, avec le même historique et les mêmes mesures. Voici le tableau comparatif de l’étude de cas :

Méthodeclicspanierscommandesscore (intervalle à 95 %)MRR@20prochain clic nouveaucouverture
popular0,0100,0140,0140,014 (0,011 à 0,016)0,0020,0080,00 %
visit so far0,3270,4390,6720,568 (0,556 à 0,579)0,2680,00714,78 %
co-visitation0,1590,1100,1010,109 (0,103 à 0,115)0,0560,18122,03 %
last item (Markov)0,1110,0620,0550,062 (0,058 à 0,067)0,0480,13317,63 %
ALS0,2100,2270,3090,275 (0,265 à 0,286)0,1530,0719,11 %
visit + Markov0,4100,4790,6960,602 (0,592 à 0,613)0,2870,12926,20 %
visit + ALS0,3690,4600,6850,586 (0,574 à 0,597)0,2750,06918,91 %
visit + co-visitation0,4400,4940,7060,616 (0,605 à 0,626)0,2920,17428,61 %

« Prochain clic nouveau » est le rappel à 20 (recall@20) du prochain clic. Il porte seulement sur les visites où le prochain clic concerne un produit encore jamais consulté pendant la visite. La couverture est la part des 491 129 produits qui apparaissent dans au moins une liste.

Comment lire le tableau :

  • Visite + covisitation est la meilleure pour le score et chacun des trois rappels. Face à visit so far, la différence appariée du score est +0,048 (+0,044 à +0,052). Le gain vient surtout des clics : +0,113 (+0,111 à +0,117).
  • Les produits de la visite font la majeure partie du travail. visit so far seul atteint 92 % du meilleur score.
  • La covisitation bat les autres voisins pour compléter les listes : face à visite + Markov +0,013 (+0,009 à +0,016), face à visite + ALS +0,030 (+0,026 à +0,033).
  • La popularité est loin derrière toutes les autres méthodes, et sa couverture est de 20 produits.

La moyenne cache les segments. Voici le score par segment, avec des intervalles à 95 % :

Score pondéré d'OTTO par segment le jour de test (samedi 3 septembre), avec des intervalles à 95 %. Plus la visite est longue, plus ses propres produits aident. Visite + covisitation arrive en tête dans chaque segment.
Description textuelle du graphique

Trois panneaux, un par segment, avec six méthodes chacun. Visites avec 1 événement observé : popularité 0,015, Markov 0,082, covisitation 0,105, ALS 0,296, visite jusqu’ici 0,403, visite + covisitation 0,501. Visites avec 2 à 4 événements : popularité 0,018, Markov 0,065, covisitation 0,105, ALS 0,313, visite jusqu’ici 0,591, visite + covisitation 0,641. Visites avec 5 événements ou plus : popularité 0,010, Markov 0,053, covisitation 0,115, ALS 0,235, visite jusqu’ici 0,599, visite + covisitation 0,626.

  • 1 événement observé. visit so far montre un produit et 19 produits populaires; la conception proposée montre ce produit et 19 voisins. C’est ici que les voisins apportent le plus.
  • 5 ou plus. Les produits de la visite remplissent la plupart des 20 cases, donc les voisins apportent moins.

Erreur courante

Masquer les produits que le visiteur a déjà consultés

Symptôme : Jonas copie une règle du système de recommandation par courriel du magasin : « ne jamais montrer un produit que le client possède déjà ». Pour les visiteurs, il écrit : « ne jamais montrer un produit que le visiteur a déjà consulté ». Le score passe de 0,616 à 0,057.

Cause : pendant une visite, les produits déjà consultés sont les meilleurs indices d’un ajout au panier ou d’une commande. Avant la coupure, le visiteur avait consulté 32,6 % des produits ajoutés ensuite au panier et 61,4 % des produits commandés ensuite. La règle retire précisément ces produits.

Diagnostic : avant de copier une règle, mesurez la fréquence des prochaines actions sur des produits déjà consultés. Comparez ensuite les listes avec et sans la règle le jour de validation, séparément pour les clics, paniers et commandes. Ici, le prochain clic sur un nouveau produit augmente même un peu (0,174 sans la règle, 0,183 avec). Mais les paniers passent de 0,494 à 0,066, et les commandes de 0,706 à 0,041.

Correction : une règle est une décision pour une page précise. Sur la page produit, gardez les produits de la visite : « vous pensez encore à ces produits? » y est utile. Si Lena veut un bloc de découverte, donnez-lui son propre emplacement, avec la covisitation seulement. Mesurez le prochain clic sur de nouveaux produits. La bibliothèque implicit présente le même piège : son recommend masque les articles de l’utilisateur, sauf si vous passez filter_already_liked_items=False.

Chaque paire : visite + covisitation, puis les mêmes listes avec la règle « ne jamais montrer un produit déjà consulté » (« règle »), le jour de test. La règle nuit surtout aux paniers et aux commandes.
Description textuelle du graphique

Six colonnes, par paires. Clics : 0,440 sans la règle, 0,124 avec. Paniers : 0,494 sans, 0,066 avec. Commandes : 0,706 sans, 0,041 avec.

Un visiteur non connecté ouvre une page produit. Le service lit la visite jusqu'ici : clics, paniers et commandes. Il fait 20 suggestions en trois étapes : 1. les produits de la visite, par poids; 2. leurs voisins de covisitation, à partir d'une table reconstruite chaque nuit; 3. les produits populaires des dernières 24 heures. Une personne vérifie les stocks, les produits pour adultes et sensibles, et les chiffres hebdomadaires.
La conception recommandée pour les visiteurs anonymes : les produits de la visite, puis la covisitation, puis les produits populaires. La table est reconstruite chaque nuit; la liste est créée à l'ouverture de la page.
Description textuelle du diagramme

Un visiteur non connecté ouvre une page produit. Le service lit les événements de la visite jusqu’ici. Il remplit 20 cases dans l’ordre. D’abord les produits de la visite par poids, puis leurs voisins de covisitation, puis les produits populaires des dernières 24 heures. La table de covisitation est reconstruite chaque nuit. Une personne vérifie les listes.

Ce que nous disons à Lena et Jonas :

  1. Pour les visiteurs non connectés : visite + covisitation. Dans cet ordre :
    • les produits de la visite (un ajout au panier vaut 6 clics, une commande 3, les événements récents comptent davantage);
    • leurs voisins de covisitation (paires à 24 heures ou moins d’intervalle, une fois par visite, les 30 derniers événements de chaque visite, 20 voisins par produit);
    • les produits populaires des dernières 24 heures.
  2. La solution de repli est la popularité. Si la table de covisitation manque, montrez les produits de la visite, puis les produits populaires. C’est visit so far, la deuxième meilleure méthode (0,568), et elle n’a besoin d’aucune table.
  3. Pas maintenant : ALS et Markov. Ils n’ont pas battu la covisitation pour compléter les listes. ALS exige aussi un ajustement du modèle chaque nuit.
  4. Ce qu’une personne vérifie : les données n’ont ni stocks, ni catégories, ni prix, donc les listes ne les connaissent pas. Avant de mettre le bloc en service, le magasin doit retirer les produits en rupture de stock. Il doit aussi décider quoi faire des produits pour adultes et sensibles, comme les règles de Larkfield dans Règles d’affaires et reclassement. Chaque semaine, une personne examine les trois rappels du dernier jour et la part des listes remplie par des produits populaires.

Mesuré sur un seul fil d’exécution d’un Apple M4, avec notre échantillon (un cinquième du trafic). Les coûts monétaires sont des hypothèses.

Élément Visite + covisitation Popularité
Construction nocturne table de covisitation : 16 s 0,3 s
Taille de la table 4 162 629 paires, 35 Mo 100 produits
Une liste, à l’ouverture de la page 1,8 ms (médiane), 2,4 ms (95e centile), en Python une copie
Mémoire (analyse complète, toutes les méthodes, un processus) 2,1 Go au maximum moins
Serveur, hypothèse : le trafic complet représente environ 5 fois notre échantillon, et la construction croît un peu plus vite que les données; un serveur à 4 processeurs virtuels, à 0,17 $ US l’heure, pendant 1 heure par nuit environ 62 $ US par année environ la même chose
Ingénierie, hypothèse une tâche nocturne, une table en mémoire, une vérification hebdomadaire presque aucune

Le vrai coût n’est pas le serveur. C’est une tâche nocturne qui ne doit pas échouer, et un service qui lit la table à chaque consultation de page. La conception ajoute +0,048 (+0,044 à +0,052) au score de visit so far, surtout pour les clics. Sa rentabilité dépend de ce que rapporte un clic sur une suggestion. Le rappel hors ligne ne peut pas le dire.

Notre conseil : livrez d’abord visit so far (sans table), puis ajoutez la covisitation. Testez-la en ligne contre visit so far avant de la garder. Les gains hors ligne ne sont pas des gains en ligne montrait pourquoi. Tests en ligne et garde-fous montrait comment.

De bout en bout avec de nouvelles données d’entrée

Section intitulée « De bout en bout avec de nouvelles données d’entrée »

Le dimanche 4 septembre n’a jamais été utilisé. Nous exécutons toute la conception une fois : la table de covisitation avec tous les événements avant dimanche, puis les listes des visites qui commencent dimanche.

Méthodeclicspanierscommandesscore (intervalle à 95 %)
popular0,0110,0110,0090,010 (0,008 à 0,013)
visit so far0,3100,4290,6650,559 (0,550 à 0,569)
visit + co-visitation0,4380,4940,7010,613 (0,604 à 0,621)

48 554 visites ont commencé dimanche. L’ordre est le même que samedi : la conception proposée en premier, visit so far en deuxième, la popularité loin derrière. Dimanche est le jour le plus chargé de la semaine dans l’échantillon, avec 512 345 événements.

Dans un service, la liste est créée pour une visite à la fois, à l’ouverture de la page. La fonction suggest_one du carnet le fait et donne la même liste que le code de traitement en lot. Nous montrons la première visite du dimanche (par identifiant) avec 3 à 6 événements observés, puis un panier et une commande après la coupure. Nous l’avons choisie pour rendre visibles les trois types d’événements. Ce n’est pas une visite typique.

Les événements du visiteur jusqu’ici : clic sur le produit 828562 (minute 0), ajout au panier sur le produit 828562 (minute 0,1), clic sur le produit 1371545 (minute 0,7).

CaseProduitSourceAprès la coupure
1828562visit
21371545visitajouté au panier
3499958co-visitation
41709866co-visitation
51517468co-visitation
61171070co-visitation
7422075co-visitation
81211184co-visitation
91817953co-visitation
10894360co-visitation
11169432co-visitation
1214100co-visitation
13747429co-visitation
14796168co-visitation
151322700co-visitation
161669315co-visitation
171812099co-visitation
18884826co-visitation
191272673co-visitation
2062121co-visitation

Après la coupure, le visiteur a ensuite cliqué sur le produit 1752297. Il a ajouté 6 produits au panier et en a commandé 7. La liste contient 1 des produits ajoutés au panier : celui que le visiteur avait déjà consulté. Elle ne contient aucun des produits commandés, ni le prochain clic. Ce visiteur a ensuite acheté des produits absents des voisins de covisitation des deux premiers. Dans un cinquième d’une semaine, la plupart des paires apparaissent dans une seule visite. Les 18 voisins ici ont donc de petits décomptes. En cas d’égalité, le produit présent dans le plus de visites passées passe en premier.

Les produits sont seulement des nombres, donc nous ne pouvons pas dire ce qu’ils sont. Une personne qui vérifie les listes aurait besoin du catalogue du magasin pour cela.

Ce que nous avons appris :

  • Observez la visite avant de prédire. Les visiteurs reviennent aux produits qu’ils ont consultés. Ce seul fait rend visit so far une référence de base solide et la règle des produits consultés une erreur.
  • Chaque famille a son propre rôle. Les produits de la visite trouvent les paniers et commandes; la covisitation trouve le prochain nouveau produit; la popularité comble seulement les vides.
  • Le simple comptage a battu le modèle appris ici. ALS était plus lent et ne complétait pas mieux les listes.
  • Mesurez chaque type d’événement. Une seule moyenne cacherait que la conception aide surtout les clics et moins les commandes.

Par rapport au magasin synthétique de Larkfield : ces données réelles sont plus difficiles de deux façons. Le catalogue est immense, donc la popularité et les méthodes de voisins trouvent beaucoup moins de produits pertinents. Et nous ne connaissons pas les visiteurs, donc il n’y a aucun historique. Elles sont plus faciles d’une façon : la visite elle-même est un indice fort pour les paniers et commandes. Les personnes reviennent à ce qu’elles ont consulté. Comparez l’ordre des méthodes, pas les valeurs. Chez Larkfield, Markov et les voisins item-cf étaient presque égaux (62,2 % et 62,0 % pour hit@10). Ici, la covisitation devance clairement Markov.

Limites :

  • Un échantillon d’une semaine. Nous avons utilisé un cinquième de la semaine de test. Les quatre semaines d’entraînement d’OTTO ont environ 80 fois plus d’événements que notre échantillon. Avec elles, la covisitation et ALS apprendraient davantage, et leurs chiffres seraient plus élevés. Utilisez la méthode présentée ici, pas les chiffres.
  • Un seul jour de test. Le samedi peut différer d’un jour de semaine. Avant de faire confiance à la conception, faites la même comparaison sur deux ou trois autres jours.
  • Hors ligne seulement. Le rappel indique si le visiteur a cliqué, ajouté au panier ou commandé un produit de la liste. Il ne dit pas que la liste l’a causé. La FAQ d’OTTO indique qu’environ 20 % seulement des consultations de pages produit venaient de ses recommandations. La plupart venaient de la recherche et des listes de produits.
  • Aucune information sur les produits. Ni stocks, ni prix, ni catégories, donc les listes ne peuvent pas en tenir compte.
  • Les visiteurs sont réels et anonymes. Les identifiants sont des nombres anonymisés. Ne tentez pas d’identifier un visiteur ou un produit, et ne combinez pas ces données avec d’autres données.
  • Les suggestions de session suivent les personnes de près. Une liste qui répète les produits récemment consultés peut donner l’impression d’être surveillé. Un ordinateur partagé peut montrer la navigation d’une personne à une autre. Décidez quels produits (santé, pour adultes) ne doivent jamais réapparaître dans un bloc visible.
  • Un système de recommandation décide ce que les personnes voient. La covisitation et la popularité favorisent les produits déjà consultés. Surveillez la couverture et donnez volontairement une place aux nouveaux produits.
  • Dites ce qui est mesuré. Chaque chiffre ici est obtenu hors ligne, sur un échantillon de données passées. Ne promettez pas plus de ventes à Lena.
  • Attribuez les données. La licence CC BY 4.0 exige l’attribution ci-dessus partout où vous utilisez ou partagez les données ou vos résultats.

Cette étude de cas montre à un employeur que vous savez travailler avec des données de session réelles et désordonnées. Vous avez choisi une mesure adaptée aux besoins d’affaires (clics, ajouts au panier et commandes). Vous avez aussi refusé une règle inadaptée.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
  • DECISION.md : la conception, ses réglages, les coûts et leurs hypothèses, et ce qu’une personne vérifie.
  • La source des données, la licence et l’attribution. N’incluez pas le fichier de données dans un commit (enregistrement dans Git) : liez la source et donnez le SHA-256 de l’échantillon.

Un modèle de README :

# Next-product suggestions for anonymous shop visitors
## Question
What should a product page suggest to visitors who are not logged in,
and is it better than the bestsellers?
## Data and licence
OTTO Recommender Systems Dataset (Normann, Baumeister, Wilm; OTTO),
CC BY 4.0. A fixed sample: every 5th session of the test week
(29 Aug to 4 Sep 2022), 2.76M events (clicks, carts, orders).
## Approach
Time split by day: choose on Friday, test once on Saturday, run the chosen
design once on Sunday. Each test visit cut at a random point. Methods:
popular (24 h), the visit so far, co-visitation, last item (Markov), ALS
(implicit), and each neighbour method after the visit's own products.
Measures: recall@20 for clicks, carts and orders, OTTO's weighted score
with bootstrap intervals, MRR@20, coverage, by visit length.
## Results
(the comparison table and the segment chart)
## Decision
The visit's own products, then co-visitation, then popular. Do not hide
products the visitor already saw on the product page.
## Limits
A fifth of one week, one test day, offline only, no product information.

Comment le décrire en deux phrases : « J’ai comparé des méthodes de recommandation par session sur des données de navigation réelles d’un grand magasin en ligne, pour les clics, les ajouts au panier et les commandes, avec un découpage temporel. Les produits de la visite étaient le signal le plus fort et la covisitation ajoutait les meilleurs nouveaux produits, alors j’ai recommandé cette conception plutôt qu’un modèle appris. »

Pour aller plus loin :

  • Lancez la comparaison avec vendredi comme jour de test (choisissez jeudi). L’ordre des méthodes reste-t-il le même?
  • Donnez aux ajouts au panier et aux commandes leur propre tableau de covisitation (paires dont le deuxième produit a été ajouté au panier ou commandé). Le score des commandes augmente-t-il?
  • Ajoutez un modèle de classement appris pour les candidats, comme dans Un modèle de classement appris. Entraînez-le sur les visites de vendredi et testez-le sur celles de samedi.

Vérifiez votre compréhension

Pourquoi la covisitation seule obtient-elle un score bien inférieur aux produits de la visite, et pourquoi la garder dans la conception?

Afficher la réponse

Un produit n’est pas son propre voisin. La covisitation ne montre donc jamais les produits que le visiteur a déjà vus. Mais 32,6 % des ajouts au panier ultérieurs et 61,4 % des commandes ultérieures concernaient des produits déjà vus. Elle manque donc beaucoup d’ajouts au panier et la plupart des commandes : son score est de 0,109 contre 0,568. Elle garde sa place dans la conception, car c’est la meilleure méthode pour le prochain clic sur un nouveau produit (0,181). Après les produits de la visite, elle remplit les cases libres et fait monter le score à 0,616.

Vérifiez votre compréhension

Jonas veut masquer tous les produits que le visiteur a déjà vus. Que se passe-t-il, et que lui dites-vous?

Afficher la réponse

Le score passe de 0,616 à 0,057. Les ajouts au panier et les commandes baissent le plus. Les visiteurs ajoutent souvent au panier, et commandent généralement, des produits consultés plus tôt dans la visite. Dites-lui qu’une règle est une décision qui concerne une seule page. Gardez les produits déjà vus sur la page produit. Si le magasin veut favoriser la découverte, créez un bloc distinct et mesurez le prochain clic sur de nouveaux produits.

Vérifiez votre compréhension

Pourquoi couper chaque visite de test à un point aléatoire, et pourquoi présenter séparément les clics, les ajouts au panier et les commandes?

Afficher la réponse

En utilisation réelle, la liste est créée au milieu d’une visite, et nous ignorons quand le visiteur s’arrêtera. Une coupure aléatoire reproduit cette situation : les méthodes voient seulement les événements avant la coupure. Nous présentons les trois types d’événements séparément, car leurs besoins diffèrent. Le prochain clic concerne généralement un nouveau produit, tandis que la plupart des commandes concernent des produits déjà vus. Une seule moyenne cacherait le fait que la conception aide surtout les clics. Le score pondéré (0,1, 0,3, 0,6) donne ensuite un seul nombre pour la décision, avec le poids maximal aux commandes.

Récapitulatif

  • Les visiteurs anonymes n’ont pas d’historique, mais la visite elle-même est un indice fort : 61,4 % des commandes ultérieures concernaient des produits déjà vus pendant la visite.
  • Découpez les données par jour et coupez chaque visite de test à un point aléatoire. Choisissez vendredi, testez une seule fois samedi, exécutez une seule fois dimanche.
  • Mesurez séparément les clics, les ajouts au panier et les commandes, puis combinez-les dans le score pondéré d’OTTO.
  • visit so far (visite jusqu’ici) (0,568) dépasse largement les produits populaires (0,014). La covisitation seule obtient un score inférieur (0,109), mais trouve les meilleurs nouveaux produits pour le prochain clic.
  • La conception : les produits de la visite, puis la covisitation, puis les produits populaires (0,616). La solution de repli est visit so far. Testez-la en ligne avant de la garder.
  • Une règle provenant d’une autre page peut être inadaptée : masquer les produits déjà vus fait passer le score de 0,616 à 0,057.

Ensuite, nous recommandons des livres à partir de six millions de notes réelles. Nous comparons l’exactitude à la nouveauté et à la couverture.

Leçon suivante : Des livres pour les lecteurs