L'article suivant à partir des sessions de navigation
- Étude de cas 2
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Pendant neuf modules, nous connaissions l'historique de chaque client. Dans cette étude de cas, nous suggérons le produit suivant à partir de vraies sessions de navigation de visiteurs anonymes, avec clics, ajouts au panier et commandes.
Étude de cas 2 sur 4 · Recommandation et personnalisation : montrer à chacun ce qui compteL'article suivant à partir des sessions de navigation
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Suggérez le produit suivant à des visiteurs que vous ne connaissez pas, à partir de vraies sessions d’un grand magasin en ligne. Vous découpez les visites par jour, coupez chacune à un point aléatoire et mesurez séparément clics, ajouts au panier et commandes. Ensuite, vous décidez ce que le bloc devrait afficher, son coût et ce qu’une personne vérifie encore. Enfin, vous exécutez la conception une fois sur une journée qu’aucune méthode n’a vue.
Cette étude de cas est un carnet (notebook) Jupyter, pas le projet larkfield-recs. Il contient tous les blocs de code de cette page, dans le même ordre, avec deux tâches et leurs vérifications. Ses cellules de préparation installent les paquets et téléchargent les données (20 Mo). Il s’exécute en environ 5 minutes sur le processeur d’un portable. Lisez les explications ici et exécutez le code dans le carnet.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le découpage temporel, dans Découper selon le temps, et les références de base, dans Les références de base à battre.
- Le rappel à k (recall@k), dans Mesures de classement; la couverture, dans Au-delà de l’exactitude; les segments et les différences appariées, dans Évaluer par segment.
- La cooccurrence, dans Les clients ont aussi acheté, et ALS, dans Goûts cachés.
- Les suggestions par session et le modèle de Markov, dans Sessions, séquences et LLM, en bref; les règles, dans Règles d’affaires et reclassement.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)
- Python 3.12 dans un nouvel environnement virtuel, avec Jupyter. La première cellule du carnet installe NumPy, pandas, SciPy, matplotlib et implicit.
- Un nouveau dossier vide. La cellule de préparation télécharge les données dans un dossier
browsing-sessions. Pour recommencer, supprimez-le et exécutez le carnet depuis le début. - Environ 3 Go de mémoire libre.
Testé sur macOS (Apple M4, 16 Go) dans Jupyter, avec Python 3.12, NumPy 2.5.4, pandas 3.1.1, SciPy 1.18.1 et implicit 0.7.3. Aucune exécution n’a été faite sur Windows, Linux, Colab ou Kaggle.
La situation
Section intitulée « La situation »Une personne inconnue entre dans un magasin. Un bon vendeur ne sait rien d’elle. Mais il observe : elle prend une tente, la repose, prend un matelas de camping, puis revient à la tente. Le vendeur ne suggère pas un sofa. Il dit : « La tente est un bon choix. Les gens qui l’achètent prennent souvent cette lampe aussi. »
Un magasin en ligne rencontre le même problème plusieurs milliers de fois par heure. La plupart des visiteurs ne sont pas connectés. Le magasin sait donc seulement ce qu’ils ont fait pendant cette visite. Recommander sans historique s’appelle le démarrage à froid. Plus tôt, dans Démarrage à froid pour les nouveaux produits et les nouveaux clients, les nouveaux clients de Larkfield recevaient les tendances. Ici, nous essayons de faire mieux avec la visite elle-même.
Lena est gestionnaire de produit dans un grand magasin en ligne. Elle veut un bloc de 20 produits sur chaque page produit, pour les visiteurs qui ne sont pas connectés. Elle demande : « Que devrait afficher le bloc? Et à quel point est-ce meilleur que nos meilleurs vendeurs? »
Jonas est l’ingénieur qui le construira. Ses questions : « La liste peut-elle être prête pendant le chargement de la page? Combien de travail cela demande-t-il chaque nuit? »
Lena et Jonas sont des personnages fictifs. Ils ne travaillent pas pour OTTO. Les données sont réelles.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Une comparaison de huit listes sur les mêmes visites et la même journée. Elles viennent de quatre familles : la popularité, la visite elle-même, les voisins (covisitation et dernier article) et un modèle appris (ALS). Le résultat est une recommandation pour Lena et Jonas : une conception, ses réglages, son coût et ce qu’une personne vérifie encore.
Les données
Section intitulée « Les données »OTTO est un grand magasin en ligne en Allemagne. Son équipe de données a publié le OTTO Recommender Systems Dataset : des sessions de navigation anonymisées de son site et de son application, en 2022.
| Source | github.com/otto-de/recsys-dataset (les fichiers sont sur Kaggle, qui exige un compte) |
| Créateurs | Philipp Normann, Sophie Baumeister et Timo Wilm (OTTO) |
| Licence | Creative Commons Attribution 4.0 International (CC BY 4.0) for the data; the code is MIT |
| Attribution | “OTTO Recommender Systems Dataset” by Philipp Normann, Sophie Baumeister and Timo Wilm (OTTO), licensed under CC BY 4.0. Changed by Nextia Learning: every 5th session of the test week, one row per event, timestamps in seconds. |
| Fichier | otto-sample.csv.gz (20 Mo), l’échantillon fixe du cours dans le dépôt des laboratoires, avec une fiche du jeu de données |
Le jeu complet contient 12,9 millions de sessions sur quatre semaines, plus une semaine de test : environ 12 Go. C’est trop volumineux pour un portable et un carnet de 5 minutes. Son téléchargement exige aussi un compte. Le cours a donc créé un échantillon : une session sur cinq de la semaine de test, du lundi 29 août au dimanche 4 septembre 2022. Les sessions sont conservées en entier. L’échantillon contient 2 763 918 événements dans 334 361 sessions, sur 491 129 produits.
Ce que signifie une ligne. Une ligne représente un événement dans une visite. Un événement est un clic sur une page produit, un produit mis au panier (ajout au panier) ou une commande.
| Colonne | Signification |
|---|---|
session |
L’identifiant de la visite. Dans ces données, une session regroupe toute l’activité d’un visiteur pendant la semaine. |
aid |
L’identifiant du produit. C’est seulement un nombre : il n’y a ni noms, ni prix, ni catégories. |
ts |
L’heure de l’événement, en secondes (UTC). Les journées du magasin commencent à 22 h UTC, soit minuit en Allemagne. |
type |
clicks (clics), carts (ajouts au panier) ou orders (commandes). |
Parmi les événements, 2 463 954 sont des clics, 229 815 des ajouts au panier et 70 149 des commandes. La moitié des visites comptent 4 événements ou moins; 27 % en comptent exactement 2.
Les autres jeux de données ouverts de sessions ne permettaient pas cet usage. Retailrocket est sous licence CC BY-NC-SA 4.0 (aucun usage commercial). Nous n’avons trouvé aucune licence pour YOOCHOOSE et Diginetica.
En quoi ces données diffèrent de celles de Larkfield
Section intitulée « En quoi ces données diffèrent de celles de Larkfield »Le journal du magasin Larkfield est synthétique : notre code l’a créé avec un modèle du comportement des clients. Ces données représentent des comportements réels. Trois différences comptent :
- Les visiteurs sont inconnus. Les sessions d’OTTO sont anonymes. Les visiteurs de la semaine de test ne figurent pas dans les semaines d’entraînement. Les clients de Larkfield ont des identifiants et des mois d’historique.
- Le catalogue est immense. 491 129 produits dans un cinquième d’une semaine, contre 2 994 chez Larkfield. 55 % des produits ont été consultés dans une seule visite.
- Les produits sont des nombres. Aucun titre, aucune catégorie, aucune description, aucun stock. Une méthode par le contenu de Recommandations par le contenu ne peut pas fonctionner ici.
Définir le problème
Section intitulée « Définir le problème »- Quand la liste est-elle créée? Au moment où un visiteur ouvre une page, à partir des événements de la visite jusqu’ici. Les tables qui ont besoin du passé (décomptes, modèles) sont reconstruites chaque nuit.
- Que prédisons-nous? Le reste de la visite : le prochain clic et chaque produit que le visiteur ajoute au panier ou commande ensuite.
- Pour qui? Les visites qui commencent le jour du test. Elles n’ont aucun historique avant ce jour.
La coupure aléatoire
Section intitulée « La coupure aléatoire »En usage réel, la liste est créée au milieu d’une visite. Nous ne savons pas quand le visiteur s’arrêtera. Nous reproduisons donc cela : nous coupons chaque visite de test à un point aléatoire. Les événements avant la coupure sont visibles. Nous prédisons ceux qui suivent.
Description textuelle du diagramme
La visite compte six événements. Les trois premiers sont visibles : clic A, clic B, clic A. La coupure est aléatoire. Ensuite viennent le clic C (le prochain clic), l’ajout au panier C et la commande C. Une liste est correcte pour les clics si elle contient C. Elle est correcte pour les ajouts au panier et les commandes si elle contient C.
Le concours Kaggle d’OTTO coupait ses sessions de test de la même façon. Une visite de 2 événements est toujours coupée après le premier. Le jour du test, les méthodes voient en moyenne 4,0 événements.
Les mesures
Section intitulée « Les mesures »Nous mesurons le rappel à 20 (recall@20) trois fois, comme dans le concours d’OTTO (nous calculons la moyenne par visite, comme dans le cours) :
- clics : le prochain clic figure-t-il dans la liste de 20? (1 ou 0, en moyenne sur les visites avec un prochain clic);
- ajouts au panier : la part des produits ajoutés au panier ensuite qui figurent dans la liste;
- commandes : la même chose pour les commandes.
Pour comparer les méthodes avec un seul nombre, nous utilisons le score pondéré d’OTTO : 0,1 × clics + 0,3 × ajouts au panier + 0,6 × commandes. Les commandes pèsent le plus, car elles représentent ce que le magasin vend. Nous rapportons aussi le MRR@20 pour le prochain clic (OTTO le recommande) et la couverture. La diversité dans l’outil d’évaluation du cours exige des catégories, absentes de ces données. Chaque rappel reçoit un intervalle à 95 % par bootstrap (rééchantillonnage), comme dans Évaluer par segment.
Les segments regroupent les visites selon le nombre d’événements vus jusqu’ici. 1 événement (nous ne savons presque rien), 2 à 4 événements et 5 ou plus.
Le découpage temporel
Section intitulée « Le découpage temporel »Le futur ne doit pas contaminer le passé, comme dans Découper selon le temps. Nous avons une semaine, donc nous la découpons par jour :
Description textuelle du diagramme
Du lundi au jeudi, les données servent seulement d’historique. Vendredi est le jour de validation : nous choisissons les réglages d’ALS et la conception. Samedi est le jour du test : chaque méthode s’exécute une fois, avec tout ce qui était connu avant samedi. Nous rapportons ces nombres. Dimanche fournit les nouvelles données d’entrée : seule la conception choisie s’exécute, une fois, avec tout ce qui était connu avant dimanche.
Le jour du test compte 41 273 visites : 18 689 avec 1 événement vu, 13 783 avec 2 à 4 et 8 801 avec 5 ou plus. 40 221 ont un prochain clic, 6 729 ajoutent quelque chose au panier ensuite et 3 362 commandent quelque chose ensuite.
Explorer ce dont la décision a besoin
Section intitulée « Explorer ce dont la décision a besoin »Une question détermine quelles méthodes peuvent fonctionner : les visiteurs reviennent-ils aux produits qu’ils ont déjà vus? La première tâche du carnet calcule une partie de la réponse.
Description textuelle du graphique
Trois colonnes. Parmi les prochains clics, 32,2 % portaient sur un produit déjà vu dans la partie visible de la visite. Parmi les produits ajoutés au panier ensuite, 32,6 % avaient été vus. Parmi les produits commandés ensuite, 61,4 % avaient été vus.
Trois produits commandés ensuite sur cinq figuraient déjà dans la partie visible de la visite. Les gens regardent un produit, en regardent d’autres, puis reviennent avant d’acheter. Les produits de la visite devraient donc former une liste forte pour les commandes, et bonne pour les ajouts au panier. Pour le prochain clic, deux visiteurs sur trois passent à un produit qu’ils n’ont pas encore vu. Ici, les méthodes doivent trouver de nouveaux produits. Le prochain clic porte sur le même produit que le dernier événement dans 22,2 % des visites.
Le deuxième fait est la taille du catalogue. Les 1 % de produits les plus visités ne représentent que 23 % des consultations de produits. Les mêmes 20 meilleurs vendeurs pour tout le monde contiendront donc rarement ce qu’un visiteur veut.
Les références de base
Section intitulée « Les références de base »Nous utilisons deux références de base.
popular (populaire) classe les produits selon le nombre de visites où ils ont été consultés dans les 24 heures précédant la journée. C’est la « fenêtre de sessions » du magasin : les produits du moment. Tout le monde reçoit la même liste, comme avec les tendances dans Les références de base à battre.
def popular(split, hours=24): """Products ranked by the number of visits that touched them in the last `hours` before the day.""" h = split.history recent = h[h["ts"] >= split.start - hours * 3600].drop_duplicates(["session", "item"]) counts = np.bincount(recent["item"], minlength=split.n_items) return np.argsort(-counts, kind="stable")[:100] # 100, so that fill() never runs shortLa deuxième référence de base vient de l’exploration ci-dessus. visit so far (visite jusqu’ici) affiche les produits de la visite. Un ajout au panier compte 6 fois un clic et une commande, 3 fois. Les événements récents comptent davantage : le premier événement de la visite a un poids de 0,1, le dernier de 1. Une visite avec moins de 20 produits est complétée par des produits populaires.
Le jour du test : popular obtient un score de 0,014. visit so far obtient 0,568 (0,556 à 0,579) : clics 0,327, ajouts au panier 0,439, commandes 0,672.
Les 20 meilleurs vendeurs ne contiennent presque jamais ce qu’un visiteur veut : 0,010 pour le prochain clic. Pendant la période de test de Larkfield, les tendances trouvaient le prochain produit consulté 2,7 % du temps (hit@10). Ici, le catalogue est 160 fois plus grand, et la popularité est encore plus faible.
Les autres méthodes
Section intitulée « Les autres méthodes »Covisitation
Section intitulée « Covisitation »Pensez encore au vendeur en magasin. Au fil des jours, il remarque ceci : les personnes qui prennent la tente prennent souvent le matelas dans la même visite. Cette mémoire est la covisitation : pour chaque paire de produits, comptez les visites passées où les deux ont été consultés.
C’est la cooccurrence de Les clients ont aussi acheté, avec deux changements. Nous comptons les visites, pas les clients, car nous ne connaissons pas les visiteurs. Et nous comptons seulement les paires consultées à 24 heures ou moins d’intervalle.
Voici trois petites visites pour l’illustrer (un exemple construit) :
| Visite | Produits, dans l’ordre |
|---|---|
| 1 | tente, matelas, lampe |
| 2 | tente, matelas |
| 3 | tente, lampe, réchaud |
| Les visiteurs qui ont consulté la tente ont aussi consulté | Visites |
|---|---|
| lampe | 2 sur 3 |
| matelas | 2 sur 3 |
| réchaud | 1 sur 3 |
Sur la page de la tente, le visiteur reçoit d’abord la lampe et le matelas (à égalité), puis le réchaud. Chaque visite compte une fois, même si le visiteur a consulté la tente cinq fois.
Avec les données réelles, nous utilisons les 30 derniers événements de chaque visite passée. Nous comptons chaque paire une fois par visite. Nous gardons les 20 meilleurs voisins de chaque produit. Pour une visite de test, le score d’un produit est la somme de ses décomptes avec les produits de la visite. Nous les pondérons comme dans visit so far (visite jusqu’ici) :
def covisit_scores(split, C): """Score each product by its co-visitation counts with the products of the visit, weighted by session_weights (recent events and carts count more).""" return session_matrix(split, session_weights(split)) @ CAvant samedi, la table contient 4 162 629 paires et sa construction prend 16 secondes. Seule, la covisitation obtient un score de 0,109. C’est bien inférieur à visit so far. La raison est simple : un produit n’est pas son propre voisin. La covisitation ne montre donc jamais les produits auxquels le visiteur revient. Mais pour le prochain clic sur un nouveau produit, c’est la meilleure méthode : 0,181.
Le dernier article (Markov)
Section intitulée « Le dernier article (Markov) »Sessions, séquences et LLM, en bref présentait le modèle de Markov. Il compte quel produit vient directement après chaque produit dans les visites passées. Il suggère les produits qui suivent le plus souvent le dernier produit du visiteur. Il ignore le reste de la visite.
Seul, il obtient 0,062, et 0,133 pour le prochain clic sur un nouveau produit. C’est inférieur à la covisitation (différence appariée du score : +0,047 (+0,041 à +0,053)).
Chez Larkfield, Markov trouvait le prochain produit consulté dans 62,2 % des cas (hit@10, 16 801 transitions). Les deux nombres mesurent des choses différentes, mais l’écart est réel. Les visiteurs synthétiques de Larkfield passent entre quelques produits liés, parmi 2 994 produits. Les visiteurs réels d’OTTO passent d’un produit à l’autre dans un catalogue de centaines de milliers de produits. Dans notre échantillon, la plupart des paires de produits apparaissent dans seulement une ou deux visites.
ALS apprend un court vecteur pour chaque produit, comme dans Goûts cachés. Ici, chaque visite passée forme une ligne, comme un client. Nous gardons seulement les 48 655 produits consultés dans au moins 5 visites passées. Un vecteur appris à partir d’une ou deux visites est du bruit.
Une visite de test est nouvelle, donc elle n’a pas de vecteur. Nous en construisons un à partir de ses produits : la somme pondérée de leurs vecteurs. Puis nous suggérons les produits dont les vecteurs pointent le plus dans la même direction (cosinus, comme dans item-cf). Nous avons choisi les réglages le vendredi, comme dans Régler sans vous tromper vous-même :
| Facteurs | Régularisation | Score du vendredi | Ajustement (s) |
|---|---|---|---|
| 64 | 1 | 0,236 | 35 |
| 128 | 1 | 0,252 | 69 |
| 128 | 10 | 0,248 | 58 |
Le meilleur réglage est 128 facteurs avec une régularisation de 1. Le samedi, ALS seul obtient 0,275. C’est supérieur à la covisitation, car le vecteur d’un produit pointe dans sa propre direction. ALS peut donc montrer les produits de la visite. Pour le prochain clic sur un nouveau produit, il est plus faible (0,071 contre 0,181). Son ajustement a pris 73 secondes sur un seul fil d’exécution.
Combiner avec la visite
Section intitulée « Combiner avec la visite »Chaque famille réussit une partie du travail. Les produits de la visite trouvent les ajouts au panier et les commandes. Les voisins trouvent de nouveaux produits pour le prochain clic. Nous plaçons donc les produits de la visite en premier. Puis nous remplissons les cases libres avec une méthode de voisins, puis avec des produits populaires.
def combine(first, then): """The products of `first` (in order), then those of `then` that are not in it yet.""" out = np.full_like(first, -1) for r in range(len(first)): seen, row = set(), [] for p in list(first[r]) + list(then[r]): if p >= 0 and p not in seen: seen.add(p) row.append(p) if len(row) == K: break out[r, :len(row)] = row return outLe vendredi, avant d’examiner le samedi, les trois combinaisons obtenaient ces scores : visite + covisitation 0,606, visite + ALS 0,579, visite + Markov 0,595. Nous avons choisi visit + co-visitation. La deuxième tâche du carnet (notebook) Jupyter construit cette combinaison.
Une comparaison équitable
Section intitulée « Une comparaison équitable »Chaque méthode a utilisé les mêmes 41 273 visites du samedi, avec le même historique et les mêmes mesures. Voici le tableau comparatif de l’étude de cas :
| Méthode | clics | paniers | commandes | score (intervalle à 95 %) | MRR@20 | prochain clic nouveau | couverture |
|---|---|---|---|---|---|---|---|
popular | 0,010 | 0,014 | 0,014 | 0,014 (0,011 à 0,016) | 0,002 | 0,008 | 0,00 % |
visit so far | 0,327 | 0,439 | 0,672 | 0,568 (0,556 à 0,579) | 0,268 | 0,007 | 14,78 % |
co-visitation | 0,159 | 0,110 | 0,101 | 0,109 (0,103 à 0,115) | 0,056 | 0,181 | 22,03 % |
last item (Markov) | 0,111 | 0,062 | 0,055 | 0,062 (0,058 à 0,067) | 0,048 | 0,133 | 17,63 % |
ALS | 0,210 | 0,227 | 0,309 | 0,275 (0,265 à 0,286) | 0,153 | 0,071 | 9,11 % |
visit + Markov | 0,410 | 0,479 | 0,696 | 0,602 (0,592 à 0,613) | 0,287 | 0,129 | 26,20 % |
visit + ALS | 0,369 | 0,460 | 0,685 | 0,586 (0,574 à 0,597) | 0,275 | 0,069 | 18,91 % |
| visit + co-visitation | 0,440 | 0,494 | 0,706 | 0,616 (0,605 à 0,626) | 0,292 | 0,174 | 28,61 % |
« Prochain clic nouveau » est le rappel à 20 (recall@20) du prochain clic. Il porte seulement sur les visites où le prochain clic concerne un produit encore jamais consulté pendant la visite. La couverture est la part des 491 129 produits qui apparaissent dans au moins une liste.
Comment lire le tableau :
- Visite + covisitation est la meilleure pour le score et chacun des trois rappels. Face à
visit so far, la différence appariée du score est +0,048 (+0,044 à +0,052). Le gain vient surtout des clics : +0,113 (+0,111 à +0,117). - Les produits de la visite font la majeure partie du travail.
visit so farseul atteint 92 % du meilleur score. - La covisitation bat les autres voisins pour compléter les listes : face à visite + Markov +0,013 (+0,009 à +0,016), face à visite + ALS +0,030 (+0,026 à +0,033).
- La popularité est loin derrière toutes les autres méthodes, et sa couverture est de 20 produits.
Par segment
Section intitulée « Par segment »La moyenne cache les segments. Voici le score par segment, avec des intervalles à 95 % :
Description textuelle du graphique
Trois panneaux, un par segment, avec six méthodes chacun. Visites avec 1 événement observé : popularité 0,015, Markov 0,082, covisitation 0,105, ALS 0,296, visite jusqu’ici 0,403, visite + covisitation 0,501. Visites avec 2 à 4 événements : popularité 0,018, Markov 0,065, covisitation 0,105, ALS 0,313, visite jusqu’ici 0,591, visite + covisitation 0,641. Visites avec 5 événements ou plus : popularité 0,010, Markov 0,053, covisitation 0,115, ALS 0,235, visite jusqu’ici 0,599, visite + covisitation 0,626.
- 1 événement observé.
visit so farmontre un produit et 19 produits populaires; la conception proposée montre ce produit et 19 voisins. C’est ici que les voisins apportent le plus. - 5 ou plus. Les produits de la visite remplissent la plupart des 20 cases, donc les voisins apportent moins.
Cas d’échec : une règle d’un autre magasin
Section intitulée « Cas d’échec : une règle d’un autre magasin »Erreur courante
Masquer les produits que le visiteur a déjà consultés
Symptôme : Jonas copie une règle du système de recommandation par courriel du magasin : « ne jamais montrer un produit que le client possède déjà ». Pour les visiteurs, il écrit : « ne jamais montrer un produit que le visiteur a déjà consulté ». Le score passe de 0,616 à 0,057.
Cause : pendant une visite, les produits déjà consultés sont les meilleurs indices d’un ajout au panier ou d’une commande. Avant la coupure, le visiteur avait consulté 32,6 % des produits ajoutés ensuite au panier et 61,4 % des produits commandés ensuite. La règle retire précisément ces produits.
Diagnostic : avant de copier une règle, mesurez la fréquence des prochaines actions sur des produits déjà consultés. Comparez ensuite les listes avec et sans la règle le jour de validation, séparément pour les clics, paniers et commandes. Ici, le prochain clic sur un nouveau produit augmente même un peu (0,174 sans la règle, 0,183 avec). Mais les paniers passent de 0,494 à 0,066, et les commandes de 0,706 à 0,041.
Correction : une règle est une décision pour une page précise. Sur la page produit, gardez les produits de la visite : « vous pensez encore à ces produits? » y est utile. Si Lena veut un bloc de découverte, donnez-lui son propre emplacement, avec la covisitation seulement. Mesurez le prochain clic sur de nouveaux produits. La bibliothèque implicit présente le même piège : son recommend masque les articles de l’utilisateur, sauf si vous passez filter_already_liked_items=False.
Description textuelle du graphique
Six colonnes, par paires. Clics : 0,440 sans la règle, 0,124 avec. Paniers : 0,494 sans, 0,066 avec. Commandes : 0,706 sans, 0,041 avec.
La recommandation
Section intitulée « La recommandation »Description textuelle du diagramme
Un visiteur non connecté ouvre une page produit. Le service lit les événements de la visite jusqu’ici. Il remplit 20 cases dans l’ordre. D’abord les produits de la visite par poids, puis leurs voisins de covisitation, puis les produits populaires des dernières 24 heures. La table de covisitation est reconstruite chaque nuit. Une personne vérifie les listes.
Ce que nous disons à Lena et Jonas :
- Pour les visiteurs non connectés : visite + covisitation. Dans cet ordre :
- les produits de la visite (un ajout au panier vaut 6 clics, une commande 3, les événements récents comptent davantage);
- leurs voisins de covisitation (paires à 24 heures ou moins d’intervalle, une fois par visite, les 30 derniers événements de chaque visite, 20 voisins par produit);
- les produits populaires des dernières 24 heures.
- La solution de repli est la popularité. Si la table de covisitation manque, montrez les produits de la visite, puis les produits populaires. C’est
visit so far, la deuxième meilleure méthode (0,568), et elle n’a besoin d’aucune table. - Pas maintenant : ALS et Markov. Ils n’ont pas battu la covisitation pour compléter les listes. ALS exige aussi un ajustement du modèle chaque nuit.
- Ce qu’une personne vérifie : les données n’ont ni stocks, ni catégories, ni prix, donc les listes ne les connaissent pas. Avant de mettre le bloc en service, le magasin doit retirer les produits en rupture de stock. Il doit aussi décider quoi faire des produits pour adultes et sensibles, comme les règles de Larkfield dans Règles d’affaires et reclassement. Chaque semaine, une personne examine les trois rappels du dernier jour et la part des listes remplie par des produits populaires.
Ce que cela coûte
Section intitulée « Ce que cela coûte »Mesuré sur un seul fil d’exécution d’un Apple M4, avec notre échantillon (un cinquième du trafic). Les coûts monétaires sont des hypothèses.
| Élément | Visite + covisitation | Popularité |
|---|---|---|
| Construction nocturne | table de covisitation : 16 s | 0,3 s |
| Taille de la table | 4 162 629 paires, 35 Mo | 100 produits |
| Une liste, à l’ouverture de la page | 1,8 ms (médiane), 2,4 ms (95e centile), en Python | une copie |
| Mémoire (analyse complète, toutes les méthodes, un processus) | 2,1 Go au maximum | moins |
| Serveur, hypothèse : le trafic complet représente environ 5 fois notre échantillon, et la construction croît un peu plus vite que les données; un serveur à 4 processeurs virtuels, à 0,17 $ US l’heure, pendant 1 heure par nuit | environ 62 $ US par année | environ la même chose |
| Ingénierie, hypothèse | une tâche nocturne, une table en mémoire, une vérification hebdomadaire | presque aucune |
Le vrai coût n’est pas le serveur. C’est une tâche nocturne qui ne doit pas échouer, et un service qui lit la table à chaque consultation de page. La conception ajoute +0,048 (+0,044 à +0,052) au score de visit so far, surtout pour les clics. Sa rentabilité dépend de ce que rapporte un clic sur une suggestion. Le rappel hors ligne ne peut pas le dire.
Notre conseil : livrez d’abord visit so far (sans table), puis ajoutez la covisitation. Testez-la en ligne contre visit so far avant de la garder. Les gains hors ligne ne sont pas des gains en ligne montrait pourquoi. Tests en ligne et garde-fous montrait comment.
De bout en bout avec de nouvelles données d’entrée
Section intitulée « De bout en bout avec de nouvelles données d’entrée »Le dimanche 4 septembre n’a jamais été utilisé. Nous exécutons toute la conception une fois : la table de covisitation avec tous les événements avant dimanche, puis les listes des visites qui commencent dimanche.
| Méthode | clics | paniers | commandes | score (intervalle à 95 %) |
|---|---|---|---|---|
popular | 0,011 | 0,011 | 0,009 | 0,010 (0,008 à 0,013) |
visit so far | 0,310 | 0,429 | 0,665 | 0,559 (0,550 à 0,569) |
| visit + co-visitation | 0,438 | 0,494 | 0,701 | 0,613 (0,604 à 0,621) |
48 554 visites ont commencé dimanche. L’ordre est le même que samedi : la conception proposée en premier, visit so far en deuxième, la popularité loin derrière. Dimanche est le jour le plus chargé de la semaine dans l’échantillon, avec 512 345 événements.
Une visite, telle que le service la voit
Section intitulée « Une visite, telle que le service la voit »Dans un service, la liste est créée pour une visite à la fois, à l’ouverture de la page. La fonction suggest_one du carnet le fait et donne la même liste que le code de traitement en lot. Nous montrons la première visite du dimanche (par identifiant) avec 3 à 6 événements observés, puis un panier et une commande après la coupure. Nous l’avons choisie pour rendre visibles les trois types d’événements. Ce n’est pas une visite typique.
Les événements du visiteur jusqu’ici : clic sur le produit 828562 (minute 0), ajout au panier sur le produit 828562 (minute 0,1), clic sur le produit 1371545 (minute 0,7).
| Case | Produit | Source | Après la coupure |
|---|---|---|---|
| 1 | 828562 | visit | |
| 2 | 1371545 | visit | ajouté au panier |
| 3 | 499958 | co-visitation | |
| 4 | 1709866 | co-visitation | |
| 5 | 1517468 | co-visitation | |
| 6 | 1171070 | co-visitation | |
| 7 | 422075 | co-visitation | |
| 8 | 1211184 | co-visitation | |
| 9 | 1817953 | co-visitation | |
| 10 | 894360 | co-visitation | |
| 11 | 169432 | co-visitation | |
| 12 | 14100 | co-visitation | |
| 13 | 747429 | co-visitation | |
| 14 | 796168 | co-visitation | |
| 15 | 1322700 | co-visitation | |
| 16 | 1669315 | co-visitation | |
| 17 | 1812099 | co-visitation | |
| 18 | 884826 | co-visitation | |
| 19 | 1272673 | co-visitation | |
| 20 | 62121 | co-visitation |
Après la coupure, le visiteur a ensuite cliqué sur le produit 1752297. Il a ajouté 6 produits au panier et en a commandé 7. La liste contient 1 des produits ajoutés au panier : celui que le visiteur avait déjà consulté. Elle ne contient aucun des produits commandés, ni le prochain clic. Ce visiteur a ensuite acheté des produits absents des voisins de covisitation des deux premiers. Dans un cinquième d’une semaine, la plupart des paires apparaissent dans une seule visite. Les 18 voisins ici ont donc de petits décomptes. En cas d’égalité, le produit présent dans le plus de visites passées passe en premier.
Les produits sont seulement des nombres, donc nous ne pouvons pas dire ce qu’ils sont. Une personne qui vérifie les listes aurait besoin du catalogue du magasin pour cela.
Constats et limites
Section intitulée « Constats et limites »Ce que nous avons appris :
- Observez la visite avant de prédire. Les visiteurs reviennent aux produits qu’ils ont consultés. Ce seul fait rend
visit so farune référence de base solide et la règle des produits consultés une erreur. - Chaque famille a son propre rôle. Les produits de la visite trouvent les paniers et commandes; la covisitation trouve le prochain nouveau produit; la popularité comble seulement les vides.
- Le simple comptage a battu le modèle appris ici. ALS était plus lent et ne complétait pas mieux les listes.
- Mesurez chaque type d’événement. Une seule moyenne cacherait que la conception aide surtout les clics et moins les commandes.
Par rapport au magasin synthétique de Larkfield : ces données réelles sont plus difficiles de deux façons. Le catalogue est immense, donc la popularité et les méthodes de voisins trouvent beaucoup moins de produits pertinents. Et nous ne connaissons pas les visiteurs, donc il n’y a aucun historique. Elles sont plus faciles d’une façon : la visite elle-même est un indice fort pour les paniers et commandes. Les personnes reviennent à ce qu’elles ont consulté. Comparez l’ordre des méthodes, pas les valeurs. Chez Larkfield, Markov et les voisins item-cf étaient presque égaux (62,2 % et 62,0 % pour hit@10). Ici, la covisitation devance clairement Markov.
Limites :
- Un échantillon d’une semaine. Nous avons utilisé un cinquième de la semaine de test. Les quatre semaines d’entraînement d’OTTO ont environ 80 fois plus d’événements que notre échantillon. Avec elles, la covisitation et ALS apprendraient davantage, et leurs chiffres seraient plus élevés. Utilisez la méthode présentée ici, pas les chiffres.
- Un seul jour de test. Le samedi peut différer d’un jour de semaine. Avant de faire confiance à la conception, faites la même comparaison sur deux ou trois autres jours.
- Hors ligne seulement. Le rappel indique si le visiteur a cliqué, ajouté au panier ou commandé un produit de la liste. Il ne dit pas que la liste l’a causé. La FAQ d’OTTO indique qu’environ 20 % seulement des consultations de pages produit venaient de ses recommandations. La plupart venaient de la recherche et des listes de produits.
- Aucune information sur les produits. Ni stocks, ni prix, ni catégories, donc les listes ne peuvent pas en tenir compte.
Utilisation responsable
Section intitulée « Utilisation responsable »- Les visiteurs sont réels et anonymes. Les identifiants sont des nombres anonymisés. Ne tentez pas d’identifier un visiteur ou un produit, et ne combinez pas ces données avec d’autres données.
- Les suggestions de session suivent les personnes de près. Une liste qui répète les produits récemment consultés peut donner l’impression d’être surveillé. Un ordinateur partagé peut montrer la navigation d’une personne à une autre. Décidez quels produits (santé, pour adultes) ne doivent jamais réapparaître dans un bloc visible.
- Un système de recommandation décide ce que les personnes voient. La covisitation et la popularité favorisent les produits déjà consultés. Surveillez la couverture et donnez volontairement une place aux nouveaux produits.
- Dites ce qui est mesuré. Chaque chiffre ici est obtenu hors ligne, sur un échantillon de données passées. Ne promettez pas plus de ventes à Lena.
- Attribuez les données. La licence CC BY 4.0 exige l’attribution ci-dessus partout où vous utilisez ou partagez les données ou vos résultats.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre à un employeur que vous savez travailler avec des données de session réelles et désordonnées. Vous avez choisi une mesure adaptée aux besoins d’affaires (clics, ajouts au panier et commandes). Vous avez aussi refusé une règle inadaptée.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet (notebook) Jupyter, exécuté du début à la fin, avec ses sorties.
DECISION.md: la conception, ses réglages, les coûts et leurs hypothèses, et ce qu’une personne vérifie.- La source des données, la licence et l’attribution. N’incluez pas le fichier de données dans un commit (enregistrement dans Git) : liez la source et donnez le SHA-256 de l’échantillon.
Un modèle de README :
# Next-product suggestions for anonymous shop visitors
## QuestionWhat should a product page suggest to visitors who are not logged in,and is it better than the bestsellers?
## Data and licenceOTTO Recommender Systems Dataset (Normann, Baumeister, Wilm; OTTO),CC BY 4.0. A fixed sample: every 5th session of the test week(29 Aug to 4 Sep 2022), 2.76M events (clicks, carts, orders).
## ApproachTime split by day: choose on Friday, test once on Saturday, run the chosendesign once on Sunday. Each test visit cut at a random point. Methods:popular (24 h), the visit so far, co-visitation, last item (Markov), ALS(implicit), and each neighbour method after the visit's own products.Measures: recall@20 for clicks, carts and orders, OTTO's weighted scorewith bootstrap intervals, MRR@20, coverage, by visit length.
## Results(the comparison table and the segment chart)
## DecisionThe visit's own products, then co-visitation, then popular. Do not hideproducts the visitor already saw on the product page.
## LimitsA fifth of one week, one test day, offline only, no product information.Comment le décrire en deux phrases : « J’ai comparé des méthodes de recommandation par session sur des données de navigation réelles d’un grand magasin en ligne, pour les clics, les ajouts au panier et les commandes, avec un découpage temporel. Les produits de la visite étaient le signal le plus fort et la covisitation ajoutait les meilleurs nouveaux produits, alors j’ai recommandé cette conception plutôt qu’un modèle appris. »
Pour aller plus loin :
- Lancez la comparaison avec vendredi comme jour de test (choisissez jeudi). L’ordre des méthodes reste-t-il le même?
- Donnez aux ajouts au panier et aux commandes leur propre tableau de covisitation (paires dont le deuxième produit a été ajouté au panier ou commandé). Le score des commandes augmente-t-il?
- Ajoutez un modèle de classement appris pour les candidats, comme dans Un modèle de classement appris. Entraînez-le sur les visites de vendredi et testez-le sur celles de samedi.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi la covisitation seule obtient-elle un score bien inférieur aux produits de la visite, et pourquoi la garder dans la conception?
Afficher la réponse
Un produit n’est pas son propre voisin. La covisitation ne montre donc jamais les produits que le visiteur a déjà vus. Mais 32,6 % des ajouts au panier ultérieurs et 61,4 % des commandes ultérieures concernaient des produits déjà vus. Elle manque donc beaucoup d’ajouts au panier et la plupart des commandes : son score est de 0,109 contre 0,568. Elle garde sa place dans la conception, car c’est la meilleure méthode pour le prochain clic sur un nouveau produit (0,181). Après les produits de la visite, elle remplit les cases libres et fait monter le score à 0,616.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Jonas veut masquer tous les produits que le visiteur a déjà vus. Que se passe-t-il, et que lui dites-vous?
Afficher la réponse
Le score passe de 0,616 à 0,057. Les ajouts au panier et les commandes baissent le plus. Les visiteurs ajoutent souvent au panier, et commandent généralement, des produits consultés plus tôt dans la visite. Dites-lui qu’une règle est une décision qui concerne une seule page. Gardez les produits déjà vus sur la page produit. Si le magasin veut favoriser la découverte, créez un bloc distinct et mesurez le prochain clic sur de nouveaux produits.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi couper chaque visite de test à un point aléatoire, et pourquoi présenter séparément les clics, les ajouts au panier et les commandes?
Afficher la réponse
En utilisation réelle, la liste est créée au milieu d’une visite, et nous ignorons quand le visiteur s’arrêtera. Une coupure aléatoire reproduit cette situation : les méthodes voient seulement les événements avant la coupure. Nous présentons les trois types d’événements séparément, car leurs besoins diffèrent. Le prochain clic concerne généralement un nouveau produit, tandis que la plupart des commandes concernent des produits déjà vus. Une seule moyenne cacherait le fait que la conception aide surtout les clics. Le score pondéré (0,1, 0,3, 0,6) donne ensuite un seul nombre pour la décision, avec le poids maximal aux commandes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les visiteurs anonymes n’ont pas d’historique, mais la visite elle-même est un indice fort : 61,4 % des commandes ultérieures concernaient des produits déjà vus pendant la visite.
- Découpez les données par jour et coupez chaque visite de test à un point aléatoire. Choisissez vendredi, testez une seule fois samedi, exécutez une seule fois dimanche.
- Mesurez séparément les clics, les ajouts au panier et les commandes, puis combinez-les dans le score pondéré d’OTTO.
visit so far(visite jusqu’ici) (0,568) dépasse largement les produits populaires (0,014). La covisitation seule obtient un score inférieur (0,109), mais trouve les meilleurs nouveaux produits pour le prochain clic.- La conception : les produits de la visite, puis la covisitation, puis les produits populaires (0,616). La solution de repli est
visit so far. Testez-la en ligne avant de la garder. - Une règle provenant d’une autre page peut être inadaptée : masquer les produits déjà vus fait passer le score de 0,616 à 0,057.
Ensuite, nous recommandons des livres à partir de six millions de notes réelles. Nous comparons l’exactitude à la nouveauté et à la couverture.
Leçon suivante : Des livres pour les lecteurs