Aller au contenu
English

Les références de base à battre

  • Leçon 7
  • 35 min
  • Module 2 : Les données, la rétroaction implicite et un découpage honnête

Où nous en sommes

Nous avons un découpage temporel honnête. Avant d'essayer des méthodes avancées, il nous faut un score à battre. Dans cette leçon, nous créons trois références de base fondées sur la popularité. Nous examinons leurs scores et leurs erreurs.

Leçon 7 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteLes références de base à battre
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Établissez les scores que toute méthode avancée doit battre, avec trois références de base de popularité sur le découpage temporel honnête. Examinez leurs réussites et leurs erreurs, pour qu’une nouvelle méthode doive prouver son utilité.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter mesure la popularité et affiche ses 10 premiers produits, dont le manteau d’hiver. Il trace les commandes de manteaux par mois et vous demande de créer la méthode de tendances. Ses cellules de préparation installent les paquets et téléchargent les données. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Votre projet larkfield-recs avec recs matrix et recs leakage des deux dernières leçons, et le dépôt des exercices à côté.

Après cette leçon, votre projet correspond à l’instantané end-of-m02. Le journal du magasin est synthétique. Les manteaux d’hiver sont un problème d’exercice que nous avons créé volontairement. L’équipe du cours a mesuré les résultats sur un portable Apple M4. Testé sur macOS; les commandes Windows ne sont pas testées.

À son premier jour, une nouvelle vendeuse ne connaît aucun client. Elle peut quand même aider. Un client lui demande une idée. Elle montre la table près de la porte : « Voici nos meilleurs vendeurs. » Ce n’est pas personnalisé, mais c’est souvent juste, car beaucoup de gens aiment les mêmes choses.

Après une semaine, elle a deux meilleures idées. Première idée : « Cette semaine, tout le monde achète des tables de jardin. » Les meilleurs vendeurs récents suivent la saison. Deuxième idée : un client demande des coussins. Elle lui montre les coussins les plus vendus, pas les gants de jardin les plus vendus. Elle utilise le type de produit préféré du client.

Ces trois idées n’ont besoin d’aucun modèle avancé. Ce sont les références de base de cette leçon.

Tomás montre son premier modèle personnalisé à Omar : « Le recall@10 est de 0,12 sur le découpage temporel. » Omar pose la bonne question : « C’est bon? »

Personne ne peut le dire. Un nombre seul signifie peu. Des produits choisis au hasard obtiennent 0,004 : presque rien. Si les mêmes meilleurs vendeurs proposés à tous obtiennent 0,106, alors 0,12 représente un petit gain pour beaucoup de travail. Si les meilleurs vendeurs obtenaient 0,02, alors 0,12 serait un grand progrès. Avant toute méthode avancée, nous mesurons donc les méthodes les plus simples qui restent utiles. Une référence de base est une telle méthode. Son score est le seuil qu’une nouvelle méthode doit dépasser. Une méthode qui ne la bat pas ne vaut pas son coût.

Les trois comptent les clients, pas les lignes de commande. La popularité d’un produit correspond au nombre de clients différents qui l’ont commandé dans les données d’entraînement. Ainsi, un client qui commande 40 sacs de compost compte une seule fois.

Référence de base La liste Personnalisée?
popular les 10 produits commandés par le plus de clients, dans tout le journal d’entraînement non : tout le monde reçoit la même liste
trending la même chose, mais seulement avec les commandes des 28 jours avant la période non : tout le monde reçoit la même liste
popular-category les produits les plus commandés des catégories préférées du client, en proportion de ses événements un peu : une liste par mélange de catégories
Section intitulée « Un petit exemple : la liste popular-category d’un client »

Popular-category répartit les 10 cases entre les catégories du client. Voici un client construit avec 20 points d’événements (poids : consultation 1, panier 3, commande 5) :

Catégorie Points Part Cases sur 10
Mobilier de jardin 12 60 % 6
Éclairage 6 30 % 3
Cuisine 2 10 % 1

La liste contient alors les 6 meilleurs vendeurs du mobilier de jardin, les 3 de l’éclairage et le premier de la cuisine. Un client sans événements reçoit la liste popular ordinaire.

Voici les trois références de base et les suggestions aléatoires sur la période de test, avec leurs intervalles à 95 %. Un intervalle provient des scores de nombreux rééchantillons des 2 118 clients (un bootstrap). Deux méthodes dont les intervalles se chevauchent beaucoup ne diffèrent peut-être pas vraiment.

Recall@10 sur la période de test (2 118 clients, journal synthétique), avec intervalles à 95 % (bootstrap sur les clients).
Description textuelle du graphique

Quatre lignes. random : 0,004 (0,002 à 0,007). popular : 0,106 (0,095 à 0,118). popular-category : 0,143 (0,129 à 0,157). trending : 0,156 (0,143 à 0,172). Les intervalles de popular-category et de trending se chevauchent beaucoup. popular est clairement sous les deux, et random est proche de zéro.

Trois observations :

  1. La popularité dépasse largement le hasard : 0,106 contre 0,004. Beaucoup de gens veulent les mêmes quelques produits. C’est l’effet de la longue traîne présentée dans Découvrir le journal du magasin.
  2. Les données récentes battent l’historique complet : trending (0,156) bat clairement popular (0,106). La période de test se situe à la fin juin, et les 28 derniers jours reflètent cette saison.
  3. Popular-category (0,143) et trending (0,156) sont proches. Leurs intervalles se chevauchent. Nous ne pouvons donc pas dire qu’une méthode est meilleure pour tous les clients. Les segments montrent où chacune gagne :
Segment (clients de test) popular popular-category trending
nouveaux : aucune commande auparavant (952) 0,108 0,118 0,169
occasionnels : 1 ou 2 commandes (556) 0,110 0,161 0,162
fidèles : 3 commandes ou plus (610) 0,098 0,164 0,132

Popular-category aide les clients qui ont un historique : leurs catégories préférées apportent une information utile. Pour les nouveaux clients, elle a peu de données à utiliser, et la saison compte davantage.

Les erreurs de la popularité : un manteau d’hiver en juillet

Section intitulée « Les erreurs de la popularité : un manteau d’hiver en juillet »

Voici la liste popular sur la période de test. Pour chaque produit, le tableau indique combien de clients l’ont commandé avant le 22 juin 2026 et pendant la période de test.

# Produit Sous-catégorie Clients ayant commandé (avant) Clients ayant commandé pendant la période de test
1 Navy Nitrile-Grip Garden Gloves Gants et agenouilloirs 1 334 59
2 Terracotta Linen Roman-Style Curtains Rideaux 1 143 48
3 Black Rustic Wooden Planter Box Pots et jardinières 1 013 17
4 Green Waterproof Chair Protector Soins de l’incontinence 983 34
5 Dockside Red Striped Cushion Coussins 949 43
6 Copper Corduroy Duffle Coat Manteaux d’hiver 857 0
7 Terracotta Ankle Garden Clogs Bottes de jardin 696 16
8 Oak Timber Swing Seat Hamacs et balançoires 643 10
9 Bramble Terracotta Mosaic Side Table Tables de jardin 534 106
10 Dockside Red Loft Bed Lits pour enfants 525 16

Le numéro 6 est un duffle-coat. 857 clients l’ont commandé. C’est donc l’un des meilleurs vendeurs du magasin sur tout son historique. Pendant la période de test, personne ne l’a commandé. C’est un problème d’exercice que nous avons créé volontairement. Le graphique montre pourquoi :

Lignes de commande de tous les manteaux d'hiver par mois (journal synthétique, cas inséré). Les manteaux se vendent d'octobre à février; en juin et juillet 2026, personne n'en a commandé.
Description textuelle du graphique

Une ligne avec un point par mois, de février 2025 à juillet 2026. Les manteaux d’hiver se vendent en hiver. On compte 170 lignes de commande en février 2025, puis presque aucune d’avril à août 2025 (1 à 3 par mois). Ensuite, 150 en octobre, 181 en novembre et 159 en décembre 2025, 271 en janvier et 231 en février 2026. Puis les ventes baissent : 36 en mars, 12 en avril et 1 en mai. Juin et juillet 2026, les mois de la période de test, en comptent 0.

Un décompte sur tout l’historique additionne deux hivers de commandes de manteaux. Il ne sait pas que la saison est terminée. Trending compte seulement les 28 derniers jours, donc le manteau disparaît de sa liste. Son premier produit est une table basse de jardin, commandée par 133 clients de test.

Deux autres produits de cette liste demanderont de l’attention plus tard :

  • Le siège de balançoire (numéro 8 ici, aussi dans la liste trending) : son indicateur de stock signale une rupture depuis le 15 juin 2026. Les 10 commandes de la période de test du tableau sont des commandes en souffrance dans notre journal synthétique. Une référence de base ne vérifie pas le stock. C’est un autre problème d’exercice créé volontairement; Règles d’affaires et reclassement le traite.
  • Le numéro 4 est un produit de soins de l’incontinence : un produit de santé sensible, acheté régulièrement par ceux qui en ont besoin. Cela le rend populaire. Même une page d’accueil qui montre la même liste à tous l’afficherait. Vie privée et suggestions sensibles détermine où ces produits peuvent apparaître.

Erreur courante

Une référence de base évaluée sur un autre découpage

Tomás annonce que son modèle « bat la popularité de 30 % ». Il a évalué son modèle sur le découpage temporel. Mais il a pris le score de popularité dans un billet de blogue sur un autre magasin. La comparaison ne signifie rien. Une référence de base doit utiliser le même découpage, les mêmes clients et la même mesure que la méthode comparée. Dans ce cours, chaque ligne du tableau comparatif est évaluée avec recs evaluate sur la même période de test. Le dispositif d’évaluation rend les autres façons de comparer difficiles.

Voici un résultat du reste du cours, mesuré sur la même période de test. Trending (0,156) bat toutes les méthodes personnalisées du tableau comparatif du cours. Item-cf obtient 0,088, user-user 0,145 et ALS réglé 0,149. Seules deux méthodes le battent clairement. L’une est un mélange hybride de plusieurs méthodes, dont les poids sont réglés sur la période de validation (0,193). L’autre est le modèle de classement en deux étapes de Pourquoi deux étapes (0,234).

Ce résultat n’est pas propre à Larkfield. Dans beaucoup de vrais magasins, une liste des meilleurs vendeurs récents est une référence de base solide. La plupart des clients ont très peu d’historique. Plus de la moitié des acheteurs de Larkfield ont commandé une seule fois. Une méthode personnalisée a besoin d’un historique pour personnaliser.

L’équipe conserve donc deux règles :

  1. Toute nouvelle méthode est comparée à trending, pas seulement à popular.
  2. Trending est la solution de repli : la liste pour un client qu’une méthode ne peut pas servir, comme un nouveau visiteur sans événements.

Quand utiliser les références de base de popularité, et leur coût

Section intitulée « Quand utiliser les références de base de popularité, et leur coût »
Utilisation Leurs limites
Coût presque rien : un décompte, moins d’une seconde aucune qui mérite une mesure
Force solides quand les historiques sont courts et que les saisons comptent la même liste pour tous : la couverture est de 0,3 % des produits en vente
Faiblesse aucune découverte : la longue traîne n’apparaît jamais; l’ancienne saison reste dans une liste fondée sur tout l’historique

La couverture est la part des produits en vente qui apparaissent dans la liste d’au moins un client. popular et trending montrent 10 produits à tous : une couverture de 0,3 %. popular-category atteint 6,7 %. Un magasin qui montre seulement ses 10 meilleurs vendeurs les vend davantage et n’apprend rien sur les 2 984 autres produits. Au-delà de l’exactitude mesure cela.

Les références de base forment un nouveau fichier de l’instantané end-of-m02. Le système trouve les méthodes par leurs fichiers, comme les commandes.

  1. Dans votre dossier de projet, avec l’environnement virtuel actif, copiez les références de base, les tests du module et le README depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m02
    for f in larkfield_recs/methods/baselines.py tests/test_m02.py README.md; do cp "$S/$f" "$f"; done
  2. Exécutez les tests : python -m pytest -q. Le résultat attendu est 11 passed (11 tests réussis).

  3. Listez les méthodes : recs evaluate --list.

  4. Évaluez les trois références de base : recs evaluate popular, puis recs evaluate trending, puis recs evaluate popular-category.

  5. Ouvrez larkfield_recs/methods/baselines.py. Trouvez où popular-category répartit les 10 cases entre les catégories.

Afficher le résultat attendu

L’étape 3 affiche :

trending the most ordered products of the last 28 days
popular-category the most ordered products of each customer's favourite categories
popular the most ordered products over the whole training log
random random products on sale

L’étape 4 affiche, pour trending :

Method trending (the most ordered products of the last 28 days), test period
Customers scored: 2,118; trained on events before 2026-06-22
recall@10 0.156 (95% interval 0.143 to 0.172), NDCG@10 0.100
coverage 0.3% of the products on sale
time: fit 0.0 s, suggestions 0.0 s

Pour popular : recall@10 0.106 (95% interval 0.095 to 0.118), NDCG@10 0.061 et une couverture de 0,3 %. Pour popular-category : recall@10 0.143 (95% interval 0.129 to 0.157), NDCG@10 0.085 et une couverture de 6,7 %. Chaque exécution prend moins d’une seconde. Le NDCG@10 attribue aussi des points selon la position d’un bon produit dans la liste; Mesures de classement l’explique.

Maintenant, recs leakage montre aussi popular-category (+59 %), comme dans Découper selon le temps.

  1. Ouvrez le carnet de cette leçon et exécutez les cellules de préparation.
  2. Exécutez la section 1. Elle évalue popular et affiche ses 10 premiers produits. Trouvez le numéro 6.
  3. Exécutez la section 2 : les commandes de manteaux d’hiver par mois.
Afficher le résultat attendu

La section 1 affiche popular, recall@10 on the test period: 0.106 (popular, rappel à 10 sur la période de test : 0,106). Elle affiche aussi la liste du tableau ci-dessus, avec le duffle-coat P10167 au numéro 6. La section 2 trace le graphique de cette leçon : des commandes de manteaux en hiver, aucune en juin et juillet 2026.

Partie 1. Dans la section 3 du carnet, créez trending : les 10 premiers produits des commandes des 28 jours avant la période de test. Prédisez d’abord : un score supérieur ou inférieur à popular? Exécutez ensuite la vérification.

Partie 2. Popular-category compte la popularité dans tout le journal. Combinez cette méthode avec l’idée de trending : comptez seulement les 28 derniers jours. Dans le projet, exécutez recs evaluate popular-category --set days=28. Prédisez d’abord : meilleure que trending, ou non?

Afficher la réponse

Partie 1 : recall@10 de 0,156, comme recs evaluate trending. La vérification affiche Check passed: trending_recall is 0.156. (vérification réussie : trending_recall vaut 0,156). Le manteau a disparu; une table basse de jardin est en tête.

recent = orders[orders["day"] >= first_test_day - 28]
trending = top10(recent)
trending_recall = mean_recall(trending, truth)

La partie 2 affiche (exécution de l’équipe du cours) :

Method popular-category (the most ordered products of each customer's favourite categories), test period, settings {'days': 28}
Customers scored: 2,118; trained on events before 2026-06-22
recall@10 0.173 (95% interval 0.159 to 0.188), NDCG@10 0.109
coverage 6.7% of the products on sale
time: fit 0.0 s, suggestions 0.0 s

0,173 : meilleure que trending (0,156), et meilleure pour les trois segments (nouveaux 0,163, occasionnels 0,183, fidèles 0,180). Ensemble, les catégories préférées du client et la saison donnent une référence de base plus solide que chaque idée seule. La longueur de la fenêtre compte beaucoup moins. Trending avec 7, 14 ou 56 jours obtient 0,158, 0,157 et 0,158. Essayez recs evaluate trending --set days=7 (la description de la méthode indique encore 28 jours).

Ce mélange annonce ce que les modules suivants feront plus soigneusement : combiner plusieurs signaux. Gardez trending comme référence de base du tableau comparatif, comme dans le reste du cours. Retenez qu’un mélange simple a déjà atteint 0,173.

Vérifiez votre compréhension

Qu'est-ce qu'une référence de base? Pourquoi Larkfield doit-elle en mesurer une avant d'essayer un modèle personnalisé? Utilisez les chiffres de cette leçon.

Afficher la réponse

Une référence de base est la méthode la plus simple qui reste utile. Son score est le seuil qu’une nouvelle méthode doit dépasser. Sans elle, un score comme 0,12 ne veut rien dire. Sur la même période de test, les suggestions aléatoires obtiennent 0,004, les produits populaires 0,106 et les tendances 0,156. Un modèle personnalisé à 0,12 serait moins bon que les tendances, qui ne coûtent presque rien.

Vérifiez votre compréhension

Prédisez et expliquez : le duffle-coat occupe le rang 6 des produits populaires, mais ne figure pas dans la liste des tendances. Pourquoi? Que vous apprend cet exemple sur les décomptes depuis le début?

Afficher la réponse

857 clients ont commandé le manteau, mais en hiver : aucune commande en juin et juillet 2026. Un décompte depuis le début additionne les saisons passées et ne voit pas que la saison est terminée. Les tendances comptent seulement les 28 jours avant la période de test, donc le manteau disparaît de la liste. Les décomptes depuis le début suivent les saisons et les tendances avec retard; une fenêtre récente les suit.

Vérifiez votre compréhension

Les produits populaires par catégorie obtiennent 0,164 pour les clients fidèles, contre 0,132 pour les tendances. Pour les nouveaux clients, c'est l'inverse (0,118 contre 0,169). Expliquez la différence.

Afficher la réponse

Les produits populaires par catégorie utilisent les catégories préférées du client. Les clients fidèles ont un long historique. Leurs catégories sont donc significatives et la liste leur convient. Les nouveaux clients n’ont aucune commande et peu d’événements. Leur mélange de catégories fournit donc peu d’information, ou aucune. Pour eux, la saison compte davantage, et les meilleurs vendeurs récents des tendances leur conviennent mieux. Voilà pourquoi nous examinons les segments, et pas seulement une moyenne.

Récapitulatif

  • Une référence de base est la méthode utile la plus simple. Toute nouvelle méthode doit la dépasser avec le même découpage, les mêmes clients et la même mesure.
  • Sur la période de test : aléatoire 0,004, produits populaires 0,106, produits populaires par catégorie 0,143, tendances 0,156 (rappel à 10, recall@10).
  • popular montre un manteau d’hiver au rang 6 en juillet : 857 acheteurs, aucune commande pendant la période de test. Les décomptes depuis le début ne suivent pas les saisons.
  • Les produits populaires par catégorie aident les clients ayant un historique (clients fidèles 0,164); les tendances aident les nouveaux clients (0,169).
  • La popularité est difficile à battre. Les tendances dépassent chaque méthode personnalisée utilisée seule dans le tableau comparatif du cours. Seuls un mélange hybride réglé (0,193) et le modèle de classement en deux étapes (0,234) les dépassent clairement. Les tendances servent de comparaison et de solution de repli.

Ensuite, nous verrons de plus près comment évaluer une liste classée : précision, rappel, MAP et NDCG.

Leçon suivante : Mesures de classement