Les références de base à battre
- Leçon 7
- 35 min
- Module 2 : Les données, la rétroaction implicite et un découpage honnête
Où nous en sommes
Nous avons un découpage temporel honnête. Avant d'essayer des méthodes avancées, il nous faut un score à battre. Dans cette leçon, nous créons trois références de base fondées sur la popularité. Nous examinons leurs scores et leurs erreurs.
Leçon 7 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteLes références de base à battre
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Établissez les scores que toute méthode avancée doit battre, avec trois références de base de popularité sur le découpage temporel honnête. Examinez leurs réussites et leurs erreurs, pour qu’une nouvelle méthode doive prouver son utilité.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter mesure la popularité et affiche ses 10 premiers produits, dont le manteau d’hiver. Il trace les commandes de manteaux par mois et vous demande de créer la méthode de tendances. Ses cellules de préparation installent les paquets et téléchargent les données. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le découpage temporel (entraînement avant le 22 juin 2026, test sur les commandes des deux semaines suivantes), présenté dans Découper selon le temps.
- Le recall@10 et la référence de base de popularité, présentés dans Découvrir le journal du magasin.
Ce qu’il vous faut sur votre ordinateur
- Votre projet
larkfield-recsavecrecs matrixetrecs leakagedes deux dernières leçons, et le dépôt des exercices à côté.
Après cette leçon, votre projet correspond à l’instantané end-of-m02. Le journal du magasin est synthétique. Les manteaux d’hiver sont un problème d’exercice que nous avons créé volontairement. L’équipe du cours a mesuré les résultats sur un portable Apple M4. Testé sur macOS; les commandes Windows ne sont pas testées.
Le premier jour de la nouvelle vendeuse
Section intitulée « Le premier jour de la nouvelle vendeuse »À son premier jour, une nouvelle vendeuse ne connaît aucun client. Elle peut quand même aider. Un client lui demande une idée. Elle montre la table près de la porte : « Voici nos meilleurs vendeurs. » Ce n’est pas personnalisé, mais c’est souvent juste, car beaucoup de gens aiment les mêmes choses.
Après une semaine, elle a deux meilleures idées. Première idée : « Cette semaine, tout le monde achète des tables de jardin. » Les meilleurs vendeurs récents suivent la saison. Deuxième idée : un client demande des coussins. Elle lui montre les coussins les plus vendus, pas les gants de jardin les plus vendus. Elle utilise le type de produit préféré du client.
Ces trois idées n’ont besoin d’aucun modèle avancé. Ce sont les références de base de cette leçon.
Le problème : un score sans point de comparaison
Section intitulée « Le problème : un score sans point de comparaison »Tomás montre son premier modèle personnalisé à Omar : « Le recall@10 est de 0,12 sur le découpage temporel. » Omar pose la bonne question : « C’est bon? »
Personne ne peut le dire. Un nombre seul signifie peu. Des produits choisis au hasard obtiennent 0,004 : presque rien. Si les mêmes meilleurs vendeurs proposés à tous obtiennent 0,106, alors 0,12 représente un petit gain pour beaucoup de travail. Si les meilleurs vendeurs obtenaient 0,02, alors 0,12 serait un grand progrès. Avant toute méthode avancée, nous mesurons donc les méthodes les plus simples qui restent utiles. Une référence de base est une telle méthode. Son score est le seuil qu’une nouvelle méthode doit dépasser. Une méthode qui ne la bat pas ne vaut pas son coût.
Trois références de base de popularité
Section intitulée « Trois références de base de popularité »Les trois comptent les clients, pas les lignes de commande. La popularité d’un produit correspond au nombre de clients différents qui l’ont commandé dans les données d’entraînement. Ainsi, un client qui commande 40 sacs de compost compte une seule fois.
| Référence de base | La liste | Personnalisée? |
|---|---|---|
popular |
les 10 produits commandés par le plus de clients, dans tout le journal d’entraînement | non : tout le monde reçoit la même liste |
trending |
la même chose, mais seulement avec les commandes des 28 jours avant la période | non : tout le monde reçoit la même liste |
popular-category |
les produits les plus commandés des catégories préférées du client, en proportion de ses événements | un peu : une liste par mélange de catégories |
Un petit exemple : la liste popular-category d’un client
Section intitulée « Un petit exemple : la liste popular-category d’un client »Popular-category répartit les 10 cases entre les catégories du client. Voici un client construit avec 20 points d’événements (poids : consultation 1, panier 3, commande 5) :
| Catégorie | Points | Part | Cases sur 10 |
|---|---|---|---|
| Mobilier de jardin | 12 | 60 % | 6 |
| Éclairage | 6 | 30 % | 3 |
| Cuisine | 2 | 10 % | 1 |
La liste contient alors les 6 meilleurs vendeurs du mobilier de jardin, les 3 de l’éclairage et le premier de la cuisine. Un client sans événements reçoit la liste popular ordinaire.
Les scores
Section intitulée « Les scores »Voici les trois références de base et les suggestions aléatoires sur la période de test, avec leurs intervalles à 95 %. Un intervalle provient des scores de nombreux rééchantillons des 2 118 clients (un bootstrap). Deux méthodes dont les intervalles se chevauchent beaucoup ne diffèrent peut-être pas vraiment.
Description textuelle du graphique
Quatre lignes. random : 0,004 (0,002 à 0,007). popular : 0,106 (0,095 à 0,118). popular-category : 0,143 (0,129 à 0,157). trending : 0,156 (0,143 à 0,172). Les intervalles de popular-category et de trending se chevauchent beaucoup. popular est clairement sous les deux, et random est proche de zéro.
Trois observations :
- La popularité dépasse largement le hasard : 0,106 contre 0,004. Beaucoup de gens veulent les mêmes quelques produits. C’est l’effet de la longue traîne présentée dans Découvrir le journal du magasin.
- Les données récentes battent l’historique complet : trending (0,156) bat clairement popular (0,106). La période de test se situe à la fin juin, et les 28 derniers jours reflètent cette saison.
- Popular-category (0,143) et trending (0,156) sont proches. Leurs intervalles se chevauchent. Nous ne pouvons donc pas dire qu’une méthode est meilleure pour tous les clients. Les segments montrent où chacune gagne :
| Segment (clients de test) | popular | popular-category | trending |
|---|---|---|---|
| nouveaux : aucune commande auparavant (952) | 0,108 | 0,118 | 0,169 |
| occasionnels : 1 ou 2 commandes (556) | 0,110 | 0,161 | 0,162 |
| fidèles : 3 commandes ou plus (610) | 0,098 | 0,164 | 0,132 |
Popular-category aide les clients qui ont un historique : leurs catégories préférées apportent une information utile. Pour les nouveaux clients, elle a peu de données à utiliser, et la saison compte davantage.
Les erreurs de la popularité : un manteau d’hiver en juillet
Section intitulée « Les erreurs de la popularité : un manteau d’hiver en juillet »Voici la liste popular sur la période de test. Pour chaque produit, le tableau indique combien de clients l’ont commandé avant le 22 juin 2026 et pendant la période de test.
| # | Produit | Sous-catégorie | Clients ayant commandé (avant) | Clients ayant commandé pendant la période de test |
|---|---|---|---|---|
| 1 | Navy Nitrile-Grip Garden Gloves | Gants et agenouilloirs | 1 334 | 59 |
| 2 | Terracotta Linen Roman-Style Curtains | Rideaux | 1 143 | 48 |
| 3 | Black Rustic Wooden Planter Box | Pots et jardinières | 1 013 | 17 |
| 4 | Green Waterproof Chair Protector | Soins de l’incontinence | 983 | 34 |
| 5 | Dockside Red Striped Cushion | Coussins | 949 | 43 |
| 6 | Copper Corduroy Duffle Coat | Manteaux d’hiver | 857 | 0 |
| 7 | Terracotta Ankle Garden Clogs | Bottes de jardin | 696 | 16 |
| 8 | Oak Timber Swing Seat | Hamacs et balançoires | 643 | 10 |
| 9 | Bramble Terracotta Mosaic Side Table | Tables de jardin | 534 | 106 |
| 10 | Dockside Red Loft Bed | Lits pour enfants | 525 | 16 |
Le numéro 6 est un duffle-coat. 857 clients l’ont commandé. C’est donc l’un des meilleurs vendeurs du magasin sur tout son historique. Pendant la période de test, personne ne l’a commandé. C’est un problème d’exercice que nous avons créé volontairement. Le graphique montre pourquoi :
Description textuelle du graphique
Une ligne avec un point par mois, de février 2025 à juillet 2026. Les manteaux d’hiver se vendent en hiver. On compte 170 lignes de commande en février 2025, puis presque aucune d’avril à août 2025 (1 à 3 par mois). Ensuite, 150 en octobre, 181 en novembre et 159 en décembre 2025, 271 en janvier et 231 en février 2026. Puis les ventes baissent : 36 en mars, 12 en avril et 1 en mai. Juin et juillet 2026, les mois de la période de test, en comptent 0.
Un décompte sur tout l’historique additionne deux hivers de commandes de manteaux. Il ne sait pas que la saison est terminée. Trending compte seulement les 28 derniers jours, donc le manteau disparaît de sa liste. Son premier produit est une table basse de jardin, commandée par 133 clients de test.
Deux autres produits de cette liste demanderont de l’attention plus tard :
- Le siège de balançoire (numéro 8 ici, aussi dans la liste trending) : son indicateur de stock signale une rupture depuis le 15 juin 2026. Les 10 commandes de la période de test du tableau sont des commandes en souffrance dans notre journal synthétique. Une référence de base ne vérifie pas le stock. C’est un autre problème d’exercice créé volontairement; Règles d’affaires et reclassement le traite.
- Le numéro 4 est un produit de soins de l’incontinence : un produit de santé sensible, acheté régulièrement par ceux qui en ont besoin. Cela le rend populaire. Même une page d’accueil qui montre la même liste à tous l’afficherait. Vie privée et suggestions sensibles détermine où ces produits peuvent apparaître.
Erreur courante
Une référence de base évaluée sur un autre découpage
Tomás annonce que son modèle « bat la popularité de 30 % ». Il a évalué son modèle sur le découpage temporel. Mais il a pris le score de popularité dans un billet de blogue sur un autre magasin. La comparaison ne signifie rien. Une référence de base doit utiliser le même découpage, les mêmes clients et la même mesure que la méthode comparée. Dans ce cours, chaque ligne du tableau comparatif est évaluée avec recs evaluate sur la même période de test. Le dispositif d’évaluation rend les autres façons de comparer difficiles.
La popularité est difficile à battre
Section intitulée « La popularité est difficile à battre »Voici un résultat du reste du cours, mesuré sur la même période de test. Trending (0,156) bat toutes les méthodes personnalisées du tableau comparatif du cours. Item-cf obtient 0,088, user-user 0,145 et ALS réglé 0,149. Seules deux méthodes le battent clairement. L’une est un mélange hybride de plusieurs méthodes, dont les poids sont réglés sur la période de validation (0,193). L’autre est le modèle de classement en deux étapes de Pourquoi deux étapes (0,234).
Ce résultat n’est pas propre à Larkfield. Dans beaucoup de vrais magasins, une liste des meilleurs vendeurs récents est une référence de base solide. La plupart des clients ont très peu d’historique. Plus de la moitié des acheteurs de Larkfield ont commandé une seule fois. Une méthode personnalisée a besoin d’un historique pour personnaliser.
L’équipe conserve donc deux règles :
- Toute nouvelle méthode est comparée à trending, pas seulement à
popular. - Trending est la solution de repli : la liste pour un client qu’une méthode ne peut pas servir, comme un nouveau visiteur sans événements.
Quand utiliser les références de base de popularité, et leur coût
Section intitulée « Quand utiliser les références de base de popularité, et leur coût »| Utilisation | Leurs limites | |
|---|---|---|
| Coût | presque rien : un décompte, moins d’une seconde | aucune qui mérite une mesure |
| Force | solides quand les historiques sont courts et que les saisons comptent | la même liste pour tous : la couverture est de 0,3 % des produits en vente |
| Faiblesse | aucune découverte : la longue traîne n’apparaît jamais; l’ancienne saison reste dans une liste fondée sur tout l’historique |
La couverture est la part des produits en vente qui apparaissent dans la liste d’au moins un client. popular et trending montrent 10 produits à tous : une couverture de 0,3 %. popular-category atteint 6,7 %. Un magasin qui montre seulement ses 10 meilleurs vendeurs les vend davantage et n’apprend rien sur les 2 984 autres produits. Au-delà de l’exactitude mesure cela.
Le projet : trois références de base
Section intitulée « Le projet : trois références de base »Les références de base forment un nouveau fichier de l’instantané end-of-m02. Le système trouve les méthodes par leurs fichiers, comme les commandes.
-
Dans votre dossier de projet, avec l’environnement virtuel actif, copiez les références de base, les tests du module et le README depuis l’instantané :
Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m02for f in larkfield_recs/methods/baselines.py tests/test_m02.py README.md; do cp "$S/$f" "$f"; doneFenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m02"foreach ($f in 'larkfield_recs\methods\baselines.py', 'tests\test_m02.py', 'README.md') { Copy-Item "$S\$f" $f } -
Exécutez les tests :
python -m pytest -q. Le résultat attendu est11 passed(11 tests réussis). -
Listez les méthodes :
recs evaluate --list. -
Évaluez les trois références de base :
recs evaluate popular, puisrecs evaluate trending, puisrecs evaluate popular-category. -
Ouvrez
larkfield_recs/methods/baselines.py. Trouvez oùpopular-categoryrépartit les 10 cases entre les catégories.
Afficher le résultat attendu
L’étape 3 affiche :
trending the most ordered products of the last 28 dayspopular-category the most ordered products of each customer's favourite categoriespopular the most ordered products over the whole training lograndom random products on saleL’étape 4 affiche, pour trending :
Method trending (the most ordered products of the last 28 days), test periodCustomers scored: 2,118; trained on events before 2026-06-22recall@10 0.156 (95% interval 0.143 to 0.172), NDCG@10 0.100coverage 0.3% of the products on saletime: fit 0.0 s, suggestions 0.0 sPour popular : recall@10 0.106 (95% interval 0.095 to 0.118), NDCG@10 0.061 et une couverture de 0,3 %. Pour popular-category : recall@10 0.143 (95% interval 0.129 to 0.157), NDCG@10 0.085 et une couverture de 6,7 %. Chaque exécution prend moins d’une seconde. Le NDCG@10 attribue aussi des points selon la position d’un bon produit dans la liste; Mesures de classement l’explique.
Maintenant, recs leakage montre aussi popular-category (+59 %), comme dans Découper selon le temps.
Exercice guidé : popular dans le carnet
Section intitulée « Exercice guidé : popular dans le carnet »- Ouvrez le carnet de cette leçon et exécutez les cellules de préparation.
- Exécutez la section 1. Elle évalue
popularet affiche ses 10 premiers produits. Trouvez le numéro 6. - Exécutez la section 2 : les commandes de manteaux d’hiver par mois.
Afficher le résultat attendu
La section 1 affiche popular, recall@10 on the test period: 0.106 (popular, rappel à 10 sur la période de test : 0,106). Elle affiche aussi la liste du tableau ci-dessus, avec le duffle-coat P10167 au numéro 6. La section 2 trace le graphique de cette leçon : des commandes de manteaux en hiver, aucune en juin et juillet 2026.
À vous : trending, puis un meilleur mélange
Section intitulée « À vous : trending, puis un meilleur mélange »Partie 1. Dans la section 3 du carnet, créez trending : les 10 premiers produits des commandes des 28 jours avant la période de test. Prédisez d’abord : un score supérieur ou inférieur à popular? Exécutez ensuite la vérification.
Partie 2. Popular-category compte la popularité dans tout le journal. Combinez cette méthode avec l’idée de trending : comptez seulement les 28 derniers jours. Dans le projet, exécutez recs evaluate popular-category --set days=28. Prédisez d’abord : meilleure que trending, ou non?
Afficher la réponse
Partie 1 : recall@10 de 0,156, comme recs evaluate trending. La vérification affiche Check passed: trending_recall is 0.156. (vérification réussie : trending_recall vaut 0,156). Le manteau a disparu; une table basse de jardin est en tête.
recent = orders[orders["day"] >= first_test_day - 28]trending = top10(recent)trending_recall = mean_recall(trending, truth)La partie 2 affiche (exécution de l’équipe du cours) :
Method popular-category (the most ordered products of each customer's favourite categories), test period, settings {'days': 28}Customers scored: 2,118; trained on events before 2026-06-22recall@10 0.173 (95% interval 0.159 to 0.188), NDCG@10 0.109coverage 6.7% of the products on saletime: fit 0.0 s, suggestions 0.0 s0,173 : meilleure que trending (0,156), et meilleure pour les trois segments (nouveaux 0,163, occasionnels 0,183, fidèles 0,180). Ensemble, les catégories préférées du client et la saison donnent une référence de base plus solide que chaque idée seule. La longueur de la fenêtre compte beaucoup moins. Trending avec 7, 14 ou 56 jours obtient 0,158, 0,157 et 0,158. Essayez recs evaluate trending --set days=7 (la description de la méthode indique encore 28 jours).
Ce mélange annonce ce que les modules suivants feront plus soigneusement : combiner plusieurs signaux. Gardez trending comme référence de base du tableau comparatif, comme dans le reste du cours. Retenez qu’un mélange simple a déjà atteint 0,173.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Qu'est-ce qu'une référence de base? Pourquoi Larkfield doit-elle en mesurer une avant d'essayer un modèle personnalisé? Utilisez les chiffres de cette leçon.
Afficher la réponse
Une référence de base est la méthode la plus simple qui reste utile. Son score est le seuil qu’une nouvelle méthode doit dépasser. Sans elle, un score comme 0,12 ne veut rien dire. Sur la même période de test, les suggestions aléatoires obtiennent 0,004, les produits populaires 0,106 et les tendances 0,156. Un modèle personnalisé à 0,12 serait moins bon que les tendances, qui ne coûtent presque rien.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez et expliquez : le duffle-coat occupe le rang 6 des produits populaires, mais ne figure pas dans la liste des tendances. Pourquoi? Que vous apprend cet exemple sur les décomptes depuis le début?
Afficher la réponse
857 clients ont commandé le manteau, mais en hiver : aucune commande en juin et juillet 2026. Un décompte depuis le début additionne les saisons passées et ne voit pas que la saison est terminée. Les tendances comptent seulement les 28 jours avant la période de test, donc le manteau disparaît de la liste. Les décomptes depuis le début suivent les saisons et les tendances avec retard; une fenêtre récente les suit.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les produits populaires par catégorie obtiennent 0,164 pour les clients fidèles, contre 0,132 pour les tendances. Pour les nouveaux clients, c'est l'inverse (0,118 contre 0,169). Expliquez la différence.
Afficher la réponse
Les produits populaires par catégorie utilisent les catégories préférées du client. Les clients fidèles ont un long historique. Leurs catégories sont donc significatives et la liste leur convient. Les nouveaux clients n’ont aucune commande et peu d’événements. Leur mélange de catégories fournit donc peu d’information, ou aucune. Pour eux, la saison compte davantage, et les meilleurs vendeurs récents des tendances leur conviennent mieux. Voilà pourquoi nous examinons les segments, et pas seulement une moyenne.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une référence de base est la méthode utile la plus simple. Toute nouvelle méthode doit la dépasser avec le même découpage, les mêmes clients et la même mesure.
- Sur la période de test : aléatoire 0,004, produits populaires 0,106, produits populaires par catégorie 0,143, tendances 0,156 (rappel à 10, recall@10).
popularmontre un manteau d’hiver au rang 6 en juillet : 857 acheteurs, aucune commande pendant la période de test. Les décomptes depuis le début ne suivent pas les saisons.- Les produits populaires par catégorie aident les clients ayant un historique (clients fidèles 0,164); les tendances aident les nouveaux clients (0,169).
- La popularité est difficile à battre. Les tendances dépassent chaque méthode personnalisée utilisée seule dans le tableau comparatif du cours. Seuls un mélange hybride réglé (0,193) et le modèle de classement en deux étapes (0,234) les dépassent clairement. Les tendances servent de comparaison et de solution de repli.
Ensuite, nous verrons de plus près comment évaluer une liste classée : précision, rappel, MAP et NDCG.
Leçon suivante : Mesures de classement