Au-delà de l'exactitude
- Leçon 9
- 35 min
- Module 3 : Mesurer les recommandations hors ligne
Où nous en sommes
Dans la dernière leçon, nous avons mesuré combien de bons produits une liste contient, et notre certitude sur ce nombre. Mais une liste peut être correcte et inutile au magasin : les mêmes dix meilleurs vendeurs pour chaque client. Dans cette leçon, nous mesurons la couverture, la nouveauté et la diversité, à partir d'une vitrine de librairie qui ne change jamais.
Leçon 9 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteAu-delà de l'exactitude
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Mesurez ce que l’exactitude ne voit pas : la part du magasin présentée, la nouveauté des suggestions et la diversité de chaque liste. Voyez ensuite combien de rappel vous perdez pour présenter davantage de produits du magasin.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter calcule la couverture, la nouveauté et la diversité sur un petit exemple. Il les calcule ensuite sur les listes de produits populaires et de tendances de Larkfield. Vous écrivez la nouveauté d’une liste, comparez des listes aléatoires et essayez une pénalité de popularité sur quatre produits. Ses cellules de préparation téléchargent environ 8 Mo de données d’exercice. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le rappel à 10 (recall@10), la période de test avec 2 118 clients et l’intervalle à 95 %, dans Mesures de classement.
- Les quatre références de base (
popular,trending,popular-category,random), dans Les références de base à battre.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Votre projet
larkfield-recsà la fin du module 2, avec son environnement virtuel activé.recs checkafficheSetup check passed.(vérification de la configuration réussie). - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet. Vous copiez quatre fichiers de son instantanéend-of-m03.
Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Une vitrine de librairie qui ne change jamais
Section intitulée « Une vitrine de librairie qui ne change jamais »Imaginez une librairie avec une grande vitrine. Chaque semaine, elle présente les mêmes dix meilleurs vendeurs. Beaucoup de gens les achètent, donc la vitrine fait souvent les « bons » choix. Mais un client régulier passe devant sans rien découvrir. Les 10 000 autres livres du magasin n’ont jamais de place dans la vitrine. Ils se vendent donc moins et deviennent encore moins populaires la semaine suivante.
Une bonne libraire fait autre chose. Elle sait que vous avez aimé un roman policier et vous présente un nouvel auteur au style semblable. Certaines de ses idées sont mauvaises. Mais vous découvrez des livres que vous n’auriez jamais trouvés seul, et tout le magasin a sa chance.
La vitrine et la libraire peuvent avoir la même exactitude. Elles restent très différentes pour le magasin.
Le problème : correct, mais ennuyeux
Section intitulée « Le problème : correct, mais ennuyeux »La référence de base popular de Larkfield est cette vitrine de librairie. Elle présente les 10 produits les plus commandés de tout le journal aux 2 118 clients de test. Son recall@10 est de 0,106, ce qui est plutôt bon pour une liste sans information personnelle. Mais pensez à ce que les clients voient :
- Les 2 118 clients reçoivent les mêmes 10 produits. Le magasin en vend 2 994.
- Ces 10 produits sont ceux que tout le monde a déjà vus.
- L’un d’eux est un manteau d’hiver, fin juin : un problème d’exercice volontaire, dans Les références de base à battre.
Le recall@10 ne voit rien de tout cela. Il vérifie seulement si les produits commandés figuraient dans la liste. Comparez deux références de base que vous connaissez :
Description textuelle du diagramme
L’image comporte deux colonnes. À gauche, la liste A, correcte, mais ennuyeuse : la référence de base populaire donne les mêmes 10 meilleurs vendeurs à chaque client. Elle contient au moins un bon produit pour 15,8 % des clients, et son recall@10 est de 0,106. Elle présente 10 produits sur 2 994, soit une couverture de 0,3 %. À droite, la liste B, personnalisée et variée : la référence par catégorie donne à chacun les meilleurs vendeurs de ses catégories préférées. Elle contient au moins un bon produit pour 19,8 % des clients, et son recall@10 est de 0,143. Elle présente 200 produits sur 2 994, soit une couverture de 6,7 %.
Il nous faut des mesures pour ce que la vitrine laisse de côté. Il y en a trois courantes, et une quatrième qui nomme le problème.
Couverture : quelle part du magasin présentons-nous?
Section intitulée « Couverture : quelle part du magasin présentons-nous? »La couverture est la part des produits en vente qui figurent dans la liste d’au moins un client. Elle mesure tout le système, pas une seule liste.
Un petit exemple du carnet : un magasin a 8 produits, de A à H. Trois clients reçoivent des listes de trois produits. Ana reçoit A, B, C; Ben reçoit A, C, D; Chen reçoit A, B, C. Ensemble, les listes présentent A, B, C et D : 4 produits sur 8, donc une couverture de 0,5. Les produits E à H ne sont jamais présentés, donc personne ne peut les acheter à partir d’une suggestion.
Pour Larkfield, donnez les listes aux clients de test un par un et comptez les produits présentés jusqu’ici. Le graphique suit la couverture à mesure que les clients reçoivent leurs listes :
- random
- popular-category
- popular et trending
Description textuelle du graphique
Un graphique en courbes. L’axe horizontal représente le nombre de clients de test ayant reçu leur liste, de 1 à 2 118. L’axe vertical représente la part des 2 994 produits en vente présentés au moins une fois, de 0 à 100 %. Popular et trending forment une seule ligne horizontale à 0,3 % : chaque client reçoit les mêmes 10 produits. Popular-category atteint 5,1 % après 50 clients et s’arrête à 6,7 %, soit 200 produits, après environ 750 clients. Random augmente rapidement : 15,3 % après 50 clients, 48,6 % après 200, 96,6 % après 1 000, et presque 100 % après 2 118.
La couverture coûte peu à calculer et s’explique facilement à Hana : « nos suggestions ne présentent jamais 93 % des produits ». Elle ne dit pas si les produits présentés sont bons. Les listes aléatoires atteignent presque 100 %, avec un recall@10 de 0,004.
Nouveauté : les suggestions font-elles découvrir quelque chose?
Section intitulée « Nouveauté : les suggestions font-elles découvrir quelque chose? »Suggérer un produit que tout le monde a vu n’apprend rien au client. La nouveauté mesure cela. Pour chaque produit, prenez la part des clients qui ont interagi avec lui avant la période (consultation, panier ou commande). Un produit avec lequel 90 % des clients ont interagi n’est pas une découverte; à 2 %, il en est une.
Nous convertissons cette part en bits : nouveauté = −log2(part). Chaque fois que la part diminue de moitié, la nouveauté augmente d’un bit. Voici le petit exemple du carnet, avec 100 clients :
| Produit | Clients ayant interagi avec lui | Part | Nouveauté |
|---|---|---|---|
| A | 90 | 0,90 | 0,15 bit |
| B | 60 | 0,60 | 0,74 bit |
| C | 10 | 0,10 | 3,32 bits |
| D | 2 | 0,02 | 5,64 bits |
La nouveauté d’une méthode est la moyenne sur toutes ses suggestions. Sur la période de test, popular obtient 4,39 bits et trending, 5,10 bits. Trending présente des produits populaires maintenant, que moins de clients ont vus. Les listes aléatoires obtiennent 8,66 bits, car la plupart des produits sont rarement vus. Une forte nouveauté ne suffit pas : les listes aléatoires ne contiennent presque jamais ce que les gens achètent.
Diversité : une liste est-elle variée?
Section intitulée « Diversité : une liste est-elle variée? »Imaginez une liste de dix suggestions avec dix fauteuils. Chaque suggestion peut être bonne, mais le client n’a besoin que d’un fauteuil. La diversité examine une seule liste. Prenez chaque paire de produits et comptez la part des paires dont les deux produits sont de types différents. Chez Larkfield, un type est une sous-catégorie, comme les fauteuils ou les plantes d’extérieur.
Dans le petit exemple, A et B sont des fauteuils, C est un coussin et D est une lampe. La liste A, B, C d’Ana a 6 paires ordonnées; 2 (A avec B et B avec A) sont du même type. Sa diversité est donc de 1 − 2/6 = 0,667. La liste A, C, D de Ben contient trois types différents, donc sa diversité est de 1,0, la valeur maximale. Une liste d’un seul type a une diversité de 0.
Voici une surprise. popular a une diversité de 1,00 : ses 10 meilleurs vendeurs appartiennent à 10 sous-catégories différentes. trending obtient 0,98 : une paire de produits appartient à la même sous-catégorie. Chaque liste est donc parfaitement variée, mais tout le système ne présente que 10 produits. La diversité d’une liste et la couverture de toutes les listes sont deux choses différentes. Vous avez besoin des deux.
Biais de popularité : qui obtient les cases?
Section intitulée « Biais de popularité : qui obtient les cases? »Le biais de popularité est la tendance d’un système de recommandation à réserver la plupart des cases aux produits déjà populaires. C’est la vitrine de librairie résumée en un nombre. Le dispositif d’évaluation le mesure comme la part de toutes les suggestions réservée au 1 % des produits les plus populaires. Ce sont les 29 produits en vente avec lesquels le plus de clients ont interagi avant la période.
| Méthode | recall@10 | couverture | nouveauté | diversité | part du 1 % le plus populaire | nouveaux produits dans les listes |
|---|---|---|---|---|---|---|
popular |
0,106 | 0,3 % | 4,39 | 1,00 | 100,0 % | 0,0 % |
trending |
0,156 | 0,3 % | 5,10 | 0,98 | 70,0 % | 30,0 % |
popular-category |
0,143 | 6,7 % | 5,36 | 0,92 | 53,2 % | 1,6 % |
random |
0,004 | 100,0 % | 8,66 | 0,99 | 1,2 % | 8,5 % |
Les dix cases de popular vont au 1 % le plus populaire. Trending leur donne 70 % de ses cases, et réserve 30 % aux nouveaux produits : ceux ajoutés dans les 60 jours précédant la période. C’est la nouvelle gamme d’été, qui se vend maintenant. La dernière colonne sera encore importante dans la prochaine leçon.
Exercice guidé : toutes les mesures dans le dispositif d’évaluation
Section intitulée « Exercice guidé : toutes les mesures dans le dispositif d’évaluation »Votre projet à la fin du module 2 affiche le rappel, le NDCG et la couverture. L’instantané de fin du module 3 contient un dispositif d’évaluation qui affiche toutes les mesures de cette leçon. Vous en copiez quatre fichiers.
-
Dans votre dossier
larkfield-recs, avec l’environnement virtuel activé, copiez les nouvelles mesures (beyond.py), les segments de la prochaine leçon (segments.py), le nouveau dispositif d’évaluation et la nouvelle commandeevaluate(évaluer) :Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m03cp $S/larkfield_recs/beyond.py $S/larkfield_recs/segments.py $S/larkfield_recs/harness.py larkfield_recs/cp $S/larkfield_recs/commands/evaluate.py larkfield_recs/commands/Fenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m03"Copy-Item "$S\larkfield_recs\beyond.py", "$S\larkfield_recs\segments.py", "$S\larkfield_recs\harness.py" larkfield_recs\Copy-Item "$S\larkfield_recs\commands\evaluate.py" larkfield_recs\commands\ -
Ouvrez
larkfield_recs/beyond.py. Sa fonctionmeasurescalcule la nouveauté, la diversité, la part des nouveaux produits et celle du 1 % le plus populaire. Ce sont les mêmes calculs faits à la main dans cette leçon. -
Évaluez de nouveau la référence de base populaire :
Fenêtre de terminal recs evaluate popularMethod popular (the most ordered products over the whole training log), test periodCustomers scored: 2,118; trained on events before 2026-06-22recall@10 0.106 (95% interval 0.095 to 0.118), NDCG@10 0.061, MAP@10 0.041, precision@10 0.016, hit rate 15.8%coverage 0.3% of the products on sale, novelty 4.39 bits, diversity 1.00, new products in the lists 0.0%time: fit 0.0 s, suggestions 0.0 s -
Évaluez
popular-category:Fenêtre de terminal recs evaluate popular-categoryMethod popular-category (the most ordered products of each customer's favourite categories), test periodCustomers scored: 2,118; trained on events before 2026-06-22recall@10 0.143 (95% interval 0.129 to 0.157), NDCG@10 0.085, MAP@10 0.059, precision@10 0.022, hit rate 19.8%coverage 6.7% of the products on sale, novelty 5.36 bits, diversity 0.92, new products in the lists 1.6%time: fit 0.0 s, suggestions 0.0 s -
Exécutez les tests avec
python -m pytest -q. Vous voyez11 passed(11 tests réussis).
Le recall@10 et son intervalle n’ont pas changé : le nouveau dispositif évalue les mêmes listes et affiche simplement plus de mesures. Si recs evaluate échoue avec une erreur ImportError (erreur d’importation), lisez la première erreur courante ci-dessous.
À vous : prévoyez les résultats des listes aléatoires
Section intitulée « À vous : prévoyez les résultats des listes aléatoires »Avant d’exécuter recs evaluate random, prévoyez quatre nombres : le recall@10, la couverture, la nouveauté et la part des nouveaux produits. Utilisez ce que vous savez : il y a 2 994 produits en vente, dont 250 nouveaux. Exécutez ensuite la commande.
Afficher la réponse
recall@10 0.004 (95% interval 0.002 to 0.007), NDCG@10 0.002, MAP@10 0.001, precision@10 0.001, hit rate 0.6%coverage 100.0% of the products on sale, novelty 8.66 bits, diversity 0.99, new products in the lists 8.5%La couverture atteint presque 100 % : 21 180 cases aléatoires présentent presque tous les produits. La part des nouveaux produits, 8,5 %, est proche de leur part dans le magasin : 250 / 2 994 = 8,4 %. C’est ce qu’on attend du hasard. La nouveauté est la plus élevée de toutes les méthodes. Et le recall@10 est presque nul. La variété seule ne vaut rien : un bon système de recommandation a besoin d’exactitude et de variété.
Le compromis : une pénalité de popularité
Section intitulée « Le compromis : une pénalité de popularité »Peut-on avoir les deux? Une idée simple : faire descendre un peu les produits populaires. Le système de recommandation classe chaque produit selon score − pénalité × popularité, avec les deux nombres ramenés entre 0 et 1. Avec une pénalité de 0, rien ne change. Avec une forte pénalité, les produits les moins populaires gagnent.
Un petit exemple du carnet. Une méthode attribue un score à quatre produits pour un client :
| Produit | Score | Popularité | Score − 0,5 × popularité |
|---|---|---|---|
| Lanterne | 0,90 | 1,00 | 0,40 |
| Gants | 0,85 | 0,20 | 0,75 |
| Table d’appoint | 0,60 | 0,90 | 0,15 |
| Bain d’oiseaux | 0,55 | 0,10 | 0,50 |
Sans pénalité, l’ordre est : lanterne, gants, table d’appoint, bain d’oiseaux. Avec une pénalité de 0,5, il devient : gants, bain d’oiseaux, lanterne, table d’appoint. La lanterne, un meilleur vendeur, passe du rang 1 au rang 3.
Les références de base n’ont aucun score personnalisé à conserver. L’équipe du cours a donc essayé la pénalité sur une méthode personnalisée : ALS, avec des paramètres réglés. ALS apprend un goût caché pour chaque client à partir de ses interactions, et vous le construisez au module 5. Ici, retenez seulement ceci : il donne un score à chaque produit pour chaque client. Les clients sans historique reçoivent la liste de tendances. L’équipe a mesuré neuf pénalités sur la période de test.
Explorer
Une pénalité de popularité sur ALS avec des paramètres réglés
Prédisez d’abord : Une petite pénalité peut-elle augmenter la couverture sans réduire le rappel? Et que deviennent le rappel et la couverture avec la pénalité maximale de 1?
- Pénalité
- 0,0
- Recall@10
- 0,149
- NDCG@10
- 0,097
- Couverture
- 16,5 %
- Nouveauté (bits)
- 5,70
- Part du top 1 %
- 38,8 %
- Nouveaux produits
- 10,0 %
Sans pénalité : l’ALS réglé tel quel. Le recall@10 est de 0,149. 16,5 % des produits en vente apparaissent dans au moins une liste, et les 1 % de produits les plus populaires prennent 38,8 % des places.
- Pénalité choisie
- Niveau sans pénalité (tirets)
Description textuelle de l’explorateur
L’explorateur présente les résultats mesurés d’ALS avec des paramètres réglés et une pénalité de popularité, sur les 2 118 clients de test. Un curseur choisit une des neuf pénalités : 0, 0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,8 et 1 (0,7 et 0,9 n’ont pas été mesurées). Trois panneaux montrent le recall@10, la couverture et la nouveauté pour toutes les pénalités. La pénalité choisie est marquée, et une ligne pointillée indique la valeur sans pénalité. Les valeurs affichées comprennent le recall@10, le NDCG@10, la couverture, la nouveauté, la part du 1 % le plus populaire et celle des nouveaux produits.
Sans pénalité : recall@10 0,149, couverture 16,5 %, nouveauté 5,70 bits, part du 1 % le plus populaire 38,8 %. Pénalité de 0,1 : rappel 0,150, couverture 17,4 %. Pénalité de 0,2 : rappel 0,151, couverture 18,4 %. Pénalité de 0,3 : rappel 0,151, couverture 20,2 %, nouveauté 5,83. Pénalité de 0,4 : rappel 0,148, couverture 22,6 %. Pénalité de 0,5 : rappel 0,143, couverture 24,7 %. Pénalité de 0,6 : rappel 0,137, couverture 25,0 %, la couverture maximale. Pénalité de 0,8 : rappel 0,113, couverture 20,9 %. Pénalité de 1 : rappel 0,068, couverture 14,9 %, nouveauté 7,72 bits, part du 1 % le plus populaire 21,6 %.
Trois résultats ressortent :
- Une petite pénalité ne coûte rien ici. À 0,3, le recall@10 est de 0,151 contre 0,149, et la couverture passe de 16,5 % à 20,2 %. La légère hausse du rappel reste dans le bruit de l’intervalle; le gain de couverture est réel.
- Une pénalité moyenne coûte un peu. À 0,6, la couverture est maximale, à 25,0 %, et le rappel tombe à 0,137 : une perte de 8 %.
- Une forte pénalité rend la liste mauvaise. À 1, le rappel tombe à 0,068, soit moins de la moitié. La couverture baisse à 14,9 % : beaucoup de clients reçoivent maintenant les mêmes produits rarement achetés. La nouveauté est maximale, à 7,72 bits, mais inutile.
Priya choisit une petite pénalité et la vérifie de nouveau sur la période de validation. Omar pose la vraie question : les clients achètent-ils davantage avec une liste variée? Les mesures hors ligne ne peuvent pas répondre. Un test en ligne simulé examinera cette question plus tard dans le cours.
Quand utiliser ces mesures
Section intitulée « Quand utiliser ces mesures »Utilisez la couverture, la nouveauté, la diversité et la part du 1 % le plus populaire avec le recall@10, jamais à sa place. Elles n’ont pas de « bonne » valeur. Ce sont des garde-fous. Supposons qu’une nouvelle méthode gagne 0,005 de rappel, mais fait passer la couverture de 30 % à 1 %. Il faut en discuter avec Hana avant sa mise en production.
Elles ne coûtent presque rien : le dispositif d’évaluation les calcule à partir des mêmes listes en moins d’une seconde. Leurs limites :
- Elles ne savent pas si une liste variée fait vendre. Les listes aléatoires gagnent sur chacune d’elles.
- La diversité dépend de ce que vous appelez un « type ». Avec des catégories plutôt que des sous-catégories, les nombres changent.
- La nouveauté dépend de la période : un produit nouveau aujourd’hui sera ancien le mois prochain.
Le cours Apprentissage automatique : du problème à un modèle fiable juge une prédiction à la fois. Ici, l’unité est une liste, et le magasin voit toutes les listes ensemble. C’est pourquoi certaines mesures examinent tout le système.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
ImportError : cannot import name 'segments' (impossible d'importer le nom « segments »)
Symptôme : après la copie, chaque commande recs evaluate s’arrête avec :
ImportError: cannot import name 'segments' from 'larkfield_recs' (…/larkfield_recs/__init__.py)Cause : le nouveau harness.py utilise beyond.py et segments.py. L’équipe du cours a obtenu cette erreur après avoir copié seulement harness.py et beyond.py.
Solution : copiez les quatre fichiers de l’étape 1, puis exécutez de nouveau recs evaluate popular. Si un problème persiste, comparez votre dossier à l’instantané : diff -r larkfield_recs ../nextia-learning-labs/C37/snapshots/end-of-m03/larkfield_recs sur macOS et Linux.
Erreur courante
« La diversité est de 1,00, donc nos suggestions sont variées »
Symptôme : Tomás lit diversity 1.00 (diversité de 1,00) pour popular. Il dit que la page d’accueil est aussi variée que possible.
Cause : la diversité examine une seule liste. Les 2 118 clients reçoivent la même liste variée. Le système montre donc 10 produits sur 2 994.
Solution : lisez la couverture et la part du 1 % le plus populaire avec la diversité. Pour popular : couverture de 0,3 %, part du 1 % le plus populaire de 100 %.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une méthode donne à chaque client les 10 produits les plus populaires de 10 sous-catégories différentes. Prédisez sa diversité, sa couverture et sa part du 1 % le plus populaire pendant la période de test. Dites ce que ces mesures indiquent à Hana.
Afficher la réponse
La diversité est de 1,00, car chaque liste contient 10 sous-catégories différentes. La couverture est de 10 / 2 994 = 0,3 %, car chaque client reçoit les mêmes 10 produits. La part du 1 % le plus populaire est de 100 % si les 10 figurent parmi les 29 produits les plus populaires, comme pour popular. Pour Hana : chaque liste semble variée, mais les suggestions ne montrent jamais 99,7 % du magasin. Les produits nouveaux ou moins connus n’obtiennent jamais de place.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
ALS réglé a un recall@10 de 0,149 et une couverture de 16,5 %. Avec une pénalité de popularité de 1, son rappel est de 0,068, sa couverture de 14,9 % et sa nouveauté de 7,72 bits. Expliquez pourquoi une forte pénalité peut réduire la couverture.
Afficher la réponse
Une forte pénalité fait compter la popularité presque autant que le score propre au client. Ainsi, pour beaucoup de clients, les produits les moins populaires gagnent. Ce sont souvent les mêmes quelques produits pour tout le monde. Les listes deviennent moins personnelles et se ressemblent davantage. Elles montrent donc moins de produits différents. La couverture passe de sa meilleure valeur (25,0 % à 0,6) à 14,9 %. La nouveauté est maximale parce que ces produits sont rarement vus, mais le rappel baisse de plus de moitié.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans votre projet, exécutez recs evaluate trending. Quelle ligne montre la part des nouveaux produits dans les listes, et quelle est sa valeur? Pourquoi n'est-elle pas de 0 %, comme pour popular?
Afficher la réponse
La deuxième ligne du résultat : new products in the lists 30.0% (nouveaux produits dans les listes : 30,0 %). Trending compte les commandes des 28 derniers jours, quand la nouvelle gamme d’été se vendait bien. Ainsi, 3 de ses 10 produits sont nouveaux : ils ont été ajoutés dans les 60 jours précédant la période. Popular compte les commandes de tout le journal. Les anciens produits ont eu beaucoup plus de temps pour accumuler des commandes. Aucun nouveau produit ne se classe donc parmi ses 10 premiers.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une liste peut être correcte mais ennuyeuse.
populara un recall@10 de 0,106. Chaque client voit les mêmes 10 produits sur 2 994. - Couverture : la part des produits en vente montrés à au moins un client (popular 0,3 %, popular-category 6,7 %, random presque 100 %). Nouveauté : −log2 de la part des clients qui ont interagi avec un produit, en bits (popular 4,39, trending 5,10). Diversité : la part des paires d’une liste dont les produits appartiennent à des sous-catégories différentes (popular 1,00).
- Biais de popularité : popular donne 100 % de ses places au 1 % des produits les plus populaires, trending 70 %.
- La variété seule ne vaut rien : les listes aléatoires ont la meilleure couverture et la meilleure nouveauté, mais un recall@10 de 0,004.
- Une pénalité de popularité sur ALS réglé : 0,3 fait passer la couverture de 16,5 % à 20,2 %, avec un rappel de 0,151 contre 0,149. Une pénalité de 1 réduit le rappel de moitié et diminue même la couverture.
Vous pouvez maintenant voir si une méthode montre tout le magasin. Mais chaque nombre présenté jusqu’ici est une moyenne sur 2 118 clients. Un nouveau client et un client fidèle ont des besoins différents. Ensuite, vous mesurez séparément des groupes de clients et de produits.
Leçon suivante : Évaluer par segment