Évaluer par segment
- Leçon 10
- 35 min
- Module 3 : Mesurer les recommandations hors ligne
Où nous en sommes
Dans les deux dernières leçons, nous avons mesuré l'exactitude d'une liste et la part du magasin qu'elle montre. Chacun de ces nombres est une moyenne sur 2 118 clients. Une moyenne peut cacher un groupe pour lequel une méthode échoue. Dans cette leçon, nous évaluons séparément les clients nouveaux, occasionnels et fidèles, ainsi que les nouveaux produits. Nous commençons par une classe dont la moyenne a augmenté.
Leçon 10 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteÉvaluer par segment
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Repérez les clients et les produits qu’une moyenne cache. Évaluez séparément les clients nouveaux, occasionnels et fidèles. Comparez deux méthodes sur les mêmes clients avec un intervalle, puis vérifiez les nouveaux produits séparément.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter répartit les clients de test en trois segments. Il évalue les listes de produits populaires et de tendances dans chacun, puis calcule des intervalles par bootstrap. Vous comparez les deux listes sur les mêmes clients, segment par segment, et vérifiez les nouveaux produits. Ses cellules de préparation téléchargent environ 8 Mo de données d’exercice. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le rappel à 10 (recall@10) et l’intervalle par bootstrap sur les clients, présentés dans Mesures de classement.
- Les nouveaux produits dans les listes, présentés dans Au-delà de l’exactitude.
- Pourquoi un découpage aléatoire donne des clients de test qui achètent davantage, expliqué dans Découper selon le temps.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)
- Votre projet
larkfield-recsavec les quatre fichiers de la dernière leçon.recs evaluate popularaffiche la nouveauté et la diversité. - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet.
Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.
Une classe dont la moyenne a augmenté
Section intitulée « Une classe dont la moyenne a augmenté »Une école essaie une nouvelle méthode pour enseigner les mathématiques dans une classe. La moitié des élèves sont forts. L’autre moitié avait du retard au début de l’année. À la fin de l’année, la moyenne de la classe est passée de 62,5 % à 65 %. La personne qui dirige l’école est contente.
Puis un enseignant examine les élèves, un groupe à la fois. Les élèves les plus forts ont beaucoup progressé : leurs notes sont passées de 80 % à 90 %. Les élèves qui avaient du retard au début de l’année ont reculé : de 45 % à 40 %. La moyenne a augmenté parce que les élèves forts ont gagné plus que les élèves faibles ont perdu. La nouvelle méthode aide les élèves qui ont le moins besoin d’aide. Pour les élèves faibles, la moyenne indique le contraire de la réalité.
Un système de recommandation a le même genre de groupes. Un client fidèle avec 20 commandes donne beaucoup d’information à une méthode pour apprendre. Un nouveau client ne lui donne rien. Une moyenne sur les deux peut cacher une méthode qui échoue pour chaque nouveau client.
Le problème : « à peu près pareil » ne raconte pas tout
Section intitulée « Le problème : « à peu près pareil » ne raconte pas tout »Regardez deux références de base du module 2. Sur les 2 118 clients de test, trending a un recall@10 de 0,156 et popular-category, de 0,143. Le projet peut les comparer sur les mêmes clients, ce que vous apprenez dans cette leçon. Il affiche :
recall@10: trending 0.156, popular-category 0.143difference -0.014 (95% interval -0.030 to +0.002); better for 246 customers, worse for 279, the same for 1,593The difference is not clear: the interval includes 0.Les deux références de base sont donc « à peu près pareilles ». Tomás dit que le choix de Larkfield n’a pas d’importance. Répartissez maintenant ces mêmes clients selon leur nombre de commandes avant la période de test :
Description textuelle du diagramme
Le diagramme commence par les 2 118 clients de test, ceux qui ont commandé pendant la période de test. Des flèches les répartissent selon leurs commandes avant la période. Avec 0 commande, 952 nouveaux clients : trending a un recall@10 de 0,169 et popular-category, de 0,118. Avec 1 ou 2 commandes, 556 clients occasionnels : trending 0,162 et popular-category 0,161. Avec 3 commandes ou plus, 610 clients fidèles : trending 0,132 et popular-category 0,164. Les trois groupes mènent à un encadré à bordure épaisse, tous les clients ensemble : trending 0,156 et popular-category 0,143.
Pour les nouveaux clients, popular-category est clairement moins bonne. Pour les clients fidèles, elle est meilleure. Les deux effets s’annulent presque dans la moyenne. Supposons que Larkfield choisisse une seule méthode pour tout le monde à partir de la moyenne. Alors, 952 nouveaux clients ou 610 clients fidèles auraient une moins bonne page d’accueil.
L’idée : les segments
Section intitulée « L’idée : les segments »Un segment est un groupe de clients ou de produits que nous évaluons séparément. Une méthode peut fonctionner différemment pour ce groupe. Vous choisissez les segments qui comptent pour l’entreprise, avant de regarder les résultats.
Ce cours utilise trois segments de clients, selon le nombre de commandes avant la période. Une commande correspond à une visite avec une commande, même si elle contient plusieurs produits.
| Segment | Commandes avant la période | Clients de test | Ce qu’une méthode peut apprendre sur eux |
|---|---|---|---|
| Nouveaux | 0 (ils peuvent avoir consulté des produits) | 952 | seulement leurs consultations, ou rien |
| Occasionnels | 1 ou 2 | 556 | un ou deux paniers de produits |
| Fidèles | 3 ou plus | 610 | un véritable historique |
Presque la moitié des clients de test sont nouveaux. Un client sans historique pose le problème du démarrage à froid : la méthode n’a rien pour commencer à apprendre. Dans le module 1, vous avez vu que la plupart des acheteurs de Larkfield ne commandent qu’une fois. Les nouveaux clients ne sont donc pas un cas marginal ici. Ils forment le plus grand groupe.
Nous évaluons aussi un segment de produits : les nouveaux produits, ajoutés au magasin dans les 60 jours avant la période. Ils ont peu d’historique. Les méthodes qui apprennent à partir de l’historique les montrent donc rarement. C’est le problème du démarrage à froid pour les produits.
Un tout petit exemple
Section intitulée « Un tout petit exemple »Six clients et deux listes, avec le recall@10 de chaque client (un petit exemple que nous avons créé) :
| Client | Segment | Liste A | Liste B |
|---|---|---|---|
| Ana | nouveau | 0,5 | 0,0 |
| Ben | nouveau | 0,5 | 0,0 |
| Chen | nouveau | 0,0 | 0,0 |
| Dara | fidèle | 0,0 | 1,0 |
| Eli | fidèle | 0,0 | 0,5 |
| Femi | fidèle | 0,5 | 1,0 |
En moyenne, la liste B gagne : 0,417 contre 0,250. Mais pour les nouveaux clients, la liste A obtient 0,333 et la liste B, 0. La liste B ne trouve jamais rien pour un nouveau client, et la moyenne ne le montre pas.
Ce que chaque référence de base fait pour chaque segment
Section intitulée « Ce que chaque référence de base fait pour chaque segment »Le graphique montre le recall@10 des trois références de base non personnalisées dans chaque segment, avec leurs intervalles par bootstrap.
Description textuelle du graphique
Trois panneaux, un par segment, chacun avec trois lignes et un axe horizontal du recall@10 allant de 0 à 0,25. Nouveaux clients (952) : popular 0,108 (0,090 à 0,125), trending 0,169 (0,147 à 0,192), popular-category 0,118 (0,100 à 0,138). Clients occasionnels (556) : popular 0,110, trending 0,162, popular-category 0,161; les trois intervalles se chevauchent. Clients fidèles (610) : popular 0,098, trending 0,132 (0,111 à 0,156), popular-category 0,164 (0,139 à 0,192).
Popular-category donne à chaque client les meilleurs vendeurs de ses catégories préférées. Un client fidèle a des préférences claires, donc cela fonctionne. Un nouveau client a tout au plus quelques consultations, et souvent aucune. Ses « catégories préférées » nous disent donc peu de choses. Trending fonctionne de la même façon pour tout le monde. Les nouveaux clients de la fin juin achètent ce qui se vend à la fin juin.
Remarquez que les intervalles sont plus larges que pour l’ensemble des clients. Trending a un intervalle de 0,143 à 0,172 sur 2 118 clients, et de 0,147 à 0,192 sur les 952 nouveaux. Un segment compte moins de clients, donc sa moyenne dépend davantage du hasard.
Comparer sur les mêmes clients
Section intitulée « Comparer sur les mêmes clients »Deux intervalles distincts qui se chevauchent ne prouvent pas que deux méthodes sont pareilles. Il existe une façon plus précise, car les deux méthodes ont été évaluées sur les mêmes clients.
Pensez à deux paires de chaussures de course. Vous pourriez donner une paire à un groupe de coureurs et l’autre paire à un autre groupe, puis comparer leurs temps. Mais les groupes diffèrent : certains coureurs sont simplement plus rapides. Il vaut mieux laisser chaque coureur essayer les deux paires et regarder la différence pour chacun. La vitesse du coureur s’annule.
Le projet fait cela. Pour chaque client, il soustrait le recall@10 de la méthode A du recall@10 de la méthode B. Puis il applique le bootstrap à ces différences, comme dans Mesures de classement. Il donne un intervalle à 95 % pour la différence moyenne. C’est la différence appariée. Si l’intervalle ne comprend pas 0, la différence est claire. Le cours sur l’évaluation l’explique plus en détail dans Incertitude et sous-groupes, du cours Évaluer et tester les systèmes d’IA.
Description textuelle du graphique
Deux panneaux, chacun avec une ligne verticale à zéro. Premier panneau, trending moins popular : tous les clients +0,051 (+0,041 à +0,061); nouveaux +0,061 (+0,045 à +0,077); occasionnels +0,052 (+0,033 à +0,073); fidèles +0,034 (+0,018 à +0,049). Chaque intervalle est au-dessus de zéro. Deuxième panneau, popular-category moins trending : tous les clients −0,014 (−0,030 à +0,002), ce qui comprend zéro; nouveaux −0,051 (−0,073 à −0,030), entièrement sous zéro; occasionnels −0,001 (−0,037 à +0,035), autour de zéro; fidèles +0,032 (−0,001 à +0,065), ce qui touche tout juste zéro.
Le premier panneau est le cas simple : trending bat popular dans chaque segment, surtout pour les nouveaux clients. Le deuxième panneau raconte l’histoire de cette leçon. Pour les clients fidèles, l’intervalle atteint tout juste 0. Popular-category est probablement meilleure, mais 610 clients ne suffisent pas pour en être sûr.
Le projet compte aussi les clients. Comparée à popular, trending est meilleure pour 199 clients, moins bonne pour 50, et pareille pour 1 869. Pour la plupart des clients, les deux listes manquent toutes les commandes, donc les deux obtiennent 0. Les différences viennent de quelques centaines de clients, ce qui est normal en recommandation.
Nouveaux produits : l’autre démarrage à froid
Section intitulée « Nouveaux produits : l’autre démarrage à froid »Le deuxième segment concerne les produits. Parmi les commandes de la période de test, 647 concernaient de nouveaux produits. Combien chaque liste en a-t-elle trouvées?
| Méthode | Recall@10 sur les commandes de nouveaux produits |
|---|---|
popular |
0,000 |
trending |
0,337 |
popular-category |
0,040 |
random |
0,006 |
popular ne trouve jamais de nouveau produit : ils n’ont pas eu le temps d’accumuler des commandes sur l’ensemble du journal. Trending regarde les 28 derniers jours, quand la nouvelle gamme d’été se vendait. Elle trouve donc 218 des 647 commandes. C’est un argument pour trending, et un avertissement pour toute méthode qui apprend seulement à partir de l’historique : surveillez ce nombre. Découper selon le temps a montré un piège lié à cela. Un découpage aléatoire place plus de clients fidèles dans le test : 45 % contre 29 % dans le découpage temporel. Il avantage donc les méthodes qui ont besoin d’un historique.
Exercice guidé : les segments dans votre projet
Section intitulée « Exercice guidé : les segments dans votre projet »-
Dans votre dossier
larkfield-recs, avec l’environnement virtuel actif, copiez la commandecompareet les tests de ce module :Fenêtre de terminal S=../nextia-learning-labs/C37/snapshots/end-of-m03cp $S/larkfield_recs/commands/compare.py larkfield_recs/commands/cp $S/tests/test_m03.py tests/Fenêtre de terminal $S = "..\nextia-learning-labs\C37\snapshots\end-of-m03"Copy-Item "$S\larkfield_recs\commands\compare.py" larkfield_recs\commands\Copy-Item "$S\tests\test_m03.py" tests\ -
Évaluez trending par segment :
Fenêtre de terminal recs evaluate trending --by segmentMethod trending (the most ordered products of the last 28 days), test periodCustomers scored: 2,118; trained on events before 2026-06-22recall@10 0.156 (95% interval 0.143 to 0.172), NDCG@10 0.100, MAP@10 0.073, precision@10 0.024, hit rate 20.4%coverage 0.3% of the products on sale, novelty 5.10 bits, diversity 0.98, new products in the lists 30.0%time: fit 0.0 s, suggestions 0.0 ssegment customers recall@10 NDCG@10 95% interval (recall)new 952 0.169 0.110 0.147 to 0.192occasional 556 0.162 0.101 0.134 to 0.190loyal 610 0.132 0.084 0.111 to 0.156new products: 647 orders of new products in the period; recall@10 on them 0.337 -
Comparez popular et trending sur les mêmes clients.
recs comparelit les exécutions querecs evaluatea enregistrées dansoutputs/runs/. Évaluez donc les deux méthodes d’abord. Vous avez évaluépopulardans la dernière leçon.Fenêtre de terminal recs compare popular trending --by segmentrecall@10: popular 0.106, trending 0.156difference +0.051 (95% interval +0.041 to +0.061); better for 199 customers, worse for 50, the same for 1,869The difference is clear: the interval does not include 0.coverage 0.3% -> 0.3%; novelty 4.39 -> 5.10new 952 customers +0.061 (+0.045 to +0.077)occasional 556 customers +0.052 (+0.033 to +0.073)loyal 610 customers +0.034 (+0.018 to +0.049) -
Exécutez les tests avec
python -m pytest -q. Vous voyez14 passed(14 tests réussis). -
Votre projet correspond maintenant à l’instantané
end-of-m03. Seul sonREADME.mddiffère.
Dans le carnet, la section 5 vous demande de calculer vous-même les mêmes différences appariées. La vérification affiche Check passed: diff_by_segment is right. (vérification réussie : diff_by_segment est correct).
À vous : les deux références de base « égales »
Section intitulée « À vous : les deux références de base « égales » »Changez une chose : la paire de méthodes. Comparez trending (la référence de base) à popular-category. Avant d’exécuter la commande, prédisez le signe de la différence pour les clients nouveaux et fidèles. Puis exécutez :
recs compare trending popular-category --by segmentAfficher la réponse
recall@10: trending 0.156, popular-category 0.143difference -0.014 (95% interval -0.030 to +0.002); better for 246 customers, worse for 279, the same for 1,593The difference is not clear: the interval includes 0.coverage 0.3% -> 6.7%; novelty 5.10 -> 5.36 new 952 customers -0.051 (-0.073 to -0.030) occasional 556 customers -0.001 (-0.037 to +0.035) loyal 610 customers +0.032 (-0.001 to +0.065)Pour les nouveaux clients, popular-category est clairement moins bonne : son intervalle est sous 0. Pour les clients fidèles, elle est probablement meilleure, mais l’intervalle touche tout juste 0. Avec --metric ndcg, la différence pour les fidèles est de +0,024 (+0,001 à +0,049) : claire sur le NDCG@10, mais petite. Une conception raisonnable pour Larkfield utilise une méthode pour les nouveaux clients et une autre pour ceux qui ont un historique. Le module 6 construit ce genre de sélection.
Quand utiliser les segments, et ce qu’ils coûtent
Section intitulée « Quand utiliser les segments, et ce qu’ils coûtent »Présentez chaque méthode par segment, à côté de la moyenne. Le calcul ne coûte rien, et il montre qui gagne et qui perd. Choisissez les segments avant de regarder les résultats. Gardez les mêmes pour chaque méthode, comme le fait le tableau comparatif.
Deux limites :
- Petits segments, grands intervalles. La différence pour les fidèles ci-dessus a un intervalle d’une largeur de 0,066 pour 610 clients. Ne découpez pas en segments de 50 clients en vous fiant à chaque nombre.
- Nombreux segments, fausses alertes. Avec 20 segments, l’un d’eux peut sembler « clairement » différent par hasard. Gardez quelques segments sur lesquels l’entreprise agit : chez Larkfield, les clients nouveaux, occasionnels et fidèles, et les nouveaux produits.
Erreurs fréquentes
Section intitulée « Erreurs fréquentes »Erreur courante
Message « No saved run » (aucune exécution enregistrée) de recs compare
Symptôme : recs compare popular random --quick s’arrête avec :
No saved run random-test-quick. Run first: recs evaluate random --quickCause : recs compare n’évalue pas les méthodes. Elle lit les exécutions que recs evaluate a enregistrées, avec la même période et la même option --quick.
Solution : exécutez la commande affichée dans le message, puis comparez de nouveau.
Erreur courante
Deux exécutions avec des longueurs de liste différentes
Symptôme : après recs evaluate trending --k 5, recs compare trending popular-category s’arrête avec :
The two runs have lists of different lengths (k=5 and k=10): run both with the same --k.Cause : une exécution avec --k 5 remplace l’exécution enregistrée pour la même méthode et la même période. Comparer une liste de 5 à une liste de 10 ne serait pas équitable.
Solution : exécutez de nouveau recs evaluate trending (k = 10), puis comparez.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La méthode B dépasse A de +0,010 au recall@10 pour tous les clients. Par segment : nouveaux −0,040 (intervalle de −0,060 à −0,020), fidèles +0,060 (+0,030 à +0,090). Larkfield devrait-elle remplacer A par B? Expliquez à l'aide des segments.
Afficher la réponse
Pas pour tout le monde. B est clairement moins bonne pour les nouveaux clients (tout l’intervalle est sous 0) et clairement meilleure pour les clients fidèles. La moyenne est positive seulement parce que le gain chez les clients fidèles dépasse la perte chez les nouveaux clients. Chez Larkfield, les nouveaux clients forment le plus grand segment de test (952 sur 2 118). Une meilleure conception conserve A pour les clients sans historique et utilise B pour les clients fidèles. On vérifie ensuite à nouveau le résultat par segment.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi une comparaison appariée de deux méthodes est-elle plus exacte que la comparaison de leurs deux intervalles séparés?
Afficher la réponse
Les deux méthodes évaluent les mêmes clients. Les différences entre clients s’annulent donc, comme lorsque chaque coureur essaie les deux paires de chaussures. Certains clients sont faciles pour toutes les méthodes, et certains sont impossibles pour toutes les méthodes. Le bootstrap des différences par client mesure seulement l’écart entre les deux méthodes. Les intervalles séparés contiennent aussi la variation entre clients. Ils peuvent donc se chevaucher même quand une méthode est clairement meilleure. Les intervalles de trending et de popular-category se chevauchent pour l’ensemble des clients. Mais leur différence appariée pour les nouveaux clients est de −0,051 (−0,073 à −0,030).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans votre projet, quelle commande affiche le recall@10 sur les commandes de nouveaux produits? Qu'affiche-t-elle pour popular? Qu'est-ce que cela indique à la personne qui conçoit une méthode?
Afficher la réponse
recs evaluate popular --by segment affiche new products: 647 orders of new products in the period; recall@10 on them 0.000 (647 commandes de nouveaux produits pendant la période; leur rappel à 10 est nul). La liste des produits populaires depuis le début ne montre jamais un produit ajouté dans les 60 jours précédant la période. Un tel produit n’a pas eu le temps d’accumuler des commandes. Une méthode qui apprend seulement à partir de l’historique rencontre ce problème de démarrage à froid pour les produits. Surveillez ce nombre pour chaque méthode, à côté du recall@10 et de la couverture.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une moyenne peut cacher un groupe pour lequel une méthode échoue.
trendingetpopular-categorydiffèrent de −0,014 en moyenne, ce qui ne permet pas de conclure. Mais popular-category est clairement moins bonne pour les nouveaux clients (−0,051) et probablement meilleure pour les clients fidèles (+0,032). - Segments selon les commandes avant la période : nouveaux (0), 952; occasionnels (1–2), 556; fidèles (3+), 610 clients de test. Les nouveaux clients représentent le problème de démarrage à froid, et ils forment le plus grand groupe.
- L’intervalle d’un segment est plus large, parce qu’il contient moins de clients.
- Différence appariée : comparez deux méthodes sur les mêmes clients et appliquez le bootstrap aux différences par client. Trending − popular : +0,051 (+0,041 à +0,061), meilleure pour 199 clients, moins bonne pour 50, identique pour 1 869.
- Les nouveaux produits forment aussi un segment : popular retrouve 0 de leurs 647 commandes, trending obtient 0,337.
recs evaluate <method> --by segmentetrecs compare A B --by segmentfont tout cela dans votre projet. Celui-ci correspond maintenant à la fin du module 3.
Vous pouvez maintenant juger toute méthode selon l’exactitude, la variété et le segment. Mais aucune méthode vue jusqu’ici n’utilise les achats d’un client pour suggérer le prochain produit. Ensuite, vous comptez quels produits sont achetés ensemble.
Leçon suivante : Les clients ont aussi acheté