Aller au contenu
English

Évaluer par segment

  • Leçon 10
  • 35 min
  • Module 3 : Mesurer les recommandations hors ligne

Où nous en sommes

Dans les deux dernières leçons, nous avons mesuré l'exactitude d'une liste et la part du magasin qu'elle montre. Chacun de ces nombres est une moyenne sur 2 118 clients. Une moyenne peut cacher un groupe pour lequel une méthode échoue. Dans cette leçon, nous évaluons séparément les clients nouveaux, occasionnels et fidèles, ainsi que les nouveaux produits. Nous commençons par une classe dont la moyenne a augmenté.

Leçon 10 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteÉvaluer par segment
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Repérez les clients et les produits qu’une moyenne cache. Évaluez séparément les clients nouveaux, occasionnels et fidèles. Comparez deux méthodes sur les mêmes clients avec un intervalle, puis vérifiez les nouveaux produits séparément.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter répartit les clients de test en trois segments. Il évalue les listes de produits populaires et de tendances dans chacun, puis calcule des intervalles par bootstrap. Vous comparez les deux listes sur les mêmes clients, segment par segment, et vérifiez les nouveaux produits. Ses cellules de préparation téléchargent environ 8 Mo de données d’exercice. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet)

  • Votre projet larkfield-recs avec les quatre fichiers de la dernière leçon. recs evaluate popular affiche la nouveauté et la diversité.
  • Les fichiers d’exercice dans ../nextia-learning-labs, à côté du dossier du projet.

Testé sur macOS avec Python 3.12. Les commandes Windows (PowerShell) n’ont pas été exécutées.

Une école essaie une nouvelle méthode pour enseigner les mathématiques dans une classe. La moitié des élèves sont forts. L’autre moitié avait du retard au début de l’année. À la fin de l’année, la moyenne de la classe est passée de 62,5 % à 65 %. La personne qui dirige l’école est contente.

Puis un enseignant examine les élèves, un groupe à la fois. Les élèves les plus forts ont beaucoup progressé : leurs notes sont passées de 80 % à 90 %. Les élèves qui avaient du retard au début de l’année ont reculé : de 45 % à 40 %. La moyenne a augmenté parce que les élèves forts ont gagné plus que les élèves faibles ont perdu. La nouvelle méthode aide les élèves qui ont le moins besoin d’aide. Pour les élèves faibles, la moyenne indique le contraire de la réalité.

Un système de recommandation a le même genre de groupes. Un client fidèle avec 20 commandes donne beaucoup d’information à une méthode pour apprendre. Un nouveau client ne lui donne rien. Une moyenne sur les deux peut cacher une méthode qui échoue pour chaque nouveau client.

Le problème : « à peu près pareil » ne raconte pas tout

Section intitulée « Le problème : « à peu près pareil » ne raconte pas tout »

Regardez deux références de base du module 2. Sur les 2 118 clients de test, trending a un recall@10 de 0,156 et popular-category, de 0,143. Le projet peut les comparer sur les mêmes clients, ce que vous apprenez dans cette leçon. Il affiche :

recall@10: trending 0.156, popular-category 0.143
difference -0.014 (95% interval -0.030 to +0.002); better for 246 customers, worse for 279, the same for 1,593
The difference is not clear: the interval includes 0.

Les deux références de base sont donc « à peu près pareilles ». Tomás dit que le choix de Larkfield n’a pas d’importance. Répartissez maintenant ces mêmes clients selon leur nombre de commandes avant la période de test :

2 118 clients de test répartis en trois groupes selon leurs commandes avant la période. 0 commande avant : nouveaux, 952 clients, trending 0,169, popular-category 0,118. 1 ou 2 commandes avant : occasionnels, 556 clients, trending 0,162, popular-category 0,161. 3 commandes ou plus avant : fidèles, 610 clients, trending 0,132, popular-category 0,164. Les trois groupes mènent à un encadré à bordure épaisse : tous les clients ensemble, trending 0,156, popular-category 0,143.
Recall@10 de deux références de base dans chaque segment de la période de test. La moyenne cache des résultats opposés pour les clients nouveaux et fidèles.
Description textuelle du diagramme

Le diagramme commence par les 2 118 clients de test, ceux qui ont commandé pendant la période de test. Des flèches les répartissent selon leurs commandes avant la période. Avec 0 commande, 952 nouveaux clients : trending a un recall@10 de 0,169 et popular-category, de 0,118. Avec 1 ou 2 commandes, 556 clients occasionnels : trending 0,162 et popular-category 0,161. Avec 3 commandes ou plus, 610 clients fidèles : trending 0,132 et popular-category 0,164. Les trois groupes mènent à un encadré à bordure épaisse, tous les clients ensemble : trending 0,156 et popular-category 0,143.

Pour les nouveaux clients, popular-category est clairement moins bonne. Pour les clients fidèles, elle est meilleure. Les deux effets s’annulent presque dans la moyenne. Supposons que Larkfield choisisse une seule méthode pour tout le monde à partir de la moyenne. Alors, 952 nouveaux clients ou 610 clients fidèles auraient une moins bonne page d’accueil.

Un segment est un groupe de clients ou de produits que nous évaluons séparément. Une méthode peut fonctionner différemment pour ce groupe. Vous choisissez les segments qui comptent pour l’entreprise, avant de regarder les résultats.

Ce cours utilise trois segments de clients, selon le nombre de commandes avant la période. Une commande correspond à une visite avec une commande, même si elle contient plusieurs produits.

Segment Commandes avant la période Clients de test Ce qu’une méthode peut apprendre sur eux
Nouveaux 0 (ils peuvent avoir consulté des produits) 952 seulement leurs consultations, ou rien
Occasionnels 1 ou 2 556 un ou deux paniers de produits
Fidèles 3 ou plus 610 un véritable historique

Presque la moitié des clients de test sont nouveaux. Un client sans historique pose le problème du démarrage à froid : la méthode n’a rien pour commencer à apprendre. Dans le module 1, vous avez vu que la plupart des acheteurs de Larkfield ne commandent qu’une fois. Les nouveaux clients ne sont donc pas un cas marginal ici. Ils forment le plus grand groupe.

Nous évaluons aussi un segment de produits : les nouveaux produits, ajoutés au magasin dans les 60 jours avant la période. Ils ont peu d’historique. Les méthodes qui apprennent à partir de l’historique les montrent donc rarement. C’est le problème du démarrage à froid pour les produits.

Six clients et deux listes, avec le recall@10 de chaque client (un petit exemple que nous avons créé) :

Client Segment Liste A Liste B
Ana nouveau 0,5 0,0
Ben nouveau 0,5 0,0
Chen nouveau 0,0 0,0
Dara fidèle 0,0 1,0
Eli fidèle 0,0 0,5
Femi fidèle 0,5 1,0

En moyenne, la liste B gagne : 0,417 contre 0,250. Mais pour les nouveaux clients, la liste A obtient 0,333 et la liste B, 0. La liste B ne trouve jamais rien pour un nouveau client, et la moyenne ne le montre pas.

Ce que chaque référence de base fait pour chaque segment

Section intitulée « Ce que chaque référence de base fait pour chaque segment »

Le graphique montre le recall@10 des trois références de base non personnalisées dans chaque segment, avec leurs intervalles par bootstrap.

Recall@10 par segment sur la période de test, avec des intervalles à 95 %. Trending est la meilleure pour les nouveaux clients; popular-category est la meilleure pour les clients fidèles.
Description textuelle du graphique

Trois panneaux, un par segment, chacun avec trois lignes et un axe horizontal du recall@10 allant de 0 à 0,25. Nouveaux clients (952) : popular 0,108 (0,090 à 0,125), trending 0,169 (0,147 à 0,192), popular-category 0,118 (0,100 à 0,138). Clients occasionnels (556) : popular 0,110, trending 0,162, popular-category 0,161; les trois intervalles se chevauchent. Clients fidèles (610) : popular 0,098, trending 0,132 (0,111 à 0,156), popular-category 0,164 (0,139 à 0,192).

Popular-category donne à chaque client les meilleurs vendeurs de ses catégories préférées. Un client fidèle a des préférences claires, donc cela fonctionne. Un nouveau client a tout au plus quelques consultations, et souvent aucune. Ses « catégories préférées » nous disent donc peu de choses. Trending fonctionne de la même façon pour tout le monde. Les nouveaux clients de la fin juin achètent ce qui se vend à la fin juin.

Remarquez que les intervalles sont plus larges que pour l’ensemble des clients. Trending a un intervalle de 0,143 à 0,172 sur 2 118 clients, et de 0,147 à 0,192 sur les 952 nouveaux. Un segment compte moins de clients, donc sa moyenne dépend davantage du hasard.

Deux intervalles distincts qui se chevauchent ne prouvent pas que deux méthodes sont pareilles. Il existe une façon plus précise, car les deux méthodes ont été évaluées sur les mêmes clients.

Pensez à deux paires de chaussures de course. Vous pourriez donner une paire à un groupe de coureurs et l’autre paire à un autre groupe, puis comparer leurs temps. Mais les groupes diffèrent : certains coureurs sont simplement plus rapides. Il vaut mieux laisser chaque coureur essayer les deux paires et regarder la différence pour chacun. La vitesse du coureur s’annule.

Le projet fait cela. Pour chaque client, il soustrait le recall@10 de la méthode A du recall@10 de la méthode B. Puis il applique le bootstrap à ces différences, comme dans Mesures de classement. Il donne un intervalle à 95 % pour la différence moyenne. C’est la différence appariée. Si l’intervalle ne comprend pas 0, la différence est claire. Le cours sur l’évaluation l’explique plus en détail dans Incertitude et sous-groupes, du cours Évaluer et tester les systèmes d’IA.

Différences appariées de recall@10 sur la période de test, avec des intervalles à 95 % sur les clients. Trending bat popular dans chaque segment. Comparée à trending, popular-category donne un résultat incertain en moyenne, clairement moins bon pour les nouveaux clients et presque clairement meilleur pour les fidèles.
Description textuelle du graphique

Deux panneaux, chacun avec une ligne verticale à zéro. Premier panneau, trending moins popular : tous les clients +0,051 (+0,041 à +0,061); nouveaux +0,061 (+0,045 à +0,077); occasionnels +0,052 (+0,033 à +0,073); fidèles +0,034 (+0,018 à +0,049). Chaque intervalle est au-dessus de zéro. Deuxième panneau, popular-category moins trending : tous les clients −0,014 (−0,030 à +0,002), ce qui comprend zéro; nouveaux −0,051 (−0,073 à −0,030), entièrement sous zéro; occasionnels −0,001 (−0,037 à +0,035), autour de zéro; fidèles +0,032 (−0,001 à +0,065), ce qui touche tout juste zéro.

Le premier panneau est le cas simple : trending bat popular dans chaque segment, surtout pour les nouveaux clients. Le deuxième panneau raconte l’histoire de cette leçon. Pour les clients fidèles, l’intervalle atteint tout juste 0. Popular-category est probablement meilleure, mais 610 clients ne suffisent pas pour en être sûr.

Le projet compte aussi les clients. Comparée à popular, trending est meilleure pour 199 clients, moins bonne pour 50, et pareille pour 1 869. Pour la plupart des clients, les deux listes manquent toutes les commandes, donc les deux obtiennent 0. Les différences viennent de quelques centaines de clients, ce qui est normal en recommandation.

Le deuxième segment concerne les produits. Parmi les commandes de la période de test, 647 concernaient de nouveaux produits. Combien chaque liste en a-t-elle trouvées?

Méthode Recall@10 sur les commandes de nouveaux produits
popular 0,000
trending 0,337
popular-category 0,040
random 0,006

popular ne trouve jamais de nouveau produit : ils n’ont pas eu le temps d’accumuler des commandes sur l’ensemble du journal. Trending regarde les 28 derniers jours, quand la nouvelle gamme d’été se vendait. Elle trouve donc 218 des 647 commandes. C’est un argument pour trending, et un avertissement pour toute méthode qui apprend seulement à partir de l’historique : surveillez ce nombre. Découper selon le temps a montré un piège lié à cela. Un découpage aléatoire place plus de clients fidèles dans le test : 45 % contre 29 % dans le découpage temporel. Il avantage donc les méthodes qui ont besoin d’un historique.

  1. Dans votre dossier larkfield-recs, avec l’environnement virtuel actif, copiez la commande compare et les tests de ce module :

    Fenêtre de terminal
    S=../nextia-learning-labs/C37/snapshots/end-of-m03
    cp $S/larkfield_recs/commands/compare.py larkfield_recs/commands/
    cp $S/tests/test_m03.py tests/
  2. Évaluez trending par segment :

    Fenêtre de terminal
    recs evaluate trending --by segment
    Method trending (the most ordered products of the last 28 days), test period
    Customers scored: 2,118; trained on events before 2026-06-22
    recall@10 0.156 (95% interval 0.143 to 0.172), NDCG@10 0.100, MAP@10 0.073, precision@10 0.024, hit rate 20.4%
    coverage 0.3% of the products on sale, novelty 5.10 bits, diversity 0.98, new products in the lists 30.0%
    time: fit 0.0 s, suggestions 0.0 s
    segment customers recall@10 NDCG@10 95% interval (recall)
    new 952 0.169 0.110 0.147 to 0.192
    occasional 556 0.162 0.101 0.134 to 0.190
    loyal 610 0.132 0.084 0.111 to 0.156
    new products: 647 orders of new products in the period; recall@10 on them 0.337
  3. Comparez popular et trending sur les mêmes clients. recs compare lit les exécutions que recs evaluate a enregistrées dans outputs/runs/. Évaluez donc les deux méthodes d’abord. Vous avez évalué popular dans la dernière leçon.

    Fenêtre de terminal
    recs compare popular trending --by segment
    recall@10: popular 0.106, trending 0.156
    difference +0.051 (95% interval +0.041 to +0.061); better for 199 customers, worse for 50, the same for 1,869
    The difference is clear: the interval does not include 0.
    coverage 0.3% -> 0.3%; novelty 4.39 -> 5.10
    new 952 customers +0.061 (+0.045 to +0.077)
    occasional 556 customers +0.052 (+0.033 to +0.073)
    loyal 610 customers +0.034 (+0.018 to +0.049)
  4. Exécutez les tests avec python -m pytest -q. Vous voyez 14 passed (14 tests réussis).

  5. Votre projet correspond maintenant à l’instantané end-of-m03. Seul son README.md diffère.

Dans le carnet, la section 5 vous demande de calculer vous-même les mêmes différences appariées. La vérification affiche Check passed: diff_by_segment is right. (vérification réussie : diff_by_segment est correct).

À vous : les deux références de base « égales »

Section intitulée « À vous : les deux références de base « égales » »

Changez une chose : la paire de méthodes. Comparez trending (la référence de base) à popular-category. Avant d’exécuter la commande, prédisez le signe de la différence pour les clients nouveaux et fidèles. Puis exécutez :

Fenêtre de terminal
recs compare trending popular-category --by segment
Afficher la réponse
recall@10: trending 0.156, popular-category 0.143
difference -0.014 (95% interval -0.030 to +0.002); better for 246 customers, worse for 279, the same for 1,593
The difference is not clear: the interval includes 0.
coverage 0.3% -> 6.7%; novelty 5.10 -> 5.36
new 952 customers -0.051 (-0.073 to -0.030)
occasional 556 customers -0.001 (-0.037 to +0.035)
loyal 610 customers +0.032 (-0.001 to +0.065)

Pour les nouveaux clients, popular-category est clairement moins bonne : son intervalle est sous 0. Pour les clients fidèles, elle est probablement meilleure, mais l’intervalle touche tout juste 0. Avec --metric ndcg, la différence pour les fidèles est de +0,024 (+0,001 à +0,049) : claire sur le NDCG@10, mais petite. Une conception raisonnable pour Larkfield utilise une méthode pour les nouveaux clients et une autre pour ceux qui ont un historique. Le module 6 construit ce genre de sélection.

Présentez chaque méthode par segment, à côté de la moyenne. Le calcul ne coûte rien, et il montre qui gagne et qui perd. Choisissez les segments avant de regarder les résultats. Gardez les mêmes pour chaque méthode, comme le fait le tableau comparatif.

Deux limites :

  • Petits segments, grands intervalles. La différence pour les fidèles ci-dessus a un intervalle d’une largeur de 0,066 pour 610 clients. Ne découpez pas en segments de 50 clients en vous fiant à chaque nombre.
  • Nombreux segments, fausses alertes. Avec 20 segments, l’un d’eux peut sembler « clairement » différent par hasard. Gardez quelques segments sur lesquels l’entreprise agit : chez Larkfield, les clients nouveaux, occasionnels et fidèles, et les nouveaux produits.

Erreur courante

Message « No saved run » (aucune exécution enregistrée) de recs compare

Symptôme : recs compare popular random --quick s’arrête avec :

No saved run random-test-quick. Run first: recs evaluate random --quick

Cause : recs compare n’évalue pas les méthodes. Elle lit les exécutions que recs evaluate a enregistrées, avec la même période et la même option --quick.

Solution : exécutez la commande affichée dans le message, puis comparez de nouveau.

Erreur courante

Deux exécutions avec des longueurs de liste différentes

Symptôme : après recs evaluate trending --k 5, recs compare trending popular-category s’arrête avec :

The two runs have lists of different lengths (k=5 and k=10): run both with the same --k.

Cause : une exécution avec --k 5 remplace l’exécution enregistrée pour la même méthode et la même période. Comparer une liste de 5 à une liste de 10 ne serait pas équitable.

Solution : exécutez de nouveau recs evaluate trending (k = 10), puis comparez.

Vérifiez votre compréhension

La méthode B dépasse A de +0,010 au recall@10 pour tous les clients. Par segment : nouveaux −0,040 (intervalle de −0,060 à −0,020), fidèles +0,060 (+0,030 à +0,090). Larkfield devrait-elle remplacer A par B? Expliquez à l'aide des segments.

Afficher la réponse

Pas pour tout le monde. B est clairement moins bonne pour les nouveaux clients (tout l’intervalle est sous 0) et clairement meilleure pour les clients fidèles. La moyenne est positive seulement parce que le gain chez les clients fidèles dépasse la perte chez les nouveaux clients. Chez Larkfield, les nouveaux clients forment le plus grand segment de test (952 sur 2 118). Une meilleure conception conserve A pour les clients sans historique et utilise B pour les clients fidèles. On vérifie ensuite à nouveau le résultat par segment.

Vérifiez votre compréhension

Pourquoi une comparaison appariée de deux méthodes est-elle plus exacte que la comparaison de leurs deux intervalles séparés?

Afficher la réponse

Les deux méthodes évaluent les mêmes clients. Les différences entre clients s’annulent donc, comme lorsque chaque coureur essaie les deux paires de chaussures. Certains clients sont faciles pour toutes les méthodes, et certains sont impossibles pour toutes les méthodes. Le bootstrap des différences par client mesure seulement l’écart entre les deux méthodes. Les intervalles séparés contiennent aussi la variation entre clients. Ils peuvent donc se chevaucher même quand une méthode est clairement meilleure. Les intervalles de trending et de popular-category se chevauchent pour l’ensemble des clients. Mais leur différence appariée pour les nouveaux clients est de −0,051 (−0,073 à −0,030).

Vérifiez votre compréhension

Dans votre projet, quelle commande affiche le recall@10 sur les commandes de nouveaux produits? Qu'affiche-t-elle pour popular? Qu'est-ce que cela indique à la personne qui conçoit une méthode?

Afficher la réponse

recs evaluate popular --by segment affiche new products: 647 orders of new products in the period; recall@10 on them 0.000 (647 commandes de nouveaux produits pendant la période; leur rappel à 10 est nul). La liste des produits populaires depuis le début ne montre jamais un produit ajouté dans les 60 jours précédant la période. Un tel produit n’a pas eu le temps d’accumuler des commandes. Une méthode qui apprend seulement à partir de l’historique rencontre ce problème de démarrage à froid pour les produits. Surveillez ce nombre pour chaque méthode, à côté du recall@10 et de la couverture.

Récapitulatif

  • Une moyenne peut cacher un groupe pour lequel une méthode échoue. trending et popular-category diffèrent de −0,014 en moyenne, ce qui ne permet pas de conclure. Mais popular-category est clairement moins bonne pour les nouveaux clients (−0,051) et probablement meilleure pour les clients fidèles (+0,032).
  • Segments selon les commandes avant la période : nouveaux (0), 952; occasionnels (1–2), 556; fidèles (3+), 610 clients de test. Les nouveaux clients représentent le problème de démarrage à froid, et ils forment le plus grand groupe.
  • L’intervalle d’un segment est plus large, parce qu’il contient moins de clients.
  • Différence appariée : comparez deux méthodes sur les mêmes clients et appliquez le bootstrap aux différences par client. Trending − popular : +0,051 (+0,041 à +0,061), meilleure pour 199 clients, moins bonne pour 50, identique pour 1 869.
  • Les nouveaux produits forment aussi un segment : popular retrouve 0 de leurs 647 commandes, trending obtient 0,337.
  • recs evaluate <method> --by segment et recs compare A B --by segment font tout cela dans votre projet. Celui-ci correspond maintenant à la fin du module 3.

Vous pouvez maintenant juger toute méthode selon l’exactitude, la variété et le segment. Mais aucune méthode vue jusqu’ici n’utilise les achats d’un client pour suggérer le prochain produit. Ensuite, vous comptez quels produits sont achetés ensemble.

Leçon suivante : Les clients ont aussi acheté