Aller au contenu
English

Mesures de classement

  • Leçon 8
  • 40 min
  • Module 3 : Mesurer les recommandations hors ligne

Où nous en sommes

Au module 2, nous avons créé un découpage temporel honnête et trois références de base fondées sur la popularité. Le projet a affiché un rappel à 10 (*recall@10*) pour chacune. Mais que compte ce nombre, et quel degré de confiance peut-on lui accorder? Dans cette leçon, nous évaluons à la main cinq suggestions, comme les idées de cadeaux d'un ami. Ensuite, nous évaluons les listes de tous les clients de test.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 8 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteMesures de classement
Aperçu du cours

5. La factorisation matricielle pour la rétroaction implicite

  1. Goûts cachés
  2. ALS et BPR avec implicit
  3. Régler sans vous tromper vous-même

Ce que vous saurez faire

Transformez une liste de suggestions, puis celles de 2 118 clients de test, en quelques nombres honnêtes. Choisissez le nombre qui correspond à l’emplacement où la liste apparaît. Indiquez le degré de confiance que vous lui accordez.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter évalue les cinq suggestions à la main et vous demande de programmer la précision moyenne. Ensuite, il évalue la liste des tendances pour chaque client de test. Ses cellules de préparation installent les paquets et téléchargent environ 8 Mo de données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 20 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet; le carnet n’en a pas besoin)

  • Votre projet larkfield-recs à la fin du module 2, avec son environnement virtuel activé. recs check affiche Setup check passed. (vérification de la configuration réussie).
  • Les fichiers d’exercice dans ../nextia-learning-labs, à côté du dossier du projet.

Testé sur macOS avec Python 3.12, NumPy 2.5.4 et pandas 3.1.1. Les commandes Windows n’ont pas été exécutées.

L’anniversaire de votre sœur est la semaine prochaine. Vous demandez des idées de cadeaux à un ami. Il en note cinq, la meilleure en premier. Une semaine plus tard, vous avez acheté trois cadeaux. Deux figuraient dans sa liste, aux rangs 2 et 3. Le troisième cadeau n’y figurait pas du tout.

Était-il un bon conseiller? Vous pouvez répondre de plusieurs façons, et chaque réponse compte quelque chose de différent :

  • Deux de ses cinq idées étaient utiles. C’est deux sur cinq.
  • Il a trouvé deux des trois cadeaux que vous avez achetés. C’est deux sur trois.
  • Au moins une idée était utile. Oui ou non.
  • Ses meilleures idées n’étaient pas en tête. Sa première idée était mauvaise, donc vous avez dû lire la suite.

Aucune de ces réponses n’est fausse. Elles répondent à des questions différentes. Un système de recommandation a le même problème, avec 2 994 produits plutôt que des cadeaux.

Dans le cours d’apprentissage automatique, un classificateur répond oui ou non pour chaque cas. L’exactitude compte les bonnes réponses. Essayez cela sur une liste de suggestions.

Larkfield vend 2 994 produits. Une page d’accueil en montre 10. Pour chaque produit, la liste dit « oui, montrez-le » ou « non ». Supposons qu’un client commande ensuite 2 produits, et qu’aucun ne figure dans la liste. La liste a fait 12 erreurs : 10 produits montrés mais non commandés, et 2 produits commandés mais non montrés. Les 2 982 autres réponses « non » sont bonnes. L’exactitude est donc de 2 982 / 2 994 = 99,6 %, pour une liste qui n’a aidé personne.

L’exactitude échoue parce que presque chaque produit correspond à un « non » correct. Un nombre utile doit considérer seulement les quelques produits en tête de liste, car le client ne voit qu’eux. Il doit aussi tenir compte de l’ordre. Tout le monde voit un bon produit au rang 1; peu de gens le voient au rang 10.

L’idée : compter les bons produits aux k premiers rangs

Section intitulée « L’idée : compter les bons produits aux k premiers rangs »

Un système de recommandation donne à chaque client une liste classée : les produits en ordre, le meilleur en premier. Nous regardons seulement les k premiers rangs, car un emplacement montre seulement k produits. La page d’accueil en montre 10, donc ce cours utilise k = 10. Nous écrivons « @10 » après une mesure : le recall@10 est le rappel calculé sur les 10 premiers rangs.

Une suggestion est bonne quand le client a commandé ce produit pendant la période de test. C’est tout ce que nous savons. Nous ne pouvons pas demander à une cliente si elle aimait un produit qu’elle n’a pas acheté. Une suggestion est bonne ou mauvaise, sans valeur intermédiaire. C’est ce qu’on appelle la pertinence binaire.

Voici une vraie liste de la période de test, la liste trending du client C106777. C’est la même liste pour chaque client, car les tendances ne sont pas personnalisées. Regardons ses cinq premiers rangs :

Rang Produit Commandé pendant la période de test?
1 Lumi Green Nordic Coffee Table non
2 Navy Nitrile-Grip Garden Gloves oui
3 Bramble Terracotta Mosaic Side Table oui
4 Oak Timber Swing Seat non
5 Black Rustic Wooden Planter Box non

C106777 a commandé trois produits : les gants, la table d’appoint et le Hartley Blue Wall Lantern, qui ne figure pas dans la liste. Comme l’ami, la liste a deux bonnes idées aux rangs 2 et 3, et elle a manqué une commande.

Le precision@k est la part des k suggestions qui étaient bonnes : 2 / 5 = 0,4. Il répond à la première question de l’ami : combien de ses idées étaient utiles?

Le recall@k est la part des commandes du client que la liste a trouvées : 2 / 3 = 0,667. Il répond à la deuxième question : combien des cadeaux achetés a-t-il trouvés? C’est la mesure principale de ce cours, sous la forme du recall@10.

Le hit@k vaut 1 si au moins une suggestion est bonne, et 0 si aucune ne l’est. Ici, il vaut 1. Sur plusieurs clients, la moyenne du hit@k est le taux de succès (hit rate). C’est la part des clients qui ont trouvé au moins un produit qu’ils ont acheté.

Le precision@5 ne tient pas compte du rang des bons produits. La précision moyenne en tient compte. À chaque bon rang, calculez la précision de la liste jusqu’à ce rang, puis prenez la moyenne :

  • Le rang 2 est bon. Les deux premières suggestions contiennent un bon produit : précision de 1 / 2.
  • Le rang 3 est bon. Les trois premières contiennent deux bons produits : précision de 2 / 3.

Additionnez-les et divisez par le nombre de produits qui pourraient être bons : les commandes du client, au maximum k. Donc AP@5 = (1/2 + 2/3) / 3 = 0,389. Si les deux bons produits étaient aux rangs 1 et 2, AP@5 vaudrait (1/1 + 2/2) / 3 = 0,667. La moyenne de l’AP sur tous les clients est le MAP, la mean average precision (moyenne des précisions moyennes).

Le NDCG donne un poids à chaque rang. Un bon produit au rang 1 vaut 1. Les rangs inférieurs valent moins, car moins de clients regardent aussi loin. Le poids d’un rang est 1 / log2(rang + 1). Le graphique montre les poids des 10 rangs de la page d’accueil.

Le poids d'un bon produit à chaque rang d'une liste de 10, dans le NDCG : 1 / log2(rang + 1). Le rang 2 compte pour 0,63; le rang 10, pour 0,29.
Description textuelle du graphique

Un graphique à colonnes avec dix colonnes, une pour chaque rang de la liste. Les étiquettes omettent le zéro initial : ,63 signifie 0,63. Le poids est de 1,00 au rang 1, 0,63 au rang 2, 0,50 au rang 3, 0,43 au rang 4, 0,39 au rang 5, 0,36 au rang 6, 0,33 au rang 7, 0,32 au rang 8, 0,30 au rang 9 et 0,29 au rang 10. Le poids baisse vite sur les trois premiers rangs, puis lentement.

Additionnez les poids des bons rangs. Cette somme est le DCG, le discounted cumulative gain (gain cumulé réduit). Chaque bon produit apporte un « gain », « réduit » selon son rang. La liste de C106777 contient de bons produits aux rangs 2 et 3 :

DCG = 0,631 + 0,500 = 1,131

La meilleure liste possible pour ce client place les trois produits commandés aux rangs 1, 2 et 3. Son DCG est le DCG idéal : 1 + 0,631 + 0,500 = 2,131. Le NDCG divise l’un par l’autre, donc la meilleure liste possible obtient toujours 1 :

NDCG@5 = 1,131 / 2,131 = 0,531

Le « N » signifie normalisé : divisé par la meilleure valeur possible. Le cours de recherche utilise le NDCG avec des notes de pertinence, dans Mesures de classement. Là, un résultat de recherche peut être une correspondance exacte ou seulement partielle. Ici, un produit a été commandé ou non, donc chaque bon produit a le même gain.

La liste des tendances du client C106777, cinq encadrés de haut en bas : 1, table basse, non commandée; 2, gants de jardinage, commandés, avec une bordure épaisse; 3, table d'appoint en mosaïque, commandée, avec une bordure épaisse; 4, siège de balançoire, non commandé; 5, jardinière, non commandée. Un encadré indique que le client a commandé les gants, la table d'appoint et une lanterne murale, absente de la liste. Des flèches partent de la liste et des commandes vers un encadré contenant cinq résultats : precision@5 = 2 / 5 = 0,4; recall@5 = 2 / 3 = 0,667; hit@5 = 1; AP@5 = (1/2 + 2/3) / 3 = 0,389; NDCG@5 = 1,131 / 2,131 = 0,531.
Les mêmes cinq suggestions, évaluées de cinq façons. Chaque mesure répond à une question différente sur la liste.
Description textuelle du diagramme

L’image montre les cinq rangs de la liste de haut en bas. Les deux bons produits, aux rangs 2 et 3, ont une bordure épaisse. Un deuxième encadré énumère les trois produits commandés par le client et indique que la lanterne murale est absente de la liste. Les deux mènent aux résultats : le precision@5 vaut 2 / 5 = 0,4; le recall@5 vaut 2 / 3 = 0,667; le hit@5 vaut 1, car au moins un produit est bon; l’AP@5 vaut (1/2 + 2/3) / 3 = 0,389; le NDCG@5 vaut 1,131 / 2,131 = 0,531.

Larkfield montre des suggestions à trois endroits. Chaque endroit demande une question légèrement différente :

Emplacement Ce que le client voit La question Mesure
Page produit, « les clients ont aussi acheté » une courte rangée de petites images Un bon produit est-il en tête? NDCG@k, taux de succès
Page d’accueil 10 produits en rangée Quelle part des futurs achats du client avons-nous montrée? recall@10, NDCG@10
Courriel hebdomadaire quelques produits dans un courriel, lu une fois Le courriel contenait-il au moins une chose qui méritait un clic? taux de succès

Le precision@k dit la même chose que le recall@k quand chaque client commande le même nombre de produits. Mais il est difficile à interpréter ici. La plupart des clients de test commandent seulement 1 ou 2 produits. Même une liste parfaite de 10 a donc un precision@10 de seulement 0,1 ou 0,2. Le recall@k n’a pas ce problème : une liste parfaite obtient 1.

Ce cours compare chaque méthode avec le recall@10 dans le tableau comparatif et montre le NDCG@10 et le MAP@10 à côté. Le recall@10 est facile à expliquer à Omar : « La page d’accueil a montré cette part des produits achetés pendant les semaines de test. »

Un client, c’est une histoire. Le score d’une méthode est la moyenne sur les 2 118 clients de test, qui ont commandé pendant la période de test. Chaque client compte une fois, qu’il ait commandé 1 produit ou 8.

Dans le carnet, la section 4 fait cela pour trending :

trending on 2,118 customers: recall@10 0.156, NDCG@10 0.100

En moyenne, la liste des tendances contient donc 15,6 % des produits qu’un client de test a commandés. Le projet calcule exactement la même chose dans larkfield_recs/metrics.py, que vous avez depuis le module 1. Ouvrez-le : recall_at_k, average_precision_at_k et ndcg_at_k sont les calculs de cette leçon, une fonction chacun. per_customer les applique à chaque client.

Quel degré de confiance? Un intervalle sur les clients

Section intitulée « Quel degré de confiance? Un intervalle sur les clients »

Goûtez une grande marmite de soupe. Une cuillerée vous apprend beaucoup, mais une deuxième a un goût un peu différent. Dix cuillerées vous en apprennent plus qu’une seule. Un score sur les clients fonctionne de la même façon. Un autre groupe de 2 118 clients donnerait une moyenne légèrement différente.

Nous ne pouvons pas obtenir un autre groupe de vrais clients. Le bootstrap crée de nouveaux groupes à partir de ceux que nous avons. Il tire au hasard 2 118 clients parmi les 2 118, avec remise. Certains clients sont tirés deux fois, d’autres pas du tout. Il calcule le rappel moyen de ce nouveau groupe et répète cela 1 000 fois. Les 95 % centraux des 1 000 moyennes forment l’intervalle à 95 %. Le projet utilise une graine fixe (37), donc vous obtenez le même intervalle chaque fois.

Un intervalle étroit signifie que le score dépend peu des clients que nous avons eus. Le graphique montre les quatre références de base et la liste populaire évaluée sur seulement 1 000 clients (--quick).

Recall@10 des références de base sur la période de test, avec des intervalles à 95 % issus du bootstrap sur les clients. La même liste populaire sur 1 000 clients a un intervalle plus large.
Description textuelle du graphique

Un graphique avec une ligne par résultat et un axe horizontal pour le recall@10 allant de 0 à 0,2. Popular sur les 2 118 clients : 0,106, intervalle de 0,095 à 0,118. Popular sur un échantillon rapide de 1 000 clients : 0,106, intervalle de 0,090 à 0,123, plus large. Trending : 0,156, intervalle de 0,143 à 0,172. Popular-category : 0,143, intervalle de 0,129 à 0,157. Random : 0,004, intervalle de 0,002 à 0,007, proche de zéro. Les intervalles de trending et de popular-category se chevauchent; celui de popular ne chevauche aucun des deux.

Retenez trois choses du graphique :

  • Popular et trending sont clairement différents. Leurs intervalles ne se chevauchent pas.
  • Moins de clients, intervalle plus large. Sur 1 000 clients, la même liste populaire donne 0,090 à 0,123 plutôt que 0,095 à 0,118. Utilisez --quick pour essayer des idées rapidement, jamais pour le nombre final.
  • Trending et popular-category se chevauchent. Ces deux intervalles seuls ne permettent pas de dire quelle méthode est meilleure. Évaluer par segment compare deux méthodes sur les mêmes clients, ce qui est plus exact.

L’intervalle indique à quel point le score dépend des clients que nous avons eus. Il ne dit pas si la période de test ressemble au mois prochain. Un découpage temporel et une deuxième période, comme la période de validation, répondent à cette question.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.

  2. Exécutez les cellules de préparation. La dernière affiche Ready: 3 files in larkfield-recs. (prêt : 3 fichiers dans larkfield-recs).

  3. Exécutez la section 1. Vous voyez right or wrong at each place: [0, 1, 1, 0, 0] (bon ou mauvais à chaque rang) et precision@5 0.4 recall@5 0.667 hit 1.

  4. Dans la section 2, prédisez si le NDCG@5 augmente ou diminue quand les bons produits passent aux rangs 1 et 2. Puis exécutez la cellule. Vous voyez NDCG@5 0.5307.

  5. Dans la section 3, programmez average_precision. Exécutez la cellule de vérification. Elle affiche Check passed: ap is 0.3889. (vérification réussie : ap vaut 0,3889).

  6. Exécutez la section 4. Vous voyez recall@10 0.156, NDCG@10 0.100 sur 2 118 clients.

  7. Dans un terminal, allez dans votre dossier larkfield-recs et activez son environnement virtuel.

    Fenêtre de terminal
    source .venv/bin/activate
  8. Évaluez la référence de base populaire sur tous les clients de test :

    Fenêtre de terminal
    recs evaluate popular
    Method popular (the most ordered products over the whole training log), test period
    Customers scored: 2,118; trained on events before 2026-06-22
    recall@10 0.106 (95% interval 0.095 to 0.118), NDCG@10 0.061
    coverage 0.3% of the products on sale
    time: fit 0.0 s, suggestions 0.0 s
  9. Évaluez-la sur l’échantillon rapide de 1 000 clients :

    Fenêtre de terminal
    recs evaluate popular --quick
    Method popular (the most ordered products over the whole training log), test period
    Customers scored: 1,000 (quick sample); trained on events before 2026-06-22
    recall@10 0.106 (95% interval 0.090 to 0.123), NDCG@10 0.061
    coverage 0.3% of the products on sale
    time: fit 0.0 s, suggestions 0.0 s
  10. Évaluez trending. Vous voyez recall@10 0.156 (95% interval 0.143 to 0.172), NDCG@10 0.100 (intervalle à 95 % de 0,143 à 0,172), les mêmes valeurs que dans le carnet.

Afficher la réponse à l’étape 5
def average_precision(rec, ordered, k=5):
total, right = 0.0, 0
for i, p in enumerate(rec[:k], 1):
if p in ordered:
right += 1
total += right / i
return total / min(len(ordered), k)

Au rang 2, right (nombre de bons produits) vaut 1 et la précision vaut 1 / 2. Au rang 3, right vaut 2 et la précision vaut 2 / 3. La somme, 1,1667, divisée par min(3, 5) = 3 donne 0,3889.

La page produit montre moins de produits que la page d’accueil. Changez une seule chose : la longueur de la liste. Avant d’exécuter la commande, faites une prédiction. Le recall@5 de popular sera-t-il environ la moitié de son recall@10 (0,106), plus de la moitié, ou moins? Puis exécutez recs evaluate popular --k 5.

Afficher la réponse
recall@5 0.062 (95% interval 0.053 to 0.072), NDCG@5 0.046
coverage 0.2% of the products on sale

Le recall@5 vaut 0,062, un peu plus de la moitié de 0,106. Les cinq premiers rangs de la liste populaire trouvent plus de commandes que les rangs 6 à 10. La liste est en effet triée avec les meilleurs produits en premier. L’intervalle est à peu près aussi large qu’avant, car nous évaluons les mêmes 2 118 clients. La couverture passe de 0,3 % à 0,2 % : cinq produits sur 2 994 plutôt que dix. La prochaine leçon examine la couverture de plus près.

Erreur courante

« Le precision@10 est de 0,024, donc le système de recommandation se trompe à 98 % »

Symptôme : Tomás lit le precision@10 de trending, que le dispositif d’évaluation affiche à partir de la prochaine leçon : 0.024. « Seulement 2,4 % de nos suggestions sont bonnes. C’est terrible. »

Cause : un client de test commande en moyenne 1,77 produit pendant les semaines de test. Une cliente qui commande un produit peut avoir au plus une bonne suggestion sur dix. Son meilleur precision@10 possible est donc de 0,1. Le precision@10 est faible pour toutes les méthodes, même une méthode parfaite.

Solution : présentez le rappel à 10 (recall@10) (une liste parfaite obtient 1) et le taux de succès (hit rate). Utilisez le precision@k seulement si chaque client peut remplir les k cases. Par exemple, une liste de 3 pour les clients qui commandent beaucoup de produits.

Erreur courante

Deux scores impossibles à comparer

Symptôme : un carnet (notebook) Jupyter indique qu’une nouvelle méthode obtient un rappel de 0,15 et « bat trending ». Trending a obtenu 0,156 dans le projet, donc la nouvelle méthode semble presque équivalente.

Cause : les deux nombres n’ont pas été mesurés de la même façon. La nouvelle méthode utilisait --quick (mode rapide, 1 000 clients), ou k = 5, ou une autre période. Chaque changement modifie le score : popular donne 0,062 à k = 5 et 0,106 à k = 10.

Diagnostic : lisez les premières lignes de chaque résultat : la période, le nombre de clients évalués et @10 ou @5.

Solution : évaluez les deux méthodes avec les mêmes options de commande, sur les mêmes clients. Le dispositif d’évaluation le fait pour vous quand vous utilisez les paramètres par défaut.

Vérifiez votre compréhension

Une liste de 10 suggestions contient les bons produits aux cases 1 et 10. Le client a commandé 2 produits. Donnez le recall@10 et le precision@10. Expliquez ensuite pourquoi le NDCG@10 est inférieur à 1.

Afficher la réponse

Le recall@10 est de 2 / 2 = 1 : la liste a trouvé les deux produits commandés. Le precision@10 est de 2 / 10 = 0,2. Le NDCG@10 est inférieur à 1 parce que le deuxième bon produit occupe la case 10. Son poids y est de 1 / log2(11) = 0,29, au lieu de 0,63 à la case 2. DCG = 1 + 0,289 = 1,289, le DCG idéal = 1 + 0,631 = 1,631, donc NDCG@10 = 0,790. Le rappel ne tient pas compte de l’ordre dans les 10 cases; le NDCG en tient compte.

Vérifiez votre compréhension

Rafael veut un seul nombre pour le courriel hebdomadaire, qui montre quelques produits. Omar veut un seul nombre pour la page d'accueil, qui en montre 10. Quelle mesure proposeriez-vous pour chacun, et pourquoi?

Afficher la réponse

Pour le courriel, le taux de succès, avec k = le nombre de produits dans le courriel. C’est la proportion de clients dont le courriel contenait au moins un produit qu’ils ont ensuite acheté. Un client lit le courriel une seule fois, donc un produit utile est ce qui compte. Pour la page d’accueil, le recall@10 : la proportion des produits achetés que la page montrait. Présentez le NDCG@10 à côté, car les clients voient davantage le début de la rangée. Les deux mesures sont des moyennes sur les clients de test, présentées avec leur intervalle à 95 %.

Vérifiez votre compréhension

Trending a un recall@10 de 0,156 (0,143 à 0,172) et popular-category de 0,143 (0,129 à 0,157). Tomás dit : « Trending est meilleur : 0,156 est plus élevé. » Que répondez-vous?

Afficher la réponse

Les deux intervalles se chevauchent beaucoup, donc les deux intervalles séparés ne montrent pas que trending est meilleur. Avec un autre groupe de clients, l’ordre pourrait changer. L’intervalle à 95 % vient du bootstrap : 1 000 groupes de clients tirés avec remise. Pour comparer deux méthodes, comparez-les sur les mêmes clients et calculez un intervalle pour la différence. C’est la prochaine étape de ce module.

Récapitulatif

  • L’exactitude est inutile pour une liste de suggestions : une liste qui n’aide personne obtient quand même 99,6 %. Les mesures de classement examinent seulement les k premières cases. Une suggestion est bonne quand le client a commandé le produit.
  • Une liste de cinq, pour le client C106777 : precision@5 = 2 / 5 = 0,4, recall@5 = 2 / 3 = 0,667, hit@5 = 1, AP@5 = 0,389, NDCG@5 = 1,131 / 2,131 = 0,531.
  • Le NDCG pondère chaque case par 1 / log2(case + 1) et divise le résultat par celui de la meilleure liste possible. Le MAP est la moyenne des précisions moyennes des clients.
  • Adaptez la mesure à l’emplacement. Utilisez le recall@10 et le NDCG@10 pour la page d’accueil. Utilisez le NDCG ou le taux de succès pour une courte rangée sur une page produit. Utilisez le taux de succès pour un courriel. Le recall@10 est la mesure principale du tableau comparatif.
  • Un score est une moyenne sur les 2 118 clients de test. Le bootstrap donne son intervalle à 95 % : trending 0,156 (0,143 à 0,172). Moins de clients donnent un intervalle plus large.

Vous pouvez maintenant dire combien de bons produits une liste contient, et à quel point vous en êtes sûr. Mais une liste peut être bonne et quand même ennuyeuse : les dix mêmes meilleurs vendeurs pour tous, et rien de nouveau. Ensuite, vous mesurez ce que l’exactitude ne voit pas.

Leçon suivante : Au-delà de l'exactitude