Mesures de classement
- Leçon 8
- 40 min
- Module 3 : Mesurer les recommandations hors ligne
Où nous en sommes
Au module 2, nous avons créé un découpage temporel honnête et trois références de base fondées sur la popularité. Le projet a affiché un rappel à 10 (*recall@10*) pour chacune. Mais que compte ce nombre, et quel degré de confiance peut-on lui accorder? Dans cette leçon, nous évaluons à la main cinq suggestions, comme les idées de cadeaux d'un ami. Ensuite, nous évaluons les listes de tous les clients de test.
Leçon 8 sur 29 · Recommandation et personnalisation : montrer à chacun ce qui compteMesures de classement
1. Le problème de la recommandation
2. Les données, la rétroaction implicite et un découpage honnête
3. Mesurer les recommandations hors ligne
4. Les voisins et le filtrage collaboratif
5. La factorisation matricielle pour la rétroaction implicite
6. Le contenu, les hybrides et le démarrage à froid
7. Deux étapes : les candidats et le classement
8. Des scores hors ligne au vrai magasin
9. L'exploiter en production
Ce que vous saurez faire
Transformez une liste de suggestions, puis celles de 2 118 clients de test, en quelques nombres honnêtes. Choisissez le nombre qui correspond à l’emplacement où la liste apparaît. Indiquez le degré de confiance que vous lui accordez.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter évalue les cinq suggestions à la main et vous demande de programmer la précision moyenne. Ensuite, il évalue la liste des tendances pour chaque client de test. Ses cellules de préparation installent les paquets et téléchargent environ 8 Mo de données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 20 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le découpage temporel, présenté dans Découper selon le temps. Nous entraînons sur chaque événement avant le 22 juin 2026 et testons sur les commandes du 22 juin au 5 juillet.
- Les références de base
popular,trendingetpopular-category, présentées dans Les références de base à battre. - La précision et le rappel d’un classificateur, présentés dans Le compromis entre précision et rappel, dans Apprentissage automatique : du problème à un modèle fiable. Cette leçon reprend les explications nécessaires.
Ce qu’il vous faut sur votre ordinateur (seulement pour les étapes du projet; le carnet n’en a pas besoin)
- Votre projet
larkfield-recsà la fin du module 2, avec son environnement virtuel activé.recs checkafficheSetup check passed.(vérification de la configuration réussie). - Les fichiers d’exercice dans
../nextia-learning-labs, à côté du dossier du projet.
Testé sur macOS avec Python 3.12, NumPy 2.5.4 et pandas 3.1.1. Les commandes Windows n’ont pas été exécutées.
Les cinq idées de cadeaux d’un ami
Section intitulée « Les cinq idées de cadeaux d’un ami »L’anniversaire de votre sœur est la semaine prochaine. Vous demandez des idées de cadeaux à un ami. Il en note cinq, la meilleure en premier. Une semaine plus tard, vous avez acheté trois cadeaux. Deux figuraient dans sa liste, aux rangs 2 et 3. Le troisième cadeau n’y figurait pas du tout.
Était-il un bon conseiller? Vous pouvez répondre de plusieurs façons, et chaque réponse compte quelque chose de différent :
- Deux de ses cinq idées étaient utiles. C’est deux sur cinq.
- Il a trouvé deux des trois cadeaux que vous avez achetés. C’est deux sur trois.
- Au moins une idée était utile. Oui ou non.
- Ses meilleures idées n’étaient pas en tête. Sa première idée était mauvaise, donc vous avez dû lire la suite.
Aucune de ces réponses n’est fausse. Elles répondent à des questions différentes. Un système de recommandation a le même problème, avec 2 994 produits plutôt que des cadeaux.
Le problème : l’exactitude ne dit rien ici
Section intitulée « Le problème : l’exactitude ne dit rien ici »Dans le cours d’apprentissage automatique, un classificateur répond oui ou non pour chaque cas. L’exactitude compte les bonnes réponses. Essayez cela sur une liste de suggestions.
Larkfield vend 2 994 produits. Une page d’accueil en montre 10. Pour chaque produit, la liste dit « oui, montrez-le » ou « non ». Supposons qu’un client commande ensuite 2 produits, et qu’aucun ne figure dans la liste. La liste a fait 12 erreurs : 10 produits montrés mais non commandés, et 2 produits commandés mais non montrés. Les 2 982 autres réponses « non » sont bonnes. L’exactitude est donc de 2 982 / 2 994 = 99,6 %, pour une liste qui n’a aidé personne.
L’exactitude échoue parce que presque chaque produit correspond à un « non » correct. Un nombre utile doit considérer seulement les quelques produits en tête de liste, car le client ne voit qu’eux. Il doit aussi tenir compte de l’ordre. Tout le monde voit un bon produit au rang 1; peu de gens le voient au rang 10.
L’idée : compter les bons produits aux k premiers rangs
Section intitulée « L’idée : compter les bons produits aux k premiers rangs »Un système de recommandation donne à chaque client une liste classée : les produits en ordre, le meilleur en premier. Nous regardons seulement les k premiers rangs, car un emplacement montre seulement k produits. La page d’accueil en montre 10, donc ce cours utilise k = 10. Nous écrivons « @10 » après une mesure : le recall@10 est le rappel calculé sur les 10 premiers rangs.
Une suggestion est bonne quand le client a commandé ce produit pendant la période de test. C’est tout ce que nous savons. Nous ne pouvons pas demander à une cliente si elle aimait un produit qu’elle n’a pas acheté. Une suggestion est bonne ou mauvaise, sans valeur intermédiaire. C’est ce qu’on appelle la pertinence binaire.
La liste de l’exemple
Section intitulée « La liste de l’exemple »Voici une vraie liste de la période de test, la liste trending du client C106777. C’est la même liste pour chaque client, car les tendances ne sont pas personnalisées. Regardons ses cinq premiers rangs :
| Rang | Produit | Commandé pendant la période de test? |
|---|---|---|
| 1 | Lumi Green Nordic Coffee Table | non |
| 2 | Navy Nitrile-Grip Garden Gloves | oui |
| 3 | Bramble Terracotta Mosaic Side Table | oui |
| 4 | Oak Timber Swing Seat | non |
| 5 | Black Rustic Wooden Planter Box | non |
C106777 a commandé trois produits : les gants, la table d’appoint et le Hartley Blue Wall Lantern, qui ne figure pas dans la liste. Comme l’ami, la liste a deux bonnes idées aux rangs 2 et 3, et elle a manqué une commande.
Precision@k et recall@k
Section intitulée « Precision@k et recall@k »Le precision@k est la part des k suggestions qui étaient bonnes : 2 / 5 = 0,4. Il répond à la première question de l’ami : combien de ses idées étaient utiles?
Le recall@k est la part des commandes du client que la liste a trouvées : 2 / 3 = 0,667. Il répond à la deuxième question : combien des cadeaux achetés a-t-il trouvés? C’est la mesure principale de ce cours, sous la forme du recall@10.
Taux de succès
Section intitulée « Taux de succès »Le hit@k vaut 1 si au moins une suggestion est bonne, et 0 si aucune ne l’est. Ici, il vaut 1. Sur plusieurs clients, la moyenne du hit@k est le taux de succès (hit rate). C’est la part des clients qui ont trouvé au moins un produit qu’ils ont acheté.
Précision moyenne et MAP
Section intitulée « Précision moyenne et MAP »Le precision@5 ne tient pas compte du rang des bons produits. La précision moyenne en tient compte. À chaque bon rang, calculez la précision de la liste jusqu’à ce rang, puis prenez la moyenne :
- Le rang 2 est bon. Les deux premières suggestions contiennent un bon produit : précision de 1 / 2.
- Le rang 3 est bon. Les trois premières contiennent deux bons produits : précision de 2 / 3.
Additionnez-les et divisez par le nombre de produits qui pourraient être bons : les commandes du client, au maximum k. Donc AP@5 = (1/2 + 2/3) / 3 = 0,389. Si les deux bons produits étaient aux rangs 1 et 2, AP@5 vaudrait (1/1 + 2/2) / 3 = 0,667. La moyenne de l’AP sur tous les clients est le MAP, la mean average precision (moyenne des précisions moyennes).
NDCG : un bon produit en tête vaut plus
Section intitulée « NDCG : un bon produit en tête vaut plus »Le NDCG donne un poids à chaque rang. Un bon produit au rang 1 vaut 1. Les rangs inférieurs valent moins, car moins de clients regardent aussi loin. Le poids d’un rang est 1 / log2(rang + 1). Le graphique montre les poids des 10 rangs de la page d’accueil.
Description textuelle du graphique
Un graphique à colonnes avec dix colonnes, une pour chaque rang de la liste. Les étiquettes omettent le zéro initial : ,63 signifie 0,63. Le poids est de 1,00 au rang 1, 0,63 au rang 2, 0,50 au rang 3, 0,43 au rang 4, 0,39 au rang 5, 0,36 au rang 6, 0,33 au rang 7, 0,32 au rang 8, 0,30 au rang 9 et 0,29 au rang 10. Le poids baisse vite sur les trois premiers rangs, puis lentement.
Additionnez les poids des bons rangs. Cette somme est le DCG, le discounted cumulative gain (gain cumulé réduit). Chaque bon produit apporte un « gain », « réduit » selon son rang. La liste de C106777 contient de bons produits aux rangs 2 et 3 :
DCG = 0,631 + 0,500 = 1,131
La meilleure liste possible pour ce client place les trois produits commandés aux rangs 1, 2 et 3. Son DCG est le DCG idéal : 1 + 0,631 + 0,500 = 2,131. Le NDCG divise l’un par l’autre, donc la meilleure liste possible obtient toujours 1 :
NDCG@5 = 1,131 / 2,131 = 0,531
Le « N » signifie normalisé : divisé par la meilleure valeur possible. Le cours de recherche utilise le NDCG avec des notes de pertinence, dans Mesures de classement. Là, un résultat de recherche peut être une correspondance exacte ou seulement partielle. Ici, un produit a été commandé ou non, donc chaque bon produit a le même gain.
Une liste, cinq nombres
Section intitulée « Une liste, cinq nombres »Description textuelle du diagramme
L’image montre les cinq rangs de la liste de haut en bas. Les deux bons produits, aux rangs 2 et 3, ont une bordure épaisse. Un deuxième encadré énumère les trois produits commandés par le client et indique que la lanterne murale est absente de la liste. Les deux mènent aux résultats : le precision@5 vaut 2 / 5 = 0,4; le recall@5 vaut 2 / 3 = 0,667; le hit@5 vaut 1, car au moins un produit est bon; l’AP@5 vaut (1/2 + 2/3) / 3 = 0,389; le NDCG@5 vaut 1,131 / 2,131 = 0,531.
Quelle mesure pour quel emplacement
Section intitulée « Quelle mesure pour quel emplacement »Larkfield montre des suggestions à trois endroits. Chaque endroit demande une question légèrement différente :
| Emplacement | Ce que le client voit | La question | Mesure |
|---|---|---|---|
| Page produit, « les clients ont aussi acheté » | une courte rangée de petites images | Un bon produit est-il en tête? | NDCG@k, taux de succès |
| Page d’accueil | 10 produits en rangée | Quelle part des futurs achats du client avons-nous montrée? | recall@10, NDCG@10 |
| Courriel hebdomadaire | quelques produits dans un courriel, lu une fois | Le courriel contenait-il au moins une chose qui méritait un clic? | taux de succès |
Le precision@k dit la même chose que le recall@k quand chaque client commande le même nombre de produits. Mais il est difficile à interpréter ici. La plupart des clients de test commandent seulement 1 ou 2 produits. Même une liste parfaite de 10 a donc un precision@10 de seulement 0,1 ou 0,2. Le recall@k n’a pas ce problème : une liste parfaite obtient 1.
Ce cours compare chaque méthode avec le recall@10 dans le tableau comparatif et montre le NDCG@10 et le MAP@10 à côté. Le recall@10 est facile à expliquer à Omar : « La page d’accueil a montré cette part des produits achetés pendant les semaines de test. »
D’un client à 2 118
Section intitulée « D’un client à 2 118 »Un client, c’est une histoire. Le score d’une méthode est la moyenne sur les 2 118 clients de test, qui ont commandé pendant la période de test. Chaque client compte une fois, qu’il ait commandé 1 produit ou 8.
Dans le carnet, la section 4 fait cela pour trending :
trending on 2,118 customers: recall@10 0.156, NDCG@10 0.100En moyenne, la liste des tendances contient donc 15,6 % des produits qu’un client de test a commandés. Le projet calcule exactement la même chose dans larkfield_recs/metrics.py, que vous avez depuis le module 1. Ouvrez-le : recall_at_k, average_precision_at_k et ndcg_at_k sont les calculs de cette leçon, une fonction chacun. per_customer les applique à chaque client.
Quel degré de confiance? Un intervalle sur les clients
Section intitulée « Quel degré de confiance? Un intervalle sur les clients »Goûtez une grande marmite de soupe. Une cuillerée vous apprend beaucoup, mais une deuxième a un goût un peu différent. Dix cuillerées vous en apprennent plus qu’une seule. Un score sur les clients fonctionne de la même façon. Un autre groupe de 2 118 clients donnerait une moyenne légèrement différente.
Nous ne pouvons pas obtenir un autre groupe de vrais clients. Le bootstrap crée de nouveaux groupes à partir de ceux que nous avons. Il tire au hasard 2 118 clients parmi les 2 118, avec remise. Certains clients sont tirés deux fois, d’autres pas du tout. Il calcule le rappel moyen de ce nouveau groupe et répète cela 1 000 fois. Les 95 % centraux des 1 000 moyennes forment l’intervalle à 95 %. Le projet utilise une graine fixe (37), donc vous obtenez le même intervalle chaque fois.
Un intervalle étroit signifie que le score dépend peu des clients que nous avons eus. Le graphique montre les quatre références de base et la liste populaire évaluée sur seulement 1 000 clients (--quick).
Description textuelle du graphique
Un graphique avec une ligne par résultat et un axe horizontal pour le recall@10 allant de 0 à 0,2. Popular sur les 2 118 clients : 0,106, intervalle de 0,095 à 0,118. Popular sur un échantillon rapide de 1 000 clients : 0,106, intervalle de 0,090 à 0,123, plus large. Trending : 0,156, intervalle de 0,143 à 0,172. Popular-category : 0,143, intervalle de 0,129 à 0,157. Random : 0,004, intervalle de 0,002 à 0,007, proche de zéro. Les intervalles de trending et de popular-category se chevauchent; celui de popular ne chevauche aucun des deux.
Retenez trois choses du graphique :
- Popular et trending sont clairement différents. Leurs intervalles ne se chevauchent pas.
- Moins de clients, intervalle plus large. Sur 1 000 clients, la même liste populaire donne 0,090 à 0,123 plutôt que 0,095 à 0,118. Utilisez
--quickpour essayer des idées rapidement, jamais pour le nombre final. - Trending et popular-category se chevauchent. Ces deux intervalles seuls ne permettent pas de dire quelle méthode est meilleure. Évaluer par segment compare deux méthodes sur les mêmes clients, ce qui est plus exact.
L’intervalle indique à quel point le score dépend des clients que nous avons eus. Il ne dit pas si la période de test ressemble au mois prochain. Un découpage temporel et une deuxième période, comme la période de validation, répondent à cette question.
Exercice guidé : les mesures dans votre projet
Section intitulée « Exercice guidé : les mesures dans votre projet »-
Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
-
Exécutez les cellules de préparation. La dernière affiche
Ready: 3 files in larkfield-recs.(prêt : 3 fichiers dans larkfield-recs). -
Exécutez la section 1. Vous voyez
right or wrong at each place: [0, 1, 1, 0, 0](bon ou mauvais à chaque rang) etprecision@5 0.4 recall@5 0.667 hit 1. -
Dans la section 2, prédisez si le NDCG@5 augmente ou diminue quand les bons produits passent aux rangs 1 et 2. Puis exécutez la cellule. Vous voyez
NDCG@5 0.5307. -
Dans la section 3, programmez
average_precision. Exécutez la cellule de vérification. Elle afficheCheck passed: ap is 0.3889.(vérification réussie : ap vaut 0,3889). -
Exécutez la section 4. Vous voyez
recall@10 0.156, NDCG@10 0.100sur 2 118 clients. -
Dans un terminal, allez dans votre dossier
larkfield-recset activez son environnement virtuel.Fenêtre de terminal source .venv/bin/activateFenêtre de terminal .venv\Scripts\Activate.ps1 -
Évaluez la référence de base populaire sur tous les clients de test :
Fenêtre de terminal recs evaluate popularMethod popular (the most ordered products over the whole training log), test periodCustomers scored: 2,118; trained on events before 2026-06-22recall@10 0.106 (95% interval 0.095 to 0.118), NDCG@10 0.061coverage 0.3% of the products on saletime: fit 0.0 s, suggestions 0.0 s -
Évaluez-la sur l’échantillon rapide de 1 000 clients :
Fenêtre de terminal recs evaluate popular --quickMethod popular (the most ordered products over the whole training log), test periodCustomers scored: 1,000 (quick sample); trained on events before 2026-06-22recall@10 0.106 (95% interval 0.090 to 0.123), NDCG@10 0.061coverage 0.3% of the products on saletime: fit 0.0 s, suggestions 0.0 s -
Évaluez
trending. Vous voyezrecall@10 0.156 (95% interval 0.143 to 0.172), NDCG@10 0.100(intervalle à 95 % de 0,143 à 0,172), les mêmes valeurs que dans le carnet.
Afficher la réponse à l’étape 5
def average_precision(rec, ordered, k=5): total, right = 0.0, 0 for i, p in enumerate(rec[:k], 1): if p in ordered: right += 1 total += right / i return total / min(len(ordered), k)Au rang 2, right (nombre de bons produits) vaut 1 et la précision vaut 1 / 2. Au rang 3, right vaut 2 et la précision vaut 2 / 3. La somme, 1,1667, divisée par min(3, 5) = 3 donne 0,3889.
À vous : cinq rangs plutôt que dix
Section intitulée « À vous : cinq rangs plutôt que dix »La page produit montre moins de produits que la page d’accueil. Changez une seule chose : la longueur de la liste. Avant d’exécuter la commande, faites une prédiction. Le recall@5 de popular sera-t-il environ la moitié de son recall@10 (0,106), plus de la moitié, ou moins? Puis exécutez recs evaluate popular --k 5.
Afficher la réponse
recall@5 0.062 (95% interval 0.053 to 0.072), NDCG@5 0.046coverage 0.2% of the products on saleLe recall@5 vaut 0,062, un peu plus de la moitié de 0,106. Les cinq premiers rangs de la liste populaire trouvent plus de commandes que les rangs 6 à 10. La liste est en effet triée avec les meilleurs produits en premier. L’intervalle est à peu près aussi large qu’avant, car nous évaluons les mêmes 2 118 clients. La couverture passe de 0,3 % à 0,2 % : cinq produits sur 2 994 plutôt que dix. La prochaine leçon examine la couverture de plus près.
Erreurs courantes
Section intitulée « Erreurs courantes »Erreur courante
« Le precision@10 est de 0,024, donc le système de recommandation se trompe à 98 % »
Symptôme : Tomás lit le precision@10 de trending, que le dispositif d’évaluation affiche à partir de la prochaine leçon : 0.024. « Seulement 2,4 % de nos suggestions sont bonnes. C’est terrible. »
Cause : un client de test commande en moyenne 1,77 produit pendant les semaines de test. Une cliente qui commande un produit peut avoir au plus une bonne suggestion sur dix. Son meilleur precision@10 possible est donc de 0,1. Le precision@10 est faible pour toutes les méthodes, même une méthode parfaite.
Solution : présentez le rappel à 10 (recall@10) (une liste parfaite obtient 1) et le taux de succès (hit rate). Utilisez le precision@k seulement si chaque client peut remplir les k cases. Par exemple, une liste de 3 pour les clients qui commandent beaucoup de produits.
Erreur courante
Deux scores impossibles à comparer
Symptôme : un carnet (notebook) Jupyter indique qu’une nouvelle méthode obtient un rappel de 0,15 et « bat trending ». Trending a obtenu 0,156 dans le projet, donc la nouvelle méthode semble presque équivalente.
Cause : les deux nombres n’ont pas été mesurés de la même façon. La nouvelle méthode utilisait --quick (mode rapide, 1 000 clients), ou k = 5, ou une autre période. Chaque changement modifie le score : popular donne 0,062 à k = 5 et 0,106 à k = 10.
Diagnostic : lisez les premières lignes de chaque résultat : la période, le nombre de clients évalués et @10 ou @5.
Solution : évaluez les deux méthodes avec les mêmes options de commande, sur les mêmes clients. Le dispositif d’évaluation le fait pour vous quand vous utilisez les paramètres par défaut.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une liste de 10 suggestions contient les bons produits aux cases 1 et 10. Le client a commandé 2 produits. Donnez le recall@10 et le precision@10. Expliquez ensuite pourquoi le NDCG@10 est inférieur à 1.
Afficher la réponse
Le recall@10 est de 2 / 2 = 1 : la liste a trouvé les deux produits commandés. Le precision@10 est de 2 / 10 = 0,2. Le NDCG@10 est inférieur à 1 parce que le deuxième bon produit occupe la case 10. Son poids y est de 1 / log2(11) = 0,29, au lieu de 0,63 à la case 2. DCG = 1 + 0,289 = 1,289, le DCG idéal = 1 + 0,631 = 1,631, donc NDCG@10 = 0,790. Le rappel ne tient pas compte de l’ordre dans les 10 cases; le NDCG en tient compte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Rafael veut un seul nombre pour le courriel hebdomadaire, qui montre quelques produits. Omar veut un seul nombre pour la page d'accueil, qui en montre 10. Quelle mesure proposeriez-vous pour chacun, et pourquoi?
Afficher la réponse
Pour le courriel, le taux de succès, avec k = le nombre de produits dans le courriel. C’est la proportion de clients dont le courriel contenait au moins un produit qu’ils ont ensuite acheté. Un client lit le courriel une seule fois, donc un produit utile est ce qui compte. Pour la page d’accueil, le recall@10 : la proportion des produits achetés que la page montrait. Présentez le NDCG@10 à côté, car les clients voient davantage le début de la rangée. Les deux mesures sont des moyennes sur les clients de test, présentées avec leur intervalle à 95 %.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Trending a un recall@10 de 0,156 (0,143 à 0,172) et popular-category de 0,143 (0,129 à 0,157). Tomás dit : « Trending est meilleur : 0,156 est plus élevé. » Que répondez-vous?
Afficher la réponse
Les deux intervalles se chevauchent beaucoup, donc les deux intervalles séparés ne montrent pas que trending est meilleur. Avec un autre groupe de clients, l’ordre pourrait changer. L’intervalle à 95 % vient du bootstrap : 1 000 groupes de clients tirés avec remise. Pour comparer deux méthodes, comparez-les sur les mêmes clients et calculez un intervalle pour la différence. C’est la prochaine étape de ce module.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’exactitude est inutile pour une liste de suggestions : une liste qui n’aide personne obtient quand même 99,6 %. Les mesures de classement examinent seulement les k premières cases. Une suggestion est bonne quand le client a commandé le produit.
- Une liste de cinq, pour le client C106777 : precision@5 = 2 / 5 = 0,4, recall@5 = 2 / 3 = 0,667, hit@5 = 1, AP@5 = 0,389, NDCG@5 = 1,131 / 2,131 = 0,531.
- Le NDCG pondère chaque case par 1 / log2(case + 1) et divise le résultat par celui de la meilleure liste possible. Le MAP est la moyenne des précisions moyennes des clients.
- Adaptez la mesure à l’emplacement. Utilisez le recall@10 et le NDCG@10 pour la page d’accueil. Utilisez le NDCG ou le taux de succès pour une courte rangée sur une page produit. Utilisez le taux de succès pour un courriel. Le recall@10 est la mesure principale du tableau comparatif.
- Un score est une moyenne sur les 2 118 clients de test. Le bootstrap donne son intervalle à 95 % : trending 0,156 (0,143 à 0,172). Moins de clients donnent un intervalle plus large.
Vous pouvez maintenant dire combien de bons produits une liste contient, et à quel point vous en êtes sûr. Mais une liste peut être bonne et quand même ennuyeuse : les dix mêmes meilleurs vendeurs pour tous, et rien de nouveau. Ensuite, vous mesurez ce que l’exactitude ne voit pas.
Leçon suivante : Au-delà de l'exactitude