Aller au contenu
English

Mesures de classement

  • Leçon 5
  • 40 min
  • Module 2 : Mesurer la pertinence avant de changer quoi que ce soit

Où nous en sommes

Nos jugements indiquent la qualité de chaque résultat. Une liste classée a besoin d'un nombre qui indique sa qualité globale. Dans cette leçon, nous calculons la précision, le rappel, le MRR et le NDCG à la main, puis pour chaque requête de test.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Transformez les notes d’une liste classée en un nombre, puis choisissez celui qui convient à la recherche. Vous calculez la précision, le rappel, le MRR et le NDCG à la main pour une vraie requête. Ensuite, le projet les calcule pour chaque requête de test.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter calcule les quatre mesures pour une requête et vous demande de programmer vous-même le NDCG. Ensuite, il calcule les mesures pour chaque requête de validation et par type de recherche. Ses cellules de préparation téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

  • Les jugements gradués (exact 2, partiel 1, non pertinent 0), présentés dans Jugements de pertinence.
  • Les types de recherche (article connu, précise, large), présentés dans Les types de recherche.
  • Un logarithme, simplement comme un nombre qui augmente de plus en plus lentement. Vous n’avez pas à en calculer un à la main : toutes les valeurs sont dans un tableau.

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)

  • Le projet larkfield-search avec les fichiers de ce module, fourni dans l’exercice guidé de Jugements de pertinence. search check doit se terminer par Setup check passed. (vérification de la configuration réussie).

Un client demande à la vendeuse « a 3 piece rug set with runners » (un ensemble de trois tapis avec tapis de couloir). Elle pose dix articles sur le comptoir, de gauche à droite. Le client regarde le premier article, puis le deuxième. Il s’arrête peut-être après trois ou quatre articles.

Vous devez maintenant donner à la vendeuse un score pour cette rangée. Vous avez une note pour chaque article. Mais une rangée a dix notes, et un score est un seul nombre. Comment transformer dix notes en un nombre?

La réponse dépend de ce qui compte pour vous. Voulez-vous savoir combien d’articles conviennent? Quelle part des bons articles du magasin elle a trouvée? À quelle vitesse le client voit le premier bon article? Ou tout cela, avec plus de poids pour les premières places? Chaque question donne une mesure de classement différente : une formule qui transforme les notes d’une liste classée en un nombre.

La requête est « 3 piece rug set with runners » (W-236), une requête de validation. BM25 renvoie ces dix produits. Les notes sont de vrais jugements de WANDS.

Rang Produit Classe de produit Note
1 ellington circle 3 piece area rug set Area Rugs 2 exact
2 cedric oriental ebony area rug set Area Rugs 1 partiel
3 mokvist 3 piece floral border red area rug set Area Rugs 2 exact
4 wilkesboro 3 piece floral border blue area rug set Area Rugs 2 exact
5 braylei simple elegance 3 piece solid bath set Bath Rugs & Mats 0 non pertinent
6 fontenay 3 piece braided brown rug set Area Rugs 2 exact
7 kamberk floral teal area rug Area Rugs 1 partiel
8 rhodes stripped checker 3 piece hand-knotted beige area rug set Area Rugs 2 exact
9 audrey 3 piece geometric brown/moss area rug set Area Rugs 2 exact
10 shawnna 3 piece bath rug set Bath Rugs & Mats 1 partiel

Les notes, dans l’ordre, sont 2, 1, 2, 2, 0, 2, 1, 2, 2, 1. Six produits sur dix sont exacts. Un autre fait compte : les juges de WANDS ont jugé 28 produits exacts pour cette requête. Dix résultats ne peuvent jamais tous les montrer.

Tomás propose le score le plus simple : « Comptez les bons. » C’est une vraie mesure, et elle a un nom.

Precision@k (« précision à k ») est la part des k premiers résultats qui sont exacts. Le cours compte seulement les produits exacts ici.

  • Precision@5 : les rangs 1 à 5 contiennent 3 produits exacts. 3 ÷ 5 = 0,6.
  • Precision@10 : les rangs 1 à 10 contiennent 6 produits exacts. 6 ÷ 10 = 0,6.

Recall@k (« rappel à k ») pose la question inverse : parmi tous les produits exacts pour cette requête, quelle part trouve-t-on dans les k premiers résultats?

  • Recall@10 : 6 des 28 produits exacts. 6 ÷ 28 = 0,214.

La précision représente le client, qui ne voit que la page. Le rappel représente le magasin, qui veut que ses bons produits soient faciles à trouver. Une recherche peut avoir une précision élevée et un rappel faible : chaque résultat est bon, mais la plupart des bons produits n’apparaissent jamais. C’est le cas ici, et ce n’est pas un défaut : une page de dix résultats ne peut contenir 28 produits.

Le rappel compte surtout quand k est grand. Le cours présente le rappel à 100 (recall@100) : combien de produits exacts figurent parmi les 100 premiers résultats. Une étape ultérieure peut seulement réordonner ce qu’une étape précédente a trouvé. Vous l’utilisez dans Classement en deux étapes.

Déplacez maintenant l’ensemble de tapis de bain non pertinent du rang 5 au rang 1. Tous les autres produits descendent d’une place. Le client voit maintenant un tapis de bain en premier, pour une requête d’ensemble de tapis.

Le precision@10 ne change pas : les mêmes six produits exacts figurent toujours parmi les 10 premiers. Il reste à 0,6. Mais la page est clairement moins bonne. Le décompte ne voit pas l’ordre. En recherche, l’ordre est presque tout ce qui compte.

Le rang réciproque est 1 divisé par le rang du premier produit exact. « Réciproque » signifie « 1 divisé par ».

  • Dans l’ordre de BM25, le premier produit est exact. 1 ÷ 1 = 1,0.
  • Avec l’ensemble de tapis de bain au rang 1, le premier produit exact est au rang 2. 1 ÷ 2 = 0,5.
  • Si le premier produit exact était au rang 4, le score serait 1 ÷ 4 = 0,25. Si aucun produit exact n’est trouvé, il est de 0.

Le MRR (moyenne des rangs réciproques) est la moyenne de cette valeur sur plusieurs requêtes. Il convient à une recherche où une seule réponse suffit. Une personne qui tape « kisner coffee table » veut la table basse Kisner. Son rang détermine l’expérience de cette personne.

Le MRR voit l’ordre, mais seulement une place dans cet ordre. Il ignore tout ce qui suit le premier produit exact, ainsi que les produits partiels. Pour une requête large comme « sofa », où beaucoup de produits conviennent, cela ne suffit pas.

Le NDCG (normalised discounted cumulative gain, gain cumulé atténué normalisé) utilise chaque note et donne plus de poids aux premières places. C’est la principale mesure de ce cours. Son nom décrit quatre étapes. Vous pouvez les suivre dans le diagramme, puis dans un tableau.

Cinq étapes des notes au NDCG@5 pour les 5 premiers résultats de la requête d'ensemble de tapis. Les notes 2, 1, 2, 2, 0 deviennent les gains 3, 1, 3, 3, 0. Chaque gain est divisé par l'atténuation log2(rang + 1) : 1; 1,585; 2; 2,322; 2,585. Les parts du DCG sont 3; 0,631; 1,5; 1,292; 0. Leur somme donne DCG@5 = 6,423. Les 5 premiers résultats idéaux (cinq produits exacts) donnent DCG@5 = 8,845. NDCG@5 = 6,423 ÷ 8,845 = 0,726.
NDCG@5 pour les 5 premiers résultats de BM25 pour « 3 piece rug set with runners » : gain, atténuation, somme, puis division par la meilleure somme possible.
Description textuelle du diagramme

Le diagramme présente une rangée de cases reliées par des flèches. « Notes des 5 premiers : 2, 1, 2, 2, 0 » mène à « Gains : 2^note − 1 : 3, 1, 3, 3, 0 ». Puis vient « Diviser par l’atténuation log2(rang + 1) : 1; 1,585; 2; 2,322; 2,585 ». Ensuite, « Parts du DCG : 3; 0,631; 1,5; 1,292; 0 » mène à « Additionner : DCG@5 = 6,423 ». Une case séparée indique « 5 premiers idéaux : cinq exacts, DCG@5 idéal = 8,845 ». Elle et la case du DCG mènent à la dernière case, au contour épais : « Diviser : NDCG@5 = 6,423 ÷ 8,845 = 0,726 ».

Chaque note devient un gain : 2 à la puissance de la note, moins 1. Exact (2) donne 2² − 1 = 3. Partiel (1) donne 2¹ − 1 = 1. Non pertinent (0) donne 2⁰ − 1 = 0. Un produit exact vaut donc trois produits partiels. Cette formule est un choix, et un choix courant. Elle indique que le bon produit est bien meilleur qu’un produit proche.

Chaque gain est divisé par une atténuation qui augmente avec le rang : log2(rang + 1). Au rang 1, l’atténuation vaut 1, donc le gain compte en entier. Au rang 2, il vaut 1,585. Au rang 10, il vaut 3,459, donc le gain compte pour moins d’un tiers. L’atténuation traduit le fait que les gens regardent d’abord le haut de la page.

Additionnez les gains atténués. La somme est le DCG (discounted cumulative gain, gain cumulé atténué). « Cumulé » signifie « additionné ».

Rang Note Gain Atténuation Part du DCG (gain ÷ atténuation)
1 2 3 1,000 3,000
2 1 1 1,585 0,631
3 2 3 2,000 1,500
4 2 3 2,322 1,292
5 0 0 2,585 0,000
DCG@5 6,423

Un DCG de 6,423 ne signifie rien à lui seul. Est-il bon? Pour le savoir, comparez-le à la meilleure liste possible. Le DCG idéal est le DCG de l’ordre idéal : tous les produits jugés pour la requête, classés par note décroissante. Cette requête a 28 produits exacts. Les 5 premiers résultats idéaux sont donc cinq produits exacts : 3 + 1,893 + 1,5 + 1,292 + 1,161 = 8,845 (après arrondi).

NDCG@5 = DCG@5 ÷ DCG@5 idéal = 6,423 ÷ 8,845 = 0,726.

« Normalisé » signifie « divisé par la meilleure valeur possible ». Le NDCG est donc toujours entre 0 et 1. Un score de 1 signifie que la liste est la meilleure possible. Cela permet de comparer les requêtes : une requête avec 28 produits exacts et une autre avec seulement 2 ont toutes deux un meilleur score de 1.

Pour les 10 premiers résultats, les mêmes étapes donnent DCG@10 = 9,963 et DCG@10 idéal = 13,631. Donc, NDCG@10 = 0,731.

Vous changez maintenant l’ordre et observez les nombres. D’abord, faites une prédiction.

Explorer

NDCG d'une liste classée

DCG@10
9,963
DCG idéal@10
13,631
NDCG@10
0,731

Le NDCG@10 vaut 0,731 : la liste obtient 9,963 des 13,631 points du top 10 idéal (DCG@10 ÷ DCG@10 idéal). Précision@10 : 6 résultats exacts sur 10.

La requête « 3 piece rug set with runners » : chaque ligne ajoute gain ÷ atténuation au DCG@10
RangProduitNoteGainAtténuationPart du DCG
1ellington circle 3 piece area rug setArea Rugs2 exact31,0003,000
2cedric oriental ebony area rug setArea Rugs1 partiel11,5850,631
3mokvist 3 piece floral border red area rug setArea Rugs2 exact32,0001,500
4wilkesboro 3 piece floral border blue area rug setArea Rugs2 exact32,3221,292
5braylei simple elegance 3 piece solid bath setBath Rugs & Mats0 non pertinent02,5850,000
6fontenay 3 piece braided brown rug setArea Rugs2 exact32,8071,069
7kamberk floral teal area rugArea Rugs1 partiel13,0000,333
8rhodes stripped checker 3 piece hand-knotted beige area rug setArea Rugs2 exact33,1700,946
9audrey 3 piece geometric brown/moss area rug setArea Rugs2 exact33,3220,903
10shawnna 3 piece bath rug setBath Rugs & Mats1 partiel13,4590,289
Les 10 premiers résultats de BM25 pour « 3 piece rug set with runners », avec les vraies notes de WANDS. Déplacez les lignes et observez le DCG, le DCG idéal et le NDCG.
Description textuelle de l’explorateur

Une liste des dix résultats de BM25 pour « 3 piece rug set with runners ». Chaque ligne montre le rang, le titre, la classe de produit, la note, le gain, l’atténuation et la part du DCG. L’affichage montre le DCG, le DCG idéal et le NDCG pour les 5 ou les 10 premiers résultats. Dans l’ordre de BM25, le NDCG@10 est de 0,731 et le NDCG@5 de 0,726. Quand l’ensemble de tapis de bain passe du rang 5 au rang 1, le NDCG@10 est de 0,615 et le NDCG@5 de 0,548. Quand les rangs 1 et 5 sont échangés, le NDCG@5 est de 0,518. « Meilleur ordre de ces dix » donne un NDCG@10 de 0,797 et un NDCG@5 de 1,000.

Ce qui se passe

Avec l’ensemble de tapis de bain au rang 1, le NDCG@10 passe de 0,731 à 0,615. Le precision@10 reste à 0,6. Le NDCG voit l’ordre; le décompte ne le voit pas. Parmi les 5 premiers résultats, échanger les rangs 1 et 5 fait passer le NDCG@5 de 0,726 à 0,518. Le produit exact a perdu sa meilleure place.

Appuyez maintenant sur « Meilleur ordre de ces dix ». Le NDCG@5 devient 1,000, mais le NDCG@10 n’est que de 0,797. Pourquoi pas 1? La liste idéale a dix produits exacts, car la requête en a 28. Ces dix résultats n’en ont que six. Aucun ordre de ces dix résultats ne peut atteindre 1. La recherche doit trouver de meilleurs produits, pas seulement mieux les classer.

L’atténuation correspond-elle à la façon dont les gens regardent?

Section intitulée « L’atténuation correspond-elle à la façon dont les gens regardent? »

L’atténuation est une hypothèse sur les gens. Le journal des requêtes de Larkfield permet de la tester, avec une réserve : le journal est synthétique. Notre code a créé ses clics avec un modèle de la façon dont les gens parcourent une page. Le graphique compare l’atténuation du NDCG au taux de clics par position dans ce journal.

  • Poids du NDCG (1 ÷ atténuation)
  • Clics, par rapport au rang 1 (journal synthétique)
Le poids du NDCG baisse lentement avec le rang. Les clics du journal synthétique de Larkfield baissent beaucoup plus vite : le rang 2 reçoit environ la moitié des clics du rang 1.
Description textuelle du graphique

Un graphique linéaire avec les rangs 1 à 10 sur l’axe horizontal et un poids de 0 à 1 sur l’axe vertical. Les deux courbes commencent à 1 au rang 1. Le poids du NDCG passe par 1, 0,631, 0,5, 0,431, 0,387 et finit à 0,289 au rang 10. La courbe des clics, par rapport au rang 1, passe par 1, 0,52, 0,332, 0,251, 0,202 et finit à 0,092 au rang 10.

Dans ce journal, le rang 2 reçoit environ la moitié des clics du rang 1, et le rang 10, moins d’un dixième. Le NDCG donne encore au rang 10 plus du quart du poids du rang 1. Le NDCG est donc plus généreux envers les places inférieures que ces clics. Les vrais magasins voient souvent une baisse rapide aussi, mais vérifiez votre propre journal. Apprendre des clics étudie cette courbe.

Une requête est un exemple, pas une mesure. Pour comparer deux recherches, vous calculez une mesure pour chaque requête de test et prenez la moyenne. Le projet le fait avec search eval. Son code est le fichier compare.py du cours. Nous l’avons vérifié avec pytrec_eval, une bibliothèque largement utilisée pour ces mesures. Pour chaque requête de test, les deux ont donné les mêmes NDCG@10, MRR et recall@100. Le plus grand écart était de 4,4 × 10⁻¹⁶, une différence d’arrondi.

Voici la recherche actuelle de Larkfield et BM25 sur les 243 requêtes de test :

Quatre mesures pour les deux mêmes recherches sur les 243 requêtes de test de Larkfield. BM25 est meilleur pour chaque mesure; l'écart est le plus grand pour le recall@100.
Description textuelle du graphique

Quatre petits panneaux, chacun avec deux lignes. NDCG@10 : recherche actuelle 0,195 (intervalle à 95 % de 0,155 à 0,237), BM25 0,429 (de 0,381 à 0,476). MRR : recherche actuelle 0,312, BM25 0,438. Precision@5 : recherche actuelle 0,227, BM25 0,311. Recall@100 : recherche actuelle 0,146, BM25 0,388.

Chaque mesure décrit un aspect différent des mêmes listes. La recherche actuelle ne renvoie rien pour les deux tiers des requêtes de test. Elle trouve donc peu de produits exacts : le recall@100 n’est que de 0,146. Son MRR (0,312) est moins mauvais, car lorsqu’elle renvoie quelque chose, le premier résultat est souvent bon. L’intervalle à côté du NDCG@10 indique le degré de certitude du nombre. Créer un jeu de test qui représente vos utilisateurs l’explique.

Deux choix se cachent derrière ces nombres. Vous devez les connaître pour lire les résultats de ce cours.

  1. Un produit non jugé compte comme non pertinent. Si personne n’a noté un produit pour une requête, il ajoute un gain de 0. Le projet affiche donc judged in the top 10 (jugés parmi les 10 premiers) à côté du NDCG. C’est la part des 10 premiers résultats qui ont un jugement. Une faible part vous avertit que le nombre pourrait être injuste. Jugements d’un modèle de langage traite de cette question.
  2. Une requête sans bon produit n’a pas de NDCG. La requête « printers » a des jugements, mais tous sont non pertinents : Larkfield ne vend pas d’imprimantes. Son DCG idéal est de 0, et on ne peut pas diviser par 0. Le projet exclut une telle requête de la moyenne. Deux requêtes de test sont dans ce cas (« printers » et sa version française). Une moyenne sur « 243 requêtes de test » porte donc réellement sur 241 requêtes.

Chaque type de recherche présenté dans Les types de recherche a une mesure qui lui convient.

Type de recherche Exemple Ce dont la personne a besoin Mesure adaptée
Article connu « kisner coffee table » Un produit, le plus haut possible MRR
Précise « grey outdoor cushion 18x18 » Quelques bons produits près du haut NDCG@10, precision@5
Large « sofa » Beaucoup de bons produits, une bonne première page NDCG@10
Première des deux étapes n’importe laquelle Les bons produits quelque part parmi les 100 premiers recall@100

Dans le carnet Jupyter, vous calculez ces mesures pour les 121 requêtes de validation. La recherche est la recherche hybride de Larkfield, que vous créez dans Recherche hybride. Les requêtes d’article connu obtiennent le MRR le plus élevé (0,670). Les requêtes larges obtiennent un MRR élevé (0,632), mais un NDCG@10 faible (0,511). Le premier produit est généralement bon, mais le reste de la page ne l’est pas. Une seule mesure cacherait cela.

Le cours utilise le NDCG@10 comme nombre principal, car il utilise toutes les notes et l’ordre de la première page. Il présente le MRR et le recall@100 à côté, pour montrer les changements que le NDCG cache.

Vous calculez maintenant les mesures des deux recherches pour chaque requête de test.

  1. Dans larkfield-search, avec l’environnement virtuel actif, mesurez la recherche actuelle de Larkfield sur le jeu de test :

    Fenêtre de terminal
    search eval --run current
    current on 243 test queries: NDCG@10 0.195 (95% interval 0.155 to 0.237)
    recall@100 0.146, MRR 0.312, zero results 66.7%, judged in the top 10 83.7%; 0.1 ms a query (p50), 0.6 ms (p95)
  2. Mesurez BM25 sur les mêmes requêtes :

    Fenêtre de terminal
    search eval --run bm25
    bm25 on 243 test queries: NDCG@10 0.429 (95% interval 0.381 to 0.476)
    recall@100 0.388, MRR 0.438, zero results 12.8%, judged in the top 10 64.6%; 0.1 ms a query (p50), 0.3 ms (p95)

    Vos temps seront différents. Les mesures doivent être identiques.

  3. Répartissez les résultats de BM25 par type de recherche :

    Fenêtre de terminal
    search eval --run bm25 --by qtype

    Les deux premières lignes répètent l’étape 2. Ensuite :

    qtype queries ndcg@10 low high zero-result rate
    broad 27 0.506 0.366 0.648 0.185
    known-item 80 0.422 0.338 0.509 0.275
    specific 136 0.419 0.360 0.476 0.029

Lisez ensemble les sorties des étapes 1 et 2. judged in the top 10 (jugés parmi les 10 premiers) est plus élevé pour la recherche actuelle (83,7 %) que pour BM25 (64,6 %). La recherche actuelle affiche moins de produits, et chaque produit affiché correspond à tous les mots. Les juges ont donc noté la plupart d’entre eux. BM25 affiche davantage de produits que personne n’a jugés. Selon la règle « les produits non jugés comptent comme non pertinents », le score de BM25 le désavantage un peu. Malgré cela, BM25 est nettement meilleur.

À l’étape 3, BM25 obtient ses pires résultats pour les requêtes d’article connu. Beaucoup contiennent des noms et des codes de produits, que BM25 ne traite pas de façon particulière. Correspondances exactes et règles corrige le problème des codes.

Changez une seule chose : l’exécution. Avant de la lancer, prédisez quel type de requête la recherche actuelle traite le moins bien, et pourquoi.

Fenêtre de terminal
search eval --run current --by qtype
La sortie et ce qu’elle montre
qtype queries ndcg@10 low high zero-result rate
broad 27 0.426 0.254 0.587 0.444
known-item 80 0.099 0.053 0.151 0.800
specific 136 0.209 0.157 0.269 0.632

Les requêtes d’article connu obtiennent les pires résultats : NDCG@10 de 0,099, et 80 % ne renvoient rien. Une requête d’article connu est souvent longue ou exacte, comme un nom ou un code de produit. Chaque mot doit correspondre. Un seul mot écrit différemment suffit donc à vider la page. Les requêtes larges, souvent d’un seul mot, obtiennent les meilleurs résultats.

Erreur courante

Une tranche qui n'existe pas

Symptôme : Tomás veut les résultats par couleur et tape search eval --run bm25 --by colour. La commande s’arrête avec une longue erreur qui se termine ainsi :

KeyError: "None of [Index(['colour'], dtype='str')] are in the [columns]"

Cause : --by répartit les requêtes selon une colonne de queries.csv. La couleur est une colonne des produits, pas des requêtes. Les colonnes de requêtes qui donnent des tranches utiles sont band, language, source, qtype et has_number.

Solution : choisissez l’une de ces colonnes, par exemple search eval --run bm25 --by language. Pour étudier la couleur, ajoutez d’abord une colonne aux requêtes, comme « la requête nomme une couleur ».

Conséquence pour le travail de recherche : une tranche répond à une question sur les requêtes, pas sur les produits. Déterminez quels groupes de requêtes comptent pour vos utilisateurs. Consignez-les ensuite dans des colonnes de requêtes avant de mesurer.

Vérifiez votre compréhension

Une recherche renvoie ces notes pour une requête ayant 4 produits exacts au total : 0, 2, 1, 2, 0. Calculez la précision à 5, le rappel à 5 et le rang réciproque (produits exacts seulement).

Afficher la réponse
  • Précision à 5 = 0,4. Deux des cinq résultats sont exacts : 2 ÷ 5.
  • Rappel à 5 = 0,5. Les 5 premiers résultats trouvent 2 des 4 produits exacts : 2 ÷ 4.
  • Rang réciproque = 0,5. Le premier produit exact est au rang 2 : 1 ÷ 2.

Vérifiez votre compréhension

Deux listes ont les mêmes six produits exacts parmi les 10 premiers, donc la même précision à 10. Dans la liste A, le produit non pertinent est au rang 1; dans la liste B, au rang 5. Quelle liste a le NDCG@10 le plus élevé, et pourquoi?

Afficher la réponse

La liste B. Le NDCG divise chaque gain par une atténuation qui augmente avec le rang. Dans la liste A, un produit exact perd le rang 1, où son gain compte en entier. Tous les produits qui le suivent descendent aussi. Pour la requête d’ensemble de tapis, le NDCG@10 est de 0,731 dans l’ordre de BM25 (produit non pertinent au rang 5). Il est de 0,615 avec le produit non pertinent au rang 1.

Vérifiez votre compréhension

Omar veut un seul nombre pour les recherches d'article connu, comme « kisner coffee table ». Quelle mesure convient le mieux, et que laisse-t-elle de côté?

Afficher la réponse

Le MRR. Une recherche d’article connu a un seul bon produit, et son rang compte pour la personne : 1 ÷ rang du premier produit exact. Le MRR ignore tout ce qui suit ce produit, ainsi que les produits partiels. Cela convient aux recherches d’article connu, mais pas aux recherches larges, où le NDCG@10 convient mieux.

Récapitulatif

  • La précision à k est la proportion de produits exacts parmi les k premiers. Le rappel à k est la proportion de tous les produits exacts que les k premiers trouvent. Ni l’une ni l’autre ne tient compte de l’ordre.
  • Le MRR est la moyenne de 1 ÷ le rang du premier produit exact. Il convient aux recherches d’article connu.
  • Le NDCG@k utilise chaque note et l’ordre : gain 2^note − 1, divisé par log2(rang + 1), puis additionné (DCG). On divise ensuite cette somme par le DCG idéal. Pour « 3 piece rug set with runners » : NDCG@5 de 0,726, NDCG@10 de 0,731.
  • Sur les requêtes de test de Larkfield, BM25 a un NDCG@10 de 0,429 (0,381 à 0,476). La recherche actuelle obtient 0,195 (0,155 à 0,237).
  • Les produits non jugés comptent comme non pertinents (surveillez judged in the top 10). Une requête sans bon produit n’a pas de NDCG.

Vous pouvez maintenant attribuer un score à une recherche sur de nombreuses requêtes. Mais ces requêtes ressemblent-elles à celles que les gens tapent vraiment? Ensuite, vous comparez le jeu de test au journal et vous mesurez le degré de certitude de chaque nombre.

Leçon suivante : Créer un jeu de test qui représente vos utilisateurs