Mesures de classement
- Leçon 5
- 40 min
- Module 2 : Mesurer la pertinence avant de changer quoi que ce soit
Où nous en sommes
Nos jugements indiquent la qualité de chaque résultat. Une liste classée a besoin d'un nombre qui indique sa qualité globale. Dans cette leçon, nous calculons la précision, le rappel, le MRR et le NDCG à la main, puis pour chaque requête de test.
Leçon 5 sur 30 · Recherche et classement : trouver la meilleure correspondanceMesures de classement
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Transformez les notes d’une liste classée en un nombre, puis choisissez celui qui convient à la recherche. Vous calculez la précision, le rappel, le MRR et le NDCG à la main pour une vraie requête. Ensuite, le projet les calcule pour chaque requête de test.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter calcule les quatre mesures pour une requête et vous demande de programmer vous-même le NDCG. Ensuite, il calcule les mesures pour chaque requête de validation et par type de recherche. Ses cellules de préparation téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les jugements gradués (exact 2, partiel 1, non pertinent 0), présentés dans Jugements de pertinence.
- Les types de recherche (article connu, précise, large), présentés dans Les types de recherche.
- Un logarithme, simplement comme un nombre qui augmente de plus en plus lentement. Vous n’avez pas à en calculer un à la main : toutes les valeurs sont dans un tableau.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé)
- Le projet
larkfield-searchavec les fichiers de ce module, fourni dans l’exercice guidé de Jugements de pertinence.search checkdoit se terminer parSetup check passed.(vérification de la configuration réussie).
Dix articles sur le comptoir
Section intitulée « Dix articles sur le comptoir »Un client demande à la vendeuse « a 3 piece rug set with runners » (un ensemble de trois tapis avec tapis de couloir). Elle pose dix articles sur le comptoir, de gauche à droite. Le client regarde le premier article, puis le deuxième. Il s’arrête peut-être après trois ou quatre articles.
Vous devez maintenant donner à la vendeuse un score pour cette rangée. Vous avez une note pour chaque article. Mais une rangée a dix notes, et un score est un seul nombre. Comment transformer dix notes en un nombre?
La réponse dépend de ce qui compte pour vous. Voulez-vous savoir combien d’articles conviennent? Quelle part des bons articles du magasin elle a trouvée? À quelle vitesse le client voit le premier bon article? Ou tout cela, avec plus de poids pour les premières places? Chaque question donne une mesure de classement différente : une formule qui transforme les notes d’une liste classée en un nombre.
Une vraie requête
Section intitulée « Une vraie requête »La requête est « 3 piece rug set with runners » (W-236), une requête de validation. BM25 renvoie ces dix produits. Les notes sont de vrais jugements de WANDS.
| Rang | Produit | Classe de produit | Note |
|---|---|---|---|
| 1 | ellington circle 3 piece area rug set | Area Rugs | 2 exact |
| 2 | cedric oriental ebony area rug set | Area Rugs | 1 partiel |
| 3 | mokvist 3 piece floral border red area rug set | Area Rugs | 2 exact |
| 4 | wilkesboro 3 piece floral border blue area rug set | Area Rugs | 2 exact |
| 5 | braylei simple elegance 3 piece solid bath set | Bath Rugs & Mats | 0 non pertinent |
| 6 | fontenay 3 piece braided brown rug set | Area Rugs | 2 exact |
| 7 | kamberk floral teal area rug | Area Rugs | 1 partiel |
| 8 | rhodes stripped checker 3 piece hand-knotted beige area rug set | Area Rugs | 2 exact |
| 9 | audrey 3 piece geometric brown/moss area rug set | Area Rugs | 2 exact |
| 10 | shawnna 3 piece bath rug set | Bath Rugs & Mats | 1 partiel |
Les notes, dans l’ordre, sont 2, 1, 2, 2, 0, 2, 1, 2, 2, 1. Six produits sur dix sont exacts. Un autre fait compte : les juges de WANDS ont jugé 28 produits exacts pour cette requête. Dix résultats ne peuvent jamais tous les montrer.
Compter les produits exacts : précision et rappel
Section intitulée « Compter les produits exacts : précision et rappel »Tomás propose le score le plus simple : « Comptez les bons. » C’est une vraie mesure, et elle a un nom.
Precision@k (« précision à k ») est la part des k premiers résultats qui sont exacts. Le cours compte seulement les produits exacts ici.
- Precision@5 : les rangs 1 à 5 contiennent 3 produits exacts. 3 ÷ 5 = 0,6.
- Precision@10 : les rangs 1 à 10 contiennent 6 produits exacts. 6 ÷ 10 = 0,6.
Recall@k (« rappel à k ») pose la question inverse : parmi tous les produits exacts pour cette requête, quelle part trouve-t-on dans les k premiers résultats?
- Recall@10 : 6 des 28 produits exacts. 6 ÷ 28 = 0,214.
La précision représente le client, qui ne voit que la page. Le rappel représente le magasin, qui veut que ses bons produits soient faciles à trouver. Une recherche peut avoir une précision élevée et un rappel faible : chaque résultat est bon, mais la plupart des bons produits n’apparaissent jamais. C’est le cas ici, et ce n’est pas un défaut : une page de dix résultats ne peut contenir 28 produits.
Le rappel compte surtout quand k est grand. Le cours présente le rappel à 100 (recall@100) : combien de produits exacts figurent parmi les 100 premiers résultats. Une étape ultérieure peut seulement réordonner ce qu’une étape précédente a trouvé. Vous l’utilisez dans Classement en deux étapes.
Ce que le décompte ne voit pas
Section intitulée « Ce que le décompte ne voit pas »Déplacez maintenant l’ensemble de tapis de bain non pertinent du rang 5 au rang 1. Tous les autres produits descendent d’une place. Le client voit maintenant un tapis de bain en premier, pour une requête d’ensemble de tapis.
Le precision@10 ne change pas : les mêmes six produits exacts figurent toujours parmi les 10 premiers. Il reste à 0,6. Mais la page est clairement moins bonne. Le décompte ne voit pas l’ordre. En recherche, l’ordre est presque tout ce qui compte.
Le premier bon résultat : MRR
Section intitulée « Le premier bon résultat : MRR »Le rang réciproque est 1 divisé par le rang du premier produit exact. « Réciproque » signifie « 1 divisé par ».
- Dans l’ordre de BM25, le premier produit est exact. 1 ÷ 1 = 1,0.
- Avec l’ensemble de tapis de bain au rang 1, le premier produit exact est au rang 2. 1 ÷ 2 = 0,5.
- Si le premier produit exact était au rang 4, le score serait 1 ÷ 4 = 0,25. Si aucun produit exact n’est trouvé, il est de 0.
Le MRR (moyenne des rangs réciproques) est la moyenne de cette valeur sur plusieurs requêtes. Il convient à une recherche où une seule réponse suffit. Une personne qui tape « kisner coffee table » veut la table basse Kisner. Son rang détermine l’expérience de cette personne.
Le MRR voit l’ordre, mais seulement une place dans cet ordre. Il ignore tout ce qui suit le premier produit exact, ainsi que les produits partiels. Pour une requête large comme « sofa », où beaucoup de produits conviennent, cela ne suffit pas.
Utiliser chaque note et l’ordre : NDCG
Section intitulée « Utiliser chaque note et l’ordre : NDCG »Le NDCG (normalised discounted cumulative gain, gain cumulé atténué normalisé) utilise chaque note et donne plus de poids aux premières places. C’est la principale mesure de ce cours. Son nom décrit quatre étapes. Vous pouvez les suivre dans le diagramme, puis dans un tableau.
Description textuelle du diagramme
Le diagramme présente une rangée de cases reliées par des flèches. « Notes des 5 premiers : 2, 1, 2, 2, 0 » mène à « Gains : 2^note − 1 : 3, 1, 3, 3, 0 ». Puis vient « Diviser par l’atténuation log2(rang + 1) : 1; 1,585; 2; 2,322; 2,585 ». Ensuite, « Parts du DCG : 3; 0,631; 1,5; 1,292; 0 » mène à « Additionner : DCG@5 = 6,423 ». Une case séparée indique « 5 premiers idéaux : cinq exacts, DCG@5 idéal = 8,845 ». Elle et la case du DCG mènent à la dernière case, au contour épais : « Diviser : NDCG@5 = 6,423 ÷ 8,845 = 0,726 ».
Étape 1 : gain
Section intitulée « Étape 1 : gain »Chaque note devient un gain : 2 à la puissance de la note, moins 1. Exact (2) donne 2² − 1 = 3. Partiel (1) donne 2¹ − 1 = 1. Non pertinent (0) donne 2⁰ − 1 = 0. Un produit exact vaut donc trois produits partiels. Cette formule est un choix, et un choix courant. Elle indique que le bon produit est bien meilleur qu’un produit proche.
Étape 2 : atténuation
Section intitulée « Étape 2 : atténuation »Chaque gain est divisé par une atténuation qui augmente avec le rang : log2(rang + 1). Au rang 1, l’atténuation vaut 1, donc le gain compte en entier. Au rang 2, il vaut 1,585. Au rang 10, il vaut 3,459, donc le gain compte pour moins d’un tiers. L’atténuation traduit le fait que les gens regardent d’abord le haut de la page.
Étape 3 : additionner les parts
Section intitulée « Étape 3 : additionner les parts »Additionnez les gains atténués. La somme est le DCG (discounted cumulative gain, gain cumulé atténué). « Cumulé » signifie « additionné ».
| Rang | Note | Gain | Atténuation | Part du DCG (gain ÷ atténuation) |
|---|---|---|---|---|
| 1 | 2 | 3 | 1,000 | 3,000 |
| 2 | 1 | 1 | 1,585 | 0,631 |
| 3 | 2 | 3 | 2,000 | 1,500 |
| 4 | 2 | 3 | 2,322 | 1,292 |
| 5 | 0 | 0 | 2,585 | 0,000 |
| DCG@5 | 6,423 |
Étape 4 : normaliser
Section intitulée « Étape 4 : normaliser »Un DCG de 6,423 ne signifie rien à lui seul. Est-il bon? Pour le savoir, comparez-le à la meilleure liste possible. Le DCG idéal est le DCG de l’ordre idéal : tous les produits jugés pour la requête, classés par note décroissante. Cette requête a 28 produits exacts. Les 5 premiers résultats idéaux sont donc cinq produits exacts : 3 + 1,893 + 1,5 + 1,292 + 1,161 = 8,845 (après arrondi).
NDCG@5 = DCG@5 ÷ DCG@5 idéal = 6,423 ÷ 8,845 = 0,726.
« Normalisé » signifie « divisé par la meilleure valeur possible ». Le NDCG est donc toujours entre 0 et 1. Un score de 1 signifie que la liste est la meilleure possible. Cela permet de comparer les requêtes : une requête avec 28 produits exacts et une autre avec seulement 2 ont toutes deux un meilleur score de 1.
Pour les 10 premiers résultats, les mêmes étapes donnent DCG@10 = 9,963 et DCG@10 idéal = 13,631. Donc, NDCG@10 = 0,731.
À vous d’essayer : réordonner la liste
Section intitulée « À vous d’essayer : réordonner la liste »Vous changez maintenant l’ordre et observez les nombres. D’abord, faites une prédiction.
Explorer
NDCG d'une liste classée
Prédisez d’abord : Déplacez l'ensemble de tapis de bain non pertinent du rang 5 au rang 1. Le NDCG@10 baisse-t-il un peu ou beaucoup? Passez ensuite aux 5 premiers résultats et échangez les rangs 1 et 5.
Faites glisser une ligne, ou utilisez ses flèches.
- DCG@10
- 9,963
- DCG idéal@10
- 13,631
- NDCG@10
- 0,731
Le NDCG@10 vaut 0,731 : la liste obtient 9,963 des 13,631 points du top 10 idéal (DCG@10 ÷ DCG@10 idéal). Précision@10 : 6 résultats exacts sur 10.
| Rang | Produit | Note | Gain | Atténuation | Part du DCG |
|---|---|---|---|---|---|
| 1 | ellington circle 3 piece area rug setArea Rugs | 2 exact | 3 | 1,000 | 3,000 |
| 2 | cedric oriental ebony area rug setArea Rugs | 1 partiel | 1 | 1,585 | 0,631 |
| 3 | mokvist 3 piece floral border red area rug setArea Rugs | 2 exact | 3 | 2,000 | 1,500 |
| 4 | wilkesboro 3 piece floral border blue area rug setArea Rugs | 2 exact | 3 | 2,322 | 1,292 |
| 5 | braylei simple elegance 3 piece solid bath setBath Rugs & Mats | 0 non pertinent | 0 | 2,585 | 0,000 |
| 6 | fontenay 3 piece braided brown rug setArea Rugs | 2 exact | 3 | 2,807 | 1,069 |
| 7 | kamberk floral teal area rugArea Rugs | 1 partiel | 1 | 3,000 | 0,333 |
| 8 | rhodes stripped checker 3 piece hand-knotted beige area rug setArea Rugs | 2 exact | 3 | 3,170 | 0,946 |
| 9 | audrey 3 piece geometric brown/moss area rug setArea Rugs | 2 exact | 3 | 3,322 | 0,903 |
| 10 | shawnna 3 piece bath rug setBath Rugs & Mats | 1 partiel | 1 | 3,459 | 0,289 |
Description textuelle de l’explorateur
Une liste des dix résultats de BM25 pour « 3 piece rug set with runners ». Chaque ligne montre le rang, le titre, la classe de produit, la note, le gain, l’atténuation et la part du DCG. L’affichage montre le DCG, le DCG idéal et le NDCG pour les 5 ou les 10 premiers résultats. Dans l’ordre de BM25, le NDCG@10 est de 0,731 et le NDCG@5 de 0,726. Quand l’ensemble de tapis de bain passe du rang 5 au rang 1, le NDCG@10 est de 0,615 et le NDCG@5 de 0,548. Quand les rangs 1 et 5 sont échangés, le NDCG@5 est de 0,518. « Meilleur ordre de ces dix » donne un NDCG@10 de 0,797 et un NDCG@5 de 1,000.
Ce qui se passe
Avec l’ensemble de tapis de bain au rang 1, le NDCG@10 passe de 0,731 à 0,615. Le precision@10 reste à 0,6. Le NDCG voit l’ordre; le décompte ne le voit pas. Parmi les 5 premiers résultats, échanger les rangs 1 et 5 fait passer le NDCG@5 de 0,726 à 0,518. Le produit exact a perdu sa meilleure place.
Appuyez maintenant sur « Meilleur ordre de ces dix ». Le NDCG@5 devient 1,000, mais le NDCG@10 n’est que de 0,797. Pourquoi pas 1? La liste idéale a dix produits exacts, car la requête en a 28. Ces dix résultats n’en ont que six. Aucun ordre de ces dix résultats ne peut atteindre 1. La recherche doit trouver de meilleurs produits, pas seulement mieux les classer.
L’atténuation correspond-elle à la façon dont les gens regardent?
Section intitulée « L’atténuation correspond-elle à la façon dont les gens regardent? »L’atténuation est une hypothèse sur les gens. Le journal des requêtes de Larkfield permet de la tester, avec une réserve : le journal est synthétique. Notre code a créé ses clics avec un modèle de la façon dont les gens parcourent une page. Le graphique compare l’atténuation du NDCG au taux de clics par position dans ce journal.
- Poids du NDCG (1 ÷ atténuation)
- Clics, par rapport au rang 1 (journal synthétique)
Description textuelle du graphique
Un graphique linéaire avec les rangs 1 à 10 sur l’axe horizontal et un poids de 0 à 1 sur l’axe vertical. Les deux courbes commencent à 1 au rang 1. Le poids du NDCG passe par 1, 0,631, 0,5, 0,431, 0,387 et finit à 0,289 au rang 10. La courbe des clics, par rapport au rang 1, passe par 1, 0,52, 0,332, 0,251, 0,202 et finit à 0,092 au rang 10.
Dans ce journal, le rang 2 reçoit environ la moitié des clics du rang 1, et le rang 10, moins d’un dixième. Le NDCG donne encore au rang 10 plus du quart du poids du rang 1. Le NDCG est donc plus généreux envers les places inférieures que ces clics. Les vrais magasins voient souvent une baisse rapide aussi, mais vérifiez votre propre journal. Apprendre des clics étudie cette courbe.
D’une requête au jeu de test
Section intitulée « D’une requête au jeu de test »Une requête est un exemple, pas une mesure. Pour comparer deux recherches, vous calculez une mesure pour chaque requête de test et prenez la moyenne. Le projet le fait avec search eval. Son code est le fichier compare.py du cours. Nous l’avons vérifié avec pytrec_eval, une bibliothèque largement utilisée pour ces mesures. Pour chaque requête de test, les deux ont donné les mêmes NDCG@10, MRR et recall@100. Le plus grand écart était de 4,4 × 10⁻¹⁶, une différence d’arrondi.
Voici la recherche actuelle de Larkfield et BM25 sur les 243 requêtes de test :
Description textuelle du graphique
Quatre petits panneaux, chacun avec deux lignes. NDCG@10 : recherche actuelle 0,195 (intervalle à 95 % de 0,155 à 0,237), BM25 0,429 (de 0,381 à 0,476). MRR : recherche actuelle 0,312, BM25 0,438. Precision@5 : recherche actuelle 0,227, BM25 0,311. Recall@100 : recherche actuelle 0,146, BM25 0,388.
Chaque mesure décrit un aspect différent des mêmes listes. La recherche actuelle ne renvoie rien pour les deux tiers des requêtes de test. Elle trouve donc peu de produits exacts : le recall@100 n’est que de 0,146. Son MRR (0,312) est moins mauvais, car lorsqu’elle renvoie quelque chose, le premier résultat est souvent bon. L’intervalle à côté du NDCG@10 indique le degré de certitude du nombre. Créer un jeu de test qui représente vos utilisateurs l’explique.
Deux règles derrière chaque nombre
Section intitulée « Deux règles derrière chaque nombre »Deux choix se cachent derrière ces nombres. Vous devez les connaître pour lire les résultats de ce cours.
- Un produit non jugé compte comme non pertinent. Si personne n’a noté un produit pour une requête, il ajoute un gain de 0. Le projet affiche donc
judged in the top 10(jugés parmi les 10 premiers) à côté du NDCG. C’est la part des 10 premiers résultats qui ont un jugement. Une faible part vous avertit que le nombre pourrait être injuste. Jugements d’un modèle de langage traite de cette question. - Une requête sans bon produit n’a pas de NDCG. La requête « printers » a des jugements, mais tous sont non pertinents : Larkfield ne vend pas d’imprimantes. Son DCG idéal est de 0, et on ne peut pas diviser par 0. Le projet exclut une telle requête de la moyenne. Deux requêtes de test sont dans ce cas (« printers » et sa version française). Une moyenne sur « 243 requêtes de test » porte donc réellement sur 241 requêtes.
Quelle mesure pour quelle recherche
Section intitulée « Quelle mesure pour quelle recherche »Chaque type de recherche présenté dans Les types de recherche a une mesure qui lui convient.
| Type de recherche | Exemple | Ce dont la personne a besoin | Mesure adaptée |
|---|---|---|---|
| Article connu | « kisner coffee table » | Un produit, le plus haut possible | MRR |
| Précise | « grey outdoor cushion 18x18 » | Quelques bons produits près du haut | NDCG@10, precision@5 |
| Large | « sofa » | Beaucoup de bons produits, une bonne première page | NDCG@10 |
| Première des deux étapes | n’importe laquelle | Les bons produits quelque part parmi les 100 premiers | recall@100 |
Dans le carnet Jupyter, vous calculez ces mesures pour les 121 requêtes de validation. La recherche est la recherche hybride de Larkfield, que vous créez dans Recherche hybride. Les requêtes d’article connu obtiennent le MRR le plus élevé (0,670). Les requêtes larges obtiennent un MRR élevé (0,632), mais un NDCG@10 faible (0,511). Le premier produit est généralement bon, mais le reste de la page ne l’est pas. Une seule mesure cacherait cela.
Le cours utilise le NDCG@10 comme nombre principal, car il utilise toutes les notes et l’ordre de la première page. Il présente le MRR et le recall@100 à côté, pour montrer les changements que le NDCG cache.
Exercice guidé : mesurer les deux recherches
Section intitulée « Exercice guidé : mesurer les deux recherches »Vous calculez maintenant les mesures des deux recherches pour chaque requête de test.
-
Dans
larkfield-search, avec l’environnement virtuel actif, mesurez la recherche actuelle de Larkfield sur le jeu de test :Fenêtre de terminal search eval --run currentcurrent on 243 test queries: NDCG@10 0.195 (95% interval 0.155 to 0.237)recall@100 0.146, MRR 0.312, zero results 66.7%, judged in the top 10 83.7%; 0.1 ms a query (p50), 0.6 ms (p95) -
Mesurez BM25 sur les mêmes requêtes :
Fenêtre de terminal search eval --run bm25bm25 on 243 test queries: NDCG@10 0.429 (95% interval 0.381 to 0.476)recall@100 0.388, MRR 0.438, zero results 12.8%, judged in the top 10 64.6%; 0.1 ms a query (p50), 0.3 ms (p95)Vos temps seront différents. Les mesures doivent être identiques.
-
Répartissez les résultats de BM25 par type de recherche :
Fenêtre de terminal search eval --run bm25 --by qtypeLes deux premières lignes répètent l’étape 2. Ensuite :
qtype queries ndcg@10 low high zero-result ratebroad 27 0.506 0.366 0.648 0.185known-item 80 0.422 0.338 0.509 0.275specific 136 0.419 0.360 0.476 0.029
Lisez ensemble les sorties des étapes 1 et 2. judged in the top 10 (jugés parmi les 10 premiers) est plus élevé pour la recherche actuelle (83,7 %) que pour BM25 (64,6 %). La recherche actuelle affiche moins de produits, et chaque produit affiché correspond à tous les mots. Les juges ont donc noté la plupart d’entre eux. BM25 affiche davantage de produits que personne n’a jugés. Selon la règle « les produits non jugés comptent comme non pertinents », le score de BM25 le désavantage un peu. Malgré cela, BM25 est nettement meilleur.
À l’étape 3, BM25 obtient ses pires résultats pour les requêtes d’article connu. Beaucoup contiennent des noms et des codes de produits, que BM25 ne traite pas de façon particulière. Correspondances exactes et règles corrige le problème des codes.
À vous de jouer : la recherche actuelle par type
Section intitulée « À vous de jouer : la recherche actuelle par type »Changez une seule chose : l’exécution. Avant de la lancer, prédisez quel type de requête la recherche actuelle traite le moins bien, et pourquoi.
search eval --run current --by qtypeLa sortie et ce qu’elle montre
qtype queries ndcg@10 low high zero-result rate broad 27 0.426 0.254 0.587 0.444known-item 80 0.099 0.053 0.151 0.800 specific 136 0.209 0.157 0.269 0.632Les requêtes d’article connu obtiennent les pires résultats : NDCG@10 de 0,099, et 80 % ne renvoient rien. Une requête d’article connu est souvent longue ou exacte, comme un nom ou un code de produit. Chaque mot doit correspondre. Un seul mot écrit différemment suffit donc à vider la page. Les requêtes larges, souvent d’un seul mot, obtiennent les meilleurs résultats.
Erreur courante
Une tranche qui n'existe pas
Symptôme : Tomás veut les résultats par couleur et tape search eval --run bm25 --by colour. La commande s’arrête avec une longue erreur qui se termine ainsi :
KeyError: "None of [Index(['colour'], dtype='str')] are in the [columns]"Cause : --by répartit les requêtes selon une colonne de queries.csv. La couleur est une colonne des produits, pas des requêtes. Les colonnes de requêtes qui donnent des tranches utiles sont band, language, source, qtype et has_number.
Solution : choisissez l’une de ces colonnes, par exemple search eval --run bm25 --by language. Pour étudier la couleur, ajoutez d’abord une colonne aux requêtes, comme « la requête nomme une couleur ».
Conséquence pour le travail de recherche : une tranche répond à une question sur les requêtes, pas sur les produits. Déterminez quels groupes de requêtes comptent pour vos utilisateurs. Consignez-les ensuite dans des colonnes de requêtes avant de mesurer.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une recherche renvoie ces notes pour une requête ayant 4 produits exacts au total : 0, 2, 1, 2, 0. Calculez la précision à 5, le rappel à 5 et le rang réciproque (produits exacts seulement).
Afficher la réponse
- Précision à 5 = 0,4. Deux des cinq résultats sont exacts : 2 ÷ 5.
- Rappel à 5 = 0,5. Les 5 premiers résultats trouvent 2 des 4 produits exacts : 2 ÷ 4.
- Rang réciproque = 0,5. Le premier produit exact est au rang 2 : 1 ÷ 2.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Deux listes ont les mêmes six produits exacts parmi les 10 premiers, donc la même précision à 10. Dans la liste A, le produit non pertinent est au rang 1; dans la liste B, au rang 5. Quelle liste a le NDCG@10 le plus élevé, et pourquoi?
Afficher la réponse
La liste B. Le NDCG divise chaque gain par une atténuation qui augmente avec le rang. Dans la liste A, un produit exact perd le rang 1, où son gain compte en entier. Tous les produits qui le suivent descendent aussi. Pour la requête d’ensemble de tapis, le NDCG@10 est de 0,731 dans l’ordre de BM25 (produit non pertinent au rang 5). Il est de 0,615 avec le produit non pertinent au rang 1.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar veut un seul nombre pour les recherches d'article connu, comme « kisner coffee table ». Quelle mesure convient le mieux, et que laisse-t-elle de côté?
Afficher la réponse
Le MRR. Une recherche d’article connu a un seul bon produit, et son rang compte pour la personne : 1 ÷ rang du premier produit exact. Le MRR ignore tout ce qui suit ce produit, ainsi que les produits partiels. Cela convient aux recherches d’article connu, mais pas aux recherches larges, où le NDCG@10 convient mieux.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- La précision à k est la proportion de produits exacts parmi les k premiers. Le rappel à k est la proportion de tous les produits exacts que les k premiers trouvent. Ni l’une ni l’autre ne tient compte de l’ordre.
- Le MRR est la moyenne de 1 ÷ le rang du premier produit exact. Il convient aux recherches d’article connu.
- Le NDCG@k utilise chaque note et l’ordre : gain 2^note − 1, divisé par log2(rang + 1), puis additionné (DCG). On divise ensuite cette somme par le DCG idéal. Pour « 3 piece rug set with runners » : NDCG@5 de 0,726, NDCG@10 de 0,731.
- Sur les requêtes de test de Larkfield, BM25 a un NDCG@10 de 0,429 (0,381 à 0,476). La recherche actuelle obtient 0,195 (0,155 à 0,237).
- Les produits non jugés comptent comme non pertinents (surveillez
judged in the top 10). Une requête sans bon produit n’a pas de NDCG.
Vous pouvez maintenant attribuer un score à une recherche sur de nombreuses requêtes. Mais ces requêtes ressemblent-elles à celles que les gens tapent vraiment? Ensuite, vous comparez le jeu de test au journal et vous mesurez le degré de certitude de chaque nombre.
Leçon suivante : Créer un jeu de test qui représente vos utilisateurs