Jugements de pertinence
- Leçon 4
- 40 min
- Module 2 : Mesurer la pertinence avant de changer quoi que ce soit
Où nous en sommes
Nous avons trouvé des requêtes pour lesquelles la recherche de Larkfield échoue. Avant de changer quoi que ce soit, il faut pouvoir dire quel résultat est bon. Dans cette leçon, nous utilisons des jugements de pertinence gradués, des consignes de jugement et l'accord entre juges.
Leçon 4 sur 30 · Recherche et classement : trouver la meilleure correspondanceJugements de pertinence
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Déterminez quels résultats de recherche sont bons avec des notes écrites, pas avec une impression. Une note pour chaque produit et chaque requête permet de mesurer tous les changements suivants de la même façon. Une autre personne peut aussi vérifier votre travail.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter lit les jugements d’une requête et compare deux juges dans un tableau. Il vous demande aussi de calculer le kappa de Cohen à la main. Ses cellules de préparation téléchargent les données d’exercice. Aucune préparation locale n’est donc nécessaire. Environ 35 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le catalogue de Larkfield, les requêtes et le journal synthétique des requêtes, présentés dans Découvrir le catalogue et le journal des requêtes.
- Les types de recherche (article connu, précise, large), présentés dans Les types de recherche.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exercice guidé; le carnet n’en a pas besoin)
- Le dossier du projet
larkfield-searchavec son environnement.venv, et les fichiers d’exercice dans../nextia-learning-labsà côté. Ils viennent de Découvrir le catalogue et le journal des requêtes.search checkdoit se terminer parSetup check passed.(vérification de la configuration réussie).
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) sont fournies, mais l’équipe du cours ne les a pas exécutées.
Une cliente et un commis
Section intitulée « Une cliente et un commis »Une cliente entre dans un magasin de meubles et dit : « Je veux une chaise en bois pour dehors. » Le commis apporte cinq articles. Le premier est une chaise de patio en bois avec des coussins. Le deuxième est une chaise de jardin en métal. Le troisième est une chaise berçante en bois pour une véranda. Le quatrième est un coussin pour une chaise de salle à manger. Le cinquième est un bureau pour enfant avec une chaise.
Vous les regardez et, sans trop réfléchir, vous les classez. La chaise de patio et la chaise berçante correspondent à sa demande. La chaise en métal est proche : une chaise pour dehors, mais pas en bois. Le coussin est seulement un accessoire, et le bureau n’est pas le bon article. Vous donnez mentalement une note à chaque article : bon, proche ou mauvais.
Cette note mentale est le point de départ de tout ce module. Le moteur de recherche joue le rôle du commis. Pour savoir s’il est bon, quelqu’un doit noter chaque produit qu’il présente. Le produit est-il bon, proche ou mauvais pour les mots que la cliente a tapés?
« Ça me semble mieux »
Section intitulée « « Ça me semble mieux » »Dans Découvrir le catalogue et le journal des requêtes, vous avez découvert deux recherches. La recherche actuelle de Larkfield (current) affiche un produit seulement s’il contient chaque mot de la requête. BM25 (bm25) accepte une correspondance avec n’importe quel mot et classe les produits selon un score. Tomás, l’ingénieur en IA, essaie les deux avec les requêtes les plus populaires du magasin. Il tape « bee », « rack glass » et « dumbbells », regarde la première page et dit : « BM25 n’est pas meilleur. Je garderais ce qu’on a. »
Priya, la scientifique des données, mesure les deux mêmes recherches autrement. Vous apprendrez cette méthode dans ce module. Elle évalue les deux sur les 243 requêtes de test, avec des notes écrites. Le résultat varie selon le groupe de requêtes. La tête comprend les 40 textes les plus recherchés du journal, le milieu les 120 suivants, et la traîne tous les autres.
Description textuelle du graphique
Un graphique à colonnes avec trois colonnes. Tête (les 40 textes les plus recherchés, 16 requêtes de test) : −0,015. Milieu (les 120 textes suivants, 41 requêtes de test) : +0,190. Traîne (tous les autres textes, 184 requêtes de test) : +0,265. L’axe va de −0,05 à 0,3. La colonne de tête est juste sous zéro; les deux autres sont bien au-dessus.
Tomás avait raison sur ce qu’il voyait. Pour les requêtes populaires, BM25 est un peu moins bon (−0,015). Mais la plupart des requêtes distinctes de Larkfield sont dans la traîne, où BM25 est bien meilleur (+0,265). Sur l’ensemble des requêtes de test, BM25 est meilleur de +0,234. Le nombre sur l’axe est le NDCG@10, un score de 0 à 1 que la prochaine leçon explique. Ici, seul le sens de la différence compte.
Tomás a regardé quelques requêtes et s’est fié à ce qu’il voyait. Son regard était honnête, mais il ne couvrait qu’une petite partie particulière du trafic. Personne ne pouvait le vérifier. Le nombre de Priya est différent. N’importe qui peut refaire le calcul avec les mêmes requêtes et obtenir la même réponse.
Description textuelle du diagramme
Le diagramme part d’une boîte, « Un changement à la recherche », et se divise en deux chemins. Le chemin du haut mène à « Regarder quelques requêtes populaires », puis à « Ça me semble mieux ». Il se termine dans une boîte à bordure rouge : « Aucun nombre : personne ne peut vérifier ». Le chemin du bas mène à « Exécuter chaque requête de test jugée », puis à « Noter chaque liste avec les jugements ». Il se termine dans une boîte à bordure épaisse : « Un nombre avec un intervalle. BM25 moins la recherche actuelle : +0,234 (+0,197 à +0,270) ».
Pour noter une liste, il vous faut d’abord les notes écrites. Elles portent un nom.
Jugements de pertinence
Section intitulée « Jugements de pertinence »Un jugement de pertinence est une note qui indique à quel point un produit répond à une requête. « Pertinent » signifie « utile pour ce que la personne a demandé ». Un jugement concerne toujours une paire. Le même produit peut être exact pour « wooden chair outdoor » et non pertinent pour « dining table ».
Larkfield utilise trois notes, celles du commis :
| Note | Nom | Sens |
|---|---|---|
| 2 | Exact | Le produit correspond à la demande, avec tous les détails de la requête. |
| 1 | Partiel | Le bon type d’article, mais un détail diffère ou manque, ou c’est un substitut proche. |
| 0 | Non pertinent | Pas ce que la personne a demandé : un autre type de produit, un accessoire ou une pièce. |
Ces jugements sont gradués : ils ont plus de deux niveaux. Une note oui/non placerait la chaise de jardin en métal soit avec la chaise de patio, soit avec le coussin de salle à manger. Aucun de ces choix n’est juste. La note du milieu conserve la différence entre « proche » et « mauvais ». Les mesures de classement de la prochaine leçon l’utilisent.
Un petit exemple : « wooden chair outdoor »
Section intitulée « Un petit exemple : « wooden chair outdoor » »Voici six résultats réels pour la requête « wooden chair outdoor » (W-367), avec les notes des juges de WANDS :
| Produit | Classe de produit | Note | Pourquoi |
|---|---|---|---|
| patio chair with cushions (acacia wood) | Patio Lounge Chairs | 2 exact | Une chaise en bois pour dehors |
| abdool wooden rocking chair | Patio Rockers & Gliders | 2 exact | Une chaise en bois pour un patio |
| cooney wooden porch rocking chair | Patio Rockers & Gliders | 2 exact | Une chaise en bois pour une véranda |
| keating 28’’ wide outdoor chair with cushions (aluminium) | Patio Lounge Chairs | 1 partiel | Chaise extérieure, mais en métal, pas en bois |
| biergh wooden 31’’ writing desk and chair set | Kids Desks | 1 partiel | Une chaise en bois, mais pour l’intérieur, et dans un ensemble avec bureau |
| memory foam honeycomb … dining chair cushion | Furniture Cushions | non jugé | — |
Regardez l’ensemble avec bureau. Les juges de WANDS l’ont noté partiel. Beaucoup le jugeraient non pertinent : c’est un bureau pour enfant destiné à une chambre. Ce n’est pas une erreur dans le tableau. Cela montre que juger exige des règles, et que deux personnes attentives peuvent quand même être en désaccord. Le reste de cette leçon traite de ces deux points.
Regardez aussi la dernière ligne. Personne n’a jugé le coussin pour cette requête. Cela arrive souvent, et le cours considère un produit non jugé comme non pertinent. Jugements d’un modèle de langage revient sur ce choix.
Qui écrit les jugements
Section intitulée « Qui écrit les jugements »Les jugements de Larkfield sont réels. Ils viennent de WANDS, le Wayfair ANnotation DataSet (licence MIT). Des personnes embauchées par le magasin de meubles Wayfair ont noté des produits pour 480 requêtes réelles de clients. Le cours a renommé les produits comme ceux de Larkfield, et a conservé les requêtes et les notes.
Description textuelle du graphique
Un graphique à colonnes avec trois colonnes : exact 36 109, partiel 180 879, non pertinent 74 242. La colonne partiel fait environ cinq fois la hauteur de la colonne exact.
Le cours compte 291 230 jugements au total, pour 624 requêtes publiques. Une requête WANDS a une médiane de 199 produits jugés. Les 130 requêtes françaises ont été traduites automatiquement de requêtes anglaises et partagent leurs jugements. Certaines autres requêtes sont des exercices que nous avons créés exprès, comme des fautes d’orthographe et des codes de produit. Chaque requête appartient à une partition : entraînement, validation ou test.
Qui écrit les jugements dans une vraie entreprise? Souvent, une petite équipe de personnes formées, l’équipe de recherche elle-même ou un service payant. Chaque jugement prend du temps : la personne doit lire la requête, le titre, la description et les attributs. C’est pourquoi chaque jugement compte, et pourquoi les juges ont besoin de consignes.
Consignes de jugement
Section intitulée « Consignes de jugement »Les consignes de jugement sont les règles écrites que chaque juge suit. Sans elles, chaque personne a sa propre idée de « proche ». Avec elles, deux personnes donnent plus souvent la même note à la même paire. Un nouveau juge peut aussi apprendre le travail.
Le projet contient les consignes de Larkfield dans docs/judging-guidelines.md. Elles définissent les trois notes comme dans le tableau ci-dessus et ajoutent des règles pour les cas difficiles :
- Les accessoires sont non pertinents. « sofa » → une housse de canapé ou une table de canapé vaut 0, même si le mot correspond.
- Un détail manquant rend le résultat partiel. « grey outdoor cushion » → un coussin extérieur bleu vaut 1.
- Une taille différente est partielle, sauf si la taille est l’objet même de la requête.
- Requêtes de marque ou de nom : « kisner coffee table » → la table basse Kisner vaut 2; une autre table basse vaut 1; un canapé Kisner vaut 0.
- Si vous ne pouvez pas décider, lisez la description et les attributs. Si vous ne pouvez toujours pas décider, choisissez la note inférieure et écrivez une remarque.
- La langue ne compte pas : une requête française et un produit anglais peuvent être une correspondance exacte.
La règle 1 est la plus importante pour la recherche. Une recherche qui fait correspondre les mots favorise les accessoires : « sofa cover » contient « sofa ». Les consignes disent clairement que la housse ne répond pas à la requête.
Omar, le gestionnaire de produit, demande : « Pourquoi ne pas laisser les clients juger avec leurs clics? » Les clics sont utiles, et Apprendre des clics les utilise. Mais un client peut seulement cliquer sur ce que la recherche affiche. Les gens cliquent souvent sur le premier résultat, qu’il soit bon ou non. Un jugement répond à une question plus claire : ce produit convient-il à cette requête?
Accord entre juges
Section intitulée « Accord entre juges »Les consignes aident, mais les gens restent parfois en désaccord, comme l’a montré l’ensemble avec bureau. Avant de faire confiance à des jugements, mesurez à quelle fréquence deux juges sont d’accord.
Un petit exemple : deux juges, dix paires
Section intitulée « Un petit exemple : deux juges, dix paires »Deux juges, A et B, notent les dix mêmes paires requête–produit :
| Paire | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| Juge A | 2 | 2 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 1 |
| Juge B | 2 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 1 |
| Identique? | oui | non | oui | oui | non | oui | oui | oui | non | oui |
Ils donnent la même note à 7 paires sur 10. C’est l’accord brut : 0,70.
Mais deux juges sont parfois d’accord par hasard. Imaginez qu’ils notent tous deux au hasard, chacun utilisant chaque note aussi souvent qu’ici. Le juge A donne exact à 2 paires sur 10, partiel à 5 et non pertinent à 3. Le juge B donne exact à 1, partiel à 6 et non pertinent à 3. La probabilité que les deux disent « exact » pour une paire est 0,2 × 0,1 = 0,02. Tous deux « partiel » : 0,5 × 0,6 = 0,30. Tous deux « non pertinent » : 0,3 × 0,3 = 0,09. Des juges aléatoires seraient donc d’accord pour 0,02 + 0,30 + 0,09 = 0,41 des paires.
Le kappa de Cohen (κ, prononcé « kappa ») conserve seulement l’accord qui dépasse ce niveau dû au hasard :
kappa = (observé − hasard) ÷ (1 − hasard) = (0,70 − 0,41) ÷ (1 − 0,41) = 0,29 ÷ 0,59 = 0,49
Un kappa de 1 signifie un accord parfait. Un kappa de 0 signifie un accord qui ne dépasse pas le hasard. Un repère courant qualifie l’accord de 0,41 à 0,60 de « modéré », et de 0,61 à 0,80 d’« important ». Le nom vient de Jacob Cohen, qui l’a publié en 1960.
Il existe une autre version. Regardez la paire 2 : un juge a dit exact, l’autre partiel. Paire 5 : partiel contre non pertinent. Les deux désaccords sont séparés d’un niveau. « Exact » contre « non pertinent » serait bien pire. Le kappa pondéré compte un désaccord d’un niveau comme un demi-désaccord. Il est donc généralement plus élevé. Le projet affiche les deux.
Pourquoi l’accord compte
Section intitulée « Pourquoi l’accord compte »Pourquoi mesurer l’accord? Parce qu’il fixe une limite. Supposons que deux juges attentifs soient d’accord sur seulement 70 % des paires. Les notes d’un juge contiennent alors du bruit, qu’aucune recherche ne peut supprimer. L’accord vous indique aussi si les consignes fonctionnent. Un kappa faible signifie souvent qu’il manque une règle, comme la règle 1 sur les accessoires.
Exercice guidé : juger 30 résultats
Section intitulée « Exercice guidé : juger 30 résultats »Vous allez maintenant noter vous-même 30 résultats et comparer vos notes à celles des juges de WANDS. D’abord, ajoutez les fichiers de ce module à votre projet.
-
Dans
larkfield-search, avec l’environnement virtuel actif, copiez les fichiers de ce module depuis l’instantanéend-of-m02. Ce sont le code de jugement, la commande de comparaison d’une leçon suivante, les consignes, leurs tests et le README du projet. Si vous avez téléchargé les exercices en fichier ZIP, écriveznextia-learning-labs-mainplutôt quenextia-learning-labs, ici et dans les modules suivants.Fenêtre de terminal S=../nextia-learning-labs/C38/snapshots/end-of-m02mkdir -p docsfor f in larkfield_search/judge.py larkfield_search/commands/judge.py larkfield_search/commands/compare.py docs/judging-guidelines.md tests/test_judge.py README.md; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C38\snapshots\end-of-m02"New-Item -ItemType Directory -Force docs | Out-Nullforeach ($f in 'larkfield_search\judge.py', 'larkfield_search\commands\judge.py', 'larkfield_search\commands\compare.py', 'docs\judging-guidelines.md', 'tests\test_judge.py', 'README.md') { Copy-Item "$S\$f" $f } -
Exécutez les tests. Ils utilisent un petit dossier de données fictives et n’ont donc pas besoin d’index :
Fenêtre de terminal python -m pytest -q................ [100%]16 passed in 0.86sLe début du module comptait 12 tests; les quatre nouveaux testent le code de jugement. Votre durée sera différente.
-
Écrivez un échantillon de résultats à juger :
Fenêtre de terminal search judge sampleWrote 30 results of 3 queries to outputs/judge_sample.csv.Fill the column your_grade with 2 (exact), 1 (partial) or 0 (irrelevant), following docs/judging-guidelines.md. Then run: search judge agreeL’échantillon contient les 10 premiers résultats de BM25 pour trois requêtes de validation : « bedroom wall decor floral, multicolored with some teal (prints) », « fleur de lis living candle wall sconce bronze » et « wooden chair outdoor ».
-
Ouvrez
docs/judging-guidelines.mdet lisez-le une fois. -
Ouvrez
outputs/judge_sample.csvdans un tableur ou dans VS Code. Chaque ligne contient la requête, le titre du produit, sa classe, une partie de sa description et ses attributs. -
Remplissez la colonne
your_gradeavec 2, 1 ou 0 pour chaque ligne. Ne regardez pas d’abord les notes de WANDS. Enregistrez le fichier au format CSV. -
Comparez vos notes à celles des juges de WANDS :
Fenêtre de terminal search judge agreeVoici la sortie pour un ensemble de notes écrites pendant la préparation de cette leçon :
You and the WANDS judges on 17 results (A = WANDS, B = you): agreement 71%, Cohen's kappa 0.55, weighted kappa 0.65judge B exact partial irrelevantjudge Aexact 4 0 0partial 0 4 3irrelevant 0 2 4Vos nombres seront différents : ils dépendent de vos notes.
Lisez la sortie en trois parties. D’abord, seuls 17 des 30 résultats comptent. Les 13 autres n’ont pas de jugement WANDS; il n’y a donc rien à quoi les comparer. Ensuite, la ligne de résumé : ces notes concordent avec WANDS sur 71 % des 17 paires. Le kappa est de 0,55, soit un accord modéré. Enfin, le tableau. Ses lignes sont les notes de WANDS, et ses colonnes sont les vôtres. La diagonale (4, 4, 4) correspond aux accords entre les deux.
Le tableau montre où se trouve le désaccord. Chaque paire que WANDS a notée exacte était aussi exacte ici. Les cinq désaccords sont tous entre partiel et non pertinent. Trois produits que WANDS a notés partiels étaient non pertinents ici. Deux sont les ensembles avec bureau pour enfant pour « wooden chair outdoor ». L’autre est un présentoir à gâteau à fleur de lis pour une applique à bougie. La règle 1 des consignes a poussé ce juge vers « non pertinent ». Les juges de WANDS leur ont donné une note plus élevée. Aucun des deux côtés n’a tort. Le désaccord indique que la limite entre partiel et non pertinent exige une règle plus claire.
À vous de jouer : un autre échantillon
Section intitulée « À vous de jouer : un autre échantillon »Changez une seule chose : l’échantillon. Exécutez search judge sample --seed 2. La commande écrit 30 résultats de trois autres requêtes de validation, en commençant par « sunflower » (tournesol). Avant de les noter, faites une prédiction : votre accord avec WANDS sera-t-il plus élevé ou plus faible que pour le premier échantillon? Notez les 30 résultats, exécutez search judge agree, puis trouvez la cellule du tableau qui contient le plus de désaccords.
Quoi observer
Un seul mot comme « sunflower » peut désigner plusieurs types de produits : décoration murale, tapis, statue de jardin, graines. Les consignes disent que le produit doit être « ce que la personne a demandé ». Avec une requête large, les juges s’entendent moins sur ce que cela signifie. L’accord est donc souvent plus faible que pour une requête longue et précise. Si la plupart de vos désaccords opposent encore les notes partiel et non pertinent, écrivez la règle qui les réglerait. Cette règle est votre première amélioration des consignes.
Erreur courante
Des mots plutôt que des nombres dans la colonne des notes
Symptôme : Tomás tape exact dans la première ligne au lieu de 2, enregistre le fichier et exécute search judge agree. La commande s’arrête avec un long message d’erreur qui se termine ainsi :
ValueError: invalid literal for int() with base 10: 'exact'S’il laisse toutes les notes vides, elle indique plutôt :
No judged rows with a WANDS judgment yet: fill your_grade first.Cause : la commande lit la colonne comme des nombres entiers. Elle ignore les cellules vides, mais un mot n’est pas un nombre, et Python ne peut pas le convertir.
Solution : utilisez seulement 2, 1 ou 0 dans your_grade (votre note), et laissez la cellule vide si vous sautez une ligne. Exécutez ensuite search judge agree de nouveau.
Conséquence pour le travail de recherche : les notes sont des données. Une faute de frappe dans une cellule peut empêcher le calcul d’une mesure. Pire, elle peut changer la mesure sans provoquer d’erreur, par exemple un 3 alors que l’échelle s’arrête à 2. Vérifiez les valeurs d’un fichier de jugements avant de l’utiliser : seulement les notes permises et le nombre prévu de cellules vides.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Tomás regarde la première page de résultats des cinq requêtes les plus courantes du magasin. Il dit que la nouvelle recherche n'est pas meilleure. Pourquoi n'est-ce pas une mesure? Que feriez-vous plutôt?
Afficher la réponse
C’est une impression sur quelques requêtes. Personne ne peut la vérifier ni la reproduire. Les cinq requêtes les plus courantes représentent une partie particulière du trafic. Sur les requêtes de test de Larkfield, BM25 fait un peu moins bien que la recherche actuelle sur les requêtes de tête (−0,015), mais beaucoup mieux sur celles de la traîne (+0,265). À la place : notez les résultats de nombreuses requêtes de test à l’aide de consignes écrites. Calculez les scores des deux recherches sur les mêmes requêtes avec ces notes, puis comparez les scores.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pour la requête « grey outdoor cushion » (coussin extérieur gris), notez ces trois produits selon les consignes de Larkfield et expliquez pourquoi : un coussin de siège extérieur gris; un coussin de siège extérieur bleu; une housse pour un canapé extérieur.
Afficher la réponse
- Coussin de siège extérieur gris : 2 (exact). C’est ce que la personne a demandé, avec tous les détails : gris, extérieur, coussin.
- Coussin de siège extérieur bleu : 1 (partiel). Le bon type de produit, avec un détail différent : la couleur (règle 2).
- Housse pour un canapé extérieur : 0 (non pertinent). Un autre type de produit. C’est un accessoire pour un meuble extérieur, pas un coussin (règle 1).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Deux juges notent 10 paires et s'entendent sur 8. S'ils notaient au hasard avec les mêmes proportions de chaque note, ils s'entendraient sur 0,50 des paires. Calculez le kappa de Cohen. L'accord est-il meilleur que modéré?
Afficher la réponse
kappa = (0,80 − 0,50) ÷ (1 − 0,50) = 0,30 ÷ 0,50 = 0,60. C’est le haut de la plage « modéré » (0,41 à 0,60) du repère courant. L’accord n’est pas encore « important ». L’accord brut de 80 % paraît meilleur qu’il ne l’est, car la moitié des paires auraient la même note par hasard.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- « Ça me semble mieux » n’est pas une mesure. Tomás a vu les requêtes populaires, où BM25 fait un peu moins bien (−0,015); sur toutes les requêtes de test, il fait mieux de +0,234.
- Un jugement de pertinence donne une note à un produit pour une requête : exact (2), partiel (1) ou non pertinent (0). Les 291 230 jugements de Larkfield viennent des juges de WANDS; un produit non jugé compte comme non pertinent.
- Les consignes de jugement sont les règles écrites que tous les juges suivent. La règle la plus importante pour la recherche : les accessoires sont non pertinents.
- Les juges ne s’entendent pas toujours. L’accord brut compte les notes identiques; le kappa de Cohen retire l’accord dû au hasard : (observé − hasard) ÷ (1 − hasard). Le kappa pondéré compte un désaccord d’un niveau pour la moitié.
search judge sampleécrit 30 résultats à noter;search judge agreecompare vos notes à celles des juges de WANDS.
Vous pouvez maintenant noter les résultats et vérifier les notes. Mais une liste classée contient dix notes, et il vous faut un seul nombre pour toute la liste. Ensuite, vous transformerez les notes d’une liste en précision, rappel, MRR et NDCG.
Leçon suivante : Mesures de classement