Aller au contenu
English

BM25

  • Leçon 9
  • 40 min
  • Module 3 : La recherche lexicale : la référence de base à battre

Où nous en sommes

Un index inversé trouve tous les produits qui contiennent nos mots. Il ne dit pas quel produit est le meilleur. Dans cette leçon, nous attribuons des scores aux produits avec BM25, examinons chaque partie du score et pondérons davantage le titre que la description.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Placez les meilleurs produits en premier parmi les centaines qui correspondent à une requête, avec un score explicable mot par mot.

Carnet JupyterFaites les calculs de cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter calcule BM25 à la main pour six produits et vérifie le résultat avec la bibliothèque bm25s. Il explique ensuite un vrai score, partie par partie, et vous ajustez la pondération du titre sur les requêtes de validation. Ses cellules de préparation téléchargent les données, donc aucune configuration locale n’est nécessaire. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-search avec son environnement virtuel actif, et le dépôt des exercices à côté, comme dans les modules précédents. Cette leçon ajoute quatre fichiers et le README de l’instantané end-of-m03.

Un client tend un papier à la vendeuse : « garden hose » (boyau d’arrosage). Elle regarde deux étiquettes de produits. La première est courte : « garden hose with reel » (boyau d’arrosage avec dévidoir). La seconde est une longue page de catalogue sur une jardinière. Elle contient « garden » (jardin) deux fois et, vers la fin, « connects to your garden hose » (se raccorde à votre boyau d’arrosage).

Elle utilise trois indices.

  1. Un mot rare est un indice fort. Presque tous les produits de jardin contiennent « garden ». Peu de produits contiennent « hose » (boyau). Donc, « hose » lui en dit plus que « garden ».
  2. Un mot répété est un indice, mais de moins en moins. Une étiquette qui contient « hose » trois fois parle probablement de boyaux. Mais le troisième « hose » ajoute moins que le premier.
  3. Un mot dans une étiquette courte compte davantage que le même mot perdu dans une longue page. Dans une étiquette courte, chaque mot concerne le produit.

Elle choisit l’étiquette courte. BM25 est une formule qui utilise les trois mêmes indices.

La dernière leçon se terminait par un problème. « garden hose » avec « au moins un mot peut correspondre » trouve 1 439 produits. Une personne en lit dix.

Première idée : compter les mots de la requête dans chaque produit. Mais 24 produits contiennent les deux mots et obtiennent tous 2 : une égalité. Les 1 415 autres obtiennent tous 1 : une autre égalité. Le compte traite « garden » et « hose » comme égaux, et un titre de 7 mots comme une description de 300 mots.

BM25 attribue à chaque produit un score pour une requête, et les scores les plus élevés viennent en premier. BM25 signifie « Best Matching 25 » (meilleure correspondance 25). Cette formule de classement des années 1990 porte le nom des versions essayées par ses auteurs. Elle reste le classement par défaut des moteurs de recherche à code source ouvert courants.

Le score est une somme. Chaque mot de la requête ajoute une partie. La partie d’un mot est sa rareté, multipliée par une proportion entre 0 et 1. La proportion augmente quand le mot apparaît plus souvent dans le produit et diminue quand le produit est long. Un mot absent du produit ajoute 0.

La rareté d’un mot est son IDF, la fréquence documentaire inverse. La fréquence documentaire (df) d’un mot est le nombre de produits qui le contiennent : la taille de sa liste de documents. « Inverse » signifie qu’une petite df donne un grand IDF. Avec N produits dans le catalogue :

IDF=ln⁡(1+N−df+0,5df+0,5)\text{IDF} = \ln\left(1 + \frac{N - \text{df} + 0{,}5}{\text{df} + 0{,}5}\right)

ln est le logarithme naturel. Il fait croître l’IDF lentement : un mot présent dans 10 fois moins de produits gagne environ 2,3 de plus, pas 10 fois plus. Dans le catalogue de Larkfield, avec N = 40 066 :

Mot Nombre de produits (df) IDF
the 28 152 0,353
chair 4 293 2,233
garden 1 352 3,389
headboard 1 089 3,605
hose 111 5,884
emma 6 8,727

« the » (le, la) ne vaut presque rien. « hose » vaut presque deux fois « garden ». « emma », un nom dans six produits, vaut le plus.

Le nombre de fois qu’un mot apparaît dans un produit est sa fréquence du terme (tf). BM25 ne multiplie pas par tf. Il utilise une proportion qui augmente rapidement au début, puis lentement :

proportion=tftf+k1×norme\text{proportion} = \frac{\text{tf}}{\text{tf} + k_1 \times \text{norme}}

Pour un produit de longueur moyenne, la norme vaut 1. Avec le paramètre habituel k1 = 1,2, une apparition donne une proportion de 1 ÷ 2,2 = 0,455. Deux donnent 0,625, et dix donnent 0,893. La proportion n’atteint jamais 1. C’est la saturation : après quelques répétitions, les répétitions supplémentaires n’ajoutent presque rien. Un vendeur ne peut donc pas gagner en écrivant « hose hose hose ».

k1 règle la vitesse de saturation de la proportion. Un petit k1 (comme 0,5) signifie que la première apparition est presque la seule qui compte. Un grand k1 (comme 3) donne plus de poids aux répétitions.

La norme dépend de la longueur du produit, comparée à la longueur moyenne du catalogue :

norme=1−b+b×longueurlongueur moyenne\text{norme} = 1 - b + b \times \frac{\text{longueur}}{\text{longueur moyenne}}

Un produit court a une norme inférieure à 1, donc la même tf donne une proportion plus grande. Un produit long a une norme supérieure à 1. b règle l’importance de la longueur : b = 0 l’ignore, et b = 1 la compte entièrement. Le paramètre habituel est b = 0,75.

Le graphique montre la proportion pour trois produits du catalogue de Larkfield : un court, un de longueur moyenne (71,7 mots) et un long.

La proportion de l'IDF d'un mot qu'obtient un produit, selon tf et sa longueur : 7 mots, la moyenne de 72 mots et 200 mots (k1 = 1,2; b = 0,75). Calculée avec la formule.
Description textuelle du graphique

L’axe des x est tf, de 0 à 10. L’axe des y est la proportion de l’IDF, de 0 à 1. Il y a trois courbes. Les trois commencent à 0 pour tf 0, montent rapidement, puis s’aplatissent. Un produit court de 7 mots obtient 0,721 pour une apparition et 0,963 pour dix. Un produit de longueur moyenne, 72 mots, obtient 0,455 pour une apparition, 0,714 pour trois et 0,893 pour dix. Un produit long de 200 mots obtient moins pour chaque tf : sa courbe est la plus basse des trois. Pour chaque longueur, le passage de tf 1 à tf 2 est beaucoup plus grand que celui de tf 9 à tf 10.

Combinez les trois indices. Pour chaque mot de la requête dans un produit :

partie=IDF×tftf+k1×(1−b+b×longueurlongueur moyenne)\text{partie} = \text{IDF} \times \frac{\text{tf}}{\text{tf} + k_1 \times \left(1 - b + b \times \frac{\text{longueur}}{\text{longueur moyenne}}\right)}

Le score du produit est la somme des parties des mots de la requête. Beaucoup de livres ajoutent un facteur (k1 + 1) au numérateur. Il multiplie chaque score par le même nombre, donc l’ordre des produits ne change pas. La bibliothèque du projet, bm25s, l’omet, comme la bibliothèque de recherche Lucene.

Prenez les six produits de la dernière leçon et la requête « outdoor hose » (boyau extérieur). Il y a N = 6 produits, avec une longueur moyenne de 20 ÷ 6 = 3,333 jetons. « outdoor » (extérieur) est dans 3 produits, donc son IDF est ln(1 + 3,5 ÷ 3,5) = 0,693. « hose » est dans 2 produits, donc son IDF est ln(1 + 4,5 ÷ 2,5) = 1,030. Chaque mot apparaît une fois, donc tf = 1.

Produit Longueur k1 × norme Partie « outdoor » Partie « hose » Score Rang
F hose reel cart 3 1,110 0 1,030 × 1 ÷ 2,110 = 0,488 0,488 1
C garden hose with reel 4 1,380 0 1,030 × 1 ÷ 2,380 = 0,433 0,433 2
A grey outdoor cushion 3 1,110 0,693 × 1 ÷ 2,110 = 0,329 0 0,329 3
B blue outdoor cushion cover 4 1,380 0,291 0 0,291 4
E outdoor sofa with cushions 4 1,380 0,291 0 0,291 4
D grey sofa 2 0,840 0 0 0 —

Les boyaux viennent en premier, parce que « hose » est plus rare que « outdoor ». F devance C, parce que F a 3 mots et C en a 4. Le carnet Jupyter calcule ce tableau et le vérifie avec bm25s.

L’exécution bm25 du projet utilise cette formule, avec k1 1,2 et b 0,75, sur le titre et la description réunis. Vous l’avez mesurée dans le module 1 : un NDCG@10 de 0,429 sur les requêtes de test. Vous examinez maintenant les détails d’un de ses scores.

  1. Copiez les fichiers de ce module depuis l’instantané end-of-m03. Ce sont les exécutions par champ, la commande search explain, la règle des codes de produit de la prochaine leçon, leurs tests et le README :

    Fenêtre de terminal
    S=../nextia-learning-labs/C38/snapshots/end-of-m03
    for f in larkfield_search/runs/fields.py larkfield_search/rules.py larkfield_search/commands/explain.py tests/test_fields.py README.md; do
    cp "$S/$f" "$f"
    done
  2. Exécutez les tests :

    Fenêtre de terminal
    python -m pytest -q
    ................... [100%]
    19 passed in 1.01s

    Trois tests sont nouveaux. L’un d’eux vérifie que la somme des parties de search explain égale le score de la bibliothèque. Votre temps d’exécution sera différent.

  3. Recherchez « emma headboard » avec BM25. C’est une vraie requête de validation WANDS :

    Fenêtre de terminal
    search query "emma headboard" --run bm25 -k 7
    bm25: "emma headboard" -> 7 results (query W-481: judged results are marked)
    1. LK-97580 emma large wooden playground bird activity center Bird Play Stand & Playce 51.99 [irrelevant]
    2. LK-33434 emma body pillowcase Sheets And Sheet Sets 173.99 [irrelevant]
    3. LK-78778 emma-lea solid wood low profile storage platform bed 113.99 [irrelevant]
    4. LK-39071 multicolor reversible floral cotton 4 piece quilt set Bedding Sets 14.99 [not judged]
    5. LK-19417 cumulus landscape ii by emma scarvey - wrapped canvas painti Wall Art 250.99 [out of stock] [irrelevant]
    6. LK-53888 neutral arrangement i by emma scarvey - wrapped canvas paint Wall Art 147.99 [out of stock] [irrelevant]
    7. LK-45931 bali hai open-frame headboard Headboards 11.99 [partial]

    Un centre d’activités pour oiseaux vient en premier. La première tête de lit est au rang 7.

  4. Demandez les parties du score du premier produit, puis de celui de la tête de lit :

    Fenêtre de terminal
    search explain "emma headboard" LK-97580
    search explain "emma headboard" LK-45931
    BM25 of LK-97580 "emma large wooden playground bird activity center" for "emma headboard" (field all, k1 1.2, b 0.75)
    word tf df IDF length avg part
    emma 1 6 8.727 7 71.7 6.288
    headboard 0 1089 3.605 7 71.7 0.000
    sum of the parts 6.288; the index's score 6.288
    BM25 of LK-45931 "bali hai open-frame headboard" for "emma headboard" (field all, k1 1.2, b 0.75)
    word tf df IDF length avg part
    emma 0 6 8.727 48 71.7 0.000
    headboard 5 1089 3.605 48 71.7 3.054
    sum of the parts 3.054; the index's score 3.054

    Chaque ligne représente un mot de la requête, avec sa tf, sa df et son IDF. Elle indique aussi la longueur du produit en jetons et la longueur moyenne du catalogue. La dernière ligne compare la somme des parties au score de l’index.

Le schéma place les deux scores côte à côte.

Requête emma headboard. À gauche : LK-97580, emma large wooden playground bird activity center. emma est dans 6 produits, IDF 8,73; il apparaît 1 fois dans 7 mots, donc 0,72 fois 8,73 égale 6,29. headboard n'est pas dans ce produit, 0. Score 6,29, rang 1, jugé non pertinent. À droite : LK-45931, bali hai open-frame headboard. emma n'est pas dans ce produit, 0. headboard est dans 1 089 produits, IDF 3,60; il apparaît 5 fois dans 48 mots, donc 0,85 fois 3,60 égale 3,05. Score 3,05, rang 7, jugé partiel. Une barre foncée pour la partie emma est environ deux fois plus longue qu'une barre pâle pour la partie headboard. En dessous : la formule, avec k1 égal à 1,2, b égal à 0,75 et une longueur moyenne de 71,7 mots.
Le score BM25 de deux produits pour « emma headboard », partie par partie. Un mot rare dans un produit très court bat un mot courant répété cinq fois dans un produit plus long.
Description textuelle du diagramme

La requête est « emma headboard ». À gauche se trouve le produit LK-97580, « emma large wooden playground bird activity center ». « emma » est dans 6 produits, donc son IDF est 8,73. Il apparaît une fois dans un produit de 7 mots, ce qui donne une proportion de 0,72. 0,72 × 8,73 = 6,29. « headboard » (tête de lit) n’est pas dans ce produit et ajoute 0. Le score est 6,29 : rang 1, et les juges l’ont noté non pertinent. À droite se trouve LK-45931, « bali hai open-frame headboard ». « emma » ajoute 0. « headboard » est dans 1 089 produits, donc son IDF est 3,60. Il apparaît 5 fois dans 48 mots, ce qui donne une proportion de 0,85. 0,85 × 3,60 = 3,05 : rang 7, noté partiel. Sous chaque produit, une barre montre son score sur la même échelle. La barre du centre pour oiseaux est environ deux fois plus longue.

Le centre d’activités pour oiseaux n’a pas de description, donc son texte se limite à son titre de 7 mots. Un seul « emma » rare dans 7 mots donne 72 % d’un très grand IDF. La tête de lit obtient 85 % d’un IDF beaucoup plus petit, parce que 1 089 produits contiennent « headboard ».

BM25 a fait exactement ce que ses trois indices indiquent. Mais les indices ne savent pas ce que la personne veut. Dans « emma headboard », « headboard » est le type de produit, et « emma » n’est qu’un nom. Le module 4 détecte le type de produit dans la requête. Le module 6 apprend quels signaux comptent à partir de requêtes jugées.

Le projet utilise k1 = 1,2 et b = 0,75 pour chaque exécution BM25, les valeurs par défaut habituelles. Vous pouvez les ajuster sur les requêtes de validation. Attendez-vous à de petits gains : ils changent l’importance des répétitions et de la longueur, pas les mots qui correspondent. Dans le carnet Jupyter, changez K1 et B dans la première cellule et exécutez-le de nouveau.

Jusqu’ici, le titre et la description forment un seul bloc de texte. Mais un produit a des champs : des parties séparées avec des rôles différents. Les produits de Larkfield en ont quatre qui comptent ici :

  • title (titre) : quelques mots qui nomment le produit;
  • description : un long texte du vendeur;
  • category (catégorie) : la classe de produit et le chemin de catégorie, comme « Headboards » et « Furniture / Bedroom Furniture / Headboards »;
  • attributes (attributs) : couleur, style, matériau et autres détails.

Avec un index BM25 pour chaque champ, le score devient une somme pondérée. Si la pondération du titre est 3, une correspondance dans le titre compte trois fois plus qu’une dans la description :

score=wtitle×BM25title+wdescription×BM25description+wcategory×BM25category+wattributes×BM25attributes\text{score} = w_{\text{title}} \times \text{BM25}_{\text{title}} + w_{\text{description}} \times \text{BM25}_{\text{description}} + w_{\text{category}} \times \text{BM25}_{\text{category}} + w_{\text{attributes}} \times \text{BM25}_{\text{attributes}}

L’exécution bm25-fields utilise des pondérations. Essayez-la sur la même requête :

Fenêtre de terminal
search query "emma headboard" --run bm25-fields -k 4
bm25-fields: "emma headboard" -> 4 results (query W-481: judged results are marked)
1. LK-33434 emma body pillowcase Sheets And Sheet Sets 173.99 [irrelevant]
2. LK-19612 phirun bookcase headboard Headboards 30.99 [partial]
3. LK-77778 prepac storage bookcase headboard Kids Headboards 605.99 [partial]
4. LK-83984 driftwood panel headboard Headboards 44.99 [partial]

Le champ de catégorie contient « Headboards » (têtes de lit), donc les têtes de lit occupent maintenant les rangs 2 à 10. Une taie d’oreiller nommée « emma » vient encore en premier. Mais une seule requête est une anecdote, pas une mesure.

Choisir les pondérations sur les requêtes de validation

Section intitulée « Choisir les pondérations sur les requêtes de validation »

Quelles pondérations sont les meilleures? Le projet a essayé une grille de 96 réglages : titre 1, 2, 3 ou 5; description 0,5 ou 1; catégorie 0; 0,5; 1 ou 2; attributs 0; 0,5 ou 1. Il a mesuré chacun sur les 121 requêtes de validation, jamais sur les requêtes de test. Le meilleur était titre 1, description 1, catégorie 0,5, attributs 0 : un NDCG@10 de 0,459. C’est le réglage de bm25-fields :

Fenêtre de terminal
search eval --run bm25-fields --split validation
bm25-fields on 121 validation queries: NDCG@10 0.459 (95% interval 0.388 to 0.529)
recall@100 0.400, MRR 0.392, zero results 11.6%, judged in the top 10 69.9%; 0.2 ms a query (p50), 0.8 ms (p95)

--set change une pondération pour une commande, sans modifier le code. Essayez le réglage que beaucoup choisiraient à la main, en privilégiant le titre :

Fenêtre de terminal
search eval --run bm25-fields --set title=3 --set category=1 --set attributes=0.5 --split validation
bm25-fields on 121 validation queries: NDCG@10 0.453 (95% interval 0.383 to 0.521)
recall@100 0.416, MRR 0.377, zero results 11.6%, judged in the top 10 71.1%; 0.2 ms a query (p50), 0.5 ms (p95)

Le réglage choisi à la main obtient 0,453, donc le réglage ajusté gagne de 0,006 sur la validation. Remarquez que le titre n’a pas besoin de pondération supplémentaire ici. La plupart des titres se répètent dans les descriptions, donc un mot du titre est déjà compté deux fois.

Mesurer ensuite sur les requêtes de test, une seule fois

Section intitulée « Mesurer ensuite sur les requêtes de test, une seule fois »

Le graphique montre cinq réglages sur les deux jeux de requêtes. Le panneau du haut montre ce que nous pouvions voir au moment du choix. Le panneau du bas montre le test, mesuré une seule fois, après le choix.

Le NDCG@10 de cinq façons d'utiliser les champs, avec des intervalles à 95 %. Les pondérations ajustées gagnent sur la validation et perdent sur le test. Toutes les différences sont petites par rapport aux intervalles.
Description textuelle du graphique

Deux panneaux montrent le NDCG@10 avec des intervalles à 95 %. Validation (121 requêtes) : un champ 0,432 (0,363 à 0,502); titre seul 0,428; pondérations égales 0,416; choix manuel (3; 1; 1; 0,5) 0,453 (0,383 à 0,521); ajustées (1; 1; 0,5; 0) 0,459 (0,388 à 0,529). Test (243 requêtes) : un champ 0,429 (0,381 à 0,476); titre seul 0,423; pondérations égales 0,400; choix manuel 0,447 (0,397 à 0,497); ajustées 0,423 (0,375 à 0,471). La ligne des pondérations ajustées est mise en évidence. Chaque intervalle chevauche les autres.

Sur les requêtes de test, l’ordre change : ajustées 0,423, choix manuel 0,447, un champ 0,429. Le changement est-il réel? Une comparaison appariée répond à cette question, requête par requête, comme dans Créer un jeu de test qui représente vos utilisateurs. Choix manuel moins pondérations ajustées :

Requêtes Différence de NDCG@10 Intervalle à 95 % Meilleur / pire / identique
Validation (121) −0,006 −0,029 à +0,014 33 / 36 / 52
Test (241 avec un bon produit) +0,024 +0,009 à +0,038 89 / 50 / 102

Sur la validation, la différence de 0,006 est du bruit : son intervalle inclut 0. En fait, 19 des 96 réglages ont obtenu un score à moins de 0,01 du meilleur. La grille a choisi un gagnant parmi des quasi-égalités. Sur le test, les pondérations choisies à la main sont meilleures, et l’intervalle n’inclut pas 0.

Priya garde les pondérations ajustées dans le projet. Tomás demande : « Mais celles choisies à la main sont clairement meilleures sur le test. Pourquoi ne pas changer? »

Les requêtes de test choisiraient alors les pondérations. Le score rapporté donnerait une meilleure image de la recherche que la réalité.

La règle reste donc : choisir sur la validation, rapporter le test une seule fois et ne pas revenir en arrière. Le rapport est honnête : « BM25 par champ avec pondérations ajustées : 0,423 sur le test. Il ne fait pas mieux qu’un seul champ (−0,006, intervalle −0,025 à +0,012). »

Deux leçons pour la prochaine fois :

  • Un petit gain sur la validation n’est pas un gain. Avec 121 requêtes, les différences inférieures à environ 0,02 sont du bruit. Quand plusieurs réglages sont à égalité, préférez le plus simple ou obtenez plus de requêtes de validation.
  • « Le titre avant la description » n’est pas une loi. Cela dépend du catalogue. Ici, les mots du titre sont aussi dans la description.

Le cours d’apprentissage automatique explique la même règle pour les modèles dans Données d’entraînement, de validation et de test.

Quand utiliser BM25, quand l’éviter et combien il coûte

Section intitulée « Quand utiliser BM25, quand l’éviter et combien il coûte »

Utilisez BM25 pour le premier classement de toute recherche par mots. Il sert aussi de référence de base que chaque méthode suivante doit battre. Il ne nécessite ni données d’entraînement ni modèle. Dans ce cours, il fait plus que doubler le NDCG@10 de la recherche actuelle de Larkfield : 0,429 contre 0,195.

Son coût. Très faible. Une requête prend 0,6 milliseconde à la médiane, sur un seul fil d’exécution (mesuré au module 8). Tous les index lexicaux de ce module occupent 80,9 Mo sur le disque.

Ses limites. Il classe selon les mots. Il échoue donc quand les mots induisent en erreur :

  • un nom rare fait remonter tout ce qui contient ce nom (« emma headboard »);
  • un mot mal orthographié n’apporte rien (« grey outdor cushion »);
  • un autre mot pour la même chose n’apporte rien (« couch » et « sofa »);
  • un code de produit n’est pas un mot du texte (prochaine leçon).

Voici la tâche autonome du module. Choisissez votre propre pondération des champs uniquement sur les requêtes de validation, avec --set et --split validation. Par exemple :

Fenêtre de terminal
search eval --run bm25-fields --set title=2 --set category=1 --split validation

Consignez vos réglages et leur NDCG@10 dans un tableau. Exécutez votre meilleur réglage une seule fois sur les requêtes de test, sans --split. Comparez-le à la ligne bm25 à un seul champ (0,429 sur le test), avec les deux intervalles. Votre gain sur la validation dépassait-il le bruit?

Notre résultat : titre 2, description 1, catégorie 1, attributs 0 donne 0,448 sur la validation (intervalle de 0,378 à 0,515). C’est inférieur au score de 0,459 du réglage ajusté. Nous garderions donc ce réglage et son score de test de 0,423. La différence de 0,011 reste aussi dans le bruit.

Erreur courante

Choisir les pondérations sur les requêtes de test

Symptôme : vous essayez dix réglages de pondération avec search eval, sans --split. Le meilleur obtient 0,447 sur le test, et vous rapportez 0,447. Le mois suivant, un nouveau jeu de requêtes donne 0,42. Personne ne comprend pourquoi la recherche s’est dégradée.

Cause : search eval mesure les résultats sur les requêtes de test par défaut. Dix essais sur le test offrent dix chances de trouver un réglage chanceux sur ces 243 requêtes. Le score rapporté inclut cette chance.

Diagnostic : consultez vos notes ou l’historique de votre terminal. Si vous avez choisi un réglage après une exécution sur les données de test, le score de test est optimiste. Il est impossible de retirer cette chance après coup.

Correction : choisissez uniquement avec --split validation. Exécutez le réglage choisi sur le test une seule fois et rapportez le résultat, même s’il est inférieur. Pour une nouvelle vérification sans biais plus tard, gardez un jeu réservé que personne n’utilise pour choisir. Voyez Créer un jeu de test qui représente vos utilisateurs.

Conséquence pour le travail en IA : chaque pondération, seuil ou requête (prompt) ajusté comporte ce risque. Une équipe qui ajuste ses réglages sur son jeu de test rapporte des progrès que les utilisateurs ne voient jamais.

Vérifiez votre compréhension

Calculez la partie BM25 de « hose » dans le produit C « garden hose with reel » parmi les six produits. Utilisez N = 6, df = 2, tf = 1, longueur 4, longueur moyenne 3,333, k1 1,2 et b 0,75.

Afficher la réponse

IDF = ln(1 + (6 − 2 + 0,5) ÷ (2 + 0,5)) = ln(2,8) = 1,030. Norme = 1 − 0,75 + 0,75 × 4 ÷ 3,333 = 1,15, donc k1 × norme = 1,38. Proportion = 1 ÷ (1 + 1,38) = 0,420. Partie = 1,030 × 0,420 = 0,433. Le produit F compte un mot de moins. Sa proportion est donc plus grande (0,474) et sa partie vaut 0,488.

Vérifiez votre compréhension

Expliquez, avec les parties du score, pourquoi BM25 classe un centre d'activités pour oiseaux avant une tête de lit pour « emma headboard ».

Afficher la réponse

Le centre d’activités pour oiseaux reçoit uniquement la partie de « emma ». « emma » apparaît dans 6 des 40 066 produits. Son IDF est donc très élevé (8,727). Le produit compte seulement 7 mots, bien moins que la moyenne de 71,7. Une seule occurrence donne donc 72 % de cet IDF : 6,288. La tête de lit reçoit uniquement la partie de « headboard ». Sa proportion atteint 85 % (5 occurrences dans 48 mots), mais son IDF est faible (3,605, dans 1 089 produits) : 3,054. BM25 ne peut pas savoir que « headboard » désigne le type de produit et que « emma » est seulement un nom.

Vérifiez votre compréhension

Omar dit : « Les pondérations choisies à la main ont obtenu 0,447 sur le test, et nos pondérations ajustées, 0,423. Passons aux pondérations choisies à la main et rapportons 0,447. » Que répondez-vous?

Afficher la réponse

Nous ne changeons pas les pondérations et nous rapportons 0,423. Si les requêtes de test servent à choisir les pondérations, elles ne constituent plus un test équitable. Le score de 0,447 inclurait la chance liée à ce choix. Sur la validation, où nous pouvions choisir, les deux réglages différaient de seulement −0,006 (intervalle de −0,029 à +0,014). C’est une égalité. La prochaine fois, traitez ces petits gains comme des égalités. Préférez le réglage le plus simple ou obtenez plus de requêtes de validation.

Récapitulatif

  • BM25 calcule le score d’un produit en additionnant des parties, une par mot de la requête. Chaque partie multiplie l’IDF (rareté) du mot par une proportion. Cette proportion augmente avec tf (avec saturation) et diminue avec la longueur du produit.
  • k1 règle la vitesse de saturation des répétitions, et b, l’importance de la longueur. Le projet utilise les valeurs habituelles de 1,2 et 0,75.
  • search explain montre chaque partie. « emma headboard » place un centre d’activités pour oiseaux en premier. Un mot rare dans un produit de 7 mots (6,288) dépasse un mot courant répété cinq fois dans 48 mots (3,054).
  • Les champs pondérés donnent des scores distincts au titre, à la description, à la catégorie et aux attributs. Ajustées sur la validation, ils ont gagné de 0,006, ce qui relève du bruit. Ils ont perdu sur le test (0,423 contre 0,447). Nous les gardons et rapportons 0,423, car les requêtes de test ne doivent pas servir à choisir.

Vous pouvez maintenant classer n’importe quel produit selon ses mots et expliquer chaque score. Mais certaines requêtes n’ont aucun mot utile : « LK-91857 » est un code de produit, et BM25 ne trouve rien. Ensuite, vous ajoutez une règle de correspondance exacte et mesurez quand une règle fait mieux que n’importe quel score.

Leçon suivante : Correspondances exactes et règles