Aller au contenu
English

Recherche hybride

  • Leçon 17
  • 45 min
  • Module 5 : La recherche dense et la recherche hybride

Où nous en sommes

BM25 et la recherche dense échouent sur des requêtes différentes. Nous pouvons utiliser les deux. Dans cette leçon, nous combinons les deux listes par fusion des rangs réciproques et mélange des scores. Nous choisissons la méthode sur les requêtes de validation.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Combinez une liste lexicale et une liste dense en un seul classement. Choisissez comment les combiner par des mesures sur les requêtes de validation.

Carnet JupyterConstruire les deux types de recherche hybride dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter fusionne deux courtes listes à la main. Il construit ensuite la fusion des rangs réciproques et le mélange des scores à BM25 et à la recherche dense. Vous réglez k et alpha sur les requêtes de validation. Vous mesurez ensuite le réglage choisi une seule fois sur les requêtes de test. Ses cellules de préparation téléchargent les données, donc aucune configuration locale n’est nécessaire. Environ 35 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 45 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-search avec les fichiers de Recherche par le sens. Les deux exécutions hybrides sont déjà dans runs/dense.py. Cette leçon n’ajoute aucun fichier.

Un magasin a deux vendeurs. Ana lit les étiquettes des produits mot par mot. Elle maîtrise parfaitement les noms, les codes et les tailles. Leo comprend ce que les clients veulent dire, même avec des mots inhabituels ou en français. Il comprend mal les noms.

Un client pose une question. Chaque vendeur écrit une liste de cinq produits. La gestionnaire doit montrer une seule liste. Elle pourrait toujours choisir celle d’Ana. Elle perdrait alors les bonnes réponses de Leo. Une meilleure façon : placer d’abord les produits bien classés dans les deux listes. Un produit que les deux vendeurs aiment est probablement le bon.

C’est la recherche hybride : un seul classement à partir d’une liste lexicale et d’une liste dense.

Dans la dernière leçon, la recherche dense surpassait BM25 sur 64 requêtes de test et faisait moins bien sur 119. Choisir une méthode par requête serait idéal, mais nous ne pouvons pas savoir à l’avance laquelle convient.

Fusionner les deux listes n’est pas simple non plus. Regardez les scores pour une requête, « door pulls bronze matte 4 inch » :

  • Les scores de BM25 additionnent les contributions des mots. Pour cette requête, le meilleur produit obtient 12,3; les scores n’ont aucun maximum fixe.
  • Les cosinus de la recherche dense se situent entre 0,847 et 0,897 pour ses 100 premiers résultats.

Additionner les nombres bruts laisserait BM25 tout décider, car ses nombres sont plus grands. Il faut mettre les deux listes sur un pied d’égalité. Il existe deux façons courantes de le faire.

La fusion des rangs réciproques (RRF) ignore les scores. Elle utilise uniquement le rang de chaque produit dans chaque liste. Chaque liste donne au produit 1 ÷ (k + rang), puis ces contributions sont additionnées :

RRF(p)=∑listes1k+rang de p\text{RRF}(p) = \sum_{\text{listes}} \frac{1}{k + \text{rang de } p}

k est une constante, généralement 60. Un produit absent d’une liste ne reçoit rien de cette liste. Un grand k réduit l’importance des rangs; un petit k donne beaucoup plus aux premiers rangs. La RRF n’exige ni réglage ni échelle commune. C’est pourquoi elle est habituellement la première méthode hybride utilisée.

Voici la RRF sur la requête de test « door pulls bronze matte 4 inch », avec k à 60. Chaque liste contient ses 100 premiers résultats. Voici les 5 premiers après la fusion :

Produit Rang BM25 Rang dense 1 ÷ (60 + rang BM25) 1 ÷ (60 + rang dense) RRF Juges
traditional bronze pull 8’’ center to center bar pull 2 8 0,01613 0,01471 0,03083 partiel
traditional bronze pull 4’’ center to center arch pull 18 1 0,01282 0,01639 0,02921 partiel
edge 1 1/4’’ center to center finger pull 11 21 0,01408 0,01235 0,02643 partiel
4’’ center to center arch pull 19 17 0,01266 0,01299 0,02565 partiel
sliding closet door finger pull 10 58 0,01429 0,00847 0,02276 partiel

Vérifiez la première ligne : 1 ÷ 62 = 0,01613, et 1 ÷ 68 = 0,01471. La somme des contributions arrondies est 0,03084; le tableau additionne les contributions exactes et montre donc 0,03083. Le produit est deuxième pour BM25 et huitième pour la recherche dense. Il est donc bien classé dans les deux listes et arrive premier. La deuxième ligne est première pour la recherche dense, mais seulement 18e pour BM25. La poignée en fer non pertinente que BM25 plaçait première n’est pas dans les 5 premiers résultats fusionnés. Son rang dense est bas, donc sa somme est petite.

Le mélange des scores conserve les scores. Il résout le problème d’échelle en ramenant chaque liste à un intervalle de 0 à 1 :

  • BM25 : divisez chaque score par le meilleur score de la requête. Le meilleur produit obtient 1.
  • Recherche dense : parmi les 100 premiers cosinus, le plus bas devient 0 et le plus haut, 1. Les produits hors des 100 premiers obtiennent 0.

Mélangez ensuite les deux avec un poids alpha entre 0 et 1 :

meˊlange(p)=α×BM25 mis aˋ l’eˊchelle+(1−α)×dense mis aˋ l’eˊchelle\text{mélange}(p) = \alpha \times \text{BM25 mis à l'échelle} + (1 - \alpha) \times \text{dense mis à l'échelle}

Avec alpha à 1, le mélange utilise uniquement BM25; avec alpha à 0, uniquement la recherche dense. Le projet utilise alpha à 0,8 : surtout BM25, avec un cinquième venant de la recherche dense. Voici la même requête, avec chaque valeur :

Produit BM25 mis à l’échelle Cosinus dense Dense mis à l’échelle 0,8 × BM25 + 0,2 × dense Juges
traditional bronze pull 8’’ center to center bar pull 0,941 0,870 0,462 0,845 partiel
iron craft ii rustic 4’’ center to center bar pull 1,000 0,841 0,000 0,800 non pertinent
traditional bronze pull 4’’ center to center arch pull 0,749 0,897 1,000 0,799 partiel
mission vertical 4 1/5’’ center to center ring pull 0,940 0,836 0,000 0,752 partiel
edge 1 1/4’’ center to center finger pull 0,807 0,862 0,308 0,707 partiel

Vérifiez la troisième ligne : 0,8 × 0,749 + 0,2 × 1,000 = 0,599 + 0,200 = 0,799. La poignée en fer non pertinente est deuxième. Son score BM25 est le meilleur (1,000), ce qui lui donne à lui seul 0,800. Son cosinus de 0,841 est sous les 100 premiers de la recherche dense. Son score dense mis à l’échelle est donc 0. Avec alpha à 0,8, un score BM25 élevé est difficile à battre.

Les deux méthodes ne sont donc pas d’accord sur cette requête. La RRF fait autant confiance aux deux listes. Le mélange fait quatre fois plus confiance à BM25. Pour savoir laquelle est meilleure sur l’ensemble des requêtes, il faut mesurer.

Les deux méthodes ont un réglage : k pour la RRF, alpha pour le mélange. Nous choisissons chacun sur les 121 requêtes de validation. Nous gardons les requêtes de test pour la mesure finale, comme dans BM25.

k de la RRF 10 30 60 100
NDCG@10, validation 0,609 0,617 0,621 0,620

La RRF reste stable de k = 30 à k = 100. Le projet conserve la valeur habituelle de 60.

NDCG@10 du mélange des scores sur les 121 requêtes de validation, pour chaque alpha. Donner plus de poids à BM25 améliore le résultat, jusqu'à 0,8.
Description textuelle du graphique

Un graphique en courbe avec alpha, le poids de BM25, sur l’axe horizontal, de 0,2 à 0,8. L’axe vertical montre le NDCG@10 sur les requêtes de validation. alpha 0,2 : 0,559; alpha 0,3 : 0,570; alpha 0,4 : 0,582; alpha 0,5 : 0,594; alpha 0,6 : 0,606; alpha 0,7 : 0,618; alpha 0,8 : 0,619. La courbe monte régulièrement et s’aplatit entre 0,7 et 0,8.

Le mélange s’améliore quand alpha augmente, et alpha à 0,8 donne le meilleur résultat (0,619). La grille s’arrête à 0,8 : alpha à 1 correspond à BM25 seul, que nous avons déjà. Entre 0,7 et 0,8, la différence est de 0,001, ce qui relève du bruit sur 121 requêtes. Les deux réglages disent la même chose : BM25 doit dominer.

Vous pouvez reproduire deux points de la grille :

Fenêtre de terminal
search eval --run hybrid-blend --set alpha=0.5 --split validation
search eval --run hybrid-rrf --set rrf_k=10 --split validation
hybrid-blend on 121 validation queries: NDCG@10 0.594 (95% interval 0.528 to 0.657)
recall@100 0.585, MRR 0.522, zero results 0.0%, judged in the top 10 67.2%; 1.5 ms a query (p50), 1.8 ms (p95)
hybrid-rrf on 121 validation queries: NDCG@10 0.609 (95% interval 0.545 to 0.670)
recall@100 0.563, MRR 0.581, zero results 0.0%, judged in the top 10 68.3%; 1.5 ms a query (p50), 1.8 ms (p95)

Larkfield : mesurer les deux sur les requêtes de test

Section intitulée « Larkfield : mesurer les deux sur les requêtes de test »

Mesurez maintenant chaque réglage choisi une seule fois sur les requêtes de test, face à la meilleure exécution lexicale :

Fenêtre de terminal
search compare bm25-norm+spell+syn hybrid-rrf --by qtype
hybrid-rrf minus bm25-norm+spell+syn on 241 test queries: ndcg@10 +0.001 (95% interval -0.022 to +0.024); better on 92, worse on 78, the same on 71
qtype queries bm25-norm+spell+syn hybrid-rrf difference low high worse
broad 25 0.703 0.616 -0.087 -0.168 -0.011 12
known-item 80 0.729 0.744 0.015 -0.024 0.053 14
specific 136 0.540 0.549 0.009 -0.022 0.038 52
Fenêtre de terminal
search compare bm25-norm+spell+syn hybrid-blend --by qtype
hybrid-blend minus bm25-norm+spell+syn on 241 test queries: ndcg@10 +0.016 (95% interval +0.007 to +0.025); better on 90, worse on 41, the same on 110
qtype queries bm25-norm+spell+syn hybrid-blend difference low high worse
broad 25 0.703 0.689 -0.014 -0.043 0.012 7
known-item 80 0.729 0.755 0.026 0.011 0.041 6
specific 136 0.540 0.556 0.016 0.003 0.029 28

Lisez les premières lignes :

  • RRF : +0,001, avec un intervalle de −0,022 à +0,024. Aucun gain réel. Elle fait mieux sur 92 requêtes et moins bien sur 78. Elle déplace beaucoup de résultats, et les gains et les pertes s’annulent.
  • Mélange : +0,016, avec un intervalle de +0,007 à +0,025. Un petit gain, mais un gain clair. Il fait mieux sur 90 requêtes et moins bien sur seulement 41.

Et les tranches : la RRF fait moins bien que BM25 sur les requêtes larges, de 0,087 (−0,168 à −0,011). Ce n’est pas le cas du mélange.

  • BM25 (bm25-norm+spell+syn)
  • dense
  • hybrid-rrf
  • hybrid-blend
NDCG@10 par type de requête pour chaque méthode, sur les requêtes de test, avec des intervalles à 95 %. Sur les requêtes larges, la RRF descend sous BM25. Le mélange reste proche de BM25 partout et gagne un peu sur les requêtes visant un article connu et les requêtes précises.
Description textuelle du graphique

Trois panneaux, un par type de requête, chacun avec quatre méthodes et leurs intervalles à 95 %. Larges (27 requêtes) : BM25 0,703, dense 0,535, hybrid-rrf 0,616, hybrid-blend 0,689. Article connu (80) : BM25 0,729, dense 0,659, hybrid-rrf 0,744, hybrid-blend 0,755. Précises (136) : BM25 0,540, dense 0,434, hybrid-rrf 0,549, hybrid-blend 0,556. Les intervalles des quatre méthodes se chevauchent dans chaque panneau. Les différences appariées ci-dessus sont plus précises, car elles comparent les mêmes requêtes.

Le graphique compte 27 requêtes larges; deux n’ont pas de NDCG défini, donc la comparaison ci-dessus en utilise 25. Les intervalles des quatre méthodes se chevauchent dans chaque panneau. Cela ne signifie pas « aucune différence ». La comparaison appariée ci-dessus est plus précise, car elle compare chaque requête avec elle-même.

Pourquoi la RRF nuit-elle aux requêtes larges? Regardez quatre requêtes de test côte à côte :

Quatre requêtes de test, chacune avec les 5 premiers résultats de BM25, dense et de la RRF hybride, et les notes des juges. door pulls bronze matte 4 inch, précise : BM25 0,313 (une poignée en fer non pertinente en premier), dense 0,842, hybride 0,863 avec cinq poignées partielles. kelly clarkson light fixtures, article connu : BM25 0,943 avec quatre luminaires exacts, dense 0,113 avec des luminaires de meuble-lavabo, hybride 0,424 avec trois luminaires de meuble-lavabo partiels et une applique exacte en quatrième. couch, large : BM25 0,546 avec deux canapés exacts, dense 0,000 avec une housse, un bureau, un coussin, un jeté et une mijoteuse, hybride 0,078 avec une housse de coussin et la housse en premier. chaise ergonomique, précise, français : BM25 0,032 avec des chaises longues, dense 1,000 avec cinq chaises ergonomiques exactes, hybride 0,578 avec des chaises ergonomiques et des chaises longues en alternance.
BM25, recherche dense et RRF hybride sur quatre requêtes de test. La RRF aide quand la liste dense est bonne et nuit quand elle est mauvaise.
Description textuelle du diagramme

Quatre requêtes de test, chacune avec les 5 premiers résultats des trois exécutions et les notes des juges. « door pulls bronze matte 4 inch » (précise) : BM25 obtient 0,313, avec une poignée en fer non pertinente en premier; dense 0,842; RRF hybride 0,863, avec cinq poignées partielles. « kelly clarkson light fixtures » (article connu) : BM25 0,943 avec quatre luminaires exacts; dense 0,113 avec des luminaires de meuble-lavabo; hybride 0,424, avec trois luminaires de meuble-lavabo partiels en premier et une applique exacte en quatrième. « couch » (large) : BM25 0,546 avec deux canapés exacts dans ses 5 premiers résultats; dense 0,000 avec une housse, un bureau, un coussin, un jeté et une mijoteuse; hybride 0,078 avec une housse de coussin et la housse en premier. « chaise ergonomique » (précise, français) : BM25 0,032 avec des chaises longues; dense 1,000 avec cinq chaises ergonomiques exactes; hybride 0,578, avec des chaises ergonomiques et des chaises longues en alternance.

La tendance est claire. Quand une liste est bonne et l’autre mauvaise, la RRF se place au milieu. Elle donne autant de poids à la mauvaise liste qu’à la bonne. Sur « door pulls » et « chaise ergonomique », ce milieu représente un grand gain par rapport à BM25. Sur « kelly clarkson » et « couch », c’est une grande perte. La recherche dense est la plus faible sur les requêtes larges (elle y perdait 0,168). La RRF y perd donc aussi.

Le mélange est plus prudent. Avec alpha à 0,8, la recherche dense peut seulement réordonner des produits auxquels BM25 donne déjà de bons scores. Sur « couch », le mélange obtient 0,546, comme BM25. Sur « door pulls », il gagne moins que la RRF (0,647). Il gagne moins souvent, mais subit rarement de grandes pertes.

Exécution Ce qu’elle fait NDCG@10 (intervalle à 95 %) recall@100 MRR judged@10 p50 / p95 ms
bm25-norm+spell+syn BM25 avec normalisation, correction orthographique et synonymes 0,620 (0,574 à 0,662) 0,546 0,626 76,0 % 1,1 / 2,0
dense cosinus de plongements (embeddings) multilingues 0,519 (0,471 à 0,566) 0,453 0,510 57,4 % 8,0 / 9,8
hybrid-rrf RRF (k à 60) des deux listes de 100 premiers résultats 0,621 (0,576 à 0,663) 0,540 0,634 66,9 % 9,2 / 15,1
hybrid-blend 0,8 × BM25 + 0,2 × dense, chacun mis à l’échelle de 0 à 1 0,636 (0,590 à 0,678) 0,560 0,631 69,7 % non mesuré en direct (environ comme hybrid-rrf)

Les temps sont mesurés en direct, pour 40 requêtes de test en anglais sur un seul fil d’exécution. Le modèle encode chaque requête. La recherche hybride coûte une recherche dense de plus que BM25 : environ 8 ms. Cela respecte facilement le budget d’Amira de 200 ms.

Autre chose à savoir : judged@10 est plus bas pour chaque exécution qui utilise la recherche dense. Certaines « pertes » de l’hybride sont des produits non jugés qui pourraient convenir. Le modèle de langage a étiqueté les produits non jugés. Avec ses étiquettes, la RRF hybride passe de 0,585 à 0,602 sur les requêtes de test en anglais et en français (Jugements d’un modèle de langage). Ce petit changement ne renverse pas le résultat.

Utilisez la RRF quand vous ne pouvez pas comparer les scores et n’avez pas de requêtes jugées pour les réglages. Elle est simple et n’exige aucun réglage. Mais sachez qu’elle donne tout son poids à une mauvaise liste. Vérifiez-la par tranche avant une mise en production.

Utilisez le mélange des scores quand vous avez des jugements de validation pour choisir alpha. Il laisse dominer la méthode la plus forte. Ici, il donne le seul gain clair de ce module : +0,016.

N’utilisez ni l’une ni l’autre si le gain ne justifie pas le coût. La recherche hybride exige le modèle sur le serveur de recherche et les vecteurs des produits en mémoire (environ 31 Mo ici). Elle exige aussi une nouvelle étape d’encodage quand les produits changent. Pour +0,016, Omar pourrait dire non. Dans le module 6, la liste hybride devient l’entrée d’un modèle de classement entraîné, et elle devient alors rentable.

Le cours RAG utilise les deux mêmes fusions pour la récupération destinée à un modèle de langage : voir Recherche lexicale, dense et hybride.

Erreur courante

Un hybride qui gagne en moyenne et perd sur les requêtes de tête

Symptôme : après un passage à la RRF hybride, le NDCG@10 global ne change pas. Mais les recherches les plus fréquentes du magasin, comme « couch », montrent maintenant des coussins et des jetés.

Cause : la RRF donne tout son poids à la liste dense. Les requêtes les plus fréquentes sont courtes et larges, et la recherche dense est la plus faible sur celles-ci. La moyenne le cache, car les pertes sur les requêtes larges annulent les gains ailleurs.

Diagnostic : search compare bm25-norm+spell+syn hybrid-rrf --by qtype et --by band. Un intervalle négatif sur les requêtes larges ou sur les requêtes de tête est le signal d’alerte.

Correction : utilisez un mélange avec un poids choisi sur la validation, ou donnez moins de poids à la liste dense dans la fusion. Vérifiez visuellement les requêtes de tête avant chaque mise en production.

Conséquence pour le travail en IA : combiner deux modèles n’est pas automatiquement mieux qu’utiliser le meilleur des deux. Une fusion hérite des échecs des deux parties sur les requêtes où l’une d’elles est mauvaise.

Avant toute exécution, faites une prédiction : sur les requêtes de validation, la RRF sera-t-elle meilleure avec k à 10 ou à 100? Exécutez ensuite :

Fenêtre de terminal
search eval --run hybrid-rrf --set rrf_k=100 --split validation

Nous avons mesuré 0,620 avec k à 100, contre 0,609 avec k à 10. Une différence de 0,011 sur 121 requêtes est proche du bruit. Essayez ensuite un mélange qui fait davantage confiance à la recherche dense, sur les requêtes de test :

Fenêtre de terminal
search compare bm25-norm+spell+syn hybrid-blend --set alpha=0.5 --by qtype

Notre résultat : −0,028 globalement (−0,055 à −0,002), et −0,095 sur les requêtes larges. Donner plus de poids à la recherche dense ramène les pertes de la RRF. Nous examinons ici les requêtes de test uniquement pour apprendre. Le réglage du projet reste celui choisi sur la validation.

Vérifiez votre compréhension

Avec k à 60, un produit est 3e dans la liste BM25 et 40e dans la liste dense. Un autre produit est 1er dans la liste dense et absent des 100 premiers résultats BM25. Lequel la RRF classe-t-elle plus haut?

Afficher la réponse

Le premier produit obtient 1 ÷ 63 + 1 ÷ 100 = 0,01587 + 0,01000 = 0,02587. Le second obtient seulement 1 ÷ 61 = 0,01639, car la liste BM25 ne lui donne rien. Le premier produit est donc mieux classé. La RRF favorise les produits présents dans les deux listes, même à un rang modeste.

Vérifiez votre compréhension

La RRF hybride donne +0,001 au total (intervalle de −0,022 à +0,024) et −0,087 sur les requêtes larges (−0,168 à −0,011). Omar demande : « Est-ce qu'on la met en production? » Que répondez-vous?

Afficher la réponse

Non. Au total, la RRF n’apporte aucun gain mesurable : l’intervalle se situe autour de zéro. Sur les requêtes larges, elle est clairement moins bonne. Ces requêtes sont souvent les plus fréquentes (« couch », « industrial »). Elle exige donc un modèle sur le serveur et modifie de nombreuses pages sans gain, avec un risque pour les recherches courantes. Le mélange (alpha à 0,8) est le meilleur choix : +0,016, avec un intervalle au-dessus de zéro. Il ne présente aucune perte claire pour aucun type de requête.

Vérifiez votre compréhension

Pourquoi faut-il choisir alpha sur les requêtes de validation, et non sur les requêtes de test?

Afficher la réponse

Si vous essayez plusieurs valeurs d’alpha sur les requêtes de test et gardez la meilleure, ce résultat tient en partie au hasard. Le score de test surestime alors la performance du réglage sur de nouvelles requêtes. Choisir sur les données de validation, puis mesurer une seule fois sur les données de test, garde le score de test fiable. Dans BM25, la pondération des champs ajustée sur les données de validation a donné de moins bons résultats au test. Les réglages ne se transfèrent pas toujours bien.

Récapitulatif

  • La recherche hybride combine une liste lexicale et une liste dense. Les scores bruts utilisent des échelles différentes. Vous ne pouvez donc pas simplement les additionner.
  • La fusion des rangs réciproques additionne 1 ÷ (k + rang) pour chaque liste (k à 60). Elle ne demande aucun réglage et donne le même poids à chaque liste.
  • Le mélange des scores ramène chaque liste sur une échelle de 0 à 1, puis les mélange avec alpha. Alpha à 0,8, choisi sur les données de validation, donne la priorité à BM25.
  • Sur les requêtes de test : RRF +0,001 (−0,022 à +0,024), aucun gain réel, et −0,087 sur les requêtes larges. Le mélange : +0,016 (+0,007 à +0,025), un gain faible, mais clair. NDCG@10 à 0,636.
  • Une fusion hérite des échecs de la mauvaise liste sur les requêtes où cette liste est mauvaise. Vérifiez chaque méthode hybride par tranche.

La recherche dense était clairement meilleure pour une requête française, « chaise ergonomique ». Mais sur l’ensemble de la tranche française, toutes les méthodes restent faibles jusqu’ici. Ensuite, vous mesurez les résultats en français séparément. Vous comparez un modèle multilingue à la traduction de la requête.

Leçon suivante : Plusieurs langues