Aller au contenu
English

Rechercher dans un centre d'aide ou un corpus scientifique

  • Étude de cas 3
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Pendant huit modules, nous avons cherché des produits. Dans cette étude de cas, nous cherchons des documents dans un banc d'essai ouvert. Nous comparons la recherche lexicale, dense et hybride et le reclassement, puis déterminons quand la méthode peu coûteuse suffit.

Étude de cas 3 sur 3 · Recherche et classement : trouver la meilleure correspondanceRechercher dans un centre d'aide ou un corpus scientifique

Ce que vous saurez faire

Choisissez une conception de recherche pour un corpus de longs documents et de longues requêtes, à partir de mesures réelles. Vous comparez BM25, la recherche dense, deux types de recherche hybride et un encodeur croisé (cross-encoder) sur un banc d’essai ouvert. Ensuite, vous déterminez quand la méthode peu coûteuse suffit et rédigez une décision que d’autres peuvent vérifier.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2,5 h
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Une référence de base sur un banc d'essai public
  • Recherche dense et hybride
  • Profondeur de reclassement
  • Tranches selon la longueur des requêtes
  • Latence et coût par 1 000 requêtes
  • Une décision écrite

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page avec le même code et les mêmes sorties. Il comprend aussi quatre tâches avec des vérifications. Ses cellules de préparation téléchargent le banc d’essai et les fichiers de l’équipe du cours (environ 13 Mo). Il ne nécessite aucune configuration locale, aucun compte et aucun modèle. Il s’exécute en environ une minute sur un portable.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)

  • Python 3.12 avec un nouvel environnement virtuel et le carnet téléchargé depuis le lien ci-dessus, dans VS Code ou JupyterLab. Sa première cellule installe les paquets : NumPy, pandas, matplotlib, bm25s et PyStemmer. Le projet larkfield-search n’est pas nécessaire, et cette étude de cas ne le modifie pas.
  • Environ 15 Mo d’espace disque. La cellule de préparation crée un nouveau dossier arguana-search. Pour recommencer, supprimez ce dossier.

Testé sur macOS (Apple M4, 16 Go) avec Python 3.12, dans Jupyter, à partir d’un démarrage à neuf. Windows, Linux, Colab et Kaggle n’ont pas été testés.

Pensez au comptoir d’une bibliothèque. Un étudiant apporte une dissertation et demande : « Quelle est la réponse la plus solide à ce texte? » Une bonne bibliothécaire ne cherche pas des livres contenant les mêmes mots. Elle cherche un texte qui répond à la dissertation, souvent avec d’autres mots.

Leila est la scientifique de données d’une petite équipe qui crée un site pour s’exercer au débat. Les étudiants collent un argument, et le site affiche le meilleur contre-argument parmi 8 674 arguments écrits. Kofi est le responsable du produit. Il demande : « Quelle recherche devrions-nous utiliser? Et avons-nous besoin de celle qui coûte cher? » Ines est la développeuse. Elle exploite le site sur un petit serveur à processeur central (CPU) et veut que chaque recherche prenne moins de 200 ms.

Un centre d’aide rencontre le même problème. Un client colle un long message, et le bon article explique la solution avec d’autres mots.

Nous avons cherché un jeu de données ouvert de centre d’aide avec une licence acceptée par le cours. Nous n’en avons pas trouvé. Le jeu le plus proche n’affiche aucune licence sur sa page source. Cette étude de cas utilise donc ArguAna, un banc d’essai ouvert avec de longues requêtes et une licence CC BY 4.0. Pour un corpus scientifique, vous pouvez examiner SciFact pour votre propre usage. Ses résumés sont sous licence ODC-By 1.0 (voir son fichier de licence). Cette licence ne figure pas dans la liste du cours, donc nous ne l’avons pas utilisé.

Vous allez créer cinq conceptions de recherche et les mesurer sur les mêmes requêtes avec une seule mesure. Ces conceptions sont BM25 (la référence de base peu coûteuse), la recherche dense, la recherche hybride par RRF et par mélange, et un encodeur croisé. Vous choisissez les réglages sur les requêtes de validation et mesurez une seule fois sur les requêtes de test. Ensuite, vous examinez les tranches selon la longueur des requêtes et le sujet, puis additionnez le temps et le coût. Vous rédigez une décision et l’appliquez à un nouvel argument.

Une page de débat porte sur une question, par exemple le végétarisme et l’environnement. Elle contient des arguments : de courts textes qui défendent un côté. Chaque argument a un contre-argument : une réponse écrite pour cet argument. Dans ArguAna, chaque requête est un argument. Le seul document jugé est son contre-argument. La tâche consiste à trouver ce contre-argument parmi les 8 674 documents.

Une page de débat sur le végétarisme et l'environnement. L'argument « Being vegetarian helps the environment » (être végétarien aide l'environnement) est la requête. Son contre-argument « You don't have to be vegetarian to be green » (il n'est pas nécessaire d'être végétarien pour être écologique) est la réponse jugée, de note « exact ». La recherche utilise l'argument entier, d'une longueur médiane de 174 mots, parmi 8 674 documents. Dans la liste classée, l'argument lui-même est exclu parce qu'il contient le même texte; un autre argument de la même page compte comme incorrect, car il n'est pas jugé.
Une requête et sa réponse jugée. La requête est un argument entier; la seule bonne réponse est son contre-argument. Les arguments de la même page qui présentent une autre affirmation comptent comme incorrects.
Description textuelle du diagramme

Une page de débat sur le végétarisme et l’environnement. L’argument « Being vegetarian helps the environment » (être végétarien aide l’environnement) est la requête. Son contre-argument, « You don’t have to be vegetarian to be green » (il n’est pas nécessaire d’être végétarien pour être écologique), est la réponse jugée (note « exact »). La recherche utilise l’argument entier, d’une longueur médiane de 174 mots, parmi 8 674 documents. Dans la liste classée, l’argument lui-même est exclu parce qu’il contient le même texte. Un autre argument de la même page compte comme incorrect, car il n’est pas jugé.

Les fichiers sont petits :

Fichier Lignes Colonnes utilisées Ce que représente une ligne
corpus.jsonl 8 674 _id, text Un argument ou un contre-argument, d’environ 150 mots
queries.jsonl 1 406 _id, text Un argument utilisé comme requête
qrels/test.tsv 1 406 query-id, corpus-id Le seul document jugé de la requête : son contre-argument
split.csv (le nôtre) 1 406 query_id, split, debate, words Validation ou test, la page de débat, la longueur en mots

Nous n’utilisons pas le champ title (titre) du corpus. Il est généralement vide; sinon, il contient des étiquettes de sujet.

Les identifiants suivent un modèle. test-environment-aeghhgwpe-pro02a est l’argument 2 du côté « pour » d’une page. Son contre-argument a le même identifiant avec b à la fin. La partie avant le dernier trait d’union désigne la page de débat.

Le banc d’essai contient seulement des jugements de test. Nous avons aussi besoin de requêtes de validation pour choisir les réglages. Nous séparons donc nous-mêmes les 1 406 requêtes : 409 pour la validation et 997 pour le test. Nous séparons par page de débat, et non requête par requête. Les arguments d’une même page partagent des mots et des idées. Si une page avait des requêtes dans les deux ensembles, un réglage ajusté sur la validation aurait vu certains sujets du test. C’est une séparation par groupe : toutes les requêtes d’une page restent dans le même ensemble. Le cours d’apprentissage automatique la nomme dans Données d’entraînement, de validation et de test.

Exécutez les cellules de chargement et de vérification du carnet :

8,674 documents, 1,406 queries, 1,406 judgments
judged documents per query: {1: 1406}
judged documents missing from the corpus: 5
{'test': 997, 'validation': 409} | debates: 189
words per query: median 174 | words per document: median 147
queries that are also documents: 1298 | with the same text: 1298
documents whose text appears twice or more: 218
empty documents: 0
queries whose text is also a document with another ID: 108

Ce que cela nous apprend :

  • Un document jugé par requête. D’autres bons contre-arguments comptent comme incorrects, donc chaque score est une borne inférieure. Chez Larkfield, une requête avait une médiane de 199 produits jugés.
  • Cinq documents jugés manquent. Ces requêtes obtiennent un score de 0 avec chaque méthode. Nous les gardons, comme le fait le banc d’essai.
  • 1 298 requêtes sont aussi des documents, avec le même texte. La règle du banc d’essai exclut un résultat dont l’identifiant est celui de la requête. Notre fonction utilitaire le fait aussi (voir le cas d’échec ci-dessous). Pour 108 requêtes, le même texte figure aussi dans le corpus sous un autre identifiant. Le banc d’essai garde cette copie, et nous aussi, pour que nos chiffres soient comparables à ceux des autres.
  • Les requêtes sont longues : une médiane de 174 mots. Chez Larkfield, une requête avait trois ou quatre mots.

L’unité est une requête : un argument. La cible est de placer son contre-argument aussi haut que possible. La mesure est le NDCG@10, la mesure du cours, sur les requêtes de test, avec un intervalle à 95 %. Nous rapportons aussi le rappel à 100 (recall@100) (la réponse figure-t-elle parmi les 100 premiers résultats, pour une deuxième étape?) et le MRR.

Avec un seul document jugé, le NDCG@10 devient simple. Son gain est le même partout, donc le NDCG@10 dépend seulement du rang de ce document :

NDCG@10=1log⁡2(rang+1) si rang≤10, sinon 0\text{NDCG@10} = \frac{1}{\log_2(\text{rang} + 1)} \text{ si rang} \le 10, \text{ sinon } 0
Rang du contre-argument 1 2 3 5 10 11 ou au-delà
NDCG@10 1,000 0,631 0,500 0,387 0,289 0

Vérifiez la troisième colonne : log2(4) = 2, et 1 ÷ 2 = 0,5. Un NDCG@10 moyen de 0,5 signifie donc, en gros, « la réponse arrive souvent troisième ». Un gain de 0,1 est important.

Nous choisissons les réglages sur les 409 requêtes de validation et mesurons chaque conception une seule fois sur les requêtes de test. Nous chronométrons aussi son exécution réelle sur le processeur central d’un portable.

BM25 coûte peu, ne nécessite aucun modèle et constitue le premier choix habituel. Nous utilisons les réglages du cours : k1 à 1,2, b à 0,75, racinisation anglaise et retrait des mots anglais courants (bm25s 0.3.16 et PyStemmer). Le carnet indexe les 8 674 documents et exécute chaque requête :

bm25 = bm25s.BM25(k1=1.2, b=0.75) # the course's settings (Lucene form)
bm25.index(doc_tokens, show_progress=False)
...
out[q] = top_ids(s, doc_ids, n, drop=q if drop_self else None)
indexed 8,674 documents in 0.5 s
BM25: 0.7 ms a query (p50) on this computer

Les temps viennent de notre portable; les vôtres seront différents. Sur les 997 requêtes de test :

Exécution NDCG@10 (intervalle à 95 %) recall@100 MRR Réponse en premier
BM25 0,460 (0,437 à 0,483) 0,935 0,386 23 %

BM25 trouve le contre-argument parmi ses 100 premiers résultats pour la plupart des requêtes, mais le place premier dans moins d’un quart des cas. Un contre-argument utilise plusieurs mots de l’argument (« végétarien », « environnement », « agriculture »), mais les autres arguments du même sujet aussi.

Erreur courante

La requête se trouve elle-même

Symptôme : BM25 obtient un score bien inférieur à ceux rapportés par d’autres pour le même banc d’essai. Chaque premier résultat semble parfait : c’est exactement la requête.

Cause : 1 298 des 1 406 requêtes sont aussi des documents, avec le même texte. La meilleure correspondance pour un texte est le texte lui-même, donc le contre-argument peut au mieux arriver deuxième.

Diagnostic : comptez les requêtes dont le premier résultat porte l’identifiant de la requête. Sur 200 requêtes de test, le premier résultat était la requête elle-même dans 100 % des cas. Le NDCG@10 était de 0,326 avec le document de la requête, et de 0,438 sans lui.

Correction : excluez un résultat dont l’identifiant est celui de la requête, comme le fait le banc d’essai. Gardez les autres documents avec le même texte et un autre identifiant.

Conséquence pour le travail en IA : avant de vous comparer à un chiffre publié, vérifiez ce que le banc d’essai exclut et comment il compte. Une petite règle peut déplacer un score de 0,1.

Chaque option est une méthode du cours. Nous rappelons l’idée et donnons le résultat.

Le bi-encodeur de Recherche par le sens (granite-embedding-97m-multilingual-r2, Apache-2.0) transforme chaque texte en 384 nombres. L’équipe du cours a encodé tous les documents et toutes les requêtes une seule fois, jusqu’à 512 jetons (tokens) chacun. Les 8 674 documents ont pris 138 secondes sur le processeur central d’un portable.

Prédisez. Chez Larkfield, la recherche dense perdait contre BM25 : 0,519 contre 0,620. Perdra-t-elle ici aussi?

dense: NDCG@10 0.540; search 0.43 ms a query (p50), without encoding the query

La recherche dense gagne, de +0,081 (+0,059 à +0,104) contre BM25 : meilleure sur 402 requêtes de test, moins bonne sur 250. Une requête de produit est courte et remplie de mots exacts. Un argument est long, et son contre-argument lui répond avec d’autres mots. Le sens compte davantage ici.

Mais une recherche en direct doit aussi encoder la requête. Une longue requête coûte beaucoup plus à encoder qu’une requête comme « outdoor cushion » (voir les temps ci-dessous).

La Recherche hybride combine les deux listes. La RRF additionne 1 ÷ (60 + rang) de chaque liste. Le mélange ramène chaque score entre 0 et 1 et les combine avec un poids alpha pour BM25. Nous avons choisi alpha sur les requêtes de validation :

NDCG@10 du mélange sur les 409 requêtes de validation, pour chaque alpha. La ligne est plate de 0,3 à 0,6, puis baisse quand BM25 reçoit plus de poids.
Description textuelle du graphique

Un graphique linéaire avec alpha, le poids de BM25, sur l’axe horizontal de 0,1 à 0,9. L’axe vertical montre le NDCG@10 sur les requêtes de validation. alpha 0,1 : 0,531; alpha 0,2 : 0,534; alpha 0,3 : 0,540; alpha 0,4 : 0,540; alpha 0,5 : 0,540; alpha 0,6 : 0,540; alpha 0,7 : 0,523; alpha 0,8 : 0,506; alpha 0,9 : 0,476. La ligne est plate entre 0,3 et 0,6 et baisse après 0,6.

Le meilleur alpha est 0,4, mais les valeurs de 0,3 à 0,6 sont toutes à moins de 0,001 : c’est du bruit. La direction compte. Chez Larkfield, alpha à 0,8 était le meilleur, donc BM25 dominait. Ici, la recherche dense domine.

Sur les requêtes de test, la RRF obtient 0,526 et le mélange, 0,562. La RRF n’est pas meilleure que la recherche dense seule. La différence est de −0,014 (−0,031 à +0,001). Elle donne à la liste la plus faible, BM25, le même vote qu’à la plus forte. Le mélange bat la recherche dense de +0,021 (+0,012 à +0,031). C’est petit, mais clair.

L’encodeur croisé de Reclassement par encodeur croisé (granite-embedding-reranker-english-r2, Apache-2.0, anglais) lit ensemble la requête et un document. Il est lent, donc il reclasse seulement les premiers documents d’une première étape : ici, le mélange. Le mélange trouve le contre-argument parmi ses 10 premiers résultats pour 82 % des requêtes, et parmi ses 20 premiers pour 91 %. Reclasser 20 documents pourrait donc, en principe, déplacer la plupart des réponses au premier rang.

L’équipe du cours a enregistré les scores de l’encodeur croisé sur les 20 premiers résultats du mélange pour chaque requête. Chaque paire était limitée à 512 jetons. Cela a pris 43 minutes sur le processeur central du portable, à environ 11 paires par seconde. Ensuite, nous avons choisi la profondeur sur la validation :

NDCG@10 sur les requêtes de validation pour chaque profondeur de reclassement. Le mélange seul (0) est le meilleur; chaque profondeur de reclassement donne un moins bon résultat, et 20 documents donnent le pire.
Description textuelle du graphique

Un graphique linéaire avec le nombre de documents que l’encodeur croisé reclasse sur l’axe horizontal (0, 5, 10 et 20). L’axe vertical montre le NDCG@10 sur les requêtes de validation. 0 : 0,540; 5 : 0,533; 10 : 0,535; 20 : 0,513.

La règle « choisir la profondeur sur la validation » donne donc une réponse claire : profondeur 0, sans encodeur croisé. Les requêtes de test (mesurées seulement pour apprendre) confirment : reclasser 10 documents donne 0,528 et 20 documents, 0,496, contre 0,562 pour le mélange.

Pourquoi un modèle puissant nuit-il au résultat? Voici notre interprétation : un encodeur croisé de recherche apprend à mesurer à quel point un texte correspond à une requête. Ici, la bonne réponse est l’affirmation opposée sur le même sujet. Le modèle donne aussi de bons scores aux autres arguments de la même page. Il ne distingue pas « être d’accord avec » de « répondre à ». Avec 20 documents, il a davantage de ces arguments à placer en premier. Dans Reclassement par encodeur croisé, le même modèle nuisait aux requêtes françaises parce qu’il lit seulement l’anglais. Ici, la tâche n’est pas celle qu’il a apprise.

Voici toutes les conceptions sur les mêmes 997 requêtes de test, avec la même mesure :

NDCG@10 de chaque conception sur les requêtes de test, avec des intervalles à 95 %. La recherche dense dépasse BM25, le mélange dépasse les deux, et le reclassement n'aide pas.
Description textuelle du graphique

NDCG@10 avec son intervalle à 95 % pour chaque conception sur les 997 requêtes de test : BM25 0,460 (0,437 à 0,483); dense 0,540 (0,517 à 0,564); RRF hybride 0,526 (0,504 à 0,549); mélange hybride 0,562 (0,539 à 0,585); reclassement de 10 0,528 (0,504 à 0,550); reclassement de 20 0,496 (0,472 à 0,519).

Exécution Fonctionnement NDCG@10 (intervalle à 95 %) recall@100 MRR Écart avec BM25 (intervalle à 95 %)
bm25 BM25 sur le texte, k1 1,2, b 0,75 0,460 (0,437 à 0,483) 0,935 0,386 référence de base
dense cosinus des plongements (embeddings) granite, 512 jetons 0,540 (0,517 à 0,564) 0,973 0,473 +0,081 (+0,059 à +0,104)
hybrid-rrf RRF (k 60) des deux listes de 100 premiers résultats 0,526 (0,504 à 0,549) 0,974 0,449 +0,066 (+0,053 à +0,079)
hybrid-blend 0,4 × BM25 + 0,6 × dense, chaque score ramené entre 0 et 1 0,562 (0,539 à 0,585) 0,977 0,491 +0,102 (+0,083 à +0,121)
rerank-10 le mélange, les 10 premiers résultats reclassés par l’encodeur croisé 0,528 (0,504 à 0,550) 0,977 0,448 +0,068 (+0,043 à +0,093)
rerank-20 le mélange, les 20 premiers résultats reclassés 0,496 (0,472 à 0,519) 0,977 0,424 +0,036 (+0,009 à +0,062)

Lisez d’abord la dernière colonne. Elle compare chaque conception à BM25 requête par requête. Elle est donc plus précise que les intervalles du graphique, qui se chevauchent. Le reclassement fait baisser le score du mélange : −0,034 (−0,052 à −0,017) avec 10 documents, −0,066 (−0,088 à −0,045) avec 20.

Les intervalles sont d’environ ±0,023, contre ±0,045 chez Larkfield. Nous avons 997 requêtes de test; les moyennes de Larkfield en utilisaient 241. Plus de requêtes donnent une moyenne plus précise (Créer un jeu de test qui représente vos utilisateurs).

La moyenne cache l’effet de la longueur des requêtes. Nous avons réparti les requêtes en trois groupes de taille égale : courtes (jusqu’à 148 mots), moyennes (149 à 208) et longues (plus de 208).

  • BM25
  • dense
  • mélange hybride
  • dense, requête coupée à 128 jetons (pointillés)
NDCG@10 selon la longueur des requêtes de test. BM25 s'améliore avec les requêtes plus longues; la recherche dense avec la requête complète reste stable; la recherche dense avec la requête coupée à 128 jetons baisse sur les longues requêtes.
Description textuelle du graphique

Quatre lignes sur trois groupes de longueur de requête : courtes (jusqu’à 148 mots), moyennes (149 à 208) et longues (plus de 208). BM25 : 0,434; 0,482; 0,465 / dense : 0,550; 0,540; 0,530 / mélange hybride : 0,567; 0,568; 0,550 / dense, requête coupée à 128 jetons : 0,551; 0,520; 0,488.

Deux choses se produisent quand les requêtes s’allongent :

  • BM25 s’améliore : 0,434 sur les requêtes courtes, 0,465 sur les longues. Un long argument répète ses mots-clés, et le contre-argument en contient davantage. L’écart avec la recherche dense diminue donc : +0,116 (+0,080 à +0,153) sur les requêtes courtes, +0,064 sur les longues.
  • La recherche dense doit lire toute la requête. Un bi-encodeur lit un texte seulement jusqu’à sa limite de jetons. Un jeton (token) est un morceau de mot découpé par le segmenteur du modèle. Chez Larkfield, 128 jetons suffisaient largement. Ici, la requête médiane compte 221 jetons, et 1 287 des 1 406 requêtes dépassent 128 jetons.

Que se passe-t-il si nous gardons le réglage de Larkfield et encodons seulement les 128 premiers jetons de chaque requête? Ou si nous donnons seulement les 40 premiers mots à BM25?

dense-128 0.521
bm25-first-40-words 0.397

Les deux perdent en qualité. Coupée à 128 jetons, la recherche dense perd −0,019 (−0,030 à −0,008) globalement. Elle ne perd presque rien sur les requêtes courtes, mais −0,042 (−0,067 à −0,018) sur les longues. Le modèle ne lit jamais la deuxième moitié de l’argument. BM25 avec seulement 40 mots perd −0,063 (−0,084 à −0,042).

Donc, lisez toute la requête : fixez la limite de jetons selon la longueur de vos vraies requêtes, pas selon une valeur par défaut. Dans un centre d’aide, un modèle qui lit seulement les premières lignes d’un long message répond à la salutation, pas au problème.

Voici les sujets où BM25 est le plus faible :

Sujet Requêtes de test BM25 dense mélange reclassement de 10
society 46 0,328 0,472 0,448 0,432
free 41 0,360 0,405 0,443 0,461
philosophy 61 0,413 0,424 0,473 0,489
economy 95 0,413 0,532 0,561 0,523
environment 17 0,433 0,458 0,470 0,365

Les petits sujets varient beaucoup. L’encodeur croisé est le moins bon sur environment (environnement; 0,365, 17 requêtes). Il est le meilleur sur sport (0,737, 23 requêtes, absent du tableau). Avec 17 requêtes, une seule peut déplacer la moyenne de 0,06. Voyez les petites tranches comme des indices, pas comme des résultats.

Chaque méthode trouve la bonne page de débat bien plus souvent que la bonne réponse. Les autres arguments de cette page partagent le sujet et les mots, mais un seul document compte comme correct.

L’identifiant d’un contre-argument se termine par b, et celui d’un argument par a. Nous pouvons donc aussi compter combien de fois le premier résultat est un contre-argument, quel qu’il soit :

Exécution Même page parmi les 10 premiers Le premier résultat est un contre-argument La réponse en premier
BM25 52 % 39 % 23 %
dense 56 % 51 % 32 %
mélange hybride 58 % 50 % 34 %
reclassement de 10 58 % 51 % 29 %

L’encodeur croisé n’augmente pas la proportion de contre-arguments en premier. Les mots ou le sens permettent de trouver la page. Trouver la réponse sur la page demande un modèle qui comprend « contre ».

La qualité représente la moitié de la décision; le temps et l’argent représentent l’autre moitié. L’équipe du cours a mesuré chaque étape en direct sur son portable (Apple M4, un fil d’exécution, 40 requêtes de test, autres programmes actifs) :

Étape p50 ms, 1 fil p95 ms, 1 fil p50 ms, 4 fils
BM25 0,8 1,2 0,6
Encoder la requête (512 jetons) 34,4 65,6 23,6
Recherche dense (8 674 vecteurs) 0,6 2,5 0,6
Encodeur croisé, 10 documents 1 843 1 908 1 112
Encodeur croisé, 20 documents 3 675 3 753 2 183

Encoder une longue requête prend environ 42 fois le temps de toute la recherche BM25. L’encodeur croisé est la partie coûteuse : il lit 10 ou 20 longues paires par recherche.

Les cinq conceptions sous forme d'étapes, avec les temps mesurés en direct sur un fil. Une longue requête (médiane de 174 mots) passe à BM25 (0,8 ms) et à l'encodeur (34,4 ms pour 512 jetons). La requête encodée passe à la recherche dense (0,6 ms). BM25 seul obtient un NDCG@10 de 0,460 en 0,8 ms; la recherche dense seule, 0,540 en 35,0 ms. Le mélange, 0,4 × BM25 + 0,6 × dense, obtient 0,562 en 35,8 ms. L'encodeur croisé après le mélange obtient 0,528 avec 10 documents, en 1 878 ms. Avec 20 documents, il obtient 0,496, en 3 711 ms.
Les cinq conceptions sous forme d'étapes, avec le temps mesuré en direct de chaque étape (p50, un fil) et le NDCG@10 de la conception sur les requêtes de test.
Description textuelle du diagramme

Les cinq conceptions sous forme d’étapes, avec les temps mesurés en direct sur un fil. Une longue requête (médiane de 174 mots) passe à BM25 (0,8 ms) et à l’encodeur (34,4 ms pour 512 jetons). La requête encodée passe à la recherche dense (0,6 ms). BM25 seul obtient un NDCG@10 de 0,460 en 0,8 ms; la recherche dense seule, 0,540 en 35,0 ms. Le mélange, 0,4 × BM25 + 0,6 × dense, obtient 0,562 en 35,8 ms. L’encodeur croisé après le mélange obtient 0,528 avec 10 documents, en 1 878 ms. Avec 20 documents, il obtient 0,496, en 3 711 ms.

Additionnez maintenant les étapes et convertissez les millisecondes en argent. Nous supposons qu’un serveur avec 4 vCPU coûte 0,17 $ US l’heure à la demande. Vérifiez le prix de votre fournisseur. Avec un fil par recherche, il exécute quatre recherches à la fois.

Le temps d'une recherche pour chaque conception, toutes les étapes additionnées. « 10 premiers » et « 20 premiers » désignent le mélange, puis l'encodeur croisé sur ses 10 ou 20 premiers résultats. Chaque conception sans encodeur croisé tient dans le budget de 200 ms.
Description textuelle du graphique

Millisecondes par recherche, p50, un fil, toutes les étapes additionnées : BM25 0,8; dense 35; mélange hybride 35,8; reclassement de 10 1 878,4; reclassement de 20 3 711,3. Le budget d’Ines est de 200 ms.

Conception NDCG@10 p50 ms, 1 fil Respecte 200 ms? $ US par 1 000 recherches
BM25 0,460 0,8 oui 0,00001
dense 0,540 35,0 oui 0,00041
mélange hybride 0,562 35,8 oui 0,00042
reclassement de 10 0,528 1 878 non 0,02218
reclassement de 20 0,496 3 711 non 0,04381

Comme chez Larkfield, le coût en argent est faible. Le temps est la vraie limite. Le mélange tient plus de cinq fois dans le budget de 200 ms d’Ines : 36 ms. L’encodeur croisé ne tient pas dans le budget : 1,9 seconde avec 10 documents, et encore 1,1 seconde sur quatre fils. Chez Larkfield, 10 produits candidats prenaient 194 ms, étape hybride complète comprise. Ici, 10 arguments prennent presque dix fois plus de temps, car chaque paire contient deux longs textes.

Kofi a demandé : quelle recherche choisir, et avons-nous besoin de la plus coûteuse? Voici la décision, dans le format du cours.

BM25 est la conception la moins coûteuse : une milliseconde, aucun modèle sur le serveur, rien à réencoder quand un argument change. Mais son score est inférieur de 0,102 à celui du mélange, un écart important. La réponse arrive en premier pour 34 % des requêtes de test avec le mélange, contre 23 % avec BM25.

BM25 seul suffit quand vous ne pouvez pas exécuter un modèle sur le serveur de recherche. Il suffit aussi quand il alimente seulement une étape ultérieure : ses 100 premiers résultats contiennent la réponse pour 94 % des requêtes. Il ne suffit pas quand les gens lisent les premiers résultats, comme les étudiants ici. Un gain de +0,102 vaut alors 36 ms.

Et l’encodeur croisé? Pour cette tâche, il est coûteux et moins bon : environ 1 843 ms de plus par recherche, et un NDCG@10 inférieur de 0,034 avec 10 documents. Mesurez un modèle sur votre propre tâche avant de payer pour l’utiliser.

Une exécution de bout en bout sur une nouvelle entrée

Section intitulée « Une exécution de bout en bout sur une nouvelle entrée »

Une conception n’est pas terminée tant qu’elle ne fonctionne pas sur une nouvelle requête. L’équipe du cours a écrit un argument absent d’ArguAna :

Homework should be banned in primary schools. Young children learn best through play and rest, and long evenings of worksheets make them tired and unhappy. Homework also widens the gap between pupils whose parents can help them and pupils whose parents work late.

En français : les devoirs devraient être interdits au primaire. Les jeunes enfants apprennent mieux par le jeu et le repos, et les longues soirées d’exercices les fatiguent et les rendent malheureux. Les devoirs creusent aussi l’écart entre les élèves dont les parents peuvent les aider et ceux dont les parents travaillent tard. La requête reste en anglais, comme les données.

Le carnet exécute la conception choisie : BM25, le plongement enregistré de l’argument et le mélange avec alpha 0,4. Voici les cinq premiers résultats :

Rang Document Début du texte (en anglais, tel quel) Position, selon notre lecture
1 training-education-psthwbh-pro04a Homework puts students off learning Homework puts students off learning. Studies have shown that many children … un argument pour l’interdiction (la même position)
2 training-education-psthwbh-pro04b If homework puts students off learning, then it has been badly planned by the teacher. As … la réponse à cet argument : contre l’interdiction
3 training-education-psthwbh-con04a Homework is an essential part of education, allowing students to learn information beyond that which they … un argument contre l’interdiction
4 training-education-psthwbh-con03b Homework is a class issue. In school everyone is equal, but at home some people have … une réponse qui appuie l’interdiction (la même position)
5 training-education-psthwbh-pro03b Homework has not prevented students doing other activities; it takes very little time to complete. Recent … une réponse qui dit que les devoirs prennent peu de temps : contre l’interdiction

Nous avons marqué chaque résultat à la main. Les cinq viennent d’une même page de débat sur les devoirs : la conception a donc trouvé le bon sujet. Mais le premier résultat défend la même position que notre argument. L’étudiant reçoit trois contre-arguments (rangs 2, 3 et 5) et deux résultats du même côté (rangs 1 et 4). C’est la tendance du banc d’essai : la bonne page, mais souvent la mauvaise position en premier.

Une nouvelle requête n’a aucun jugement. Une personne doit donc lire les résultats, comme le précise la décision.

  • Le classement des méthodes du cours ne s’est pas transféré. Chez Larkfield, BM25 dépassait la recherche dense (0,620 contre 0,519), et le mélange demandait alpha 0,8. Les données décident, pas la réputation de la méthode.
  • Plus facile que Larkfield sur certains points : anglais révisé, sans fautes d’orthographe, codes de produit ni français. Plus difficile sur d’autres : un seul document par requête compte comme correct.
  • Le journal de Larkfield est synthétique; les requêtes d’ArguAna sont de vrais arguments, écrits par des débatteurs, pas saisis par des utilisateurs d’un moteur de recherche. Ces utilisateurs écriraient probablement des requêtes plus courtes et moins soignées. Mesurez sur vos propres requêtes.
  • Les modèles ont peut-être vu des données semblables. Les fiches des modèles Granite (bi-encodeur, encodeur croisé) indiquent que chaque jeu d’entraînement a une licence permissive et que MS MARCO n’est pas utilisé. Elles ne nomment pas ArguAna, mais la fiche du bi-encodeur rapporte un banc d’essai qui l’inclut. Ce sont des affirmations du fournisseur; nous ne les avons pas vérifiées.
  • Les temps viennent d’un seul portable. Votre serveur donnera des temps différents, mais pas un ordre différent : une recherche avec l’encodeur croisé est environ 50 fois plus lente qu’avec le mélange.
  • Un argument n’est pas un fait. Les documents sont des opinions. Un contre-argument présente un autre point de vue; il ne prouve pas que le premier est faux. Dites-le sur la page de résultats.
  • Citez la source. CC BY 4.0 exige de nommer les auteurs, de fournir un lien vers la licence et d’indiquer vos changements. Notre attribution figure dans la fiche du jeu de données.
  • Les sujets ne sont pas égaux. Les petits sujets (environnement : 17, sport : 23) ont des chiffres incertains. N’affirmez pas que la recherche « fonctionne pour la religion » à partir de quelques requêtes.
  • Gardez une personne dans la boucle au-delà des exercices. N’utilisez pas cette recherche pour décider ce que les étudiants peuvent dire, ni pour les noter.

C’est un bon projet public. Mettez ces éléments dans un dépôt :

  1. Le carnet, avec ses sorties, et un lien vers le banc d’essai (ne copiez pas les données).
  2. Un README.md avec ce plan :
# Counter-argument search: when is the cheap method good enough?
## Problem
Find the best counter-argument for a long argument, among 8,674 documents.
## Data and licence
ArguAna (Wachsmuth, Syed and Stein, CC BY 4.0), BEIR version. Queries split by
debate page: 409 validation, 997 test. One judged document per query.
## Approach
BM25 baseline; dense (granite-embedding-97m-multilingual-r2); hybrid RRF and
blend (alpha chosen on validation); cross-encoder re-ranking (depth chosen on
validation). One measure: NDCG@10 with 95% bootstrap intervals.
## Results (test, 997 queries)
| Design | NDCG@10 | p50 ms | US$ per 1,000 |
| ... | ... | ... | ... |
## Decision
...
## Limits
One judgment per query; model training data not checked; one laptop's times.
  1. Votre décision, dans le format ci-dessus, et un graphique : le NDCG@10 selon la longueur des requêtes.

En entrevue : « Sur un banc d’essai public de longues requêtes argumentatives, un mélange de BM25 et d’un petit modèle de plongement a dépassé BM25 de +0,102 de NDCG@10, en 36 ms par recherche. Un encodeur croisé a dégradé les résultats et prenait presque deux secondes. J’ai donc recommandé le mélange. »

Allez plus loin :

  • Comparez un deuxième bi-encodeur, avec des poids et des données d’entraînement sous licence permissive, sur la même partition.
  • Encodez les documents avec 256 jetons au lieu de 512. Combien perdez-vous en qualité, et combien de temps d’encodage économisez-vous?
  • Ajoutez un court préfixe à chaque requête, comme « An argument against this: » (un argument contre ceci). Une simple requête (prompt) peut-elle transformer la similarité en opposition?
  • Comparez les deux autres études de cas de ce module : Recherche de produits pour un magasin de meubles et Requêtes d’achat avec des négatifs difficiles. Quelle méthode a gagné dans chaque cas, et pourquoi?

Vérifiez votre compréhension

Chez Larkfield, BM25 surpassait la recherche dense; sur ArguAna, la recherche dense surpasse BM25. Donnez deux raisons tirées de cette étude de cas. Qu'est-ce que cela signifie pour un nouveau projet de recherche?

Afficher la réponse

D’abord, les requêtes : les requêtes de produits sont courtes et contiennent beaucoup de mots exacts (noms, tailles, codes). BM25 traite bien les mots exacts. Les requêtes d’ArguAna sont de longs arguments. Le contre-argument y répond avec d’autres mots, donc le sens compte davantage. Ensuite, les jugements : une seule réponse par requête favorise une méthode qui comprend l’affirmation, plutôt qu’une correspondance avec son sujet. La réputation d’une méthode ne se transfère donc pas d’un corpus à l’autre. Dans un nouveau projet, créez d’abord un petit jeu de test. Comparez au moins BM25, la recherche dense et un mélange sur vos propres requêtes avant de choisir.

Vérifiez votre compréhension

Votre équipe exécute le banc d'essai et obtient un NDCG@10 de 0,33 pour BM25. C'est bien inférieur au 0,46 de cette étude de cas. Que vérifiez-vous d'abord, et pourquoi?

Afficher la réponse

Vérifiez que l’évaluation exclut le document propre à chaque requête. Parmi les 1 406 requêtes, 1 298 sont aussi des documents contenant le même texte. Sans cette règle, la requête elle-même arrive en premier, et le contre-argument arrive au mieux en deuxième. Sur 200 requêtes de test, l’oubli de cette règle a fait passer BM25 de 0,438 à 0,326. Avant de comparer votre résultat à un résultat publié, vérifiez ce que le banc d’essai exclut et comment il compte.

Vérifiez votre compréhension

Kofi dit : « L'encodeur croisé est notre modèle le plus puissant. Ajoutons-le quand même; les utilisateurs ne remarqueront pas une seconde de plus. » Que répondez-vous, avec des chiffres?

Afficher la réponse

Non. Pour cette tâche, l’encodeur croisé dégrade les résultats au lieu de les améliorer. Le reclassement de 10 documents réduit le NDCG@10 de 0,562 à 0,528 (−0,034, intervalle de −0,052 à −0,017). Avec 20 documents, il tombe à 0,496. Il porte aussi la durée d’une recherche à environ 1,9 seconde sur un fil d’exécution, contre 36 ms pour le mélange. Cela dépasse de loin le budget de 200 ms. « Le plus puissant » signifie le plus puissant pour sa tâche d’entraînement : faire correspondre un texte à une requête. Ici, la bonne réponse est l’affirmation opposée. Gardez le mélange. Testez de nouveau un modèle de reclassement seulement lorsqu’il en existera un pour les contre-arguments.

Récapitulatif

  • Sur ArguAna, avec de longues requêtes argumentatives, la recherche dense surpasse BM25 (+0,081), contrairement à Larkfield. Le mélange (alpha de 0,4, choisi sur les données de validation) est le meilleur : NDCG@10 de 0,562, soit +0,102 par rapport à BM25.
  • La RRF ne surpasse pas la recherche dense seule : elle donne un vote complet à la liste la plus faible.
  • L’encodeur croisé dégrade les résultats (−0,034 avec 10 documents) et porte la durée d’une recherche à environ 1,9 seconde. Un modèle puissant peut ne pas convenir à une tâche.
  • Les longues requêtes changent ce qui fonctionne. BM25 réduit une partie de l’écart sur les longues requêtes. Limiter la requête dense à 128 jetons (tokens) coûte −0,042 sur les longues requêtes.
  • Vérifiez ce qu’un banc d’essai exclut (le document propre à la requête) avant de vous fier à un chiffre.
  • La décision : le mélange, 36 ms par recherche, une personne qui lit 20 nouveaux arguments avant chaque mise en production.

C’était la dernière étude de cas. Dans le travail final, vous appliquez tout le cours à la nouvelle saison de Larkfield, sur des requêtes jamais vues.

Leçon suivante : Travail final