Rechercher dans un centre d'aide ou un corpus scientifique
- Étude de cas 3
- 150 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Pendant huit modules, nous avons cherché des produits. Dans cette étude de cas, nous cherchons des documents dans un banc d'essai ouvert. Nous comparons la recherche lexicale, dense et hybride et le reclassement, puis déterminons quand la méthode peu coûteuse suffit.
Étude de cas 3 sur 3 · Recherche et classement : trouver la meilleure correspondanceRechercher dans un centre d'aide ou un corpus scientifique
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Choisissez une conception de recherche pour un corpus de longs documents et de longues requêtes, à partir de mesures réelles. Vous comparez BM25, la recherche dense, deux types de recherche hybride et un encodeur croisé (cross-encoder) sur un banc d’essai ouvert. Ensuite, vous déterminez quand la méthode peu coûteuse suffit et rédigez une décision que d’autres peuvent vérifier.
Le carnet (notebook) Jupyter exécute chaque étape de cette page avec le même code et les mêmes sorties. Il comprend aussi quatre tâches avec des vérifications. Ses cellules de préparation téléchargent le banc d’essai et les fichiers de l’équipe du cours (environ 13 Mo). Il ne nécessite aucune configuration locale, aucun compte et aucun modèle. Il s’exécute en environ une minute sur un portable.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :
- Le NDCG@10, le MRR et le rappel, dans Mesures de classement, et les différences appariées avec intervalles, dans Créer un jeu de test qui représente vos utilisateurs.
- BM25 et ses réglages, dans BM25.
- La recherche dense et ses échecs, dans Recherche par le sens et Où la recherche dense échoue.
- La RRF et le mélange des scores, dans Recherche hybride.
- L’encodeur croisé et la profondeur de reclassement, dans Reclassement par encodeur croisé.
- Les p50, p95 (médiane, 95e centile) et le coût par 1 000 requêtes, dans Budgets de latence et de coût.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet dans Colab ou Kaggle n’en a pas besoin)
- Python 3.12 avec un nouvel environnement virtuel et le carnet téléchargé depuis le lien ci-dessus, dans VS Code ou JupyterLab. Sa première cellule installe les paquets : NumPy, pandas, matplotlib, bm25s et PyStemmer. Le projet
larkfield-searchn’est pas nécessaire, et cette étude de cas ne le modifie pas. - Environ 15 Mo d’espace disque. La cellule de préparation crée un nouveau dossier
arguana-search. Pour recommencer, supprimez ce dossier.
Testé sur macOS (Apple M4, 16 Go) avec Python 3.12, dans Jupyter, à partir d’un démarrage à neuf. Windows, Linux, Colab et Kaggle n’ont pas été testés.
La situation
Section intitulée « La situation »Pensez au comptoir d’une bibliothèque. Un étudiant apporte une dissertation et demande : « Quelle est la réponse la plus solide à ce texte? » Une bonne bibliothécaire ne cherche pas des livres contenant les mêmes mots. Elle cherche un texte qui répond à la dissertation, souvent avec d’autres mots.
Leila est la scientifique de données d’une petite équipe qui crée un site pour s’exercer au débat. Les étudiants collent un argument, et le site affiche le meilleur contre-argument parmi 8 674 arguments écrits. Kofi est le responsable du produit. Il demande : « Quelle recherche devrions-nous utiliser? Et avons-nous besoin de celle qui coûte cher? » Ines est la développeuse. Elle exploite le site sur un petit serveur à processeur central (CPU) et veut que chaque recherche prenne moins de 200 ms.
Un centre d’aide rencontre le même problème. Un client colle un long message, et le bon article explique la solution avec d’autres mots.
Nous avons cherché un jeu de données ouvert de centre d’aide avec une licence acceptée par le cours. Nous n’en avons pas trouvé. Le jeu le plus proche n’affiche aucune licence sur sa page source. Cette étude de cas utilise donc ArguAna, un banc d’essai ouvert avec de longues requêtes et une licence CC BY 4.0. Pour un corpus scientifique, vous pouvez examiner SciFact pour votre propre usage. Ses résumés sont sous licence ODC-By 1.0 (voir son fichier de licence). Cette licence ne figure pas dans la liste du cours, donc nous ne l’avons pas utilisé.
Ce que vous allez créer
Section intitulée « Ce que vous allez créer »Vous allez créer cinq conceptions de recherche et les mesurer sur les mêmes requêtes avec une seule mesure. Ces conceptions sont BM25 (la référence de base peu coûteuse), la recherche dense, la recherche hybride par RRF et par mélange, et un encodeur croisé. Vous choisissez les réglages sur les requêtes de validation et mesurez une seule fois sur les requêtes de test. Ensuite, vous examinez les tranches selon la longueur des requêtes et le sujet, puis additionnez le temps et le coût. Vous rédigez une décision et l’appliquez à un nouvel argument.
Les données
Section intitulée « Les données »Une page de débat porte sur une question, par exemple le végétarisme et l’environnement. Elle contient des arguments : de courts textes qui défendent un côté. Chaque argument a un contre-argument : une réponse écrite pour cet argument. Dans ArguAna, chaque requête est un argument. Le seul document jugé est son contre-argument. La tâche consiste à trouver ce contre-argument parmi les 8 674 documents.
Description textuelle du diagramme
Une page de débat sur le végétarisme et l’environnement. L’argument « Being vegetarian helps the environment » (être végétarien aide l’environnement) est la requête. Son contre-argument, « You don’t have to be vegetarian to be green » (il n’est pas nécessaire d’être végétarien pour être écologique), est la réponse jugée (note « exact »). La recherche utilise l’argument entier, d’une longueur médiane de 174 mots, parmi 8 674 documents. Dans la liste classée, l’argument lui-même est exclu parce qu’il contient le même texte. Un autre argument de la même page compte comme incorrect, car il n’est pas jugé.
Les fichiers sont petits :
| Fichier | Lignes | Colonnes utilisées | Ce que représente une ligne |
|---|---|---|---|
corpus.jsonl |
8 674 | _id, text |
Un argument ou un contre-argument, d’environ 150 mots |
queries.jsonl |
1 406 | _id, text |
Un argument utilisé comme requête |
qrels/test.tsv |
1 406 | query-id, corpus-id |
Le seul document jugé de la requête : son contre-argument |
split.csv (le nôtre) |
1 406 | query_id, split, debate, words |
Validation ou test, la page de débat, la longueur en mots |
Nous n’utilisons pas le champ title (titre) du corpus. Il est généralement vide; sinon, il contient des étiquettes de sujet.
Les identifiants suivent un modèle. test-environment-aeghhgwpe-pro02a est l’argument 2 du côté « pour » d’une page. Son contre-argument a le même identifiant avec b à la fin. La partie avant le dernier trait d’union désigne la page de débat.
Séparer par page de débat
Section intitulée « Séparer par page de débat »Le banc d’essai contient seulement des jugements de test. Nous avons aussi besoin de requêtes de validation pour choisir les réglages. Nous séparons donc nous-mêmes les 1 406 requêtes : 409 pour la validation et 997 pour le test. Nous séparons par page de débat, et non requête par requête. Les arguments d’une même page partagent des mots et des idées. Si une page avait des requêtes dans les deux ensembles, un réglage ajusté sur la validation aurait vu certains sujets du test. C’est une séparation par groupe : toutes les requêtes d’une page restent dans le même ensemble. Le cours d’apprentissage automatique la nomme dans Données d’entraînement, de validation et de test.
Premières vérifications
Section intitulée « Premières vérifications »Exécutez les cellules de chargement et de vérification du carnet :
8,674 documents, 1,406 queries, 1,406 judgmentsjudged documents per query: {1: 1406}judged documents missing from the corpus: 5{'test': 997, 'validation': 409} | debates: 189words per query: median 174 | words per document: median 147queries that are also documents: 1298 | with the same text: 1298documents whose text appears twice or more: 218empty documents: 0queries whose text is also a document with another ID: 108Ce que cela nous apprend :
- Un document jugé par requête. D’autres bons contre-arguments comptent comme incorrects, donc chaque score est une borne inférieure. Chez Larkfield, une requête avait une médiane de 199 produits jugés.
- Cinq documents jugés manquent. Ces requêtes obtiennent un score de 0 avec chaque méthode. Nous les gardons, comme le fait le banc d’essai.
- 1 298 requêtes sont aussi des documents, avec le même texte. La règle du banc d’essai exclut un résultat dont l’identifiant est celui de la requête. Notre fonction utilitaire le fait aussi (voir le cas d’échec ci-dessous). Pour 108 requêtes, le même texte figure aussi dans le corpus sous un autre identifiant. Le banc d’essai garde cette copie, et nous aussi, pour que nos chiffres soient comparables à ceux des autres.
- Les requêtes sont longues : une médiane de 174 mots. Chez Larkfield, une requête avait trois ou quatre mots.
Définir le problème
Section intitulée « Définir le problème »L’unité est une requête : un argument. La cible est de placer son contre-argument aussi haut que possible. La mesure est le NDCG@10, la mesure du cours, sur les requêtes de test, avec un intervalle à 95 %. Nous rapportons aussi le rappel à 100 (recall@100) (la réponse figure-t-elle parmi les 100 premiers résultats, pour une deuxième étape?) et le MRR.
Avec un seul document jugé, le NDCG@10 devient simple. Son gain est le même partout, donc le NDCG@10 dépend seulement du rang de ce document :
| Rang du contre-argument | 1 | 2 | 3 | 5 | 10 | 11 ou au-delà |
|---|---|---|---|---|---|---|
| NDCG@10 | 1,000 | 0,631 | 0,500 | 0,387 | 0,289 | 0 |
Vérifiez la troisième colonne : log2(4) = 2, et 1 ÷ 2 = 0,5. Un NDCG@10 moyen de 0,5 signifie donc, en gros, « la réponse arrive souvent troisième ». Un gain de 0,1 est important.
Nous choisissons les réglages sur les 409 requêtes de validation et mesurons chaque conception une seule fois sur les requêtes de test. Nous chronométrons aussi son exécution réelle sur le processeur central d’un portable.
La référence de base : BM25
Section intitulée « La référence de base : BM25 »BM25 coûte peu, ne nécessite aucun modèle et constitue le premier choix habituel. Nous utilisons les réglages du cours : k1 à 1,2, b à 0,75, racinisation anglaise et retrait des mots anglais courants (bm25s 0.3.16 et PyStemmer). Le carnet indexe les 8 674 documents et exécute chaque requête :
bm25 = bm25s.BM25(k1=1.2, b=0.75) # the course's settings (Lucene form)bm25.index(doc_tokens, show_progress=False)...out[q] = top_ids(s, doc_ids, n, drop=q if drop_self else None)indexed 8,674 documents in 0.5 sBM25: 0.7 ms a query (p50) on this computerLes temps viennent de notre portable; les vôtres seront différents. Sur les 997 requêtes de test :
| Exécution | NDCG@10 (intervalle à 95 %) | recall@100 | MRR | Réponse en premier |
|---|---|---|---|---|
| BM25 | 0,460 (0,437 à 0,483) | 0,935 | 0,386 | 23 % |
BM25 trouve le contre-argument parmi ses 100 premiers résultats pour la plupart des requêtes, mais le place premier dans moins d’un quart des cas. Un contre-argument utilise plusieurs mots de l’argument (« végétarien », « environnement », « agriculture »), mais les autres arguments du même sujet aussi.
Erreur courante
La requête se trouve elle-même
Symptôme : BM25 obtient un score bien inférieur à ceux rapportés par d’autres pour le même banc d’essai. Chaque premier résultat semble parfait : c’est exactement la requête.
Cause : 1 298 des 1 406 requêtes sont aussi des documents, avec le même texte. La meilleure correspondance pour un texte est le texte lui-même, donc le contre-argument peut au mieux arriver deuxième.
Diagnostic : comptez les requêtes dont le premier résultat porte l’identifiant de la requête. Sur 200 requêtes de test, le premier résultat était la requête elle-même dans 100 % des cas. Le NDCG@10 était de 0,326 avec le document de la requête, et de 0,438 sans lui.
Correction : excluez un résultat dont l’identifiant est celui de la requête, comme le fait le banc d’essai. Gardez les autres documents avec le même texte et un autre identifiant.
Conséquence pour le travail en IA : avant de vous comparer à un chiffre publié, vérifiez ce que le banc d’essai exclut et comment il compte. Une petite règle peut déplacer un score de 0,1.
Les autres options
Section intitulée « Les autres options »Chaque option est une méthode du cours. Nous rappelons l’idée et donnons le résultat.
Recherche dense
Section intitulée « Recherche dense »Le bi-encodeur de Recherche par le sens (granite-embedding-97m-multilingual-r2, Apache-2.0) transforme chaque texte en 384 nombres. L’équipe du cours a encodé tous les documents et toutes les requêtes une seule fois, jusqu’à 512 jetons (tokens) chacun. Les 8 674 documents ont pris 138 secondes sur le processeur central d’un portable.
Prédisez. Chez Larkfield, la recherche dense perdait contre BM25 : 0,519 contre 0,620. Perdra-t-elle ici aussi?
dense: NDCG@10 0.540; search 0.43 ms a query (p50), without encoding the queryLa recherche dense gagne, de +0,081 (+0,059 à +0,104) contre BM25 : meilleure sur 402 requêtes de test, moins bonne sur 250. Une requête de produit est courte et remplie de mots exacts. Un argument est long, et son contre-argument lui répond avec d’autres mots. Le sens compte davantage ici.
Mais une recherche en direct doit aussi encoder la requête. Une longue requête coûte beaucoup plus à encoder qu’une requête comme « outdoor cushion » (voir les temps ci-dessous).
Recherche hybride
Section intitulée « Recherche hybride »La Recherche hybride combine les deux listes. La RRF additionne 1 ÷ (60 + rang) de chaque liste. Le mélange ramène chaque score entre 0 et 1 et les combine avec un poids alpha pour BM25. Nous avons choisi alpha sur les requêtes de validation :
Description textuelle du graphique
Un graphique linéaire avec alpha, le poids de BM25, sur l’axe horizontal de 0,1 à 0,9. L’axe vertical montre le NDCG@10 sur les requêtes de validation. alpha 0,1 : 0,531; alpha 0,2 : 0,534; alpha 0,3 : 0,540; alpha 0,4 : 0,540; alpha 0,5 : 0,540; alpha 0,6 : 0,540; alpha 0,7 : 0,523; alpha 0,8 : 0,506; alpha 0,9 : 0,476. La ligne est plate entre 0,3 et 0,6 et baisse après 0,6.
Le meilleur alpha est 0,4, mais les valeurs de 0,3 à 0,6 sont toutes à moins de 0,001 : c’est du bruit. La direction compte. Chez Larkfield, alpha à 0,8 était le meilleur, donc BM25 dominait. Ici, la recherche dense domine.
Sur les requêtes de test, la RRF obtient 0,526 et le mélange, 0,562. La RRF n’est pas meilleure que la recherche dense seule. La différence est de −0,014 (−0,031 à +0,001). Elle donne à la liste la plus faible, BM25, le même vote qu’à la plus forte. Le mélange bat la recherche dense de +0,021 (+0,012 à +0,031). C’est petit, mais clair.
Reclassement avec un encodeur croisé
Section intitulée « Reclassement avec un encodeur croisé »L’encodeur croisé de Reclassement par encodeur croisé (granite-embedding-reranker-english-r2, Apache-2.0, anglais) lit ensemble la requête et un document. Il est lent, donc il reclasse seulement les premiers documents d’une première étape : ici, le mélange. Le mélange trouve le contre-argument parmi ses 10 premiers résultats pour 82 % des requêtes, et parmi ses 20 premiers pour 91 %. Reclasser 20 documents pourrait donc, en principe, déplacer la plupart des réponses au premier rang.
L’équipe du cours a enregistré les scores de l’encodeur croisé sur les 20 premiers résultats du mélange pour chaque requête. Chaque paire était limitée à 512 jetons. Cela a pris 43 minutes sur le processeur central du portable, à environ 11 paires par seconde. Ensuite, nous avons choisi la profondeur sur la validation :
Description textuelle du graphique
Un graphique linéaire avec le nombre de documents que l’encodeur croisé reclasse sur l’axe horizontal (0, 5, 10 et 20). L’axe vertical montre le NDCG@10 sur les requêtes de validation. 0 : 0,540; 5 : 0,533; 10 : 0,535; 20 : 0,513.
La règle « choisir la profondeur sur la validation » donne donc une réponse claire : profondeur 0, sans encodeur croisé. Les requêtes de test (mesurées seulement pour apprendre) confirment : reclasser 10 documents donne 0,528 et 20 documents, 0,496, contre 0,562 pour le mélange.
Pourquoi un modèle puissant nuit-il au résultat? Voici notre interprétation : un encodeur croisé de recherche apprend à mesurer à quel point un texte correspond à une requête. Ici, la bonne réponse est l’affirmation opposée sur le même sujet. Le modèle donne aussi de bons scores aux autres arguments de la même page. Il ne distingue pas « être d’accord avec » de « répondre à ». Avec 20 documents, il a davantage de ces arguments à placer en premier. Dans Reclassement par encodeur croisé, le même modèle nuisait aux requêtes françaises parce qu’il lit seulement l’anglais. Ici, la tâche n’est pas celle qu’il a apprise.
Une comparaison équitable
Section intitulée « Une comparaison équitable »Voici toutes les conceptions sur les mêmes 997 requêtes de test, avec la même mesure :
Description textuelle du graphique
NDCG@10 avec son intervalle à 95 % pour chaque conception sur les 997 requêtes de test : BM25 0,460 (0,437 à 0,483); dense 0,540 (0,517 à 0,564); RRF hybride 0,526 (0,504 à 0,549); mélange hybride 0,562 (0,539 à 0,585); reclassement de 10 0,528 (0,504 à 0,550); reclassement de 20 0,496 (0,472 à 0,519).
| Exécution | Fonctionnement | NDCG@10 (intervalle à 95 %) | recall@100 | MRR | Écart avec BM25 (intervalle à 95 %) |
|---|---|---|---|---|---|
bm25 |
BM25 sur le texte, k1 1,2, b 0,75 | 0,460 (0,437 à 0,483) | 0,935 | 0,386 | référence de base |
dense |
cosinus des plongements (embeddings) granite, 512 jetons | 0,540 (0,517 à 0,564) | 0,973 | 0,473 | +0,081 (+0,059 à +0,104) |
hybrid-rrf |
RRF (k 60) des deux listes de 100 premiers résultats | 0,526 (0,504 à 0,549) | 0,974 | 0,449 | +0,066 (+0,053 à +0,079) |
hybrid-blend |
0,4 × BM25 + 0,6 × dense, chaque score ramené entre 0 et 1 | 0,562 (0,539 à 0,585) | 0,977 | 0,491 | +0,102 (+0,083 à +0,121) |
rerank-10 |
le mélange, les 10 premiers résultats reclassés par l’encodeur croisé | 0,528 (0,504 à 0,550) | 0,977 | 0,448 | +0,068 (+0,043 à +0,093) |
rerank-20 |
le mélange, les 20 premiers résultats reclassés | 0,496 (0,472 à 0,519) | 0,977 | 0,424 | +0,036 (+0,009 à +0,062) |
Lisez d’abord la dernière colonne. Elle compare chaque conception à BM25 requête par requête. Elle est donc plus précise que les intervalles du graphique, qui se chevauchent. Le reclassement fait baisser le score du mélange : −0,034 (−0,052 à −0,017) avec 10 documents, −0,066 (−0,088 à −0,045) avec 20.
Les intervalles sont d’environ ±0,023, contre ±0,045 chez Larkfield. Nous avons 997 requêtes de test; les moyennes de Larkfield en utilisaient 241. Plus de requêtes donnent une moyenne plus précise (Créer un jeu de test qui représente vos utilisateurs).
Les longues requêtes changent ce qui fonctionne
Section intitulée « Les longues requêtes changent ce qui fonctionne »La moyenne cache l’effet de la longueur des requêtes. Nous avons réparti les requêtes en trois groupes de taille égale : courtes (jusqu’à 148 mots), moyennes (149 à 208) et longues (plus de 208).
- BM25
- dense
- mélange hybride
- dense, requête coupée à 128 jetons (pointillés)
Description textuelle du graphique
Quatre lignes sur trois groupes de longueur de requête : courtes (jusqu’à 148 mots), moyennes (149 à 208) et longues (plus de 208). BM25 : 0,434; 0,482; 0,465 / dense : 0,550; 0,540; 0,530 / mélange hybride : 0,567; 0,568; 0,550 / dense, requête coupée à 128 jetons : 0,551; 0,520; 0,488.
Deux choses se produisent quand les requêtes s’allongent :
- BM25 s’améliore : 0,434 sur les requêtes courtes, 0,465 sur les longues. Un long argument répète ses mots-clés, et le contre-argument en contient davantage. L’écart avec la recherche dense diminue donc : +0,116 (+0,080 à +0,153) sur les requêtes courtes, +0,064 sur les longues.
- La recherche dense doit lire toute la requête. Un bi-encodeur lit un texte seulement jusqu’à sa limite de jetons. Un jeton (token) est un morceau de mot découpé par le segmenteur du modèle. Chez Larkfield, 128 jetons suffisaient largement. Ici, la requête médiane compte 221 jetons, et 1 287 des 1 406 requêtes dépassent 128 jetons.
Changer une seule chose : raccourcir la requête
Section intitulée « Changer une seule chose : raccourcir la requête »Que se passe-t-il si nous gardons le réglage de Larkfield et encodons seulement les 128 premiers jetons de chaque requête? Ou si nous donnons seulement les 40 premiers mots à BM25?
dense-128 0.521bm25-first-40-words 0.397Les deux perdent en qualité. Coupée à 128 jetons, la recherche dense perd −0,019 (−0,030 à −0,008) globalement. Elle ne perd presque rien sur les requêtes courtes, mais −0,042 (−0,067 à −0,018) sur les longues. Le modèle ne lit jamais la deuxième moitié de l’argument. BM25 avec seulement 40 mots perd −0,063 (−0,084 à −0,042).
Donc, lisez toute la requête : fixez la limite de jetons selon la longueur de vos vraies requêtes, pas selon une valeur par défaut. Dans un centre d’aide, un modèle qui lit seulement les premières lignes d’un long message répond à la salutation, pas au problème.
Les pires cas par sujet
Section intitulée « Les pires cas par sujet »Voici les sujets où BM25 est le plus faible :
| Sujet | Requêtes de test | BM25 | dense | mélange | reclassement de 10 |
|---|---|---|---|---|---|
| society | 46 | 0,328 | 0,472 | 0,448 | 0,432 |
| free | 41 | 0,360 | 0,405 | 0,443 | 0,461 |
| philosophy | 61 | 0,413 | 0,424 | 0,473 | 0,489 |
| economy | 95 | 0,413 | 0,532 | 0,561 | 0,523 |
| environment | 17 | 0,433 | 0,458 | 0,470 | 0,365 |
Les petits sujets varient beaucoup. L’encodeur croisé est le moins bon sur environment (environnement; 0,365, 17 requêtes). Il est le meilleur sur sport (0,737, 23 requêtes, absent du tableau). Avec 17 requêtes, une seule peut déplacer la moyenne de 0,06. Voyez les petites tranches comme des indices, pas comme des résultats.
La bonne page, la mauvaise réponse
Section intitulée « La bonne page, la mauvaise réponse »Chaque méthode trouve la bonne page de débat bien plus souvent que la bonne réponse. Les autres arguments de cette page partagent le sujet et les mots, mais un seul document compte comme correct.
L’identifiant d’un contre-argument se termine par b, et celui d’un argument par a. Nous pouvons donc aussi compter combien de fois le premier résultat est un contre-argument, quel qu’il soit :
| Exécution | Même page parmi les 10 premiers | Le premier résultat est un contre-argument | La réponse en premier |
|---|---|---|---|
| BM25 | 52 % | 39 % | 23 % |
| dense | 56 % | 51 % | 32 % |
| mélange hybride | 58 % | 50 % | 34 % |
| reclassement de 10 | 58 % | 51 % | 29 % |
L’encodeur croisé n’augmente pas la proportion de contre-arguments en premier. Les mots ou le sens permettent de trouver la page. Trouver la réponse sur la page demande un modèle qui comprend « contre ».
Temps et coût
Section intitulée « Temps et coût »La qualité représente la moitié de la décision; le temps et l’argent représentent l’autre moitié. L’équipe du cours a mesuré chaque étape en direct sur son portable (Apple M4, un fil d’exécution, 40 requêtes de test, autres programmes actifs) :
| Étape | p50 ms, 1 fil | p95 ms, 1 fil | p50 ms, 4 fils |
|---|---|---|---|
| BM25 | 0,8 | 1,2 | 0,6 |
| Encoder la requête (512 jetons) | 34,4 | 65,6 | 23,6 |
| Recherche dense (8 674 vecteurs) | 0,6 | 2,5 | 0,6 |
| Encodeur croisé, 10 documents | 1 843 | 1 908 | 1 112 |
| Encodeur croisé, 20 documents | 3 675 | 3 753 | 2 183 |
Encoder une longue requête prend environ 42 fois le temps de toute la recherche BM25. L’encodeur croisé est la partie coûteuse : il lit 10 ou 20 longues paires par recherche.
Description textuelle du diagramme
Les cinq conceptions sous forme d’étapes, avec les temps mesurés en direct sur un fil. Une longue requête (médiane de 174 mots) passe à BM25 (0,8 ms) et à l’encodeur (34,4 ms pour 512 jetons). La requête encodée passe à la recherche dense (0,6 ms). BM25 seul obtient un NDCG@10 de 0,460 en 0,8 ms; la recherche dense seule, 0,540 en 35,0 ms. Le mélange, 0,4 × BM25 + 0,6 × dense, obtient 0,562 en 35,8 ms. L’encodeur croisé après le mélange obtient 0,528 avec 10 documents, en 1 878 ms. Avec 20 documents, il obtient 0,496, en 3 711 ms.
Additionnez maintenant les étapes et convertissez les millisecondes en argent. Nous supposons qu’un serveur avec 4 vCPU coûte 0,17 $ US l’heure à la demande. Vérifiez le prix de votre fournisseur. Avec un fil par recherche, il exécute quatre recherches à la fois.
Description textuelle du graphique
Millisecondes par recherche, p50, un fil, toutes les étapes additionnées : BM25 0,8; dense 35; mélange hybride 35,8; reclassement de 10 1 878,4; reclassement de 20 3 711,3. Le budget d’Ines est de 200 ms.
| Conception | NDCG@10 | p50 ms, 1 fil | Respecte 200 ms? | $ US par 1 000 recherches |
|---|---|---|---|---|
| BM25 | 0,460 | 0,8 | oui | 0,00001 |
| dense | 0,540 | 35,0 | oui | 0,00041 |
| mélange hybride | 0,562 | 35,8 | oui | 0,00042 |
| reclassement de 10 | 0,528 | 1 878 | non | 0,02218 |
| reclassement de 20 | 0,496 | 3 711 | non | 0,04381 |
Comme chez Larkfield, le coût en argent est faible. Le temps est la vraie limite. Le mélange tient plus de cinq fois dans le budget de 200 ms d’Ines : 36 ms. L’encodeur croisé ne tient pas dans le budget : 1,9 seconde avec 10 documents, et encore 1,1 seconde sur quatre fils. Chez Larkfield, 10 produits candidats prenaient 194 ms, étape hybride complète comprise. Ici, 10 arguments prennent presque dix fois plus de temps, car chaque paire contient deux longs textes.
La recommandation
Section intitulée « La recommandation »Kofi a demandé : quelle recherche choisir, et avons-nous besoin de la plus coûteuse? Voici la décision, dans le format du cours.
Quand la méthode peu coûteuse suffit-elle?
Section intitulée « Quand la méthode peu coûteuse suffit-elle? »BM25 est la conception la moins coûteuse : une milliseconde, aucun modèle sur le serveur, rien à réencoder quand un argument change. Mais son score est inférieur de 0,102 à celui du mélange, un écart important. La réponse arrive en premier pour 34 % des requêtes de test avec le mélange, contre 23 % avec BM25.
BM25 seul suffit quand vous ne pouvez pas exécuter un modèle sur le serveur de recherche. Il suffit aussi quand il alimente seulement une étape ultérieure : ses 100 premiers résultats contiennent la réponse pour 94 % des requêtes. Il ne suffit pas quand les gens lisent les premiers résultats, comme les étudiants ici. Un gain de +0,102 vaut alors 36 ms.
Et l’encodeur croisé? Pour cette tâche, il est coûteux et moins bon : environ 1 843 ms de plus par recherche, et un NDCG@10 inférieur de 0,034 avec 10 documents. Mesurez un modèle sur votre propre tâche avant de payer pour l’utiliser.
Une exécution de bout en bout sur une nouvelle entrée
Section intitulée « Une exécution de bout en bout sur une nouvelle entrée »Une conception n’est pas terminée tant qu’elle ne fonctionne pas sur une nouvelle requête. L’équipe du cours a écrit un argument absent d’ArguAna :
Homework should be banned in primary schools. Young children learn best through play and rest, and long evenings of worksheets make them tired and unhappy. Homework also widens the gap between pupils whose parents can help them and pupils whose parents work late.
En français : les devoirs devraient être interdits au primaire. Les jeunes enfants apprennent mieux par le jeu et le repos, et les longues soirées d’exercices les fatiguent et les rendent malheureux. Les devoirs creusent aussi l’écart entre les élèves dont les parents peuvent les aider et ceux dont les parents travaillent tard. La requête reste en anglais, comme les données.
Le carnet exécute la conception choisie : BM25, le plongement enregistré de l’argument et le mélange avec alpha 0,4. Voici les cinq premiers résultats :
| Rang | Document | Début du texte (en anglais, tel quel) | Position, selon notre lecture |
|---|---|---|---|
| 1 | training-education-psthwbh-pro04a |
Homework puts students off learning Homework puts students off learning. Studies have shown that many children … | un argument pour l’interdiction (la même position) |
| 2 | training-education-psthwbh-pro04b |
If homework puts students off learning, then it has been badly planned by the teacher. As … | la réponse à cet argument : contre l’interdiction |
| 3 | training-education-psthwbh-con04a |
Homework is an essential part of education, allowing students to learn information beyond that which they … | un argument contre l’interdiction |
| 4 | training-education-psthwbh-con03b |
Homework is a class issue. In school everyone is equal, but at home some people have … | une réponse qui appuie l’interdiction (la même position) |
| 5 | training-education-psthwbh-pro03b |
Homework has not prevented students doing other activities; it takes very little time to complete. Recent … | une réponse qui dit que les devoirs prennent peu de temps : contre l’interdiction |
Nous avons marqué chaque résultat à la main. Les cinq viennent d’une même page de débat sur les devoirs : la conception a donc trouvé le bon sujet. Mais le premier résultat défend la même position que notre argument. L’étudiant reçoit trois contre-arguments (rangs 2, 3 et 5) et deux résultats du même côté (rangs 1 et 4). C’est la tendance du banc d’essai : la bonne page, mais souvent la mauvaise position en premier.
Une nouvelle requête n’a aucun jugement. Une personne doit donc lire les résultats, comme le précise la décision.
Constats et limites
Section intitulée « Constats et limites »- Le classement des méthodes du cours ne s’est pas transféré. Chez Larkfield, BM25 dépassait la recherche dense (0,620 contre 0,519), et le mélange demandait alpha 0,8. Les données décident, pas la réputation de la méthode.
- Plus facile que Larkfield sur certains points : anglais révisé, sans fautes d’orthographe, codes de produit ni français. Plus difficile sur d’autres : un seul document par requête compte comme correct.
- Le journal de Larkfield est synthétique; les requêtes d’ArguAna sont de vrais arguments, écrits par des débatteurs, pas saisis par des utilisateurs d’un moteur de recherche. Ces utilisateurs écriraient probablement des requêtes plus courtes et moins soignées. Mesurez sur vos propres requêtes.
- Les modèles ont peut-être vu des données semblables. Les fiches des modèles Granite (bi-encodeur, encodeur croisé) indiquent que chaque jeu d’entraînement a une licence permissive et que MS MARCO n’est pas utilisé. Elles ne nomment pas ArguAna, mais la fiche du bi-encodeur rapporte un banc d’essai qui l’inclut. Ce sont des affirmations du fournisseur; nous ne les avons pas vérifiées.
- Les temps viennent d’un seul portable. Votre serveur donnera des temps différents, mais pas un ordre différent : une recherche avec l’encodeur croisé est environ 50 fois plus lente qu’avec le mélange.
Utilisation responsable
Section intitulée « Utilisation responsable »- Un argument n’est pas un fait. Les documents sont des opinions. Un contre-argument présente un autre point de vue; il ne prouve pas que le premier est faux. Dites-le sur la page de résultats.
- Citez la source. CC BY 4.0 exige de nommer les auteurs, de fournir un lien vers la licence et d’indiquer vos changements. Notre attribution figure dans la fiche du jeu de données.
- Les sujets ne sont pas égaux. Les petits sujets (environnement : 17, sport : 23) ont des chiffres incertains. N’affirmez pas que la recherche « fonctionne pour la religion » à partir de quelques requêtes.
- Gardez une personne dans la boucle au-delà des exercices. N’utilisez pas cette recherche pour décider ce que les étudiants peuvent dire, ni pour les noter.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »C’est un bon projet public. Mettez ces éléments dans un dépôt :
- Le carnet, avec ses sorties, et un lien vers le banc d’essai (ne copiez pas les données).
- Un
README.mdavec ce plan :
# Counter-argument search: when is the cheap method good enough?
## ProblemFind the best counter-argument for a long argument, among 8,674 documents.
## Data and licenceArguAna (Wachsmuth, Syed and Stein, CC BY 4.0), BEIR version. Queries split bydebate page: 409 validation, 997 test. One judged document per query.
## ApproachBM25 baseline; dense (granite-embedding-97m-multilingual-r2); hybrid RRF andblend (alpha chosen on validation); cross-encoder re-ranking (depth chosen onvalidation). One measure: NDCG@10 with 95% bootstrap intervals.
## Results (test, 997 queries)| Design | NDCG@10 | p50 ms | US$ per 1,000 || ... | ... | ... | ... |
## Decision...
## LimitsOne judgment per query; model training data not checked; one laptop's times.- Votre décision, dans le format ci-dessus, et un graphique : le NDCG@10 selon la longueur des requêtes.
En entrevue : « Sur un banc d’essai public de longues requêtes argumentatives, un mélange de BM25 et d’un petit modèle de plongement a dépassé BM25 de +0,102 de NDCG@10, en 36 ms par recherche. Un encodeur croisé a dégradé les résultats et prenait presque deux secondes. J’ai donc recommandé le mélange. »
Allez plus loin :
- Comparez un deuxième bi-encodeur, avec des poids et des données d’entraînement sous licence permissive, sur la même partition.
- Encodez les documents avec 256 jetons au lieu de 512. Combien perdez-vous en qualité, et combien de temps d’encodage économisez-vous?
- Ajoutez un court préfixe à chaque requête, comme « An argument against this: » (un argument contre ceci). Une simple requête (prompt) peut-elle transformer la similarité en opposition?
- Comparez les deux autres études de cas de ce module : Recherche de produits pour un magasin de meubles et Requêtes d’achat avec des négatifs difficiles. Quelle méthode a gagné dans chaque cas, et pourquoi?
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Chez Larkfield, BM25 surpassait la recherche dense; sur ArguAna, la recherche dense surpasse BM25. Donnez deux raisons tirées de cette étude de cas. Qu'est-ce que cela signifie pour un nouveau projet de recherche?
Afficher la réponse
D’abord, les requêtes : les requêtes de produits sont courtes et contiennent beaucoup de mots exacts (noms, tailles, codes). BM25 traite bien les mots exacts. Les requêtes d’ArguAna sont de longs arguments. Le contre-argument y répond avec d’autres mots, donc le sens compte davantage. Ensuite, les jugements : une seule réponse par requête favorise une méthode qui comprend l’affirmation, plutôt qu’une correspondance avec son sujet. La réputation d’une méthode ne se transfère donc pas d’un corpus à l’autre. Dans un nouveau projet, créez d’abord un petit jeu de test. Comparez au moins BM25, la recherche dense et un mélange sur vos propres requêtes avant de choisir.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Votre équipe exécute le banc d'essai et obtient un NDCG@10 de 0,33 pour BM25. C'est bien inférieur au 0,46 de cette étude de cas. Que vérifiez-vous d'abord, et pourquoi?
Afficher la réponse
Vérifiez que l’évaluation exclut le document propre à chaque requête. Parmi les 1 406 requêtes, 1 298 sont aussi des documents contenant le même texte. Sans cette règle, la requête elle-même arrive en premier, et le contre-argument arrive au mieux en deuxième. Sur 200 requêtes de test, l’oubli de cette règle a fait passer BM25 de 0,438 à 0,326. Avant de comparer votre résultat à un résultat publié, vérifiez ce que le banc d’essai exclut et comment il compte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Kofi dit : « L'encodeur croisé est notre modèle le plus puissant. Ajoutons-le quand même; les utilisateurs ne remarqueront pas une seconde de plus. » Que répondez-vous, avec des chiffres?
Afficher la réponse
Non. Pour cette tâche, l’encodeur croisé dégrade les résultats au lieu de les améliorer. Le reclassement de 10 documents réduit le NDCG@10 de 0,562 à 0,528 (−0,034, intervalle de −0,052 à −0,017). Avec 20 documents, il tombe à 0,496. Il porte aussi la durée d’une recherche à environ 1,9 seconde sur un fil d’exécution, contre 36 ms pour le mélange. Cela dépasse de loin le budget de 200 ms. « Le plus puissant » signifie le plus puissant pour sa tâche d’entraînement : faire correspondre un texte à une requête. Ici, la bonne réponse est l’affirmation opposée. Gardez le mélange. Testez de nouveau un modèle de reclassement seulement lorsqu’il en existera un pour les contre-arguments.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Sur ArguAna, avec de longues requêtes argumentatives, la recherche dense surpasse BM25 (+0,081), contrairement à Larkfield. Le mélange (alpha de 0,4, choisi sur les données de validation) est le meilleur : NDCG@10 de 0,562, soit +0,102 par rapport à BM25.
- La RRF ne surpasse pas la recherche dense seule : elle donne un vote complet à la liste la plus faible.
- L’encodeur croisé dégrade les résultats (−0,034 avec 10 documents) et porte la durée d’une recherche à environ 1,9 seconde. Un modèle puissant peut ne pas convenir à une tâche.
- Les longues requêtes changent ce qui fonctionne. BM25 réduit une partie de l’écart sur les longues requêtes. Limiter la requête dense à 128 jetons (tokens) coûte −0,042 sur les longues requêtes.
- Vérifiez ce qu’un banc d’essai exclut (le document propre à la requête) avant de vous fier à un chiffre.
- La décision : le mélange, 36 ms par recherche, une personne qui lit 20 nouveaux arguments avant chaque mise en production.
C’était la dernière étude de cas. Dans le travail final, vous appliquez tout le cours à la nouvelle saison de Larkfield, sur des requêtes jamais vues.
Leçon suivante : Travail final