Classement en deux étapes
- Leçon 19
- 30 min
- Module 6 : Reclasser les premiers résultats
Où nous en sommes
Dans le dernier module, la recherche hybride trouvait de bons candidats en environ 10 millisecondes. Mais leur ordre n'est pas toujours bon : pour « beds that have leds », elle affiche les ampoules en premier. Un modèle plus lent pourrait mieux classer les premiers résultats. Dans cette leçon, nous séparons le classement en deux étapes. Nous voyons pourquoi l'étape un doit trouver les bons produits pour que l'étape deux puisse les classer.
Leçon 19 sur 30 · Recherche et classement : trouver la meilleure correspondanceClassement en deux étapes
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Utilisez un modèle lent et précis là où il est utile : sur les premiers candidats d’une recherche rapide. Vous apprenez comment le classement en deux étapes répartit le travail. Vous voyez aussi pourquoi l’étape un détermine ce que l’étape deux peut trouver. Ensuite, vous choisissez combien de candidats l’étape deux lit.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter reclasse les premiers candidats de la recherche hybride avec les scores enregistrés d’un modèle précis. Vous mesurez le NDCG@10 pour 0, 10, 20, 50 et 100 candidats reclassés sur les requêtes de validation. Vous choisissez ensuite le meilleur nombre. Ses cellules de préparation téléchargent les données d’exercice. Aucune configuration locale n’est donc nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La recherche hybride (
hybrid-rrf), présentée dans Recherche hybride. - Le NDCG@10 et le rappel, présentés dans Mesures de classement.
- Comment lire un intervalle à 95 %, présenté dans Créer un jeu de test qui représente vos utilisateurs.
Ce qu’il vous faut sur votre ordinateur
- Rien pour cette leçon : le carnet fonctionne dans Colab, Kaggle ou votre propre Jupyter. Le projet récupère les fichiers de ce module dans la prochaine leçon.
Une vendeuse qui procède en deux passages
Section intitulée « Une vendeuse qui procède en deux passages »Un client demande à une vendeuse « un lit avec des lumières intégrées ». Le magasin compte quarante mille produits. La vendeuse ne peut pas lire attentivement chaque étiquette. Cela prendrait toute la journée.
Elle procède donc en deux passages. D’abord, elle parcourt rapidement le magasin. Elle regarde seulement les panneaux au-dessus des tablettes et choisit cent articles possibles : lits, cadres de lit, lumières. Ce passage est rapide, mais grossier. Ensuite vient un passage lent. Elle lit les étiquettes des meilleurs candidats, une par une, en les comparant à la demande du client. Une boîte d’ampoules porte le mot « lumière », mais ce n’est pas un lit. Elle place les lits avec lumières intégrées en premier.
Le deuxième passage ne vaut pas mieux que le premier. Si le bon lit ne figure pas parmi les cent articles choisis, sa lecture attentive ne peut pas le trouver.
Le problème : le modèle précis est trop lent, et le modèle rapide fait des erreurs
Section intitulée « Le problème : le modèle précis est trop lent, et le modèle rapide fait des erreurs »La recherche hybride de Larkfield, présentée dans Recherche hybride, correspond au passage rapide. Elle lit les 40 066 produits à chaque recherche en environ 10 millisecondes. Mais elle lit des mots et des vecteurs, pas le sens. Pour la requête de test « beds that have leds », ses 5 premiers résultats sont un projecteur solaire à DEL et quatre ampoules à DEL. Le premier lit est au rang 7. Le NDCG@10 est de 0,073.
Un encodeur croisé (cross-encoder) lit mieux. Ce modèle de langage lit ensemble la requête et un produit, puis donne un score. Vous le découvrirez en détail dans la prochaine leçon. Pour « beds that have leds », il place cinq lits dans ses 5 premiers résultats.
Mais l’encodeur croisé est lent. Sur le portable de l’équipe du cours, il a évalué 75,7 paires requête-produit par seconde avec 4 fils d’exécution. Pour évaluer les 40 066 produits d’une recherche, il lui faudrait 40 066 ÷ 75,7 ≈ 529 secondes : presque neuf minutes. Le budget d’Amira pour une recherche complète est de 200 millisecondes.
La recherche rapide lit donc tout, mais mal. Le modèle précis lit bien, mais ne peut lire que quelques produits.
L’idée : le classement en deux étapes
Section intitulée « L’idée : le classement en deux étapes »Le classement en deux étapes utilise les deux. L’étape un, aussi appelée récupération, effectue une recherche rapide dans tout le catalogue. Elle renvoie les 100 premiers candidats : les produits qui pourraient répondre à la requête. L’étape deux, aussi appelée reclassement, utilise un modèle lent et précis. Elle lit seulement les n premiers candidats et les place dans un nouvel ordre. La page affiche les 10 premiers.
Description textuelle du diagramme
Cinq boîtes de gauche à droite : « Catalogue, 40 066 produits » → « Étape un : recherche hybride, rapide, lit chaque produit, environ 10 ms » → « 100 candidats en ordre hybride » → « Étape deux : encodeur croisé, lent, précis, reclasse seulement les n premiers » → « La page, 10 premiers affichés ». Une flèche pointillée part de l’étape un vers une boîte à bordure rouge : « Perdu pour cette recherche ». Elle porte l’étiquette « un produit raté à l’étape un n’atteint jamais l’étape deux ».
Pourquoi ce nom? Le travail se fait en deux étapes successives, comme dans un entonnoir. Chaque étape fait bien une chose. L’étape un est bonne pour le rappel : elle trouve la plupart des bons produits quelque part dans sa liste. L’étape deux est bonne pour la précision en tête de liste : elle place les meilleurs en premier.
Un tout petit exemple
Section intitulée « Un tout petit exemple »Voici un petit exemple construit : huit produits pour « bed with lights », avec des scores inventés. L’étape un garde ses 4 premiers. L’étape deux reclasse ces 4 produits selon son propre score.
| Produit | Score à l’étape un | Rang à l’étape un | Conservé? | Score à l’étape deux | Rang final | Bonne réponse? |
|---|---|---|---|---|---|---|
| Ampoule à DEL | 9,1 | 1 | oui | 0,76 | 3 | non |
| Projecteur solaire | 8,7 | 2 | oui | 0,75 | 4 | non |
| Lit avec tête de lit à DEL | 8,2 | 3 | oui | 0,88 | 1 | oui |
| Ensemble de DEL pour lit | 7,9 | 4 | oui | 0,85 | 2 | oui |
| Lampadaire | 6,5 | 5 | non | – | – | non |
| Lit de rangement avec lumières | 6,1 | 6 | non | – | – | oui |
| Lampe de bureau | 5,8 | 7 | non | – | – | non |
| Lit plateforme | 4,0 | 8 | non | – | – | en partie |
Lisez le tableau ligne par ligne. L’étape deux corrige l’ordre des quatre produits qu’elle lit : les deux lits passent devant les deux lumières. Mais le « lit de rangement avec lumières » était au rang 6 à l’étape un. L’étape deux ne le lit jamais. Elle ne peut donc pas le faire monter, même s’il convient très bien.
Deux nombres décrivent cet exemple. L’étape deux lit 4 candidats. Parmi les trois bonnes réponses, l’étape un en a placé 2 dans ses 4 premiers résultats. Cette proportion est le rappel de l’étape un à 4 : 2 sur 3, soit 67 %. L’étape deux ne peut jamais dépasser ce que l’étape un a trouvé.
L’étape un limite l’étape deux
Section intitulée « L’étape un limite l’étape deux »Sur les 243 requêtes de test de Larkfield, la même chose se produit à grande échelle. Comptez les produits exacts de chaque requête. Vérifiez combien la recherche hybride en place dans ses n premiers résultats.
Description textuelle du graphique
Une ligne avec quatre points. Dans ses 10 premiers résultats, la recherche hybride contient 27 % des produits exacts; dans ses 20 premiers, 33 %; dans ses 50 premiers, 44 %; dans ses 100 premiers, 54 %.
Dans ses 10 premiers résultats, la recherche hybride contient 27 % des produits exacts. Dans ses 100 premiers, elle en contient 54 %. Les 46 % restants ne figurent pas du tout dans la liste des candidats. Aucune deuxième étape ne peut les récupérer. Vous pouvez le voir dans le tableau comparatif. Toutes les exécutions de ce module ont le même rappel à 100 (recall@100), 0,540. Chacune reclasse seulement les mêmes 100 candidats.
Il y a deux façons de donner plus de matière à l’étape deux. Lire plus de candidats (un n plus grand), ou améliorer l’étape un. Un n plus grand coûte du temps, comme le montre l’explorateur ci-dessous. Les modules 3 à 5 portaient sur l’amélioration de l’étape un.
Larkfield : combien de candidats l’étape deux devrait-elle lire?
Section intitulée « Larkfield : combien de candidats l’étape deux devrait-elle lire? »L’équipe du cours a exécuté l’encodeur croisé une fois sur les 100 premiers candidats de chaque requête de validation et de test. Elle a enregistré ses scores. Ces scores permettent de mesurer n’importe quel n sans exécuter le modèle de nouveau. L’équipe a aussi mesuré la durée d’une recherche réelle sur son portable, avec le modèle, pour chaque n.
Explorer
L'entonnoir en deux étapes : qualité et temps
Prédisez d’abord : Le budget d'Amira est de 200 ms par recherche. Combien de candidats l'encodeur croisé peut-il reclasser dans ce budget : 10, 20, 50 ou 100?
- NDCG@10
- 0,621
- Temps par recherche (p50)
- 10 ms
- Budget
- 200 ms
Sans reclassement : l’étape un seule prend 10 ms par recherche sur 4 fils. Le NDCG@10 vaut 0,621 (0,576 à 0,663). Pour comparer, LambdaMART atteint 0,668 en 34 ms.
- 40 066produits au catalogue
- Étape un : recherche hybride100 candidats10 ms
- Étape deux : encodeur croisédésactivé
- La page10 premiers affichés
| Reclassés | Exacts parmi les n premiers de l’étape un | NDCG@10 (intervalle à 95 %) | Temps par recherche, p50, 4 fils budget 200 ms |
|---|---|---|---|
| 0 (étape un seule) | aucun | 0,621 (0,576–0,663) | 10 ms · tient |
| 10 | 27 % | 0,631 (0,587–0,672) | 155 ms · tient |
| 20 | 33 % | 0,641 (0,595–0,684) | 295 ms · dépasse |
| 50 | 44 % | 0,635 (0,589–0,679) | 732 ms · dépasse |
| 100 | 54 % | 0,631 (0,584–0,674) | 1 396 ms · dépasse |
| LambdaMART à la place | aucun | 0,668 | 34 ms · tient |
Description textuelle de l’explorateur
L’explorateur propose des boutons pour le nombre de candidats que l’encodeur croisé reclasse (0, 10, 20, 50 ou 100). Il propose aussi des boutons pour le nombre de fils du processeur (1 ou 4). Une bande montre les étapes : 40 066 produits, puis l’étape un avec 100 candidats en 9,2 ms (1 fil) ou 10,3 ms (4 fils), puis l’encodeur croisé sur les n premiers, puis les 10 premiers affichés. Un tableau montre chaque choix. 0 reclassé : NDCG@10 de 0,621 (0,576 à 0,663), 9,2 ms sur 1 fil, 10,3 ms sur 4 fils. 10 reclassés : l’étape un contient 27 % des produits exacts dans ses 10 premiers; NDCG@10 de 0,631 (0,587 à 0,672); 194 ms sur 1 fil, 155 ms sur 4 fils. 20 reclassés : 33 %; 0,641 (0,595 à 0,684); 400 ms et 295 ms. 50 reclassés : 44 %; 0,635 (0,589 à 0,679); 981 ms et 732 ms. 100 reclassés : 54 %; 0,631 (0,584 à 0,674); 1 904 ms et 1 396 ms. La ligne du budget est à 200 ms. La dernière ligne est LambdaMART : 0,668 en 36 ms sur 1 fil et 34 ms sur 4 fils.
Ce que montre l’explorateur
Seulement 10 candidats tiennent dans le budget : 155 ms par recherche sur 4 fils, 194 ms sur 1 fil. Vingt candidats prennent déjà 295 ms sur 4 fils. Cinquante prennent 732 ms, soit plus de trois fois le budget.
Le temps augmente en ligne droite avec n, car l’encodeur croisé s’exécute une fois pour chaque paire. Deux fois plus de candidats signifie deux fois plus d’exécutions du modèle. Plus de fils aident un peu, mais pas beaucoup : 50 candidats prennent 981 ms sur 1 fil et 732 ms sur 4.
Lire la qualité
Section intitulée « Lire la qualité »Regardez la colonne NDCG@10. Sans reclassement, la valeur est de 0,621. La meilleure est de 0,641, avec 20 candidats. Avec les 100 candidats, elle redescend à 0,631.
Deux choses ressortent.
- Les gains sont faibles. Les cinq intervalles se chevauchent. Avec 50 candidats, la différence appariée par rapport à l’absence de reclassement est de +0,014 (intervalle à 95 % : −0,008 à +0,036). L’intervalle inclut zéro. Ce n’est donc pas un gain clair sur ces 243 requêtes.
- Plus de candidats n’est pas toujours mieux. Chaque candidat ajouté donne au modèle une occasion de plus de se tromper. Avec 100 candidats, le modèle fait parfois monter un mauvais produit du rang 90 aux 10 premiers.
L’étape deux ne voit pas non plus tout ce qui compte. L’encodeur croisé lit seulement du texte, et seulement du texte anglais, comme le montre la prochaine leçon. La dernière ligne du tableau, LambdaMART, représente une autre deuxième étape. Elle apprend à partir de nombreux signaux à la fois et atteint 0,668 en 36 ms. Vous la construisez dans Apprentissage du classement.
Choisir sur la validation, pas sur le test
Section intitulée « Choisir sur la validation, pas sur le test »Le tableau ci-dessus utilise les requêtes de test. Vous ne devez donc pas l’utiliser pour choisir n. Choisissez sur les requêtes de validation, puis mesurez une seule fois sur le test. Le carnet procède ainsi. Sur les requêtes de validation sans les codes de produit, il trouve :
| Reclassés | 0 | 10 | 20 | 50 | 100 |
|---|---|---|---|---|---|
| NDCG@10 (validation) | 0,587 | 0,580 | 0,593 | 0,588 | 0,587 |
Le meilleur nombre est encore 20, mais le gain n’est que de +0,006 sur environ 110 requêtes. Rappelez-vous Créer un jeu de test qui représente vos utilisateurs. Dans cette leçon, un changement de 0,037 était clair dans moins de la moitié des tirages aléatoires de 50 requêtes. Un changement de 0,006 est du bruit. La lecture honnête : sur les données de Larkfield, l’encodeur croisé apporte peu, et le budget permet seulement 10 candidats.
Pourquoi le carnet exclut-il les codes de produit? La règle des codes de Correspondances exactes et règles place le bon produit en premier avant tout classement. Un modèle de reclassement qui ignore cette règle ferait échouer les 10 requêtes de codes de la validation. Elles masqueraient tout le reste.
Exercice guidé : choisir la profondeur dans le carnet
Section intitulée « Exercice guidé : choisir la profondeur dans le carnet »Ouvrez le carnet Classement en deux étapes (le lien est en haut de cette leçon).
- Exécutez les cellules de préparation. La dernière affiche
Ready: 5 files in larkfield-search.(prêt : 5 fichiers dans larkfield-search). - Exécutez la section 1. Elle charge les scores enregistrés :
364 queries, 36400 candidates(364 requêtes, 36 400 candidats). Il s’agit des 121 requêtes de validation et des 243 requêtes de test, avec 100 candidats chacune. - Avant d’exécuter la section 2, écrivez votre prédiction : 100 candidats donnent-ils un meilleur résultat que 20?
- Exécutez la section 2. Comparez le tableau avec le tableau de validation ci-dessus.
- Dans la section 3, réglez
best_nsur le nombre ayant le NDCG@10 le plus élevé, puis lancez la vérification. Elle afficheCheck passed: best_n is 20.(vérification réussie : best_n vaut 20). - Exécutez la dernière cellule. Le graphique de gauche montre le NDCG@10. Celui de droite montre le temps mesuré par rapport à la ligne du budget de 200 ms.
À vous de jouer : deux budgets
Section intitulée « À vous de jouer : deux budgets »Utilisez l’explorateur, pas le carnet. Avant de regarder, prédisez les réponses.
- Le budget d’Amira est de 200 ms, et le serveur a seulement 1 fil pour chaque recherche. Quel n choisiriez-vous, et quel NDCG@10 attendez-vous sur le test?
- Omar demande : « Si on permettait 500 ms, les gens auraient-ils une bien meilleure page? » Utilisez 4 fils.
Réponses
- n = 10. Il prend 194 ms par recherche sur 1 fil, tout juste dans le budget. Le NDCG@10 est de 0,631 (0,587 à 0,672), soit +0,010 par rapport à l’absence de reclassement. Ce n’est pas un gain clair. LambdaMART atteint 0,668 en 36 ms. C’est donc une meilleure utilisation du budget.
- Pas beaucoup. Avec 500 ms, n = 20 tient dans le budget (295 ms sur 4 fils), mais pas n = 50 (732 ms). Avec n = 20, le NDCG@10 sur le test est de 0,641 : +0,010 par rapport à n = 10. Omar paierait 140 ms de plus par recherche pour un gain que le jeu de test ne distingue pas du bruit.
Erreur courante
Reclasser plus de candidats pour trouver les produits manquants
Symptôme : Tomás voit que 46 % des produits exacts ne figurent pas dans les 100 premiers. Il reclasse les 100 candidats au lieu de 50 et s’attend à en voir davantage sur la page :
search eval --run rerank-ce --set rerank=100rerank-ce on 243 test queries: NDCG@10 0.631 (95% interval 0.584 to 0.674)recall@100 0.540, MRR 0.661, zero results 0.0%, judged in the top 10 66.3%; 1.6 ms a query (p50), 2.1 ms (p95)Le recall@100 reste à 0,540, et le NDCG@10 est passé de 0,635 à 0,631. (Le temps affiché, 1,6 ms, correspond seulement à l’évaluation avec les scores enregistrés. En recherche réelle, 100 candidats prennent de 1,4 à 1,9 seconde par recherche.) Vous obtenez cette commande dans le projet à la prochaine leçon.
Cause : l’étape deux reclasse seulement les candidats qu’elle reçoit. Elle ne peut pas ajouter un produit que l’étape un n’a pas renvoyé. Un n plus grand donne plus de produits à classer à l’étape deux. Mais il lui donne aussi plus d’occasions de faire monter un mauvais produit.
Solution : pour trouver plus de bons produits, améliorez l’étape un : une meilleure compréhension des requêtes (Normaliser le texte et le reste de ce module), ou la recherche hybride. Choisissez n selon la qualité et le temps sur la validation.
Conséquence pour le travail en recherche : une deuxième étape lente ne peut pas corriger une première étape faible. Mesurez le rappel de l’étape un avant de dépenser des millisecondes à l’étape deux.
Quand utiliser deux étapes, et ce qu’elles coûtent
Section intitulée « Quand utiliser deux étapes, et ce qu’elles coûtent »Utilisez le classement en deux étapes si votre modèle classe mieux les produits que votre recherche, mais trop lentement pour tout le catalogue. C’est la conception habituelle de la recherche de produits, de la recherche Web et de l’étape de récupération d’un système RAG (voir RAG : créer une IA qui utilise vos données). Les systèmes de recommandation utilisent le même entonnoir : de nombreux candidats d’abord, puis un modèle lent sur quelques-uns (un cours sur la recommandation est prévu).
Vérifiez deux choses avant d’ajouter une deuxième étape :
- Le rappel de l’étape un à n. Si les bons produits ne figurent pas dans les n premiers, l’étape deux ne peut pas aider. Sur Larkfield, la recherche hybride contient seulement 54 % des produits exacts dans ses 100 premiers.
- Le temps par candidat. Le temps du modèle lent augmente avec n. Sur le portable de l’équipe du cours, l’encodeur croisé traite seulement 10 candidats en 200 ms.
N’ajoutez pas une deuxième étape simplement parce qu’elle semble meilleure. Sur les requêtes de test de Larkfield, l’encodeur croisé sur 50 candidats donne +0,014, sans gain clair. Il prend environ une seconde par recherche. Les deux prochaines leçons mesurent pourquoi et essaient une deuxième étape plus rapide.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
L'étape un renvoie 100 candidats. Une requête a 10 produits exacts; 4 figurent parmi les 20 premiers candidats, et 6 parmi les 100 premiers. La deuxième étape reclasse parfaitement les 20 premiers. Combien de produits exacts peut-elle placer sur la première page?
Afficher la réponse
Au plus 4. L’étape deux lit seulement les 20 premiers candidats, qui comprennent seulement 4 produits exacts. Les 2 autres produits exacts parmi les 100 premiers restent au-delà du rang 20. Les 4 derniers ne font pas du tout partie des candidats.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'encodeur croisé évalue 75,7 paires par seconde. Pourquoi Larkfield ne peut-elle pas l'utiliser pour une recherche en une seule étape sur les 40 066 produits?
Afficher la réponse
Une recherche demanderait 40 066 exécutions du modèle : 40 066 ÷ 75,7 ≈ 529 secondes, soit presque neuf minutes. Le budget est de 200 ms. Une première étape rapide doit d’abord réduire le catalogue à quelques candidats.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Chaque exécution de ce module a un recall@100 = 0,540, comme hybrid-rrf. Est-ce une erreur dans le tableau?
Afficher la réponse
Non. Chaque deuxième étape de ce module réordonne les mêmes 100 candidats de la recherche hybride. Changer l’ordre modifie les produits en tête du classement, donc le NDCG@10 et le MRR changent. Cela ne peut pas changer les produits parmi les 100 premiers, donc le recall@100 reste identique.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Classement en deux étapes : l’étape un, rapide (récupération), trouve environ 100 candidats; l’étape deux, lente et précise (reclassement), réordonne les n premiers.
- L’étape un limite l’étape deux. La recherche hybride trouve 27 % des produits exacts parmi ses 10 premiers résultats et 54 % parmi ses 100 premiers. Chaque modèle de reclassement de ce module maintient le recall@100 à 0,540.
- Sur les requêtes de test de Larkfield, reclasser les 10 / 20 / 50 / 100 premiers avec un encodeur croisé donne un NDCG@10 de 0,631 / 0,641 / 0,635 / 0,631, contre 0,621 sans reclassement. Aucun gain n’est clair.
- Le temps augmente avec n : seuls 10 candidats tiennent dans le budget de 200 ms (155 ms sur 4 fils d’exécution). Choisissez n sur les requêtes de validation; chez Larkfield, le meilleur choix est 20, avec un gain de seulement 0,006.
Vous savez maintenant où intervient une deuxième étape et ce qui la limite. Ensuite, vous explorez cette étape : comment un encodeur croisé lit ensemble la requête et le produit, où il aide et où il nuit.
Leçon suivante : Reclassement par encodeur croisé