Aller au contenu
English

Classement en deux étapes

  • Leçon 19
  • 30 min
  • Module 6 : Reclasser les premiers résultats

Où nous en sommes

Dans le dernier module, la recherche hybride trouvait de bons candidats en environ 10 millisecondes. Mais leur ordre n'est pas toujours bon : pour « beds that have leds », elle affiche les ampoules en premier. Un modèle plus lent pourrait mieux classer les premiers résultats. Dans cette leçon, nous séparons le classement en deux étapes. Nous voyons pourquoi l'étape un doit trouver les bons produits pour que l'étape deux puisse les classer.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Utilisez un modèle lent et précis là où il est utile : sur les premiers candidats d’une recherche rapide. Vous apprenez comment le classement en deux étapes répartit le travail. Vous voyez aussi pourquoi l’étape un détermine ce que l’étape deux peut trouver. Ensuite, vous choisissez combien de candidats l’étape deux lit.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter reclasse les premiers candidats de la recherche hybride avec les scores enregistrés d’un modèle précis. Vous mesurez le NDCG@10 pour 0, 10, 20, 50 et 100 candidats reclassés sur les requêtes de validation. Vous choisissez ensuite le meilleur nombre. Ses cellules de préparation téléchargent les données d’exercice. Aucune configuration locale n’est donc nécessaire. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Rien pour cette leçon : le carnet fonctionne dans Colab, Kaggle ou votre propre Jupyter. Le projet récupère les fichiers de ce module dans la prochaine leçon.

Un client demande à une vendeuse « un lit avec des lumières intégrées ». Le magasin compte quarante mille produits. La vendeuse ne peut pas lire attentivement chaque étiquette. Cela prendrait toute la journée.

Elle procède donc en deux passages. D’abord, elle parcourt rapidement le magasin. Elle regarde seulement les panneaux au-dessus des tablettes et choisit cent articles possibles : lits, cadres de lit, lumières. Ce passage est rapide, mais grossier. Ensuite vient un passage lent. Elle lit les étiquettes des meilleurs candidats, une par une, en les comparant à la demande du client. Une boîte d’ampoules porte le mot « lumière », mais ce n’est pas un lit. Elle place les lits avec lumières intégrées en premier.

Le deuxième passage ne vaut pas mieux que le premier. Si le bon lit ne figure pas parmi les cent articles choisis, sa lecture attentive ne peut pas le trouver.

Le problème : le modèle précis est trop lent, et le modèle rapide fait des erreurs

Section intitulée « Le problème : le modèle précis est trop lent, et le modèle rapide fait des erreurs »

La recherche hybride de Larkfield, présentée dans Recherche hybride, correspond au passage rapide. Elle lit les 40 066 produits à chaque recherche en environ 10 millisecondes. Mais elle lit des mots et des vecteurs, pas le sens. Pour la requête de test « beds that have leds », ses 5 premiers résultats sont un projecteur solaire à DEL et quatre ampoules à DEL. Le premier lit est au rang 7. Le NDCG@10 est de 0,073.

Un encodeur croisé (cross-encoder) lit mieux. Ce modèle de langage lit ensemble la requête et un produit, puis donne un score. Vous le découvrirez en détail dans la prochaine leçon. Pour « beds that have leds », il place cinq lits dans ses 5 premiers résultats.

Mais l’encodeur croisé est lent. Sur le portable de l’équipe du cours, il a évalué 75,7 paires requête-produit par seconde avec 4 fils d’exécution. Pour évaluer les 40 066 produits d’une recherche, il lui faudrait 40 066 ÷ 75,7 ≈ 529 secondes : presque neuf minutes. Le budget d’Amira pour une recherche complète est de 200 millisecondes.

La recherche rapide lit donc tout, mais mal. Le modèle précis lit bien, mais ne peut lire que quelques produits.

Le classement en deux étapes utilise les deux. L’étape un, aussi appelée récupération, effectue une recherche rapide dans tout le catalogue. Elle renvoie les 100 premiers candidats : les produits qui pourraient répondre à la requête. L’étape deux, aussi appelée reclassement, utilise un modèle lent et précis. Elle lit seulement les n premiers candidats et les place dans un nouvel ordre. La page affiche les 10 premiers.

L'entonnoir en deux étapes. Le catalogue de 40 066 produits passe à l'étape un, la recherche hybride. Elle est rapide, lit chaque produit et prend environ 10 ms. Elle fournit 100 candidats en ordre hybride. L'étape deux, l'encodeur croisé, est lente et précise. Elle reclasse seulement les n premiers. La page affiche les 10 premiers. Une flèche pointillée part de l'étape un : un produit raté à l'étape un n'atteint jamais l'étape deux et il est perdu pour cette recherche.
Classement en deux étapes : une étape rapide trouve les candidats, une étape lente classe les premiers. Ce que l'étape un manque, l'étape deux ne le voit jamais.
Description textuelle du diagramme

Cinq boîtes de gauche à droite : « Catalogue, 40 066 produits » → « Étape un : recherche hybride, rapide, lit chaque produit, environ 10 ms » → « 100 candidats en ordre hybride » → « Étape deux : encodeur croisé, lent, précis, reclasse seulement les n premiers » → « La page, 10 premiers affichés ». Une flèche pointillée part de l’étape un vers une boîte à bordure rouge : « Perdu pour cette recherche ». Elle porte l’étiquette « un produit raté à l’étape un n’atteint jamais l’étape deux ».

Pourquoi ce nom? Le travail se fait en deux étapes successives, comme dans un entonnoir. Chaque étape fait bien une chose. L’étape un est bonne pour le rappel : elle trouve la plupart des bons produits quelque part dans sa liste. L’étape deux est bonne pour la précision en tête de liste : elle place les meilleurs en premier.

Voici un petit exemple construit : huit produits pour « bed with lights », avec des scores inventés. L’étape un garde ses 4 premiers. L’étape deux reclasse ces 4 produits selon son propre score.

Produit Score à l’étape un Rang à l’étape un Conservé? Score à l’étape deux Rang final Bonne réponse?
Ampoule à DEL 9,1 1 oui 0,76 3 non
Projecteur solaire 8,7 2 oui 0,75 4 non
Lit avec tête de lit à DEL 8,2 3 oui 0,88 1 oui
Ensemble de DEL pour lit 7,9 4 oui 0,85 2 oui
Lampadaire 6,5 5 non – – non
Lit de rangement avec lumières 6,1 6 non – – oui
Lampe de bureau 5,8 7 non – – non
Lit plateforme 4,0 8 non – – en partie

Lisez le tableau ligne par ligne. L’étape deux corrige l’ordre des quatre produits qu’elle lit : les deux lits passent devant les deux lumières. Mais le « lit de rangement avec lumières » était au rang 6 à l’étape un. L’étape deux ne le lit jamais. Elle ne peut donc pas le faire monter, même s’il convient très bien.

Deux nombres décrivent cet exemple. L’étape deux lit 4 candidats. Parmi les trois bonnes réponses, l’étape un en a placé 2 dans ses 4 premiers résultats. Cette proportion est le rappel de l’étape un à 4 : 2 sur 3, soit 67 %. L’étape deux ne peut jamais dépasser ce que l’étape un a trouvé.

Sur les 243 requêtes de test de Larkfield, la même chose se produit à grande échelle. Comptez les produits exacts de chaque requête. Vérifiez combien la recherche hybride en place dans ses n premiers résultats.

Mesure sur les 243 requêtes de test de Larkfield : proportion des produits exacts de chaque requête dans les n premiers résultats de la recherche hybride. L'étape deux peut seulement classer les produits de cette proportion.
Description textuelle du graphique

Une ligne avec quatre points. Dans ses 10 premiers résultats, la recherche hybride contient 27 % des produits exacts; dans ses 20 premiers, 33 %; dans ses 50 premiers, 44 %; dans ses 100 premiers, 54 %.

Dans ses 10 premiers résultats, la recherche hybride contient 27 % des produits exacts. Dans ses 100 premiers, elle en contient 54 %. Les 46 % restants ne figurent pas du tout dans la liste des candidats. Aucune deuxième étape ne peut les récupérer. Vous pouvez le voir dans le tableau comparatif. Toutes les exécutions de ce module ont le même rappel à 100 (recall@100), 0,540. Chacune reclasse seulement les mêmes 100 candidats.

Il y a deux façons de donner plus de matière à l’étape deux. Lire plus de candidats (un n plus grand), ou améliorer l’étape un. Un n plus grand coûte du temps, comme le montre l’explorateur ci-dessous. Les modules 3 à 5 portaient sur l’amélioration de l’étape un.

Larkfield : combien de candidats l’étape deux devrait-elle lire?

Section intitulée « Larkfield : combien de candidats l’étape deux devrait-elle lire? »

L’équipe du cours a exécuté l’encodeur croisé une fois sur les 100 premiers candidats de chaque requête de validation et de test. Elle a enregistré ses scores. Ces scores permettent de mesurer n’importe quel n sans exécuter le modèle de nouveau. L’équipe a aussi mesuré la durée d’une recherche réelle sur son portable, avec le modèle, pour chaque n.

Explorer

L'entonnoir en deux étapes : qualité et temps

NDCG@10
0,621
Temps par recherche (p50)
10 ms
Budget
200 ms

Sans reclassement : l’étape un seule prend 10 ms par recherche sur 4 fils. Le NDCG@10 vaut 0,621 (0,576 à 0,663). Pour comparer, LambdaMART atteint 0,668 en 34 ms.

  1. 40 066produits au catalogue
  2. Étape un : recherche hybride100 candidats10 ms
  3. Étape deux : encodeur croisédésactivé
  4. La page10 premiers affichés
Classement en deux étapes sur les 243 requêtes de test de Larkfield (4 fils). Les lignes marquées « dépasse » manquent le budget.
ReclassésExacts parmi les n premiers de l’étape unNDCG@10 (intervalle à 95 %)Temps par recherche, p50, 4 fils budget 200 ms
0 (étape un seule)aucun0,621 (0,576–0,663)10 ms · tient
1027 %0,631 (0,587–0,672)155 ms · tient
2033 %0,641 (0,595–0,684)295 ms · dépasse
5044 %0,635 (0,589–0,679)732 ms · dépasse
10054 %0,631 (0,584–0,674)1 396 ms · dépasse
LambdaMART à la placeaucun0,66834 ms · tient
La recherche hybride trouve 100 candidats; l'encodeur croisé reclasse les n premiers. NDCG@10 sur les requêtes de test de Larkfield (moyenne de 241 des 243) (scores enregistrés) et durée réelle par recherche (p50, la médiane) sur le portable de l'équipe du cours.
Description textuelle de l’explorateur

L’explorateur propose des boutons pour le nombre de candidats que l’encodeur croisé reclasse (0, 10, 20, 50 ou 100). Il propose aussi des boutons pour le nombre de fils du processeur (1 ou 4). Une bande montre les étapes : 40 066 produits, puis l’étape un avec 100 candidats en 9,2 ms (1 fil) ou 10,3 ms (4 fils), puis l’encodeur croisé sur les n premiers, puis les 10 premiers affichés. Un tableau montre chaque choix. 0 reclassé : NDCG@10 de 0,621 (0,576 à 0,663), 9,2 ms sur 1 fil, 10,3 ms sur 4 fils. 10 reclassés : l’étape un contient 27 % des produits exacts dans ses 10 premiers; NDCG@10 de 0,631 (0,587 à 0,672); 194 ms sur 1 fil, 155 ms sur 4 fils. 20 reclassés : 33 %; 0,641 (0,595 à 0,684); 400 ms et 295 ms. 50 reclassés : 44 %; 0,635 (0,589 à 0,679); 981 ms et 732 ms. 100 reclassés : 54 %; 0,631 (0,584 à 0,674); 1 904 ms et 1 396 ms. La ligne du budget est à 200 ms. La dernière ligne est LambdaMART : 0,668 en 36 ms sur 1 fil et 34 ms sur 4 fils.

Ce que montre l’explorateur

Seulement 10 candidats tiennent dans le budget : 155 ms par recherche sur 4 fils, 194 ms sur 1 fil. Vingt candidats prennent déjà 295 ms sur 4 fils. Cinquante prennent 732 ms, soit plus de trois fois le budget.

Le temps augmente en ligne droite avec n, car l’encodeur croisé s’exécute une fois pour chaque paire. Deux fois plus de candidats signifie deux fois plus d’exécutions du modèle. Plus de fils aident un peu, mais pas beaucoup : 50 candidats prennent 981 ms sur 1 fil et 732 ms sur 4.

Regardez la colonne NDCG@10. Sans reclassement, la valeur est de 0,621. La meilleure est de 0,641, avec 20 candidats. Avec les 100 candidats, elle redescend à 0,631.

Deux choses ressortent.

  1. Les gains sont faibles. Les cinq intervalles se chevauchent. Avec 50 candidats, la différence appariée par rapport à l’absence de reclassement est de +0,014 (intervalle à 95 % : −0,008 à +0,036). L’intervalle inclut zéro. Ce n’est donc pas un gain clair sur ces 243 requêtes.
  2. Plus de candidats n’est pas toujours mieux. Chaque candidat ajouté donne au modèle une occasion de plus de se tromper. Avec 100 candidats, le modèle fait parfois monter un mauvais produit du rang 90 aux 10 premiers.

L’étape deux ne voit pas non plus tout ce qui compte. L’encodeur croisé lit seulement du texte, et seulement du texte anglais, comme le montre la prochaine leçon. La dernière ligne du tableau, LambdaMART, représente une autre deuxième étape. Elle apprend à partir de nombreux signaux à la fois et atteint 0,668 en 36 ms. Vous la construisez dans Apprentissage du classement.

Le tableau ci-dessus utilise les requêtes de test. Vous ne devez donc pas l’utiliser pour choisir n. Choisissez sur les requêtes de validation, puis mesurez une seule fois sur le test. Le carnet procède ainsi. Sur les requêtes de validation sans les codes de produit, il trouve :

Reclassés 0 10 20 50 100
NDCG@10 (validation) 0,587 0,580 0,593 0,588 0,587

Le meilleur nombre est encore 20, mais le gain n’est que de +0,006 sur environ 110 requêtes. Rappelez-vous Créer un jeu de test qui représente vos utilisateurs. Dans cette leçon, un changement de 0,037 était clair dans moins de la moitié des tirages aléatoires de 50 requêtes. Un changement de 0,006 est du bruit. La lecture honnête : sur les données de Larkfield, l’encodeur croisé apporte peu, et le budget permet seulement 10 candidats.

Pourquoi le carnet exclut-il les codes de produit? La règle des codes de Correspondances exactes et règles place le bon produit en premier avant tout classement. Un modèle de reclassement qui ignore cette règle ferait échouer les 10 requêtes de codes de la validation. Elles masqueraient tout le reste.

Exercice guidé : choisir la profondeur dans le carnet

Section intitulée « Exercice guidé : choisir la profondeur dans le carnet »

Ouvrez le carnet Classement en deux étapes (le lien est en haut de cette leçon).

  1. Exécutez les cellules de préparation. La dernière affiche Ready: 5 files in larkfield-search. (prêt : 5 fichiers dans larkfield-search).
  2. Exécutez la section 1. Elle charge les scores enregistrés : 364 queries, 36400 candidates (364 requêtes, 36 400 candidats). Il s’agit des 121 requêtes de validation et des 243 requêtes de test, avec 100 candidats chacune.
  3. Avant d’exécuter la section 2, écrivez votre prédiction : 100 candidats donnent-ils un meilleur résultat que 20?
  4. Exécutez la section 2. Comparez le tableau avec le tableau de validation ci-dessus.
  5. Dans la section 3, réglez best_n sur le nombre ayant le NDCG@10 le plus élevé, puis lancez la vérification. Elle affiche Check passed: best_n is 20. (vérification réussie : best_n vaut 20).
  6. Exécutez la dernière cellule. Le graphique de gauche montre le NDCG@10. Celui de droite montre le temps mesuré par rapport à la ligne du budget de 200 ms.

Utilisez l’explorateur, pas le carnet. Avant de regarder, prédisez les réponses.

  1. Le budget d’Amira est de 200 ms, et le serveur a seulement 1 fil pour chaque recherche. Quel n choisiriez-vous, et quel NDCG@10 attendez-vous sur le test?
  2. Omar demande : « Si on permettait 500 ms, les gens auraient-ils une bien meilleure page? » Utilisez 4 fils.
Réponses
  1. n = 10. Il prend 194 ms par recherche sur 1 fil, tout juste dans le budget. Le NDCG@10 est de 0,631 (0,587 à 0,672), soit +0,010 par rapport à l’absence de reclassement. Ce n’est pas un gain clair. LambdaMART atteint 0,668 en 36 ms. C’est donc une meilleure utilisation du budget.
  2. Pas beaucoup. Avec 500 ms, n = 20 tient dans le budget (295 ms sur 4 fils), mais pas n = 50 (732 ms). Avec n = 20, le NDCG@10 sur le test est de 0,641 : +0,010 par rapport à n = 10. Omar paierait 140 ms de plus par recherche pour un gain que le jeu de test ne distingue pas du bruit.

Erreur courante

Reclasser plus de candidats pour trouver les produits manquants

Symptôme : Tomás voit que 46 % des produits exacts ne figurent pas dans les 100 premiers. Il reclasse les 100 candidats au lieu de 50 et s’attend à en voir davantage sur la page :

Fenêtre de terminal
search eval --run rerank-ce --set rerank=100
rerank-ce on 243 test queries: NDCG@10 0.631 (95% interval 0.584 to 0.674)
recall@100 0.540, MRR 0.661, zero results 0.0%, judged in the top 10 66.3%; 1.6 ms a query (p50), 2.1 ms (p95)

Le recall@100 reste à 0,540, et le NDCG@10 est passé de 0,635 à 0,631. (Le temps affiché, 1,6 ms, correspond seulement à l’évaluation avec les scores enregistrés. En recherche réelle, 100 candidats prennent de 1,4 à 1,9 seconde par recherche.) Vous obtenez cette commande dans le projet à la prochaine leçon.

Cause : l’étape deux reclasse seulement les candidats qu’elle reçoit. Elle ne peut pas ajouter un produit que l’étape un n’a pas renvoyé. Un n plus grand donne plus de produits à classer à l’étape deux. Mais il lui donne aussi plus d’occasions de faire monter un mauvais produit.

Solution : pour trouver plus de bons produits, améliorez l’étape un : une meilleure compréhension des requêtes (Normaliser le texte et le reste de ce module), ou la recherche hybride. Choisissez n selon la qualité et le temps sur la validation.

Conséquence pour le travail en recherche : une deuxième étape lente ne peut pas corriger une première étape faible. Mesurez le rappel de l’étape un avant de dépenser des millisecondes à l’étape deux.

Quand utiliser deux étapes, et ce qu’elles coûtent

Section intitulée « Quand utiliser deux étapes, et ce qu’elles coûtent »

Utilisez le classement en deux étapes si votre modèle classe mieux les produits que votre recherche, mais trop lentement pour tout le catalogue. C’est la conception habituelle de la recherche de produits, de la recherche Web et de l’étape de récupération d’un système RAG (voir RAG : créer une IA qui utilise vos données). Les systèmes de recommandation utilisent le même entonnoir : de nombreux candidats d’abord, puis un modèle lent sur quelques-uns (un cours sur la recommandation est prévu).

Vérifiez deux choses avant d’ajouter une deuxième étape :

  • Le rappel de l’étape un à n. Si les bons produits ne figurent pas dans les n premiers, l’étape deux ne peut pas aider. Sur Larkfield, la recherche hybride contient seulement 54 % des produits exacts dans ses 100 premiers.
  • Le temps par candidat. Le temps du modèle lent augmente avec n. Sur le portable de l’équipe du cours, l’encodeur croisé traite seulement 10 candidats en 200 ms.

N’ajoutez pas une deuxième étape simplement parce qu’elle semble meilleure. Sur les requêtes de test de Larkfield, l’encodeur croisé sur 50 candidats donne +0,014, sans gain clair. Il prend environ une seconde par recherche. Les deux prochaines leçons mesurent pourquoi et essaient une deuxième étape plus rapide.

Vérifiez votre compréhension

L'étape un renvoie 100 candidats. Une requête a 10 produits exacts; 4 figurent parmi les 20 premiers candidats, et 6 parmi les 100 premiers. La deuxième étape reclasse parfaitement les 20 premiers. Combien de produits exacts peut-elle placer sur la première page?

Afficher la réponse

Au plus 4. L’étape deux lit seulement les 20 premiers candidats, qui comprennent seulement 4 produits exacts. Les 2 autres produits exacts parmi les 100 premiers restent au-delà du rang 20. Les 4 derniers ne font pas du tout partie des candidats.

Vérifiez votre compréhension

L'encodeur croisé évalue 75,7 paires par seconde. Pourquoi Larkfield ne peut-elle pas l'utiliser pour une recherche en une seule étape sur les 40 066 produits?

Afficher la réponse

Une recherche demanderait 40 066 exécutions du modèle : 40 066 ÷ 75,7 ≈ 529 secondes, soit presque neuf minutes. Le budget est de 200 ms. Une première étape rapide doit d’abord réduire le catalogue à quelques candidats.

Vérifiez votre compréhension

Chaque exécution de ce module a un recall@100 = 0,540, comme hybrid-rrf. Est-ce une erreur dans le tableau?

Afficher la réponse

Non. Chaque deuxième étape de ce module réordonne les mêmes 100 candidats de la recherche hybride. Changer l’ordre modifie les produits en tête du classement, donc le NDCG@10 et le MRR changent. Cela ne peut pas changer les produits parmi les 100 premiers, donc le recall@100 reste identique.

Récapitulatif

  • Classement en deux étapes : l’étape un, rapide (récupération), trouve environ 100 candidats; l’étape deux, lente et précise (reclassement), réordonne les n premiers.
  • L’étape un limite l’étape deux. La recherche hybride trouve 27 % des produits exacts parmi ses 10 premiers résultats et 54 % parmi ses 100 premiers. Chaque modèle de reclassement de ce module maintient le recall@100 à 0,540.
  • Sur les requêtes de test de Larkfield, reclasser les 10 / 20 / 50 / 100 premiers avec un encodeur croisé donne un NDCG@10 de 0,631 / 0,641 / 0,635 / 0,631, contre 0,621 sans reclassement. Aucun gain n’est clair.
  • Le temps augmente avec n : seuls 10 candidats tiennent dans le budget de 200 ms (155 ms sur 4 fils d’exécution). Choisissez n sur les requêtes de validation; chez Larkfield, le meilleur choix est 20, avec un gain de seulement 0,006.

Vous savez maintenant où intervient une deuxième étape et ce qui la limite. Ensuite, vous explorez cette étape : comment un encodeur croisé lit ensemble la requête et le produit, où il aide et où il nuit.

Leçon suivante : Reclassement par encodeur croisé