Aller au contenu
English

Où la recherche dense échoue

  • Leçon 16
  • 40 min
  • Module 5 : La recherche dense et la recherche hybride

Où nous en sommes

La recherche dense a trouvé des produits qui ne partagent aucun mot avec la requête. Tomás pense qu'elle peut remplacer la recherche par mots-clés. Dans cette leçon, nous comparons la recherche dense à BM25 par type de requête et trouvons où elle échoue.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Trouvez les types de requêtes où la recherche par le sens échoue. Vous saurez ainsi ce que la recherche lexicale doit encore faire.

Carnet JupyterTrouvez les échecs de la recherche dense dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter mesure BM25 et la recherche dense, requête par requête, sur les requêtes de validation. Vous calculez la différence appariée par source et par type de requête, puis trouvez les pires requêtes. Ensuite, vous testez la recherche dense sur les codes de produits sans la règle des codes. Ses cellules de préparation téléchargent les données, donc aucune installation locale n’est nécessaire. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-search avec les fichiers de la dernière leçon. Cette leçon n’ajoute aucun fichier.

Une vendeuse qui comprend les idées, mais pas les noms

Section intitulée « Une vendeuse qui comprend les idées, mais pas les noms »

Repensez à la vendeuse qui comprend ce que les clients veulent dire. Un client dit : « Je veux les luminaires Kelly Clarkson. » La vendeuse n’a jamais entendu parler de Kelly Clarkson. Elle entend « luminaires » et se dirige vers les lampes. N’importe lesquelles.

Un deuxième client lit une note : « cushion replacemnet insert », avec une faute de frappe. La vendeuse ne connaît pas le mot « replacemnet ». Elle devine à partir de « cushion » et montre des housses de coussin.

La vendeuse comprend bien les idées. Elle connaît mal les noms, les codes et les graphies inhabituelles, parce qu’elle ne les a jamais appris. La recherche dense a la même faiblesse, pour la même raison.

Tomás avance un argument. « La recherche dense est moderne. BM25 date des années 1990. Remplaçons BM25. » La moyenne dit non : 0,519 contre 0,620. Mais une moyenne mélange plusieurs types de requêtes. La recherche dense pourrait être meilleure pour certains et bien pire pour d’autres. Pour décider quoi construire, nous devons savoir lesquels.

Commençons par trois requêtes du jeu de test, côte à côte :

Trois requêtes, chacune avec les 5 premiers résultats de BM25 et de la recherche dense, et les notes des juges. kelly clarkson light fixtures, article connu : NDCG@10 de BM25 de 0,943, quatre luminaires exacts et un partiel (un lustre clarkson); recherche dense de 0,113, luminaires de meuble-lavabo : trois non jugés et deux partiels, dont une lanterne kelly. cushion replacemnet insert, précise : BM25 de 1,000, cinq coussins de remplacement partiels; recherche dense de 0,095, housses de coussin, ensemble de douillette cushen et coussin, quatre non jugés et un partiel. verden callan, article connu : BM25 de 1,000, ensemble de douillette verden callan en premier (exact), puis quatre partiels; recherche dense de 0,229, chaise de travail et lit de repos en premier, ensemble de douillette en troisième.
BM25 et la recherche dense sur trois requêtes de test : un nom de marque, une faute de frappe et un nom de produit rare. Les notes viennent des juges de WANDS.
Description textuelle du diagramme

Trois requêtes de test, chacune avec les 5 premiers résultats de BM25 (l’exécution bm25-norm+spell+syn) et de la recherche dense. « kelly clarkson light fixtures » est une requête d’article connu. BM25 obtient un NDCG@10 de 0,943 : quatre luminaires exacts et un partiel, un lustre clarkson. La recherche dense obtient 0,113 : des luminaires de meuble-lavabo; trois sont non jugés et deux sont partiels. Une lanterne kelly est cinquième. « cushion replacemnet insert » est une requête précise avec une faute de frappe. BM25 obtient 1,000 avec cinq coussins de remplacement partiels. La recherche dense obtient 0,095 : des housses de coussin, un ensemble de douillette cushen et un coussin; quatre sont non jugés. « verden callan » est une requête d’article connu. BM25 obtient 1,000 avec l’ensemble de douillette verden callan en premier. La recherche dense obtient 0,229 : une chaise de travail et un lit de repos arrivent en premier, et l’ensemble de douillette est troisième.

Chaque échec a une cause claire :

  • Un nom de marque. « Kelly Clarkson » est une marque de produits pour la maison. La recherche dense lit « light fixtures » et retourne des luminaires de meuble-lavabo. BM25 trouve les mots « kelly » et « clarkson » dans le texte du produit.
  • Une faute de frappe. « replacemnet » n’est pas un mot. L’exécution BM25 le corrige d’abord, avec la correction orthographique de Corriger l’orthographe. La recherche dense lit la requête telle quelle. Le modèle découpe le mot inhabituel en morceaux et trouve « cushen » et des housses de coussin.
  • Un nom de produit rare. « verden callan » est le nom d’un ensemble de douillette. Le modèle ne sait pas ce que cela signifie, donc le vecteur ne pointe vers rien de précis. BM25 trouve les deux mots rares dans un même produit.

L’idée : mesurer par tranche, pas seulement en moyenne

Section intitulée « L’idée : mesurer par tranche, pas seulement en moyenne »

Vous avez découvert les tranches dans Les types de recherche : des groupes de requêtes de même type, source ou langue. Mesurer par tranche montre où une méthode gagne et où elle perd. La différence appariée et son intervalle nous indiquent si une différence est réelle.

Pourquoi la recherche dense échoue-t-elle sur ces tranches? Un bi-encodeur condense un texte entier en 384 nombres. Il conserve ce qu’il a souvent vu pendant l’entraînement : des idées courantes, comme « une lampe » ou « une chaise ». Il perd ce qu’il a rarement vu : une marque, un nom de produit, un code, un mot mal orthographié. BM25 conserve chaque mot tel quel, et les mots rares obtiennent l’IDF la plus élevée. Les deux méthodes ont donc des forces opposées.

Voici une tranche calculée à la main : les trois requêtes du schéma, plus une où la recherche dense gagne. Les nombres sont les NDCG@10 des exécutions.

Requête Type BM25 Recherche dense Recherche dense moins BM25
kelly clarkson light fixtures article connu 0,943 0,113 −0,830
cushion replacemnet insert précise, mal orthographiée 1,000 0,095 −0,905
verden callan article connu 1,000 0,229 −0,771
palram harmony greenhouses article connu 0,358 0,915 +0,557

La différence moyenne de ces quatre requêtes est (−0,830 − 0,905 − 0,771 + 0,557) ÷ 4 = −0,487. Une requête donne le résultat inverse. Palram est aussi une marque, mais BM25 a placé trois accessoires de serre en premier : un ensemble d’ancrage, des supports de plantes et un appareil de chauffage. La recherche dense a placé de vraies serres en premier. Donc, « les noms de marques échouent » est une tendance, pas une loi. C’est pourquoi nous mesurons beaucoup de requêtes, pas quatre.

Larkfield : recherche dense contre BM25, tranche par tranche

Section intitulée « Larkfield : recherche dense contre BM25, tranche par tranche »

search compare donne la différence appariée pour chaque requête de test, et --by la répartit. D’abord par type de requête :

Fenêtre de terminal
search compare bm25-norm+spell+syn dense --by qtype
dense minus bm25-norm+spell+syn on 241 test queries: ndcg@10 -0.101 (95% interval -0.139 to -0.062); better on 64, worse on 119, the same on 58
qtype queries bm25-norm+spell+syn dense difference low high worse
broad 25 0.703 0.535 -0.168 -0.307 -0.022 15
known-item 80 0.729 0.659 -0.071 -0.137 -0.012 25
specific 136 0.540 0.434 -0.106 -0.158 -0.055 79

Puis par source de la requête :

Fenêtre de terminal
search compare bm25-norm+spell+syn dense --by source
dense minus bm25-norm+spell+syn on 241 test queries: ndcg@10 -0.101 (95% interval -0.139 to -0.062); better on 64, worse on 119, the same on 58
source queries bm25-norm+spell+syn dense difference low high worse
code 20 1.000 1.000 0.000 0.000 0.000 0
planted 3 0.515 0.333 -0.182 -0.546 0.188 2
translated 59 0.301 0.216 -0.085 -0.186 0.007 25
typo 40 0.659 0.403 -0.256 -0.357 -0.158 29
wands 119 0.703 0.632 -0.071 -0.111 -0.027 63

La comparaison utilise 241 requêtes, pas 243. Deux requêtes de test n’ont que des jugements non pertinents, donc leur NDCG n’a aucune valeur.

Recherche dense moins BM25 (bm25-norm+spell+syn), NDCG@10 sur les requêtes de test, par type et par source, avec des intervalles à 95 %. La recherche dense est moins bonne pour chaque type de requête, et bien pire pour les fautes de frappe et les requêtes larges.
Description textuelle du graphique

Deux panneaux. L’axe montre le changement de NDCG@10, recherche dense moins BM25, de −0,6 à +0,3; 0 signifie aucun changement. Par type de requête : large (25 requêtes) −0,168 (−0,307 à −0,022), en évidence; article connu (80) −0,071 (−0,137 à −0,012); précise (136) −0,106 (−0,158 à −0,055). Par source : requêtes anglaises WANDS (119) −0,071 (−0,111 à −0,027); françaises (59) −0,085 (−0,186 à +0,007); mal orthographiées (40) −0,256 (−0,357 à −0,158), en évidence; codes de produits (20) 0,000, car les deux exécutions conservent la règle des codes; larges insérées (3) −0,182 (−0,546 à +0,188).

Lisez le graphique en commençant par la pire tranche :

  • Requêtes mal orthographiées : −0,256. La plus grande perte. L’exécution BM25 corrige d’abord l’orthographe; la recherche dense ne le fait pas.
  • Requêtes larges : −0,168. Des requêtes d’un ou deux mots, comme « couch » ou « industrial ». Une requête courte donne peu de sens au modèle pour travailler.
  • Requêtes précises : −0,106; requêtes d’article connu : −0,071. Moins bonnes, mais l’écart est plus faible. Les requêtes d’article connu contiennent souvent un nom, que BM25 trouve exactement.
  • Requêtes anglaises WANDS : −0,071. Même sur des requêtes anglaises sans erreurs, la recherche dense perd.
  • Français : −0,085, et l’intervalle atteint +0,007. Le résultat n’est pas clair. La dernière leçon de ce module examine le français de près.

La recherche dense est tout de même meilleure sur 64 requêtes. Elle n’est pas inutile. C’est un outil différent, et ses échecs touchent des requêtes différentes.

La requête large « couch » montre à quel point une requête courte peut donner de mauvais résultats :

Fenêtre de terminal
search query "couch" --run dense -k 5
dense: "couch" -> 5 results (query P-002: judged results are marked)
1. LK-69717 sectional microfibra box cushion chaise lounge slipcover Slipcovers 102.99 [irrelevant]
2. LK-71532 desks with hutch 56.99 [not judged]
3. LK-43423 cushion Furniture Cushions 13.99 [irrelevant]
4. LK-37928 cora chick fuzzy faux throw Blankets And Throws 17.99 [out of stock] [not judged]
5. LK-29009 crock-pot 2.5 qt . casserole slow cooker 62.99 [not judged]

Une housse de canapé, un bureau, un coussin, une couverture et une mijoteuse. Le NDCG@10 est de 0,000. « couch » est une requête insérée, un exercice que nous avons créé volontairement. Ses jugements viennent d’une règle sur la classe de produit. Le modèle place le mot près de plusieurs objets associés à un canapé, mais pas près des canapés. BM25 trouve des produits avec « couch » dans le titre, et deux canapés dans ses 5 premiers résultats sont exacts.

Chaque exécution depuis le module 4 conserve la règle des codes. La tranche des codes ne montre donc aucune différence : les deux exécutions obtiennent 1,000. Que fait la recherche dense seule? Nous l’avons exécutée sur les 20 requêtes de codes, sans la règle. Le NDCG@10 était de 0,000. Le bon produit figurait dans les 10 premiers résultats pour 0 requêtes sur 20. Un code comme « lk 68270 » n’a aucun sens qu’un modèle pourrait apprendre. Gardez la règle avant chaque méthode.

Beaucoup s’attendent à ce que la recherche dense échoue sur les dimensions, comme « 4 inch » ou « 18x18 ». Le jeu de test contient 10 requêtes avec un nombre qui ne sont pas des codes. Sur celles-ci, BM25 obtient 0,378 et la recherche dense 0,450. La recherche dense a fait mieux ici. Pour « door pulls bronze matte 4 inch », elle a placé une poignée en bronze de 4 pouces en premier. BM25 a plutôt placé une poignée en fer en premier. Dix requêtes sont trop peu pour tirer une conclusion ferme. Mais c’est un avertissement utile : testez vos attentes sur vos propres données.

Qu’en est-il de « no », « not » et « without »? Le jeu de requêtes n’en contient aucune, alors nous en avons écrit une. Elle ne fait pas partie du jeu de requêtes du cours :

Fenêtre de terminal
search query "chair with no arms" --run dense -k 5
dense: "chair with no arms" -> 5 results
1. LK-58749 chair 67.99
2. LK-40140 leather arm chair in cognac 239.99
3. LK-26323 callie armchair Accent Chairs 78.99
4. LK-27914 armchair Reception Seating Chairs 383.99
5. LK-53018 abarca 33 '' wide armchair Accent Chairs 74.99

Quatre fauteuils dans les 5 premiers résultats : le contraire de ce que la personne a demandé. Les cosinus l’expliquent. « chair with no arms » et « armless chair » ont un cosinus de 0,906. « chair with no arms » et « armchair » ont un cosinus de 0,904. Pour le modèle, le mot « no » ne change presque pas le vecteur. BM25 ne comprend pas « no » non plus. La négation nécessite une règle ou un filtre, comme « armless » en tant qu’attribut de produit.

N’utilisez pas la recherche dense seule pour :

Type de requête Ce qui se passe Quoi faire à la place
Codes de produits ne trouve jamais le produit (0,000 sans la règle) une règle de correspondance exacte
Noms de marques et de produits retourne le type général de produit BM25, qui conserve les mots rares
Fautes de frappe lit le mot mal orthographié tel quel (−0,256) une correction orthographique avant toute recherche
Requêtes courtes et larges se retrouve près d’objets associés, pas de l’objet demandé (−0,168) BM25 sur le titre et la classe de produit
Négation ignore « no » et « without » un filtre sur un attribut

Utilisez la recherche dense là où ces cas ne s’appliquent pas : les descriptions dans les mots du client, et comme deuxième liste aux côtés de BM25. Elle est meilleure sur 64 requêtes de test. La prochaine leçon combine les deux listes, pour que chaque méthode puisse compenser les échecs de l’autre.

Ce que coûte cette mesure. Rien de nouveau : search compare --by réutilise les exécutions. Le vrai coût est l’attention. Une équipe qui rapporte seulement la moyenne aurait vu « la recherche dense est moins bonne de 0,1 » et se serait arrêtée. Les tranches vous disent quoi corriger.

Erreur courante

Une mise à niveau de modèle qui gagne en moyenne et perd sur une tranche

Symptôme : un nouveau modèle de plongement (embedding) augmente le NDCG@10 de 0,02 sur les requêtes de test. Après la mise en production, les appels au soutien augmentent : « J’ai tapé le nom exact et il n’est pas là. »

Cause : le nouveau modèle est meilleur sur les descriptions et moins bon sur les noms rares. Beaucoup de requêtes de test sont des descriptions, donc la moyenne augmente. Les requêtes d’article connu baissent, et ces clients savent exactement ce qu’ils veulent.

Diagnostic : search compare old new --by qtype et --by source. Cherchez une tranche dont l’intervalle est sous zéro, même quand la différence globale est positive.

Correction : gardez BM25 pour les mots exacts (la prochaine leçon), ou bloquez une mise en production quand une tranche importante perd. Décidez quelles tranches sont importantes avant de mesurer, pas après.

Conséquence pour le travail en IA : chaque changement de modèle nécessite une vérification par tranche. Un modèle meilleur en moyenne peut être moins bon pour un groupe d’utilisateurs, sans que la moyenne le montre.

Choisissez une marque du catalogue et testez-la. Faites d’abord une prédiction : la recherche dense la trouvera-t-elle?

Fenêtre de terminal
search query "palram harmony greenhouses" --run dense -k 3
search query "palram harmony greenhouses" --run bm25-norm+spell+syn -k 3

Notre résultat : la recherche dense a placé trois serres en premier (partielles). BM25 a placé trois accessoires de serre en premier (non pertinents), dont un appareil de chauffage Palram. Ici, le nom de marque a donc mené BM25 au mauvais produit. Exécutez ensuite search compare bm25-norm+spell+syn dense --by band. La recherche dense est-elle moins bonne sur les requêtes de tête (les plus recherchées) ou sur celles de la traîne? Notre résultat : tête −0,212 (16 requêtes, intervalle de −0,377 à −0,065), milieu −0,043, traîne −0,104. Les requêtes les plus recherchées perdent le plus, et elles sont souvent courtes et larges.

Vérifiez votre compréhension

La recherche dense est moins bonne que BM25 de 0,101 en moyenne. Quelle tranche perd le plus, et qu'est-ce qui l'explique dans l'exécution BM25?

Afficher la réponse

Les requêtes mal orthographiées : −0,256 (intervalle de −0,357 à −0,158) sur 40 requêtes. L’exécution BM25 bm25-norm+spell+syn corrige l’orthographe avant de chercher, donc « replacemnet » devient « replacement ». La recherche dense lit la requête telle quelle, et le modèle associe le mot inhabituel à des produits sans rapport. Une correction orthographique avant la recherche dense éliminerait une partie de cette perte.

Vérifiez votre compréhension

Tomás dit : « La tranche des codes montre une différence de 0,000, donc la recherche dense gère les codes de produits aussi bien que BM25. » A-t-il raison?

Afficher la réponse

Non. Les deux exécutions conservent la règle de correspondance exacte pour les codes, et cette règle place le bon produit en premier. Les deux obtiennent donc 1,000, et la différence est nulle. Sans la règle, la recherche dense a obtenu 0,000 sur les 20 requêtes de codes. Elle n’a jamais eu le bon produit dans ses 10 premiers résultats. Un code n’a aucun sens qu’un modèle peut apprendre. La tranche mesurait la règle, pas la recherche dense.

Vérifiez votre compréhension

Une collègue dit : « La recherche dense comprend le sens, donc elle comprend “chair with no arms”. » Qu'a montré l'exécution, et que construiriez-vous à la place?

Afficher la réponse

L’exécution a placé quatre fauteuils dans les 5 premiers résultats. « chair with no arms » a un cosinus de 0,906 avec « armless chair » et de 0,904 avec « armchair ». Le mot « no » ne déplace presque pas le vecteur. Ni la recherche dense ni BM25 ne comprennent la négation. Créez un filtre sur un attribut de produit (« armless », « without arms »). Détectez ensuite la négation dans la requête avec une règle, comme Détecter ce que demande la requête détectait les prix.

Récapitulatif

  • Une moyenne cache où une méthode échoue. Mesurez par tranche : par type, source et langue, avec la différence appariée et son intervalle.
  • La recherche dense moins BM25 donne −0,101 en moyenne, et perd pour chaque type de requête : large −0,168, précise −0,106, article connu −0,071.
  • La plus grande perte touche les fautes de frappe (−0,256) : l’exécution BM25 corrige d’abord l’orthographe, la recherche dense ne le fait pas.
  • La recherche dense échoue sur les noms de marques et de produits, les codes (0,000 sans la règle) et les requêtes courtes et larges (« couch »). Elle ignore aussi la négation.
  • Elle est meilleure sur 64 requêtes de test et a fait mieux sur les 10 requêtes avec des dimensions. Testez vos attentes sur vos propres données.

La recherche dense et BM25 échouent sur des requêtes différentes. Cela suggère d’utiliser les deux. Ensuite, vous combinez les deux listes de résultats de deux façons. Vous choisissez la méthode et son réglage sur les requêtes de validation.

Leçon suivante : Recherche hybride