Les types de recherche
- Leçon 2
- 30 min
- Module 1 : Le problème de la recherche
Où nous en sommes
Dans la dernière leçon, nous avons vu plusieurs échecs de la recherche de Larkfield et le coût de chacun. Ces échecs diffèrent parce que les personnes cherchent des choses différentes. Dans cette leçon, nous nommons les types de recherche et voyons pourquoi chacun demande un classement différent. Nous retournons dans le magasin, avec quatre clients.
Leçon 2 sur 30 · Recherche et classement : trouver la meilleure correspondanceLes types de recherche
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Distinguez les types de recherche et dites ce qui constitue un bon premier résultat pour chacun. Une recherche qui classe bien les résultats d’un type peut échouer complètement pour un autre. Une moyenne sur toutes les requêtes cache cet échec.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La recherche actuelle de Larkfield et ses trois échecs (page vide, mauvais premier résultat, aucun bon produit), dans Une boutique où la recherche échoue.
- Les mots requête, candidats, classement et pertinence, dans la même leçon.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code. Vous exécuterez vous-même ces recherches dans Découvrir le catalogue et le journal des requêtes.
Quatre clients dans le magasin
Section intitulée « Quatre clients dans le magasin »Retournez au magasin de meubles et retrouvez son bon vendeur. En une matinée, quatre clients viennent le voir.
La première cliente dit : « Avez-vous le matelas Serta Kleinmon? » Elle connaît le produit exact. Le vendeur l’y conduit directement. S’il n’est plus en stock, il le lui dit tout de suite. Lui montrer dix autres matelas d’abord lui ferait seulement perdre du temps.
Le deuxième client dit : « Je veux une chaise bleu sarcelle. » Il connaît le type de produit et un détail : la couleur. Le vendeur lui montre trois ou quatre chaises bleu sarcelle. Un tapis bleu sarcelle a la bonne couleur, mais ce n’est pas une chaise. Il ne répond donc pas au besoin.
La troisième cliente dit : « J’aime les tournesols. Avez-vous quelque chose avec des tournesols? » Elle ne sait pas encore ce qu’elle veut. Le vendeur lui montre une table avec des objets variés : fleurs dans un vase, tableau, assiette, décoration de jardin. Ici, la meilleure réponse est un mélange.
Le quatrième client dit : « Comment retourner un colis? » Il ne veut pas du tout un produit. Il veut une réponse. Le vendeur l’envoie au comptoir des retours.
Le même vendeur a donné quatre réponses très différentes. Chacune convenait à son client. Le vendeur a d’abord compris le type d’aide dont le client avait besoin.
Le problème : un seul classement pour toutes les requêtes
Section intitulée « Le problème : un seul classement pour toutes les requêtes »La recherche de Larkfield ne cherche pas à comprendre le type d’aide nécessaire. Elle applique la même règle à chaque requête. Cette règle échoue différemment pour chaque type. Voici des résultats réels de la recherche actuelle de Larkfield.
« serta kleinmon » trouve quatre produits. Le premier est un matelas Serta Kleinmon, mais il n’est plus en stock. Une personne l’a seulement noté comme une correspondance partielle. Les produits exacts occupent les positions 2, 3 et 4.
current: "serta kleinmon" -> 4 results (query W-074: judged results are marked) 1. LK-83197 serta perfect sleeper 11 '' kleinmon ii plush innerspring ma Innerspring Mattresses 36.99 [out of stock] [partial] 2. LK-77895 serta perfect sleeper 11 '' kleinmon ii plush innerspring ma Innerspring Mattresses 52.99 [exact] 3. LK-72024 serta perfect sleeper kleinmon 11 '' firm innerspring mattre Innerspring Mattresses 33.99 [out of stock] [exact] 4. LK-38374 serta perfect sleeper kleinmon 10 '' firm innerspring mattre Innerspring Mattresses 30.99 [exact]« LK-91857 » est un code de produit : un lit superposé. Un client l’a copié d’un courriel. La recherche ne trouve rien, car le code ne figure pas dans le texte du produit.
Pour « teal chair », le problème est moins évident. La recherche de Larkfield trouve 8 produits, et aucun n’a été noté comme une correspondance exacte. La première recherche améliorée du cours, BM25, essaie cette requête dans la dernière leçon du module. Un tapis bleu sarcelle arrive deuxième :
bm25: "teal chair" -> 3 results (query W-409: judged results are marked) 1. LK-92620 office chair , velvet desk chair with gold metal legs , adju Office Chairs 166.99 [partial] 2. LK-91218 murph teal/gray indoor/outdoor area rug Area Rugs 97.99 [not judged] 3. LK-55458 arteaga ombre flatweave cotton teal rug Area Rugs 98.99 [irrelevant]« sunflower » fonctionne bien aujourd’hui. Les 10 résultats sont des correspondances exactes. Ils forment aussi un bon mélange : fleurs artificielles, image encadrée, assiette à salade, tuteur décoratif et mangeoire à oiseaux.
La même recherche convient donc à un type de requête, mais pas à un autre. Si vous regardez seulement « sunflower », vous pensez qu’elle fonctionne. Si vous regardez seulement « LK-91857 », vous pensez qu’elle ne fonctionne pas.
L’idée : nommer le type de recherche
Section intitulée « L’idée : nommer le type de recherche »Les équipes de recherche regroupent les requêtes selon ce que la personne veut. Ce cours utilise quatre types :
- Dans une recherche d’un article connu, la personne veut un produit qu’elle connaît déjà. Elle saisit son nom, sa marque et son modèle, ou son code de produit. Exemple : « serta kleinmon », « LK-91857 ».
- Dans une recherche précise, la personne veut un type de produit avec un ou deux détails. Exemple : « teal chair », « waterfall faucet ».
- Dans une recherche large, la personne veut explorer. Plusieurs produits conviennent, et elle ne sait pas encore lequel elle veut. Exemple : « sunflower », « meditation ».
- Une question demande une réponse, pas un produit. Exemple : « how do I return a parcel ».
Le nom de chaque type indique ce qui constitue un bon premier résultat. Le schéma montre un exemple de chaque type tiré des données de Larkfield.
Description textuelle du diagramme
Le schéma comporte quatre colonnes. Chacune présente le type de recherche, une requête, le besoin de la personne et un bon premier résultat. Sa dernière case indique combien de bons produits une requête de ce type trouve généralement. Article connu : « serta kleinmon ». La personne veut un produit qu’elle connaît déjà. Un bon premier résultat est ce matelas exact, en stock. Une requête d’article connu a généralement 1 bon produit. Précise : « teal chair ». La personne veut un type de produit avec un ou deux détails. Un bon premier résultat est une chaise bleu sarcelle, pas un tapis bleu sarcelle. Une requête précise a généralement 22 bons produits. Large : « sunflower ». La personne veut des idées, et plusieurs produits conviennent. Une bonne première page présente un mélange, comme des fleurs, une décoration murale et une assiette. Une requête large a généralement 78 bons produits. Question : « how do I return a parcel ». La personne veut une réponse, pas un produit. Un bon premier résultat est la page d’aide sur les retours. Ce type est absent des données du cours; le cours RAG : créer une IA qui utilise vos données l’enseigne.
Un petit exemple : combien de bonnes réponses?
Section intitulée « Un petit exemple : combien de bonnes réponses? »Le type de recherche change beaucoup un nombre : celui des produits qui conviennent. Les données WANDS contiennent des jugements humains pour chaque requête. Une personne a examiné les produits de la requête. Elle a noté chaque correspondance comme exacte, partielle ou non pertinente. Nous pouvons donc compter les correspondances exactes par requête, puis prendre la valeur centrale (la médiane) pour chaque type :
Description textuelle du graphique
Le graphique comporte trois barres. Une requête d’article connu a une médiane de 1 produit exact. Une requête précise a une médiane de 22. Une requête large a une médiane de 78. Une recherche d’article connu a donc une seule cible, et une recherche large en a plusieurs.
Examinez les trois exemples de la même façon. « serta kleinmon » a 3 produits exacts, tous du même type de matelas. « teal chair » a 37 produits exacts, dans 5 classes de produits. « sunflower » a 214 produits exacts, dans 68 classes de produits : des fleurs aux assiettes et aux mangeoires à oiseaux.
Le nombre de bonnes réponses change le sens d’un « bon classement » :
| Type | Bons produits | Ce qui compte le plus |
|---|---|---|
| Article connu | Un seul, ou quelques versions | Ce produit occupe la position 1. La position 2 est déjà un échec. |
| Précise | Des dizaines | Chaque produit parmi les 10 premiers respecte tous les détails : une chaise, et bleu sarcelle. |
| Large | Beaucoup | La première page présente un mélange pour que la personne puisse choisir une direction. |
| Question | Une réponse | La réponse, ou la page qui la contient. Un produit est un mauvais résultat. |
Les types de recherche chez Larkfield
Section intitulée « Les types de recherche chez Larkfield »Comment Priya a-t-elle obtenu un type pour chaque requête? Elle n’a pas étiqueté 360 requêtes à la main. Un modèle de langage a étiqueté chaque requête WANDS : article connu, précise ou large. Le cours a enregistré ces réponses une fois et les réutilise. Vous obtenez donc les mêmes étiquettes chaque fois. Les étiquettes d’un modèle peuvent être fausses. Traitez-les comme un guide utile, pas comme la vérité. Le module 2 montre comment comparer les étiquettes d’un modèle aux étiquettes humaines.
Parmi les 360 requêtes publiques de WANDS, 88 concernent un article connu, 230 sont précises et 42 sont larges. Dans le journal synthétique, les requêtes larges sont les plus recherchées : 7 372 recherches. Elles dépassent les 6 640 recherches précises et les 2 008 recherches d’articles connus. Cela vient de la façon dont notre code a créé le journal : les requêtes courtes et larges sont les plus fréquentes.
Regardez maintenant les pages vides selon le type :
Description textuelle du graphique
Le graphique comporte trois barres. Les recherches d’articles connus ne renvoient rien dans 63,0 % des cas. Les recherches précises ne renvoient rien dans 31,7 % des cas. Les recherches larges ne renvoient rien dans 14,6 % des cas.
Les recherches d’articles connus échouent le plus souvent. La raison est la règle « chaque mot doit correspondre ». Une requête d’article connu contient des mots rares et exacts : une marque, un nom de modèle ou un code. Une faute d’orthographe ou un code absent du texte suffit pour obtenir une page vide. Une requête large contient souvent un seul mot courant, comme « sunflower », présent dans plusieurs produits.
Priya peut aussi mesurer chaque type séparément sur les requêtes de test. Vous exécuterez cette commande dans la dernière leçon du module. Elle mesure par type BM25, une meilleure recherche que vous y découvrirez. Le NDCG@10 est un score de 0 à 1 pour les 10 premiers résultats. Plus il est élevé, mieux c’est. Le module 2 l’explique.
bm25 on 243 test queries: NDCG@10 0.429 (95% interval 0.381 to 0.476)recall@100 0.388, MRR 0.438, zero results 12.8%, judged in the top 10 64.6%; 0.1 ms a query (p50), 0.3 ms (p95)
qtype queries ndcg@10 low high zero-result rate broad 27 0.506 0.366 0.648 0.185known-item 80 0.422 0.338 0.509 0.275 specific 136 0.419 0.360 0.476 0.029Chaque type obtient son propre score. Un score pour chaque groupe de requêtes s’appelle une tranche. Dans chaque module, le cours présente les tranches à côté du score global. Une moyenne peut en effet cacher un groupe qui échoue.
Questions : recherche pour les personnes et récupération pour un modèle
Section intitulée « Questions : recherche pour les personnes et récupération pour un modèle »Le quatrième client a demandé « how do I return a parcel ». Beaucoup de magasins ont un centre d’aide. Les personnes saisissent ce genre de questions dans la même boîte de recherche. Une recherche de produits ne peut pas y répondre : aucun produit n’est un bon résultat.
La recherche par questions demande un système différent. Elle cherche des documents, comme des pages d’aide, et non des produits. Elle affiche ensuite la page, ou un modèle de langage rédige une courte réponse à partir de celle-ci. Ce cours ne construit pas ce système. Il porte uniquement sur la recherche de produits, et ses données ne contiennent aucune page d’aide. Le cours RAG : créer une IA qui utilise vos données enseigne ce type de recherche. Sa première leçon, Ce qu’est la génération augmentée par récupération, commence par des questions sur les politiques de Larkfield.
Les deux systèmes trouvent du texte qui correspond à une requête. Ils partagent donc plusieurs méthodes : BM25, plongements (embeddings) et reclassement. Mais leurs lecteurs diffèrent, et le sens de « bon » change aussi :
| Recherche pour les personnes (ce cours) | Récupération pour un modèle de langage (le cours RAG) | |
|---|---|---|
| Qui lit les résultats | Une personne, sur une page | Un modèle de langage, dans sa requête (prompt) |
| Ce qui est trouvé | Des produits | Des passages de documents |
| Ce qui compte le plus | L’ordre : le meilleur produit d’abord | Le passage nécessaire figure parmi les quelques passages envoyés |
| Comment on le mesure | Mesures de classement avec jugements gradués; clics | Rappel des bons passages; justesse de la réponse |
| Temps | Moins de 200 millisecondes pour la page | La réponse du modèle prend de toute façon plusieurs secondes |
Si un collègue dit « nous avons déjà une recherche pour notre assistant », demandez qui lit ses résultats. Une recherche pour un modèle peut suffire avec le bon passage en position 4. Une recherche pour les personnes ne le peut pas.
Quand les types sont utiles, et ce qu’ils coûtent
Section intitulée « Quand les types sont utiles, et ce qu’ils coûtent »Utilisez les types de deux façons. D’abord, mesurez par type : examinez toujours les tranches, pas seulement la moyenne. Ensuite, choisissez quoi corriger. Les recherches d’articles connus de Larkfield échouent le plus souvent. Les règles de correspondance exacte pour les noms et les codes sont donc très utiles. Le module 3 les construit.
Ne construisez pas encore une recherche distincte pour chaque type. Cela demande une façon fiable de reconnaître le type de chaque nouvelle requête. Les étiquettes de type de ce cours viennent d’un modèle de langage et ont été enregistrées une fois. Une mauvaise étiquette enverrait une requête vers la mauvaise recherche. De plus, beaucoup de requêtes se situent entre deux types. « emma headboard » est à la fois une recherche d’article connu et une recherche précise.
Erreur courante
Traiter un code de produit comme du texte
Symptôme : un client colle « LK-91857 » depuis un courriel de commande. La recherche de Larkfield ne renvoie rien. Dans le journal synthétique, chacune des 301 recherches de codes n’a rien trouvé.
Cause : la recherche traite le code comme n’importe quel autre mot. Elle cherche « LK-91857 » dans les titres et les descriptions, mais le code n’y figure pas. C’est un champ du produit, pas une partie de son texte. Même une meilleure recherche par mots ne peut pas aider : BM25 ne renvoie rien non plus pour ce code.
Correction : reconnaissez une requête d’article connu qui est un code de produit, puis cherchez directement ce code. Le module 3 ajoute cette règle. Elle place le bon produit en premier pour chaque requête de code du jeu de test.
Conséquence pour le travail en IA : une méthode qui améliore la moyenne peut quand même manquer tout un type de requête. Vérifiez chaque type comme une tranche et traitez les identifiants exacts avec des règles exactes.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez le type de chaque requête et dites ce qui constitue un bon premier résultat : « arlo bunk bed », « grey outdoor cushion », « bohemian », « can I change my delivery address ».
Afficher la réponse
- « arlo bunk bed » : une recherche d’un article connu (un nom de produit). Un bon premier résultat est le lit superposé Arlo lui-même, en stock.
- « grey outdoor cushion » : une recherche précise (un type de produit avec deux détails). Un bon premier résultat est un coussin gris pour mobilier extérieur.
- « bohemian » : une recherche large (un style, plusieurs bons produits). Une bonne première page présente divers produits de style bohème, comme des tapis, des coussins et des décorations murales.
- « can I change my delivery address » : une question. Un bon premier résultat est la page d’aide sur la livraison, ou une réponse. Un produit est un mauvais résultat, et la recherche de produits de ce cours ne traite pas cette question.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Prédisez : une nouvelle recherche augmente légèrement le score global sur les requêtes de test. Pour quel type de requête vérifieriez-vous d'abord qu'elle ne s'est pas dégradée, et pourquoi?
Afficher la réponse
Vérifiez chaque type comme une tranche, en commençant par les requêtes d’articles connus. Elles n’ont qu’un seul bon produit. Un petit changement d’ordre peut le déplacer de la position 1 à la position 2, ce qui est déjà un échec. Elles échouent aussi le plus souvent aujourd’hui (63,0 % de pages vides dans le journal). Le score global peut augmenter grâce aux requêtes larges ou précises, tandis que les requêtes d’articles connus se dégradent. Seules les tranches le montrent.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás dit : « Notre assistant du centre d'aide trouve déjà le bon passage parmi ses 5 premiers résultats. Utilisons la même recherche pour les produits. » Que lui répondez-vous?
Afficher la réponse
Les deux recherches servent des lecteurs différents. Un modèle de langage lit les 5 passages, donc le bon passage peut occuper la position 4. Une personne lit une page de produits en commençant par le haut. La position 1 reçoit la plupart des clics. La recherche de produits doit aussi répondre en moins de 200 millisecondes. Elle travaille sur des produits, pas des documents. Les méthodes peuvent se ressembler. Mais il faut mesurer à nouveau la recherche sur des requêtes de produits, avec une mesure de classement, par type.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une recherche d’un article connu veut un produit (« serta kleinmon », « LK-91857 ») : il doit occuper la position 1. Une recherche précise veut un type de produit avec des détails (« teal chair ») : chaque résultat doit respecter ces détails. Une recherche large explore (« sunflower ») : la première page doit présenter un mélange. Une question veut une réponse, pas un produit.
- Le nombre médian de produits exacts par requête WANDS est de 1 pour les requêtes d’articles connus. Il est de 22 pour les requêtes précises et de 78 pour les requêtes larges.
- Dans le journal synthétique, les recherches d’articles connus ne renvoient rien le plus souvent : 63,0 %. C’est 31,7 % pour les recherches précises et 14,6 % pour les recherches larges.
- Mesurez chaque type comme une tranche : une moyenne cache un type qui échoue.
- La recherche par questions trouve des passages pour les personnes ou pour un modèle de langage. Le cours RAG : créer une IA qui utilise vos données l’enseigne; ce cours porte uniquement sur la recherche de produits.
Vous pouvez maintenant dire ce qui constitue un bon premier résultat pour chaque type de recherche. Mais jusqu’ici, vous avez seulement lu les résultats de recherches exécutées par quelqu’un d’autre. Ensuite, vous préparerez le projet et ouvrirez vous-même le catalogue et le journal des requêtes. Vous exécuterez la recherche de Larkfield et BM25 sur votre ordinateur.
Leçon suivante : Découvrir le catalogue et le journal des requêtes