Plusieurs langues
- Leçon 18
- 40 min
- Module 5 : La recherche dense et la recherche hybride
Où nous en sommes
La recherche hybride fonctionne bien avec les requêtes anglaises. Certains clients de Larkfield cherchent en français. Dans cette leçon, nous comparons un modèle multilingue à la traduction des requêtes, puis mesurons la tranche française séparément.
Leçon 18 sur 30 · Recherche et classement : trouver la meilleure correspondancePlusieurs langues
1. Le problème de la recherche
2. Mesurer la pertinence avant de changer quoi que ce soit
3. La recherche lexicale : la référence de base à battre
4. Comprendre la requête
5. La recherche dense et la recherche hybride
6. Reclasser les premiers résultats
7. Les parties de la recherche que les gens voient
8. Exploiter la recherche en production
Ce que vous saurez faire
Servez les clients qui cherchent en français dans un catalogue anglais. Sachez quelle méthode fonctionne, son coût et les limites de la mesure.
Carnet JupyterMesurer la tranche française dans un carnet Jupyter
Le carnet (notebook) Jupyter place chaque requête française de test à côté de la requête anglaise d’origine. Il mesure BM25, la recherche dense et les traductions enregistrées sur les deux versions. Vous calculez la baisse de l’anglais au français pour chaque méthode. Vous trouvez les requêtes françaises où la recherche dense gagne et celles où elle perd. Les cellules de préparation téléchargent les données, donc aucune configuration locale n’est nécessaire. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La recherche dense et la recherche hybride, dans Recherche par le sens et Recherche hybride.
- Les titres français dans l’index et la réécriture par un modèle de langage (l’exécution
llm-rewrite), dans Normaliser le texte et Synonymes et réécriture de requête.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-searchavec les fichiers de Recherche par le sens. Cette leçon n’ajoute aucun fichier.
Une boutique à Montréal
Section intitulée « Une boutique à Montréal »Larkfield livre au Québec. Ses étiquettes de produits sont en anglais. Une cliente à Montréal demande « une chaise ergonomique ». Une vendeuse peut l’aider de deux façons.
Une vendeuse bilingue comprend directement le français. Elle se dirige vers les chaises de bureau. Aucune étape ne s’ajoute, mais elle doit bien connaître les deux langues.
Une autre vendeuse appelle d’abord un traducteur. Le traducteur répond « ergonomic chair » (chaise ergonomique). La vendeuse cherche ensuite dans les étiquettes anglaises, comme d’habitude. Cette approche fonctionne pour toute langue que le traducteur connaît. Mais chaque question attend un appel, et chaque appel coûte de l’argent.
La recherche offre les deux mêmes choix : un modèle qui comprend les deux langues, ou une traduction de la requête.
Le problème : des requêtes françaises dans du texte anglais
Section intitulée « Le problème : des requêtes françaises dans du texte anglais »Le journal synthétique des requêtes le montre clairement. Les recherches sont en français dans 12 % des cas, et 94,3 % des recherches françaises ne renvoient rien aujourd’hui. La recherche sans résultat la plus fréquente est « hibou » (owl), avec 216 occurrences. « ampoule » (light bulb) ne donne rien 119 fois, et « canapé » (sofa), 79 fois.
Rappelez-vous la nature de ces données. Un modèle de langage a traduit automatiquement les requêtes WANDS anglaises pour produire les requêtes françaises. Il a aussi traduit automatiquement les titres de 7 597 produits en français. Le journal est synthétique. Ce sont donc des problèmes d’exercice réalistes, pas les mots de vrais clients.
Le module 4 a déjà aidé. L’exécution bm25-norm+spell+syn cherche dans les titres français avec des racines françaises. Elle a trouvé des hiboux pour « hibou » et des ampoules pour « ampoule ». Mais sur l’ensemble des requêtes françaises de test, son score est seulement de 0,299, contre 0,726 en anglais :
search eval --run bm25-norm+spell+syn --by languagebm25-norm+spell+syn on 243 test queries: NDCG@10 0.620 (95% interval 0.574 to 0.662)recall@100 0.546, MRR 0.626, zero results 0.0%, judged in the top 10 76.0%; 0.3 ms a query (p50), 0.8 ms (p95)
language queries ndcg@10 low high zero-result rate en 182 0.726 0.683 0.766 0.000 fr 61 0.299 0.215 0.384 0.000Les 61 requêtes françaises de test comprennent 60 requêtes traduites automatiquement et « canapé », une requête insérée. La plupart des produits n’ont pas de titre français. BM25 doit donc trouver des correspondances entre les mots français et le texte anglais. Parfois, la correspondance est un faux ami :
search query "chaise ergonomique" --run bm25-norm+spell+syn -k 3bm25-norm+spell+syn: "chaise ergonomique" -> 3 results (query F-422: judged results are marked) 1. LK-68838 cordella chaise lounge Indoor Chaise Lounges 327.99 [not judged] 2. LK-83161 marshalltown chaise lounge Indoor Chaise Lounges 216.99 [not judged] 3. LK-64061 meagan chaise lounge Indoor Chaise Lounges 172.99 [not judged]En français, « chaise » signifie « chair ». En anglais, « chaise » fait partie de « chaise lounge », un siège long pour s’allonger. BM25 fait correspondre le mot, pas le sens. « table à cartes » (card table) pose le même problème : la racine de « cartes » correspond à « cart ». BM25 affiche alors des chariots de cuisine.
Idée 1 : un modèle multilingue
Section intitulée « Idée 1 : un modèle multilingue »Un bi-encodeur multilingue a appris à partir de textes dans plusieurs langues, dont des paires de textes de même sens. Il place donc « table à cartes » près de « card table », dans le même espace de 384 nombres. Une requête française peut alors trouver directement des produits anglais. Notre modèle, granite-embedding-97m-multilingual-r2, fonctionne ainsi; sa fiche de modèle indique le français parmi ses langues.
Un petit exemple : des vecteurs français et anglais
Section intitulée « Un petit exemple : des vecteurs français et anglais »Nous avons encodé de courts textes français et anglais avec le modèle, puis calculé leurs cosinus :
| Texte français | Texte anglais | Cosinus |
|---|---|---|
| table à cartes | card table | 0,933 |
| table à cartes | kitchen cart | 0,861 |
| chaise ergonomique | ergonomic office chair | 0,872 |
| chaise ergonomique | chaise lounge | 0,814 |
| canapé | sofa | 0,768 |
| canapé | coffee table | 0,843 |
Pour « table à cartes » et « chaise ergonomique », le bon texte anglais est plus proche que le faux ami. Le modèle a compris le français. Pour « canapé », le modèle se trompe : « coffee table » (table basse) est plus proche que « sofa ». Un seul mot donne peu d’information au modèle, comme dans Où la recherche dense échoue. « canapé » a aussi un deuxième sens en français et en anglais : une petite bouchée. Le modèle mélange peut-être les deux.
Sur le catalogue, l’exécution dense montre les deux mêmes côtés. Pour « chaise ergonomique », ses 5 premiers résultats sont cinq chaises ergonomiques exactes : NDCG@10 de 1,000, contre 0,032 pour BM25. Pour « hibou », elle échoue :
search query "hibou" --run dense -k 3dense: "hibou" -> 3 results (query F-227: judged results are marked) 1. LK-84055 fiji shower hooks Shower Curtain Hooks and 163.99 [not judged] 2. LK-88452 hoaloha , god of the hawaiian isle tiki wall décor Wall Décor 63.99 [not judged] 3. LK-71998 kohler toobi rite-temp valve trim with lever handle Fixture Parts And Compon 71.99 [not judged]Des crochets de douche et une décoration murale tiki. Le modèle semble lire « hibou » selon ses lettres, pas son sens. BM25 trouve des hiboux, car 21 produits ont « hibou » dans leur titre français traduit automatiquement.
Idée 2 : traduire la requête
Section intitulée « Idée 2 : traduire la requête »L’autre approche traduit d’abord la requête en anglais, puis cherche dans le texte anglais avec BM25. Dans Synonymes et réécriture de requête, un modèle de langage, chat-small, a réécrit chaque requête de validation et de test. Pour une requête française, la réécriture est une traduction. « chaise ergonomique » est devenue « ergonomic chair ». Le cours a enregistré chaque réponse, vous pouvez donc les rejouer sans clé.
Description textuelle du diagramme
La requête française « chaise ergonomique » peut suivre deux parcours. Le parcours 1 cherche par le sens. Le bi-encodeur multilingue lit la requête française telle quelle. Les premiers résultats sont deux chaises de travail ergonomiques en maille et une chaise de bureau ergonomique shapleigh, toutes exactes. Sur les requêtes françaises de test, dense obtient un NDCG@10 de 0,212 et hybrid-blend, de 0,322. Chaque recherche prend environ 8 ms, sans appel de modèle. Le parcours 2 traduit la requête. Un modèle de langage, chat-small, la réécrit en « ergonomic chair ». Puis BM25 sur le texte anglais place les chaises ergonomiques en premier. Sur les requêtes françaises de test, il obtient 0,690 avec les réécritures enregistrées. Chaque recherche prend 1,2 s (p50) et coûte 0,04 $ US par 1 000 recherches. Un encadré en pointillés avertit que la même famille de modèles a traduit automatiquement les requêtes françaises depuis l’anglais. Les retraduire est plus facile que traduire ce que tapent de vrais clients francophones.
Larkfield : mesurer la tranche française séparément
Section intitulée « Larkfield : mesurer la tranche française séparément »Mesurez maintenant chaque méthode sur les requêtes françaises. La comparaison la plus juste place chaque requête française de test à côté de sa requête anglaise d’origine. Les deux ont les mêmes jugements de pertinence. La langue est donc la seule différence. Pour 59 paires de ce type :
- Requête anglaise d'origine
- Requête française (traduite automatiquement)
Description textuelle du graphique
Le graphique montre cinq méthodes, chacune avec deux lignes : les 59 requêtes anglaises d’origine et leurs 59 versions françaises. Il présente le NDCG@10 et son intervalle à 95 %. BM25 (bm25-norm+spell+syn) : anglais 0,694, français 0,301. dense : anglais 0,622, français 0,216. hybrid-rrf : anglais 0,706, français 0,315. hybrid-blend : anglais 0,712, français 0,324. llm-rewrite : anglais 0,701, français 0,690.
Examinez les écarts entre l’anglais et le français :
| Méthode | Anglais | Français | Baisse |
|---|---|---|---|
BM25 (bm25-norm+spell+syn) |
0,694 | 0,301 | 0,393 |
dense (multilingue) |
0,622 | 0,216 | 0,406 |
hybrid-rrf |
0,706 | 0,315 | 0,391 |
hybrid-blend |
0,712 | 0,324 | 0,388 |
llm-rewrite (traduction, puis BM25) |
0,701 | 0,690 | 0,011 |
C’est la surprise du module. Le modèle multilingue perd autant en français que BM25 : environ 0,4. Il gagne sur certaines requêtes françaises, comme « chaise ergonomique » et « table à cartes ». Il perd sur d’autres, comme « hibou », « industriel » et « carreau rond penny » (penny round tile). Les titres français permettent alors à BM25 de trouver des correspondances exactes. En moyenne, les deux effets s’annulent.
search compare donne le même portrait avec des intervalles appariés, sur toutes les requêtes françaises de test :
search compare bm25-norm+spell+syn hybrid-blend --by languagehybrid-blend minus bm25-norm+spell+syn on 241 test queries: ndcg@10 +0.016 (95% interval +0.007 to +0.025); better on 90, worse on 41, the same on 110
language queries bm25-norm+spell+syn hybrid-blend difference low high worse en 181 0.726 0.740 0.014 0.003 0.026 37 fr 60 0.299 0.322 0.023 0.008 0.041 4Le mélange aide un peu le français (+0,023, intervalle de +0,008 à +0,041) et nuit à seulement 4 requêtes françaises. La recherche dense seule n’aide pas le français (−0,087, intervalle de −0,189 à +0,011). La traduction est loin devant :
search compare bm25-norm+spell+syn llm-rewrite --by languagellm-rewrite minus bm25-norm+spell+syn on 241 test queries: ndcg@10 +0.108 (95% interval +0.078 to +0.140); better on 69, worse on 23, the same on 149
language queries bm25-norm+spell+syn llm-rewrite difference low high worse en 181 0.726 0.740 0.014 -0.001 0.030 19 fr 60 0.299 0.690 0.390 0.308 0.475 4+0,390 en français. Après traduction, les requêtes françaises obtiennent 0,690, presque autant que leurs sources anglaises (0,701).
Les limites de ce résultat
Section intitulée « Les limites de ce résultat »Priya avertit l’équipe avant que quelqu’un se réjouisse. Un modèle de langage de la même famille a écrit les requêtes françaises de test à partir de requêtes anglaises. Les retraduire est la tâche la plus facile possible : le modèle n’a qu’à défaire son propre travail. Les vrais clients francophones écrivent autrement. Ils utilisent des mots québécois, font des fautes d’orthographe et mélangent le français et l’anglais. Sur de vraies requêtes françaises, la traduction obtiendra un score plus bas. Ce jeu de test ne peut pas dire de combien.
La conclusion honnête comporte donc trois parties. La traduction est la meilleure approche sur ces requêtes. Son avantage est surestimé ici. Et le seul test juste exige de vraies requêtes françaises avec des jugements de pertinence, que Larkfield n’a pas encore.
Quelle approche choisir, et à quel coût
Section intitulée « Quelle approche choisir, et à quel coût »| Approche | NDCG@10 français (test) | Temps par recherche | Coût | Risque |
|---|---|---|---|---|
| BM25 avec titres français | 0,299 | environ 1 ms | aucun au moment de la recherche; titres français pour le catalogue | nécessite des titres traduits; faux amis |
| Recherche dense, multilingue | 0,212 | environ 8 ms | aucun au moment de la recherche | échec sur les mots seuls et les noms |
| Mélange hybride | 0,322 | environ 9 ms | aucun au moment de la recherche | faible gain seulement |
| Traduction de la requête, puis BM25 | 0,690 | 1,2 s (p50), 1,6 s (p95) | 0,04 $ US par 1 000 recherches | mesure sur des requêtes faciles; un appel réseau par recherche |
Les valeurs françaises de ce tableau correspondent à la tranche linguistique de search compare. Le module 4 regroupait les requêtes par source (les requêtes traduites automatiquement), donc ses valeurs sont un peu plus élevées. Par exemple, BM25 y obtenait 0,301.
La traduction dépasse de six fois le budget de 200 ms d’Amira. Omar aime sa qualité. Il existe une approche intermédiaire : mettre en cache les traductions des textes les plus fréquents. Dans le journal synthétique, les 100 textes les plus fréquents représentent 51,1 % des recherches. Un cache de requêtes de tête traduites donne la bonne réponse à la plupart des recherches en une milliseconde. Les requêtes nouvelles et rares peuvent utiliser la recherche hybride pendant le calcul de leur traduction en arrière-plan.
Utilisez un modèle multilingue si vous servez plusieurs langues, si vous ne pouvez pas appeler un modèle à chaque recherche, et si les requêtes sont des descriptions plutôt que des mots seuls. Mesurez chaque langue séparément.
Utilisez la traduction pour les langues les plus importantes, avec un cache. Mesurez-la sur de vraies requêtes avant de lui faire confiance.
Présentez toujours chaque langue comme une tranche distincte. Le français représente 61 des 243 requêtes de test. La moyenne dilue ses problèmes.
Erreur courante
Une langue que la moyenne cache
Symptôme : une nouvelle version de la recherche augmente le NDCG@10 sur le jeu de test. Une semaine plus tard, l’équipe au Québec signale que les recherches françaises sont moins bonnes qu’avant.
Cause : le changement a aidé les requêtes anglaises et nui aux requêtes françaises. L’anglais représente environ trois quarts des requêtes de test, donc la moyenne a augmenté.
Diagnostic : search compare old new --by language. Examinez la ligne française et son intervalle, pas seulement la première ligne.
Correction : faites de chaque langue une barrière de mise en production. Ne livrez rien si une langue baisse avec un intervalle sous zéro. Gardez assez de requêtes par langue pour la mesurer.
Conséquence pour le travail en IA : un produit multilingue exige une mesure par langue. Un modèle décrit comme « multilingue » sur sa fiche peut quand même échouer dans une langue sur vos données.
Essayez vous-même
Section intitulée « Essayez vous-même »Choisissez une requête française de test et prédisez quelle approche gagnera. Puis exécutez les trois :
search query "table à cartes" --run bm25-norm+spell+syn -k 3search query "table à cartes" --run dense -k 3search query "table à cartes" --run llm-rewrite -k 3Notre résultat : BM25 a placé en premier une table basse sur chariot, un chariot de bar et un chariot de cuisine. La recherche dense et la traduction ont toutes deux placé des tables à cartes exactes en premier. Essayez ensuite « industriel », où le résultat s’inverse.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
BM25 trouve des hiboux pour « hibou », mais la recherche dense trouve des crochets de douche. Le modèle multilingue est censé comprendre le français. Qu'est-ce qui explique ce résultat?
Afficher la réponse
BM25 trouve « hibou » dans les titres français : 21 produits l’ont dans leur titre français traduit automatiquement. BM25 les trouve donc exactement. Le bi-encodeur doit comprendre un mot français rare, sans contexte. Il semble le placer selon ses lettres, près de « hooks » (crochets) et « hoaloha », pas près de « owl » (hibou). Un seul mot donne peu de sens à un bi-encodeur, dans n’importe quelle langue.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La traduction obtient 0,690 sur les requêtes françaises de test, contre 0,322 pour le mélange hybride. Hana demande : « Donc, on traduit chaque recherche française? » Donnez deux raisons d'être prudent et un plan pratique.
Afficher la réponse
D’abord, le temps et le coût : 1,2 s par recherche (p50) dépasse le budget de 200 ms. Chaque recherche coûte aussi un appel de modèle. Ensuite, la mesure favorise la traduction. Un modèle de la même famille a traduit automatiquement les requêtes françaises de test depuis l’anglais. Les retraduire est donc plus facile qu’en situation réelle. Un plan pratique : mettez en cache les traductions des textes français les plus fréquents. Les 100 premiers textes représentent 51,1 % de toutes les recherches. Utilisez le mélange hybride pour les autres. Constituez un ensemble de vraies requêtes françaises avec des jugements de pertinence avant la décision finale.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi comparer 59 requêtes françaises à leurs sources anglaises est-il plus juste que comparer les tranches française et anglaise?
Afficher la réponse
Chaque paire a la même intention et les mêmes jugements de pertinence. Seule la langue diffère. La baisse de l’anglais au français mesure donc le coût de la langue seule. La tranche anglaise contient d’autres requêtes, avec d’autres difficultés : fautes d’orthographe, codes et produits différents. Une différence entre les deux tranches mélangerait la langue avec tout le reste.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les requêtes françaises dans un catalogue anglais échouent de deux façons. Aucun mot ne correspond (« hibou » était la recherche sans résultat la plus fréquente). Ou un faux ami correspond (« chaise » dans « chaise lounge »).
- Un bi-encodeur multilingue place les textes de même sens près les uns des autres, dans n’importe quelle langue. Il gagne sur « chaise ergonomique » et « table à cartes », mais échoue sur des mots seuls comme « hibou » et « canapé ».
- Sur 59 requêtes françaises de test et leurs sources anglaises, BM25 et la recherche dense perdent tous deux environ 0,4 en français. Le mélange hybride aide un peu le français (+0,023).
- Traduire la requête avec un modèle de langage donne un score de 0,690 en français. Mais chaque recherche prend 1,2 s et un appel de modèle. Nous l’avons mesurée sur des requêtes faciles, traduites automatiquement.
- Mesurez chaque langue comme une tranche distincte. Testez sur de vraies requêtes dans cette langue avant de faire confiance à un résultat.
Vous avez maintenant une recherche hybride qui obtient 0,636 globalement, et une tranche française encore faible. La liste hybride donne de bons candidats; leur ordre peut être amélioré. Ensuite, dans le module 6, vous divisez le classement en deux étapes. Une recherche rapide trouve les candidats, puis un modèle plus lent et plus attentif les ordonne.
Leçon suivante : Classement en deux étapes