Aller au contenu
English

Garder l'index à jour

  • Leçon 29
  • 30 min
  • Module 8 : Exploiter la recherche en production

Où nous en sommes

Nous savons comment tester un changement. Le catalogue change aussi chaque jour : produits nouveaux, modifiés et supprimés. Dans cette leçon, nous gardons l'index à jour, réindexons sans interruption de service et gérons les versions des synonymes et des modèles.

Ce que vous saurez faire

Gardez la recherche fiable pendant que le catalogue change. Vous repérez ce qu’un index périmé manque et choisissez la bonne mise à jour pour chaque type de changement. Ensuite, vous passez à une nouvelle version de l’index sans arrêter la recherche, avec un retour arrière rapide.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter construit l’index d’hier sans les produits de cette semaine et mesure ce qu’il manque. Ensuite, il reconstruit l’index, met à jour le stock, masque un produit supprimé et change de version avec un fichier pointeur. Ses cellules de préparation téléchargent les données d’exercice. Aucune configuration locale n’est donc nécessaire. Environ 25 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet contenant les fichiers de ce module, dans Budgets de latence et de coût, et environ 400 Mo d’espace disque libre pour une deuxième version de l’index.

Un magasin de jardinage imprime un catalogue de tous les produits sur ses tablettes. Chaque jour, de nouvelles plantes arrivent, les prix changent et certains produits sont épuisés. Le catalogue imprimé ne le sait pas.

Un client demande une nouvelle variété de rose. L’employée consulte le catalogue, ne la trouve pas et dit « nous n’en avons pas ». La rose est sur la tablette derrière elle.

Le magasin ne peut pas réimprimer le catalogue chaque minute. Il fait donc trois choses. Il écrit les prix du jour sur un petit tableau près de la porte. Il raye à la main les produits épuisés. Chaque nuit, il imprime un nouveau catalogue, le vérifie et le pose sur le comptoir avant l’ouverture. Il garde l’exemplaire d’hier dans un tiroir, au cas où le nouveau contiendrait une erreur.

Le problème : impossible de trouver un produit absent de l’index

Section intitulée « Le problème : impossible de trouver un produit absent de l’index »

Un index de recherche est une copie du catalogue, construite à un moment précis. La recherche lit l’index, pas le catalogue. Tout ce qui a changé depuis sa construction est donc invisible ou incorrect.

Larkfield ajoute de nouveaux produits chaque semaine. Les dates d’« ajout » sont synthétiques : notre code les a créées.

Produits ajoutés au catalogue de Larkfield pendant chacune des huit semaines du journal des requêtes (dates synthétiques). Dans le carnet, l'index d'hier ne contient pas les produits de la dernière semaine.
Description textuelle du graphique

Huit barres, une par semaine du journal : 272, 254, 275, 278, 305, 248, 325 et 275 produits. Environ 39 nouveaux produits par jour.

Environ 39 produits par jour. Le carnet construit « l’index d’hier » sans les produits de la dernière semaine et mesure ce qu’il manque :

Mesure Valeur
Produits dans l’index d’hier 39 791
Produits ajoutés cette semaine, absents de cet index 275
Requêtes anglaises de validation et de test ayant un produit exact de cette semaine 54
Nouveaux produits parmi les 10 premiers résultats d’hier pour « home sweet home sign » aucun

Une personne qui tape « home sweet home sign » ne peut pas trouver les enseignes de cette semaine, même si elles conviennent parfaitement. Les prix et le stock posent un problème encore plus grand : ils changent plusieurs fois par jour. Un index construit la nuit dernière peut afficher comme disponible un produit épuisé depuis une heure.

Tous les changements ne demandent pas le même travail. Classez-les selon leur fréquence.

Trois groupes de changements. Le prix, le stock et l'indicateur de solde changent toutes les quelques minutes : mettez ces champs à jour sur place, sans nouvel index. Les nouveaux produits, les titres et descriptions modifiés et les produits supprimés changent chaque jour : ajoutez ou supprimez des documents, ou reconstruisez l'index. Certains éléments changent seulement lors d'une mise en production : l'analyseur et synonyms.csv, le dictionnaire orthographique, la révision du bi-encodeur et ses plongements, et le modèle LambdaMART. Pour eux, construisez une nouvelle version de l'index, testez-la hors ligne, puis remplacez la version active.
Trois rythmes de changement, trois types de mise à jour.
Description textuelle du diagramme

Trois rangées, chacune avec une flèche vers son type de mise à jour. « Toutes les quelques minutes : prix, stock, indicateur de solde » → « Mettre les champs à jour sur place, sans nouvel index ». « Chaque jour : produits nouveaux, modifiés et supprimés » → « Ajouter ou supprimer des documents, ou reconstruire l’index ». « Lors d’une mise en production : analyseur et synonyms.csv, dictionnaire orthographique, révision du bi-encodeur et plongements, modèle LambdaMART » → « Une nouvelle version de l’index, testée hors ligne, puis mise en service ».

Gardez le prix, le stock et l’indicateur de solde hors de l’index textuel. Stockez-les dans une petite table dont la clé est l’identifiant du produit. Mettez cette table à jour quand le stock de l’entrepôt change. Pour construire la page, lisez la liste classée d’identifiants fournie par la recherche, puis le prix et le stock dans la table.

C’est pourquoi Budgets de latence et de coût disait : mettez les identifiants classés en cache, pas la page. Dans le carnet, une ligne marque un produit comme épuisé, et la recherche suivante l’affiche aussitôt comme épuisé. Aucune reconstruction n’est nécessaire.

Le classement peut aussi utiliser le stock. La règle « rupture de stock en dernier » de Aucun résultat et règles d’affaires lit la table au moment de la requête.

Un nouveau produit a besoin de trois choses pour que la recherche puisse le trouver :

  1. ses mots dans l’index lexical;
  2. son plongement (embedding), créé par le même bi-encodeur que les autres;
  3. ses variables pour LambdaMART (il n’a pas encore de clics, comme l’a montré Nouveaux produits et démarrage à froid).

Un titre modifié entraîne la suppression et l’ajout du même produit.

Il existe deux façons d’appliquer ces changements. Une mise à jour incrémentale ajoute ou remplace seulement les produits modifiés dans l’index actif. Les serveurs de recherche font cela toute la journée. Une reconstruction complète reconstruit tout l’index à partir du catalogue.

À la taille de Larkfield, une reconstruction complète est simple et rapide :

  • L’index lexical de 40 066 produits : 1,3 à 1,9 seconde (le carnet et search index).
  • Les plongements des nouveaux produits : le bi-encodeur a encodé 257,8 produits par seconde avec 4 fils d’exécution. Les 275 produits de cette semaine prennent environ 1 seconde. Les 42 066 produits (avec les 2 000 réservés au travail final) ont pris 163 secondes.

Larkfield peut donc reconstruire l’index chaque nuit, ou chaque heure. Les mises à jour incrémentales comptent pour les catalogues de millions de produits ou les changements à afficher en quelques secondes.

Rappelez-vous l’IDF dans BM25. Un mot rare reçoit une IDF élevée. Quand de nouveaux produits arrivent, le nombre d’occurrences des mots change, donc l’IDF de certains mots change. Les scores BM25 des anciens produits changent aussi un peu. Une reconstruction applique ces changements partout à la fois. Une mise à jour incrémentale dans un serveur de recherche les applique au fur et à mesure.

Un produit supprimé doit disparaître de la page immédiatement, sans attendre la reconstruction de cette nuit. D’ici là, masquez-le au moment de la requête. Gardez une liste des identifiants supprimés et retirez-les de chaque liste classée. Cette marque, « supprimé, mais encore dans l’index », s’appelle un marqueur de suppression (tombstone). La prochaine reconstruction exclut le produit, et vous pouvez retirer le marqueur.

Ne construisez jamais le nouvel index par-dessus celui qui sert les utilisateurs. Pendant la construction, l’ancien index serait partiellement remplacé. Les recherches échoueraient ou ne retourneraient que la moitié du catalogue.

Construisez plutôt chaque version à côté de la version active, vérifiez-la, puis basculez en une seule étape. Les équipes appellent cela un basculement bleu-vert (blue-green) : deux copies, une active (bleue), une nouvelle (verte).

En service : un pointeur nommé current pointe vers la version 41 de l'index, le catalogue d'hier. La version 42 est construite dans un nouveau dossier à partir du catalogue d'aujourd'hui. Vérifications : nombre de produits, requête connue, NDCG@10 sur les données de validation. Si elles réussissent, le pointeur passe à la version 42 en une étape atomique. La version 41 est conservée pour un retour arrière rapide. Si elles échouent, la version 41 reste active, et l'équipe corrige le problème puis reconstruit l'index.
Construire à côté, vérifier, basculer en une étape, conserver l'ancienne version.
Description textuelle du diagramme

À gauche, une boîte « En service » avec « Pointeur : current » qui pointe vers « Version 41 de l’index, catalogue d’hier ». Ensuite, « Construire la version 42 dans un nouveau dossier, catalogue d’aujourd’hui » → une question « Vérifications réussies? nombre de produits, requête connue, NDCG@10 de validation ». Oui → « Déplacer le pointeur vers la version 42, en une étape atomique » → « Conserver la version 41 pour un retour arrière rapide ». Non → une boîte rouge « Conserver la version 41, corriger, reconstruire ».

La recherche n’ouvre pas un dossier portant un nom fixe. Elle lit d’abord un pointeur : un petit fichier, ou un lien, qui nomme la version utilisée. Pour basculer, vous changez le pointeur.

Le changement doit être atomique : il se fait en une étape, sans qu’une recherche puisse voir un état intermédiaire. Sur un ordinateur, renommer un fichier pour en remplacer un autre est atomique. En Python, os.replace fait cela. Le carnet écrit le nouveau nom dans current.tmp, puis le renomme pour remplacer current.

La sûreté d’un basculement dépend de ses vérifications. Avant de déplacer le pointeur, vérifiez au moins :

  • Le nombre de produits. La nouvelle version contient le nombre de produits attendu. Le carnet refuse une version à laquelle il manque un seul produit.
  • Une requête connue. Une requête retourne son premier résultat connu. search check fait cela avec « garden hose » (boyau d’arrosage).
  • La qualité. Le NDCG@10 sur les requêtes de validation est proche de celui de la dernière version. Une chute soudaine indique un problème.

Gardez l’ancienne version sur disque jusqu’à ce que la nouvelle ait servi pendant un certain temps. Si des utilisateurs signalent un problème, ramenez le pointeur en arrière. Le retour prend alors une seconde, sans reconstruction. Le cours CI/CD, tests et mises en production sûres couvre les plans de retour arrière pour toute mise en production.

Après un basculement, videz le cache des listes classées. Ses réponses provenaient de l’ancienne version.

Gérer les versions des synonymes et des modèles avec l’index

Section intitulée « Gérer les versions des synonymes et des modèles avec l’index »

L’index n’est pas le seul élément d’une mise en production de la recherche. Les résultats dépendent aussi de ces éléments :

  • l’analyseur et synonyms.csv (module 4);
  • le dictionnaire orthographique (construit à partir du catalogue et du journal);
  • la révision du bi-encodeur et les plongements de produits qu’elle a créés (module 5);
  • le modèle LambdaMART (module 6).

Ces éléments doivent être compatibles entre eux. Voici deux exemples :

  1. Les plongements et l’encodeur de requêtes. Les plongements de produits créés par une révision du bi-encodeur et les requêtes encodées par une autre occupent des espaces différents. Leurs scores de similarité cosinus ne signifient rien. Le cours fixe la révision du modèle (835ad140…) pour cette raison.
  2. Le modèle et ses variables. LambdaMART a appris à partir des variables d’un index. Si l’index change d’analyseur, les variables BM25 changent aussi, et le modèle peut moins bien classer les résultats.

Traitez donc tous ces éléments comme une seule mise en production. Construisez-les ensemble, donnez un seul numéro de version à l’ensemble, testez-le hors ligne, puis basculez. Écrivez les versions dans un petit fichier, un manifeste, à côté de l’index. Le manifeste du carnet consigne le nombre de produits et les paramètres BM25. Un manifeste réel nomme aussi les révisions des modèles et la version du fichier de synonymes. Le cours MLOps et LLMOps : exploiter l’IA en production appelle cela la lignée des artefacts : savoir quelles données et quel code ont créé chaque élément.

Larkfield : une nouvelle version des fichiers produits par le projet

Section intitulée « Larkfield : une nouvelle version des fichiers produits par le projet »

Le projet garde tout ce qu’il construit dans un seul dossier, outputs/ : les index, le dictionnaire orthographique, le classificateur de classe de produit et le modèle LambdaMART. La variable LARKFIELD_OUTPUTS indique au projet d’utiliser un autre dossier. Vous pouvez donc construire une nouvelle version complète à côté de la version active.

  1. Dans larkfield-search, avec l’environnement virtuel actif, construisez l’index dans un nouveau dossier :

    Fenêtre de terminal
    LARKFIELD_OUTPUTS=outputs-next search index
    Indexed 40,066 products in 1.9 s: SQLite FTS5 (title, description) and BM25 (title and description). Index size 54.0 MB.
  2. Vérifiez la nouvelle version, toujours dans son propre dossier :

    Fenêtre de terminal
    LARKFIELD_OUTPUTS=outputs-next search check
    Data: 15 files, checksums right (data)
    Index: found
    Query "garden hose": 10 results; first: LK-74728 anand self watering vinyl window box planter
    BM25 on the validation queries: NDCG@10 0.432 (expected 0.432)
    Setup check passed.
  3. Vérifiez la conception que vous mettez en service. La première exécution construit les éléments nécessaires à LambdaMART (les autres index, le dictionnaire orthographique, le classificateur de classe de produit et le modèle) :

    Fenêtre de terminal
    LARKFIELD_OUTPUTS=outputs-next search eval --run ltr
    ltr on 243 test queries: NDCG@10 0.668 (95% interval 0.628 to 0.708)
    recall@100 0.540, MRR 0.698, zero results 0.0%, judged in the top 10 73.9%; 18.7 ms a query (p50), 63.9 ms (p95)

    À partir d’un dossier vide, les étapes 1 et 3 ont pris 25 secondes sur le portable de l’équipe du cours. Le dossier occupe 342 Mo.

  4. Basculez : conservez l’ancienne version et mettez la nouvelle à sa place.

    Fenêtre de terminal
    mv outputs outputs-previous
    mv outputs-next outputs
    search check

    La dernière ligne indique Setup check passed. (vérification de la configuration réussie). Pour revenir en arrière, renommez les dossiers dans l’autre sens.

L’équipe du cours n’a pas exécuté les commandes PowerShell. Les deux changements de nom de l’étape 4 sont deux étapes, pas une seule. Une recherche qui démarre entre les deux ne trouve aucun dossier outputs/. C’est acceptable sur votre portable. Un service actif utilise un pointeur, comme dans le carnet, ou l’alias d’un serveur de recherche, comme le montre la prochaine leçon.

Ouvrez le carnet Garder l’index à jour (le lien se trouve en haut de cette leçon).

  1. Exécutez les cellules de préparation. La dernière affiche Ready: 4 files in larkfield-search. (prêt : 4 fichiers dans larkfield-search).
  2. Exécutez la section 1. Elle affiche Yesterday's index: 39,791 products (index d’hier : 39 791 produits) et Not in it: 275 products added this week (absents : 275 produits ajoutés cette semaine). Le temps de construction dépend de votre ordinateur.
  3. Exécutez la section 2. Elle trouve 54 requêtes ayant un nouveau produit exact.
  4. Dans la section 3, définissez products comme le catalogue complet (cat), puis exécutez la vérification. Elle affiche Check passed: found is 7. (vérification réussie : found vaut 7).
  5. Exécutez les sections 4 et 5. Observez le produit épuisé quitter la liste « en stock maintenant », et le produit supprimé quitter les résultats.
  6. Dans la section 7, complétez switch, puis exécutez la vérification : Check passed: serving is v42. (vérification réussie : serving vaut v42).

Pourquoi seulement 7 des 54 requêtes montrent-elles un nouveau produit exact après la reconstruction? Le carnet utilise BM25 seul, et un nouveau produit exact rivalise avec de nombreux anciens produits exacts. La présence dans l’index permet de trouver un produit. Elle ne le place pas parmi les 10 premiers résultats. C’est le problème de démarrage à froid de Nouveaux produits et démarrage à froid.

À vous de jouer : la tâche du module, une note de version

Section intitulée « À vous de jouer : la tâche du module, une note de version »

Rédigez une note de version d’une page pour un changement de classement : LambdaMART (ltr) remplace la recherche hybride (hybrid-rrf). Utilisez seulement les nombres de ce cours. Elle doit comporter cinq parties :

  1. Le changement et sa raison. Ce qui change pour les gens, en deux phrases.
  2. Résultat hors ligne. Le NDCG@10 et son intervalle, pour l’ensemble et pour les tranches qui changent le plus. Nommez toute tranche qui se dégrade.
  3. Plan en ligne. Entrelacement ou test A/B, mesure, taille décidée à l’avance et règle d’arrêt.
  4. Garde-fous. Ce qui ne doit pas se dégrader, avec des nombres : latence, aucun résultat, premiers résultats en rupture de stock.
  5. Mise en production et retour arrière. Versions de l’index et du modèle, méthode de basculement et méthode de retour arrière.
Un exemple détaillé (comparez-le au vôtre)

1. Le changement. La recherche ordonne les 100 premiers candidats hybrides avec LambdaMART, un modèle entraîné sur 260 requêtes d’entraînement jugées. Les gens devraient voir le bon produit plus haut, surtout pour les requêtes en français et les requêtes larges.

2. Résultat hors ligne (243 requêtes de test). Le NDCG@10 atteint 0,668 (de 0,628 à 0,708), contre 0,621. Différence appariée de +0,047 (+0,023 à +0,073) : claire. Requêtes en français : +0,159; requêtes larges : +0,130. Requêtes WANDS en anglais : +0,010, pas claire. Le rappel à 100 (recall@100) ne change pas (0,540) : les candidats restent les mêmes.

3. Plan en ligne. Entrelacement par sélection alternée, LambdaMART contre la recherche hybride, 5 000 recherches, consulté une seule fois (puissance simulée de 91 %). Ensuite, un test A/B sur le taux d’ajout au panier, dont la taille vient du même type d’estimation de puissance. Aucun arrêt anticipé, sauf si un garde-fou est enfreint.

4. Garde-fous. Latence p95 (95e centile) inférieure à 200 ms (54 ms mesurées sur 1 fil). Le taux de recherches sans résultat reste à 0 % sur les requêtes de test. La part des premiers résultats en rupture de stock reste près de 11,1 %.

5. Mise en production et retour arrière. La version 42 regroupe l’index, le dictionnaire orthographique, la révision 835ad140… du bi-encodeur et le modèle LambdaMART, avec un manifeste. Elle est construite à côté de la version 41 et vérifiée avec search check et search eval --run ltr (0,668). Ensuite, le pointeur change de cible et le cache est vidé. Retour arrière : rediriger le pointeur vers la version 41; elle reste sur disque pendant deux semaines.

Erreur courante

Modifier le fichier de synonymes dans l'index en service

Symptôme : Hana demande que « light » trouve aussi « lamp ». Tomás ajoute la règle light, lamp au fichier synonyms.csv en service. Les résultats changent aussitôt pour chaque requête contenant « light ». Deux jours plus tard, les gens disent que certaines recherches contenant « light » ou « lamp » donnent de moins bons résultats. Personne ne sait quelles règles étaient en service avant.

Cause : le fichier de synonymes fait partie de la mise en production, mais il a changé en dehors de toute mise en production. Il a échappé au test hors ligne, et l’ancien fichier a été écrasé. Aucun retour arrière n’est donc possible. Nous avons créé cette règle volontairement comme problème d’exercice. Elle touche 10 requêtes de validation et de test de Larkfield. Le NDCG@10 passe de 0,784 à 0,778 : 2 requêtes s’améliorent, 4 se dégradent (Synonymes et réécriture de requête).

Correction : gardez synonyms.csv sous gestion de versions, avec la version de l’index à laquelle il appartient. Testez une nouvelle règle hors ligne avec search compare sur les requêtes qu’elle touche. Publiez-la dans une nouvelle version et basculez avec le pointeur.

Conséquence pour le travail en recherche : tout élément qui change le classement est du code, même un fichier texte. Gérez ses versions, testez-le et gardez l’ancienne version pour pouvoir revenir en arrière.

Quand reconstruire, quand mettre à jour et à quel coût

Section intitulée « Quand reconstruire, quand mettre à jour et à quel coût »
  • Reconstruisez entièrement quand le catalogue est assez petit pour être reconstruit en quelques minutes : l’index lexical de Larkfield prend moins de deux secondes. Une reconstruction est simple et applique les changements d’IDF partout.
  • Mettez à jour de façon incrémentale quand le catalogue est grand ou qu’un changement doit apparaître en quelques secondes. Un serveur de recherche le fait, mais il faut alors payer son fonctionnement.
  • Mettez toujours les champs à jour sur place pour le prix, le stock et l’indicateur de solde. Ne reconstruisez jamais l’index pour eux.
  • Publiez une nouvelle version pour les synonymes, les analyseurs, les modèles et les plongements (embeddings). Testez-la d’abord hors ligne.

Les versions occupent de l’espace disque : une version complète des sorties du projet représente 342 Mo. Gardez une ou deux anciennes versions, pas toutes.

Vérifiez votre compréhension

Un produit est en rupture de stock depuis dix minutes. Larkfield doit-elle reconstruire l'index? Que doit-elle faire plutôt?

Afficher la réponse

Non. Le stock est un champ qui change souvent. Il reste donc hors de l’index textuel, dans une petite table dont la clé est l’identifiant du produit. Mettez la table à jour; la page la lit à chaque recherche. La règle « rupture de stock en dernier » peut utiliser la même table au moment de la requête.

Vérifiez votre compréhension

Pourquoi Larkfield ne doit-elle pas construire le nouvel index dans le dossier qui sert les utilisateurs?

Afficher la réponse

Pendant la construction, le dossier contient une moitié de l’ancien index et une moitié du nouveau. Les recherches échoueraient ou manqueraient des produits. Construisez la nouvelle version à côté de l’ancienne, vérifiez-la, puis basculez un pointeur en une seule étape atomique.

Vérifiez votre compréhension

Amira passe à une nouvelle révision du bi-encodeur et réencode les requêtes, mais garde les plongements des produits du mois dernier. Quel problème survient?

Afficher la réponse

Les requêtes et les produits sont maintenant dans des espaces vectoriels différents. Leurs scores de similarité cosinus ne signifient donc rien, et la recherche dense classe mal les résultats. La révision du modèle et les plongements font partie de la même mise en production. Changez-les ensemble, testez hors ligne, puis basculez.

Récapitulatif

  • Un produit absent de l’index est introuvable. L’index d’hier ne contient pas les 275 produits de cette semaine; 54 requêtes de test et de validation ont un produit exact parmi eux.
  • Adaptez la mise à jour au changement. Le prix et le stock vont dans une table séparée. Les produits nouveaux et modifiés nécessitent une reconstruction ou des mises à jour incrémentales. Un marqueur de suppression masque aussitôt un produit retiré.
  • Réindexez sans interruption de service. Construisez à côté de l’index en service, puis vérifiez le nombre de produits, une requête connue et le NDCG@10. Basculez un pointeur de façon atomique, gardez l’ancienne version pour le retour arrière et videz le cache.
  • Les synonymes, le dictionnaire orthographique, la révision du modèle, les plongements et le modèle LambdaMART forment une seule mise en production, avec un manifeste. Gérez leurs versions avec celle de l’index.

Vous avez construit chaque partie de la recherche en Python. Ensuite, vous verrez les mêmes idées dans un serveur de recherche, OpenSearch, ainsi que ses ajouts et son coût de fonctionnement.

Leçon suivante : Les mêmes idées dans un serveur de recherche