Aller au contenu
English

Recherche et classement : trouver la meilleure correspondance

Faites en sorte que la recherche trouve le meilleur produit en premier. Mesurez la pertinence avec des jugements gradués, puis comparez BM25, la compréhension de la requête, la recherche dense et la recherche hybride, le reclassement et l'apprentissage du classement sur les mêmes requêtes, et choisissez une conception selon la pertinence, la vitesse et le coût.

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.

Ce cours enseigne le classement pour des personnes : les jugements de pertinence et les mesures de classement avec des intervalles de confiance, la recherche lexicale avec un index inversé et BM25, la compréhension de la requête en anglais et en français, la recherche dense et la recherche hybride, le reclassement avec un encodeur croisé, l'apprentissage du classement à partir de jugements et de clics, la saisie semi-automatique, les facettes, les recherches sans résultat et les règles d'affaires, ainsi que la latence, le coût et les tests en ligne. Il n'enseigne pas la récupération comme étape avant un modèle de langage, l'amplification de gradient depuis le début, ni l'exploitation d'un serveur de recherche.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Cadrer un problème de recherche : qui cherche, quoi, le coût d'un mauvais résultat, d'une page sans résultat et d'une page lente, et les mesures qui correspondent à ces coûts.
  • Construire un jeu de test de pertinence avec des jugements gradués, et mesurer le classement avec le recall@k, le MRR et le NDCG, avec des intervalles de confiance.
  • Construire une recherche lexicale, dense et hybride, et améliorer les requêtes avec la normalisation, la correction orthographique, les synonymes et la racinisation en anglais et en français.
  • Reclasser les candidats avec un encodeur croisé et avec un modèle d'apprentissage du classement entraîné sur des jugements et des caractéristiques de clics, et expliquer ce que chacun ajoute.
  • Gérer les parties de la recherche que les gens voient : la saisie semi-automatique, les filtres et les facettes, les requêtes sans résultat et les règles d'affaires, sans cacher les problèmes de pertinence.
  • Choisir une conception selon la pertinence, la latence et le coût par requête, et tester un changement en ligne avec des journaux de clics, en connaissant les biais des clics.

À propos de ce cours

Larkfield, une boutique en ligne de produits pour la maison et le jardin, a une boîte de recherche que beaucoup de gens utilisent et que peu de gens aiment. Quelqu’un tape « grey outdor cushion » et voit une page vide. Quelqu’un tape « sofa » et voit d’abord des housses de canapé. Une cliente francophone tape « coussin gris » et n’obtient rien d’utile. Chaque recherche ratée est un panier perdu ou un message au soutien.

Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, Amira, la développeuse responsable du service de recherche, et Omar, le gestionnaire de produit, pendant qu’ils la réparent. Vous commencez par mesurer : vous utilisez des jugements de pertinence gradués, vous calculez le NDCG et le rappel à la main, et vous construisez un jeu de test avec des requêtes fréquentes et rares et des intervalles de confiance. Ensuite, vous changez une seule chose à la fois et vous la mesurez, sur les mêmes requêtes, dans un seul tableau de comparaison.

Vous passez d’un index inversé classique et de BM25 à la compréhension de la requête en anglais et en français, à la recherche par le sens avec des plongements, à la recherche hybride, au reclassement avec un encodeur croisé et à un modèle d’apprentissage du classement avec LightGBM. Vous apprenez pourquoi les clics ne sont pas des étiquettes de pertinence, et comment un modèle de clics corrige l’effet de la position.

Vous construisez un seul projet pendant tout le cours : larkfield-search, un petit moteur de recherche avec une commande search et une page de recherche toute prête. Vous terminez avec les parties que les gens voient, comme la saisie semi-automatique, les facettes et les règles d’affaires, et avec le travail de production : la latence, le coût par millier de requêtes et les tests en ligne. Le catalogue et les jugements viennent d’un vrai jeu de données ouvert sur les meubles; le journal des requêtes et les clics sont synthétiques, créés par notre code.

Avant de commencer

Vous avez terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences (données d'entraînement, de validation et de test, amplification de gradient, mesures). Vous savez lire et modifier du code Python et pandas, et utiliser un carnet (notebook) et un terminal. Les cours RAG et de mathématiques aident, mais ne sont pas obligatoires; les leçons qui utilisent leurs idées les expliquent brièvement et y renvoient. Il vous faut Python 3.12 sur votre ordinateur, ou un compte Google ou Kaggle gratuit pour les carnets. Vous n'avez besoin ni de clé, ni de carte graphique, ni d'argent.

Cours à suivre avant : Apprentissage automatique : du problème à un modèle fiable.

À qui s'adresse ce cours

Les ingénieurs en IA, les développeurs back-end et les scientifiques des données qui doivent faire fonctionner une recherche pour des personnes, par exemple la recherche de produits d'une boutique, la recherche d'un centre d'aide ou une recherche interne, et qui veulent la modifier en mesurant, et non au jugé.

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 2Mesurer la pertinence avant de changer quoi que ce soit

4 leçons

Mesurer la pertinence avant de changer quoi que ce soit. Les jugements gradués et l'accord entre juges, la précision, le rappel, le MRR et le NDCG calculés à la main, un jeu de test avec des requêtes de tête, du milieu et de la traîne et des intervalles de confiance, et des étiquettes écrites par un modèle de langage.

  1. Jugements de pertinence40 min
  2. Mesures de classement40 min
  3. Créer un jeu de test qui représente vos utilisateurs40 min
  4. Jugements d'un modèle de langage35 min

Module 3La recherche lexicale : la référence de base à battre

3 leçons

La recherche lexicale, la référence de base à battre. Un index inversé à la main et dans SQLite, BM25 avec chaque partie du score visible et la pondération des champs, et des règles de correspondance exacte pour les codes et les nombres.

  1. L'index inversé35 min
  2. BM2540 min
  3. Correspondances exactes et règles30 min

Dernier module · choisissez-en au moins uneÉtudes de cas

3 études de cas

Trois études de cas complètes sur de vraies données ouvertes. La recherche de produits pour un magasin de meubles, des requêtes d'achat avec des négatifs difficiles, et la recherche sur un banc d'essai ouvert de récupération. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Recherche de produits pour un magasin de meubles150 min
  2. Requêtes d'achat avec des négatifs difficiles150 min
  3. Rechercher dans un centre d'aide ou un corpus scientifique150 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final180 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Recherche de produits pour un magasin de meubles2 h 30 min

    Sur le jeu de données WANDS complet : une référence de base BM25, la compréhension de la requête, la recherche hybride, un encodeur croisé et LambdaMART, comparés selon le NDCG@10 et la latence; recommandez une conception pour un budget de 200 ms.

  2. Requêtes d'achat avec des négatifs difficiles2 h 30 min

    Sur le jeu de données Amazon Shopping Queries : classez des produits avec des étiquettes exact, substitut, complément et non pertinent; mesurez le coût de montrer des substituts; comparez les tranches en anglais et en espagnol.

  3. Rechercher dans un centre d'aide ou un corpus scientifique2 h 30 min

    Sur un banc d'essai ouvert de récupération avec une licence permissive : la recherche lexicale, dense et hybride, le reclassement, et quand la méthode bon marché suffit.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours