Recherche et classement : trouver la meilleure correspondance
Faites en sorte que la recherche trouve le meilleur produit en premier. Mesurez la pertinence avec des jugements gradués, puis comparez BM25, la compréhension de la requête, la recherche dense et la recherche hybride, le reclassement et l'apprentissage du classement sur les mêmes requêtes, et choisissez une conception selon la pertinence, la vitesse et le coût.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
Vous êtes inscrit. Dès maintenant, les leçons que vous terminez sont enregistrées.
Pour obtenir votre certificat, marquez chaque vérification des connaissances comme concordante. Ces leçons ont des vérifications à terminer :
Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.
Ce cours enseigne le classement pour des personnes : les jugements de pertinence et les mesures de classement avec des intervalles de confiance, la recherche lexicale avec un index inversé et BM25, la compréhension de la requête en anglais et en français, la recherche dense et la recherche hybride, le reclassement avec un encodeur croisé, l'apprentissage du classement à partir de jugements et de clics, la saisie semi-automatique, les facettes, les recherches sans résultat et les règles d'affaires, ainsi que la latence, le coût et les tests en ligne. Il n'enseigne pas la récupération comme étape avant un modèle de langage, l'amplification de gradient depuis le début, ni l'exploitation d'un serveur de recherche.
Cadrer un problème de recherche : qui cherche, quoi, le coût d'un mauvais résultat, d'une page sans résultat et d'une page lente, et les mesures qui correspondent à ces coûts.
Construire un jeu de test de pertinence avec des jugements gradués, et mesurer le classement avec le recall@k, le MRR et le NDCG, avec des intervalles de confiance.
Construire une recherche lexicale, dense et hybride, et améliorer les requêtes avec la normalisation, la correction orthographique, les synonymes et la racinisation en anglais et en français.
Reclasser les candidats avec un encodeur croisé et avec un modèle d'apprentissage du classement entraîné sur des jugements et des caractéristiques de clics, et expliquer ce que chacun ajoute.
Gérer les parties de la recherche que les gens voient : la saisie semi-automatique, les filtres et les facettes, les requêtes sans résultat et les règles d'affaires, sans cacher les problèmes de pertinence.
Choisir une conception selon la pertinence, la latence et le coût par requête, et tester un changement en ligne avec des journaux de clics, en connaissant les biais des clics.
À propos de ce cours
Larkfield, une boutique en ligne de produits pour la maison et le jardin, a une boîte de recherche que beaucoup de gens utilisent et que peu de gens aiment. Quelqu’un tape « grey outdor cushion » et voit une page vide. Quelqu’un tape « sofa » et voit d’abord des housses de canapé. Une cliente francophone tape « coussin gris » et n’obtient rien d’utile. Chaque recherche ratée est un panier perdu ou un message au soutien.
Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, Amira, la développeuse responsable du service de recherche, et Omar, le gestionnaire de produit, pendant qu’ils la réparent. Vous commencez par mesurer : vous utilisez des jugements de pertinence gradués, vous calculez le NDCG et le rappel à la main, et vous construisez un jeu de test avec des requêtes fréquentes et rares et des intervalles de confiance. Ensuite, vous changez une seule chose à la fois et vous la mesurez, sur les mêmes requêtes, dans un seul tableau de comparaison.
Vous passez d’un index inversé classique et de BM25 à la compréhension de la requête en anglais et en français, à la recherche par le sens avec des plongements, à la recherche hybride, au reclassement avec un encodeur croisé et à un modèle d’apprentissage du classement avec LightGBM. Vous apprenez pourquoi les clics ne sont pas des étiquettes de pertinence, et comment un modèle de clics corrige l’effet de la position.
Vous construisez un seul projet pendant tout le cours : larkfield-search, un petit moteur de recherche avec une commande search et une page de recherche toute prête. Vous terminez avec les parties que les gens voient, comme la saisie semi-automatique, les facettes et les règles d’affaires, et avec le travail de production : la latence, le coût par millier de requêtes et les tests en ligne. Le catalogue et les jugements viennent d’un vrai jeu de données ouvert sur les meubles; le journal des requêtes et les clics sont synthétiques, créés par notre code.
Avant de commencer
Vous avez terminé le cours Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences (données d'entraînement, de validation et de test, amplification de gradient, mesures). Vous savez lire et modifier du code Python et pandas, et utiliser un carnet (notebook) et un terminal. Les cours RAG et de mathématiques aident, mais ne sont pas obligatoires; les leçons qui utilisent leurs idées les expliquent brièvement et y renvoient. Il vous faut Python 3.12 sur votre ordinateur, ou un compte Google ou Kaggle gratuit pour les carnets. Vous n'avez besoin ni de clé, ni de carte graphique, ni d'argent.
Les ingénieurs en IA, les développeurs back-end et les scientifiques des données qui doivent faire fonctionner une recherche pour des personnes, par exemple la recherche de produits d'une boutique, la recherche d'un centre d'aide ou une recherche interne, et qui veulent la modifier en mesurant, et non au jugé.
Comment nous avons créé ce cours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Dans ce cours
Module 1Le problème de la recherche
3 leçons
Le problème de la recherche. Vous voyez la recherche de Larkfield échouer et vous chiffrez chaque échec, vous nommez les types de recherche, et vous préparez le projet avec le catalogue et le journal des requêtes.
Module 2Mesurer la pertinence avant de changer quoi que ce soit
4 leçons
Mesurer la pertinence avant de changer quoi que ce soit. Les jugements gradués et l'accord entre juges, la précision, le rappel, le MRR et le NDCG calculés à la main, un jeu de test avec des requêtes de tête, du milieu et de la traîne et des intervalles de confiance, et des étiquettes écrites par un modèle de langage.
Module 3La recherche lexicale : la référence de base à battre
3 leçons
La recherche lexicale, la référence de base à battre. Un index inversé à la main et dans SQLite, BM25 avec chaque partie du score visible et la pondération des champs, et des règles de correspondance exacte pour les codes et les nombres.
Comprendre la requête. La normalisation et la racinisation en anglais et en français, la correction orthographique, les synonymes et la réécriture de requête testés sur le jeu de test, et des filtres tirés de ce que la requête demande.
Module 5La recherche dense et la recherche hybride
4 leçons
La recherche dense et la recherche hybride. La recherche par le sens avec des plongements, les requêtes où elle échoue, la fusion des rangs réciproques et le mélange des scores, et des requêtes en français sur un catalogue en anglais.
Reclasser les premiers résultats. Le classement en deux étapes, un encodeur croisé et ses millisecondes de plus, l'apprentissage du classement avec LightGBM à partir de jugements, et pourquoi les clics ont besoin d'un modèle de clics avant qu'on apprenne à partir d'eux.
Module 7Les parties de la recherche que les gens voient
4 leçons
Les parties de la recherche que les gens voient. La saisie semi-automatique, des facettes qui ne donnent jamais zéro résultat, les solutions de repli et les règles d'affaires avec leur coût en pertinence, et les nouveaux produits sans aucun clic.
Exploiter la recherche en production. La latence et le coût par millier de requêtes, les tests A/B et l'entrelacement, un index à jour sans interruption de service, et les mêmes idées dans un serveur de recherche.
Dernier module · choisissez-en au moins uneÉtudes de cas
3 études de cas
Trois études de cas complètes sur de vraies données ouvertes. La recherche de produits pour un magasin de meubles, des requêtes d'achat avec des négatifs difficiles, et la recherche sur un banc d'essai ouvert de récupération. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Sur le jeu de données WANDS complet : une référence de base BM25, la compréhension de la requête, la recherche hybride, un encodeur croisé et LambdaMART, comparés selon le NDCG@10 et la latence; recommandez une conception pour un budget de 200 ms.
Sur le jeu de données Amazon Shopping Queries : classez des produits avec des étiquettes exact, substitut, complément et non pertinent; mesurez le coût de montrer des substituts; comparez les tranches en anglais et en espagnol.
Sur un banc d'essai ouvert de récupération avec une licence permissive : la recherche lexicale, dense et hybride, le reclassement, et quand la méthode bon marché suffit.
Avis
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.