Aller au contenu
English

Résolution d'entités et appariement d'enregistrements : est-ce la même chose?

Décidez quand deux enregistrements décrivent le même client ou le même produit. Nettoyez les enregistrements et appliquez le blocage, puis comparez sur les mêmes données les règles, les mesures de similarité de chaînes, l'appariement probabiliste, les classificateurs de paires, les plongements et un modèle de langage pour les paires incertaines, et transformez les paires en entités que des personnes peuvent réviser et défaire.

Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.

Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.

Ce cours enseigne l'appariement d'enregistrements et la suppression des doublons : la normalisation et le découpage en parties, l'appariement exact et par règles, le blocage et ce qu'il fait perdre, la similarité de chaînes et la similarité phonétique, l'appariement probabiliste avec Splink, les classificateurs de paires et l'apprentissage actif, les plongements, un modèle de langage pour les paires incertaines seulement, le regroupement des paires en entités, les fiches de référence, la révision humaine, l'appariement quotidien, la mise à l'échelle et la confidentialité. Il n'enseigne pas les jointures SQL depuis le début, l'entraînement d'un classificateur depuis le début, ni le droit des données personnelles.

Suivez un autre cours si vous voulez :

Ce que vous apprendrez

À la fin de ce cours, vous pourrez :

  • Cadrer un problème d'appariement : ce qu'est une entité, ce que coûtent une fusion erronée et une correspondance manquée, et laquelle des deux l'entreprise peut accepter plus souvent.
  • Normaliser et découper en parties les noms, les adresses, les numéros de téléphone et les titres de produits, et construire un appariement exact et par règles comme référence de base.
  • Rendre l'appariement rapide avec le blocage (clés, voisinage trié, MinHash LSH) et mesurer ce que le blocage fait perdre.
  • Noter des paires avec des méthodes de chaînes, phonétiques, probabilistes (Fellegi–Sunter), supervisées et par plongements, et n'utiliser un modèle de langage que pour les paires incertaines, avec des sorties enregistrées et vérifiées.
  • Transformer les décisions sur les paires en entités par regroupement, construire une fiche de référence avec des règles de fusion, et envoyer les cas incertains en révision humaine.
  • Mesurer les paires et les groupes avec la précision et le rappel, apparier les nouveaux enregistrements au fil du temps, et protéger les données personnelles pendant ce travail.

À propos de ce cours

Larkfield, une boutique en ligne de produits pour la maison et le jardin, a acheté une chaîne de jardineries. Maintenant, trois listes décrivent ses clients : les comptes de la boutique, le programme de fidélité et la liste propre aux jardineries. La même personne figure dans deux ou trois de ces listes, avec une faute de frappe, un surnom, une ancienne adresse ou un courriel familial. Larkfield envoie deux courriels à une seule personne, compte trop de clients et ne voit pas la personne derrière plusieurs comptes.

Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, Amira, la développeuse responsable de la tâche d’appariement, et Ivana, responsable des données clients, qui vérifie les cas incertains. Vous commencez par mesurer : vous apprenez les deux erreurs, les fusions erronées et les correspondances manquées, et vous mesurez les paires et les entités avec la précision et le rappel. Ensuite, vous changez une seule chose à la fois et vous la mesurez, sur les mêmes enregistrements, dans un seul tableau de comparaison.

Vous passez des données propres et des règles exactes au blocage, aux mesures de chaînes et de sons, à l’appariement probabiliste avec Splink, à un classificateur de paires entraîné, aux plongements et, pour les paires incertaines seulement, à un modèle de langage. Vous regroupez les paires en clients, vous construisez une fiche de référence que l’on peut défaire, et vous envoyez les cas incertains dans une file de révision qui a une limite quotidienne.

Vous construisez un seul projet pendant tout le cours : larkfield-match, un petit outil d’appariement avec une commande match. Vous terminez avec le travail de production : de nouveaux enregistrements chaque jour, la mise à l’échelle et la confidentialité. Chaque enregistrement de client du cours est synthétique : notre code le crée à partir de personnes fictives dont il connaît la vraie identité, ce qui vous permet toujours de vérifier la réponse. Les études de cas utilisent de vraies données ouvertes.

Avant de commencer

Vous avez terminé les cours SQL et préparation des données pour l'IA et Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences (jointures, nettoyage, vérifications de la qualité des données, classification, précision, rappel et seuils). Vous savez lire et modifier du code Python et pandas, et utiliser un carnet (notebook) et un terminal. Les cours de mathématiques et de sécurité de l'IA aident, mais ne sont pas obligatoires; les leçons qui utilisent leurs idées les expliquent brièvement et y renvoient. Il vous faut Python 3.12 sur votre ordinateur, ou un compte Google ou Kaggle gratuit pour les carnets. Vous n'avez besoin ni de clé, ni de carte graphique, ni d'argent.

Cours à suivre avant : SQL et préparation des données pour l'IA, Apprentissage automatique : du problème à un modèle fiable.

À qui s'adresse ce cours

Les ingénieurs de données, les scientifiques des données et les ingénieurs en IA qui doivent joindre, nettoyer ou dédoublonner des enregistrements sur des clients, des entreprises ou des produits, et qui veulent choisir une méthode d'appariement en mesurant et selon le coût de chaque erreur.

Comment nous avons créé ce cours

Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours

Dans ce cours

Module 2Nettoyer d'abord, puis apparier exactement

4 leçons

Nettoyer d'abord, puis apparier exactement. Vous normalisez et découpez en parties les noms, les adresses, les téléphones et les titres de produits, vous construisez des clés exactes et des règles, et vous les mesurez avec la précision et le rappel par paire.

  1. Normaliser35 min
  2. Découper en parties35 min
  3. Appariement exact et par règles40 min
  4. Mesurer un apparieur35 min

Module 6L'appariement appris : classificateurs, plongements et modèles de langage

4 leçons

L'appariement appris. Un classificateur de paires, l'apprentissage actif, des plongements pour les noms et les titres de produits, et un modèle de langage pour les paires incertaines seulement, avec des réponses enregistrées et leur coût.

  1. Un classificateur de paires supervisé40 min
  2. L'apprentissage actif35 min
  3. Des plongements pour les noms, les adresses et les produits40 min
  4. Un modèle de langage pour les paires incertaines40 min

Dernier module · choisissez-en au moins uneÉtudes de cas

3 études de cas

Trois études de cas complètes sur des données ouvertes. Des produits entre deux boutiques, des notices bibliographiques, et des personnes et des entreprises en double. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.

Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune

  1. Apparier des produits entre deux boutiques120 min
  2. Relier des notices bibliographiques120 min
  3. Trouver des personnes et des entreprises en double150 min

Après les études de casTravail final

Utilisez tous les modules dans un projet pratique. Vous recueillez des preuves, puis vous les comparez aux objectifs du cours.

  1. Travail final300 min

Études de cas

Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  1. Apparier des produits entre deux boutiques2 h

    Sur un banc d'essai ouvert d'appariement de produits avec une licence qui le permet : les méthodes de blocage, de chaînes, supervisées et par plongements, et un modèle de langage pour les paires incertaines; présenter la précision à un rappel fixe et le coût par millier de paires.

  2. Relier des notices bibliographiques2 h

    Sur des notices bibliographiques ouvertes avec une licence qui le permet : Splink contre un classificateur de paires; l'analyse des erreurs sur les titres, les listes d'auteurs et les lieux de publication.

  3. Trouver des personnes et des entreprises en double2 h 30 min

    Sur des enregistrements de personnes simulés avec une licence qui le permet et un registre ouvert d'entreprises : les règles, Splink et le regroupement en entités avec une fiche de référence.

Avis

Chargement des avis…

    Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.

    Partager ce cours