Résolution d'entités et appariement d'enregistrements : est-ce la même chose?
Décidez quand deux enregistrements décrivent le même client ou le même produit. Nettoyez les enregistrements et appliquez le blocage, puis comparez sur les mêmes données les règles, les mesures de similarité de chaînes, l'appariement probabiliste, les classificateurs de paires, les plongements et un modèle de langage pour les paires incertaines, et transformez les paires en entités que des personnes peuvent réviser et défaire.
Lisez toutes les leçons sans compte, ou connectez-vous pour vous inscrire et suivre vos progrès.
Inscrivez-vous pour enregistrer les leçons que vous terminez. C'est gratuit.
Vous êtes inscrit. Dès maintenant, les leçons que vous terminez sont enregistrées.
Pour obtenir votre certificat, marquez chaque vérification des connaissances comme concordante. Ces leçons ont des vérifications à terminer :
Ce cours est-il le bon pour vous?Ce que ce cours couvre et ne couvre pas, et 4 autres cours pour d'autres besoins.
Ce cours enseigne l'appariement d'enregistrements et la suppression des doublons : la normalisation et le découpage en parties, l'appariement exact et par règles, le blocage et ce qu'il fait perdre, la similarité de chaînes et la similarité phonétique, l'appariement probabiliste avec Splink, les classificateurs de paires et l'apprentissage actif, les plongements, un modèle de langage pour les paires incertaines seulement, le regroupement des paires en entités, les fiches de référence, la révision humaine, l'appariement quotidien, la mise à l'échelle et la confidentialité. Il n'enseigne pas les jointures SQL depuis le début, l'entraînement d'un classificateur depuis le début, ni le droit des données personnelles.
Cadrer un problème d'appariement : ce qu'est une entité, ce que coûtent une fusion erronée et une correspondance manquée, et laquelle des deux l'entreprise peut accepter plus souvent.
Normaliser et découper en parties les noms, les adresses, les numéros de téléphone et les titres de produits, et construire un appariement exact et par règles comme référence de base.
Rendre l'appariement rapide avec le blocage (clés, voisinage trié, MinHash LSH) et mesurer ce que le blocage fait perdre.
Noter des paires avec des méthodes de chaînes, phonétiques, probabilistes (Fellegi–Sunter), supervisées et par plongements, et n'utiliser un modèle de langage que pour les paires incertaines, avec des sorties enregistrées et vérifiées.
Transformer les décisions sur les paires en entités par regroupement, construire une fiche de référence avec des règles de fusion, et envoyer les cas incertains en révision humaine.
Mesurer les paires et les groupes avec la précision et le rappel, apparier les nouveaux enregistrements au fil du temps, et protéger les données personnelles pendant ce travail.
À propos de ce cours
Larkfield, une boutique en ligne de produits pour la maison et le jardin, a acheté une chaîne de jardineries. Maintenant, trois listes décrivent ses clients : les comptes de la boutique, le programme de fidélité et la liste propre aux jardineries. La même personne figure dans deux ou trois de ces listes, avec une faute de frappe, un surnom, une ancienne adresse ou un courriel familial. Larkfield envoie deux courriels à une seule personne, compte trop de clients et ne voit pas la personne derrière plusieurs comptes.
Dans ce cours, vous suivez Priya, la scientifique des données de Larkfield, Amira, la développeuse responsable de la tâche d’appariement, et Ivana, responsable des données clients, qui vérifie les cas incertains. Vous commencez par mesurer : vous apprenez les deux erreurs, les fusions erronées et les correspondances manquées, et vous mesurez les paires et les entités avec la précision et le rappel. Ensuite, vous changez une seule chose à la fois et vous la mesurez, sur les mêmes enregistrements, dans un seul tableau de comparaison.
Vous passez des données propres et des règles exactes au blocage, aux mesures de chaînes et de sons, à l’appariement probabiliste avec Splink, à un classificateur de paires entraîné, aux plongements et, pour les paires incertaines seulement, à un modèle de langage. Vous regroupez les paires en clients, vous construisez une fiche de référence que l’on peut défaire, et vous envoyez les cas incertains dans une file de révision qui a une limite quotidienne.
Vous construisez un seul projet pendant tout le cours : larkfield-match, un petit outil d’appariement avec une commande match. Vous terminez avec le travail de production : de nouveaux enregistrements chaque jour, la mise à l’échelle et la confidentialité. Chaque enregistrement de client du cours est synthétique : notre code le crée à partir de personnes fictives dont il connaît la vraie identité, ce qui vous permet toujours de vérifier la réponse. Les études de cas utilisent de vraies données ouvertes.
Avant de commencer
Vous avez terminé les cours SQL et préparation des données pour l'IA et Apprentissage automatique : du problème à un modèle fiable, ou vous avez les mêmes compétences (jointures, nettoyage, vérifications de la qualité des données, classification, précision, rappel et seuils). Vous savez lire et modifier du code Python et pandas, et utiliser un carnet (notebook) et un terminal. Les cours de mathématiques et de sécurité de l'IA aident, mais ne sont pas obligatoires; les leçons qui utilisent leurs idées les expliquent brièvement et y renvoient. Il vous faut Python 3.12 sur votre ordinateur, ou un compte Google ou Kaggle gratuit pour les carnets. Vous n'avez besoin ni de clé, ni de carte graphique, ni d'argent.
Les ingénieurs de données, les scientifiques des données et les ingénieurs en IA qui doivent joindre, nettoyer ou dédoublonner des enregistrements sur des clients, des entreprises ou des produits, et qui veulent choisir une méthode d'appariement en mesurant et selon le coût de chaque erreur.
Comment nous avons créé ce cours
Des spécialistes de l'IA expérimentés ont conçu ce cours. L'IA nous a aidés à rédiger le contenu; des personnes ont choisi l'approche pédagogique et les exemples, et ont révisé chaque leçon. Les résultats que vous voyez sont les vrais résultats de l'exécution du code. Comment nous créons les cours
Dans ce cours
Module 1Le problème de l'appariement
3 leçons
Le problème de l'appariement. Vous comptez les clients de Larkfield dans trois listes, vous nommez les deux erreurs (les fusions erronées et les correspondances manquées) et leurs coûts, et vous préparez le projet avec les enregistrements.
Module 2Nettoyer d'abord, puis apparier exactement
4 leçons
Nettoyer d'abord, puis apparier exactement. Vous normalisez et découpez en parties les noms, les adresses, les téléphones et les titres de produits, vous construisez des clés exactes et des règles, et vous les mesurez avec la précision et le rappel par paire.
Le blocage. Pourquoi il est impossible de comparer toutes les paires, les clés de blocage et le voisinage trié, MinHash et LSH pour les titres de produits, et ce que chaque blocage fait perdre.
Module 4Comparer les enregistrements : les mesures de similarité
3 leçons
Comparer les enregistrements. Levenshtein, Jaro–Winkler et token set ratio, les codes phonétiques et leurs échecs, et un vecteur de comparaison par paire avec des poids choisis à la main.
L'appariement probabiliste. L'idée de Fellegi–Sunter avec les probabilités m et u, des poids appris sans étiquettes dans Splink sur DuckDB, et deux seuils avec une zone de révision.
Module 6L'appariement appris : classificateurs, plongements et modèles de langage
4 leçons
L'appariement appris. Un classificateur de paires, l'apprentissage actif, des plongements pour les noms et les titres de produits, et un modèle de langage pour les paires incertaines seulement, avec des réponses enregistrées et leur coût.
Des paires aux entités. Les composantes connexes et le groupe géant, un regroupement plus sûr, des fiches de référence avec des règles de fusion et l'annulation, et les mesures de groupes.
L'appariement en production. De nouveaux enregistrements chaque jour avec des identifiants d'entité stables, une file de révision humaine, le temps et la mémoire pour un million d'enregistrements, et la confidentialité.
Dernier module · choisissez-en au moins uneÉtudes de cas
3 études de cas
Trois études de cas complètes sur des données ouvertes. Des produits entre deux boutiques, des notices bibliographiques, et des personnes et des entreprises en double. Terminez-en au moins une pour obtenir le certificat. Chacune peut entrer dans votre portfolio.
Terminez au moins une étude de cas pour obtenir le certificat. Les autres sont facultatives. Ce que couvre chacune
Des projets réalistes du début à la fin, sur de vraies données, avec chaque résultat expliqué. Chacun devient une pièce de votre portfolio. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
Sur un banc d'essai ouvert d'appariement de produits avec une licence qui le permet : les méthodes de blocage, de chaînes, supervisées et par plongements, et un modèle de langage pour les paires incertaines; présenter la précision à un rappel fixe et le coût par millier de paires.
Sur des notices bibliographiques ouvertes avec une licence qui le permet : Splink contre un classificateur de paires; l'analyse des erreurs sur les titres, les listes d'auteurs et les lieux de publication.
Sur des enregistrements de personnes simulés avec une licence qui le permet et un registre ouvert d'entreprises : les règles, Splink et le regroupement en entités avec une fiche de référence.
Avis
Chargement des avis…
Vous avez suivi ce cours? Connectez-vous pour donner votre avis. Vous pouvez donner un avis après avoir terminé 25 % des leçons.