Trois listes, un seul client
- Leçon 1
- 25 min
- Module 1 : Le problème de l'appariement
Où nous en sommes
Dans le cours de SQL, nous avons joint des tables sur une clé exactement identique. Les listes de clients réelles correspondent rarement exactement. Dans cette leçon, nous comptons les clients de Larkfield dans trois listes. Nous voyons aussi ce que chaque doublon coûte au magasin. Pensez d'abord à une clinique qui trouve trois dossiers pour une seule patiente.
Leçon 1 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Trois listes, un seul client
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Voyez pourquoi un magasin peut compter le même client deux ou trois fois, et ce que cela coûte. Apprenez ensuite les termes du problème pour pouvoir le mesurer dans la suite du cours.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Ce que sont une table, une ligne et une jointure, dans SQL et préparation des données pour l’IA, par exemple Joindre des tables.
- Rien d’autre. Cette leçon ne contient pas de code.
Ce qu’il vous faut sur votre ordinateur
Rien. Vous examinerez vous-même les mêmes enregistrements dans Découvrir les enregistrements, la dernière leçon de ce module.
Une patiente, trois dossiers
Section intitulée « Une patiente, trois dossiers »Pensez à une petite clinique. Une femme s’y rend trois fois en dix ans. La première fois, la commis écrit « Valérie Tremblay ». Des années plus tard, une nouvelle commis écrit « TREMBLAY, VAL » et ne trouve pas l’ancien dossier. La troisième fois, elle donne un nouveau numéro de téléphone, et un troisième dossier est créé.
La clinique a maintenant trois dossiers pour une seule patiente. Chaque dossier contient une partie de son histoire. Un dossier contient son allergie, un autre sa nouvelle adresse, et un autre son dernier bilan sanguin. La clinique lui envoie trois lettres de rappel. Pire encore, un médecin qui ouvre un dossier ne voit pas l’allergie dans un autre.
Le problème de la clinique n’est pas un manque de données. Elle a trop de copies de la même personne, et personne ne voit qu’elles décrivent la même personne. Ce cours porte sur ce problème : comment décider, enregistrement par enregistrement, « est-ce la même chose? »
Les trois listes de Larkfield
Section intitulée « Les trois listes de Larkfield »Larkfield est la boutique en ligne de produits pour la maison et le jardin que vous connaissez peut-être d’autres cours. En 2026, elle a acheté une chaîne de jardineries. Trois listes décrivent maintenant ses clients :
- Les comptes de la boutique : les personnes qui achètent en ligne. 31 128 enregistrements.
- Le programme de fidélité : les personnes qui accumulent des points. 17 037 enregistrements.
- La liste des jardineries : les personnes qui ont acheté dans une jardinerie. 11 943 enregistrements.
Une équipe différente a créé chaque liste, à une époque différente, avec des règles différentes. Personne n’avait prévu de les réunir un jour. Beaucoup de personnes figurent dans deux listes, et certaines dans les trois.
Chaque enregistrement de ce cours est synthétique. Notre code a créé les enregistrements à partir de 37 500 personnes inventées. Il a ensuite ajouté des erreurs réalistes : fautes de frappe, surnoms, anciennes adresses, courriels familiaux partagés et accents manquants. Nous savons à qui appartient réellement chaque enregistrement, ce qui permet de mesurer exactement chaque méthode. Les noms, les rues et les villes sont inventés. Les numéros de téléphone utilisent le préfixe 555, et les courriels utilisent des domaines réservés aux exemples.
Combien de clients Larkfield a-t-elle?
Section intitulée « Combien de clients Larkfield a-t-elle? »TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., le gestionnaire de produit, doit fournir un seul chiffre au conseil d’administration : combien de clients avons-nous? Il commence simplement et compte les lignes des trois listes. Cela donne 60 108.
Mais nous connaissons la vérité. Les 60 108 enregistrements appartiennent à 37 500 clients réels. Le nombre de lignes dépasse donc le nombre réel de 22 608. Cela représente 60,3 % de clients de plus que Larkfield n’en a réellement.
TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., un ingénieur en IA, propose une solution rapide : « Joignez les listes sur l’adresse courriel. Même courriel, même client. » Il essaie avec les courriels exactement comme les personnes les ont saisis. Larkfield compte maintenant 50 367 clients. C’est mieux, mais il y en a encore 12 867 de trop.
Description textuelle du graphique
Un diagramme à colonnes avec trois colonnes, sur un axe allant de 0 à 65 000 clients. Compter chaque ligne des trois listes donne 60 108 clients. Joindre les enregistrements qui ont le même courriel, exactement comme saisi, donne 50 367 clients. Le nombre réel de clients est 37 500. La colonne du nombre réel est la plus basse : les deux méthodes comptent beaucoup trop de clients.
La jointure sur le courriel échoue de deux façons à la fois :
- Elle manque des personnes. Hélène Thibault a saisi son courriel avec des majuscules dans une liste et sans majuscules dans une autre. D’autres clients utilisent une autre adresse courriel dans une autre liste. Leurs enregistrements restent séparés.
- Elle joint des personnes différentes. Toute une famille peut partager un courriel, comme
thegreens@example.com. La jointure regroupe toute la famille en un seul « client ».
Une jointure exacte ne suffit donc pas. Elle ne dit pas non plus à Omar quelles jointures sont erronées. Il vous faut une façon de décider si deux enregistrements décrivent la « même personne ou non ». Il vous faut aussi une façon de vérifier cette décision. Examinons d’abord une cliente.
Une cliente, trois enregistrements
Section intitulée « Une cliente, trois enregistrements »Voici Valérie Tremblay, une cliente synthétique de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, telle que les trois listes la décrivent. Ce sont de vraies lignes des données du cours.
Description textuelle du diagramme
L’image montre trois fiches d’enregistrement pour Valérie Tremblay. Le compte de boutique S-009232 contient son nom complet, son courriel et le téléphone écrit +1 514 555 8296. Il contient aussi son adresse, le code postal H6P 3H1 et sa date de naissance, 1975-01-31. Le code postal contient une faute de frappe : le dernier chiffre devrait être 7. L’enregistrement de fidélité L-010072 contient le même nom et le même courriel, et le téléphone en dix chiffres. Il n’a pas de colonne d’adresse. Il contient le bon code postal H6P 3H7 et la date de naissance au format jour/mois/année : 31/01/1975. L’enregistrement de jardinerie G-000001 écrit le nom TREMBLAY, VAL : nom de famille d’abord, en majuscules, avec un prénom abrégé et sans accent. Sa ligne d’adresse inclut le code postal, et sa date de naissance est vide. Des flèches relient les trois fiches à une fiche de référence, LK-G-000001. Elle contient une valeur par champ. Le nom vient de la boutique. Le courriel, le téléphone et la date de naissance viennent de l’enregistrement de fidélité. L’adresse et le code postal viennent de la jardinerie.
Une personne voit immédiatement que ces trois enregistrements décrivent une seule femme. Un ordinateur voit six champs qui ne sont presque jamais égaux. Regardez les différences :
- La même valeur, écrite autrement.
+1 514 555 8296et5145558296représentent un seul numéro de téléphone.31/01/1975et1975-01-31représentent une seule date. - Une erreur. Le code postal de la boutique,
H6P 3H1, contient un caractère erroné. - Une valeur abrégée ou ancienne. « VAL » est l’abréviation de « Valérie ». L’ancien système de caisse des jardineries supprime les accents et écrit en majuscules.
- Une valeur manquante. La liste de fidélité n’a pas de colonne d’adresse. La jardinerie n’a pas de date de naissance.
Aucune de ces différences ne signifie « une autre personne ». Mais d’autres petites différences le signifient. Marc Fortin et Marie Fortin ont presque le même nom, mais ce sont deux personnes. C’est pourquoi ce problème est difficile.
La fiche de référence
Section intitulée « La fiche de référence »L’encadré au bas de l’image est une fiche de référence (golden record) : un enregistrement propre par client réel, construit à partir de tous ses enregistrements. Elle conserve une valeur par champ et garde l’enregistrement d’origine. Le projet la construit au module 7. Les trois enregistrements sources ne changent jamais, ce qui permet d’annuler une fusion erronée.
Les termes de ce problème
Section intitulée « Les termes de ce problème »Le cours utilise quelques termes avec un sens précis. Ils viennent de l’image ci-dessus.
- Une entité est la chose réelle que les enregistrements décrivent : une personne, une entreprise ou un produit. Valérie est une entité.
- Un enregistrement est une ligne dans une liste qui décrit une entité. Valérie a trois enregistrements.
- La résolution d’entités consiste à trouver quels enregistrements décrivent la même entité. C’est le nom du problème traité dans ce cours.
- L’appariement d’enregistrements (record linkage) est la résolution d’entités entre plusieurs listes : quel compte de boutique correspond à quel membre du programme de fidélité?
- Le dédoublonnage est la résolution d’entités dans une seule liste : quels comptes de boutique décrivent la même personne?
Larkfield a besoin des deux. Certaines personnes ont deux comptes de boutique. La plupart des personnes ayant plusieurs enregistrements figurent dans plusieurs listes. On utilise aussi « appariement » pour désigner l’ensemble, comme dans ce cours. La jointure du cours de SQL est l’appariement le plus simple : deux enregistrements correspondent seulement si une clé est exactement égale.
Combien d’enregistrements chaque client possède
Section intitulée « Combien d’enregistrements chaque client possède »La plupart des clients sont faciles à traiter : ils ont un seul enregistrement. Les difficultés se trouvent chez les autres. Le graphique compte les clients réels selon leur nombre d’enregistrements.
Description textuelle du graphique
Un diagramme à colonnes avec cinq colonnes. 19 564 clients ont un enregistrement. 13 644 clients ont deux enregistrements. 3 929 ont trois enregistrements. 346 ont quatre enregistrements. 17 ont cinq enregistrements. La première colonne est un peu plus haute que la deuxième, puis les colonnes diminuent rapidement.
Ainsi, 17 936 clients, soit environ la moitié, ont plus d’un enregistrement. Un apparieur travaille sur des paires d’enregistrements, car « même personne ou non » est une question concernant deux enregistrements. Un client avec deux enregistrements forme une vraie paire. Valérie a trois enregistrements, donc elle forme trois vraies paires : boutique–fidélité, boutique–jardinerie et fidélité–jardinerie. Un client avec cinq enregistrements forme dix paires.
| Enregistrements d’un client | Vraies paires par client | Clients | Vraies paires au total |
|---|---|---|---|
| 2 | 1 | 13 644 | 13 644 |
| 3 | 3 | 3 929 | 11 787 |
| 4 | 6 | 346 | 2 076 |
| 5 | 10 | 17 | 170 |
| Total | 17 936 | 27 677 |
Les 27 677 vraies paires sont le corrigé de ce cours. Nous mesurons chaque méthode selon le nombre de vraies paires trouvées et de paires erronées ajoutées.
Ce que les doublons coûtent à Larkfield
Section intitulée « Ce que les doublons coûtent à Larkfield »Omar pose la question importante pour l’entreprise : « Combien nous coûte un doublon? » Il y a trois réponses.
Courriels et catalogues en double
Section intitulée « Courriels et catalogues en double »Valérie reçoit chaque courriel de marketing trois fois, une fois par enregistrement. Elle reçoit aussi trois catalogues imprimés. Elle peut penser que Larkfield manque de soin et se désabonner. Le cours utilise une hypothèse pour ce coût : 3 dollars par année pour chaque paire d’enregistrements qui devrait former un seul client, mais reste séparée. C’est notre choix pour les exercices, pas un prix mesuré.
Points de fidélité erronés
Section intitulée « Points de fidélité erronés »Valérie accumule des points dans le programme de fidélité. Ses achats en jardinerie vont dans un autre enregistrement, donc ses points sont répartis entre deux comptes. Elle n’atteint jamais la prochaine récompense et appelle le service à la clientèle pour se plaindre. Les 3 dollars par année incluent aussi ce coût.
Un réseau de fraude caché dans plusieurs comptes
Section intitulée « Un réseau de fraude caché dans plusieurs comptes »Certaines personnes utilisent volontairement des doublons. Un petit groupe ouvre de nombreux comptes avec de petites différences dans les noms et les adresses. Chaque compte utilise un rabais de première commande ou retourne des articles plusieurs fois. Chaque compte semble normal pris séparément. Le comportement n’apparaît que lorsque les comptes sont reliés.
Les données du cours ne contiennent aucun réseau de fraude. Nous décrivons ce coût, mais nous ne le mesurons pas. Il explique néanmoins pourquoi les équipes de lutte contre la fraude utilisent les méthodes d’appariement que vous apprenez ici.
Les produits ont le même problème
Section intitulée « Les produits ont le même problème »Hana, la responsable du marchandisage, gère deux flux fournisseurs. Northfield Supply envoie 4 460 produits, et Copperleaf Wholesale en envoie 3 501. Les deux flux contiennent 2 750 produits communs, avec des titres différents :
| Flux | Produit | Titre |
|---|---|---|
| Northfield | NF-00001 | Hearthside Cedar Raised Garden Bed, 4 ft, Sand |
| Copperleaf | CL-01686 | raised garden bed 1.2 m cedar sand - Hearthside |
Un produit, deux titres : ordre des mots différent, majuscules différentes, et pieds plutôt que mètres. Le piège inverse existe aussi. « Larkfield Basics Metal Trellis, 6 ft, Natural » et le même titre avec « (Pack of 2) » désignent deux produits différents. Si Hana ne peut pas apparier les flux, elle ne peut pas comparer les prix des fournisseurs. Les flux fournisseurs sont aussi synthétiques.
Ce que Larkfield veut
Section intitulée « Ce que Larkfield veut »Larkfield veut une seule liste de clients et une seule liste de produits, fondées sur des mesures plutôt que des impressions. Les fusions doivent être annulables, et une personne doit vérifier les cas où la méthode est incertaine. Six personnes travaillent sur ce projet dans le cours :
- TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition., la scientifique des données, construit les mesures et compare les méthodes. Elle est votre guide principale.
- Omar, le gestionnaire de produit, est responsable du nombre de clients et demande combien coûte chaque erreur.
- TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours., la développeuse, est responsable de la tâche d’appariement : son exécution quotidienne, sa vitesse et l’annulation d’une fusion.
- Tomás, l’ingénieur en IA, propose des idées rapides. Certaines sont des erreurs courantes, et le cours les teste.
- Hana, la responsable du marchandisage, gère les flux fournisseurs : formats, unités et deux noms pour un seul produit.
- Ivana, la responsable des données clients, gère les fiches de référence et la file de révision. Le cours suppose qu’elle peut vérifier 300 paires par jour.
Le cours compare de nombreuses méthodes sur les mêmes enregistrements. Elles vont des clés exactes et des règles aux classificateurs entraînés, aux plongements et au modèle de langage pour les paires incertaines. Chaque méthode reçoit le même test et les mêmes mesures, dans un seul tableau comparatif.
Erreur courante
Joindre sur le courriel et considérer le problème comme réglé
Symptôme : Tomás joint les trois listes sur l’adresse courriel. Le nombre passe de 60 108 à 50 367. « Problème réglé », dit-il, et l’équipe de marketing utilise la nouvelle liste.
Cause : la jointure trouve seulement les personnes qui ont saisi exactement le même courriel dans chaque liste. Elle compte encore 12 867 clients de trop. Elle joint aussi des personnes différentes qui partagent un courriel familial. Certaines reçoivent maintenant du courrier destiné à un frère ou à une mère. Personne n’a vérifié quelles jointures étaient correctes, car personne n’a comparé le résultat à la vérité.
Solution : mesurez un apparieur avant de lui faire confiance. Comptez les paires qu’il joint correctement, celles qu’il joint à tort et les vraies paires qu’il manque. La prochaine leçon nomme ces deux erreurs et attribue un prix à chacune.
Conséquence dans le travail en IA : « le nombre a diminué » n’est pas une mesure. Un apparieur peut améliorer le nombre en apparence tout en fusionnant des personnes différentes.
Les études de cas à la fin du cours
Section intitulée « Les études de cas à la fin du cours »Les enregistrements de Larkfield sont synthétiques, donc nous connaissons toutes les réponses. Le travail réel présente d’autres données et d’autres pièges. Le cours se termine donc par trois études de cas sur des données publiques réelles. Chacune part des fichiers bruts d’un jeu de données pour aboutir à une recommandation.
Études de cas de ce cours
À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.
- Apparier des produits entre deux boutiquesSur un banc d'essai ouvert d'appariement de produits avec une licence qui le permet : les méthodes de blocage, de chaînes, supervisées et par plongements, et un modèle de langage pour les paires incertaines; présenter la précision à un rappel fixe et le coût par millier de paires.
- Relier des notices bibliographiquesSur des notices bibliographiques ouvertes avec une licence qui le permet : Splink contre un classificateur de paires; l'analyse des erreurs sur les titres, les listes d'auteurs et les lieux de publication.
- Trouver des personnes et des entreprises en doubleSur des enregistrements de personnes simulés avec une licence qui le permet et un registre ouvert d'entreprises : les règles, Splink et le regroupement en entités avec une fiche de référence.
Lisez la liste comme un aperçu de la suite du cours. Les études de cas utilisent tout le cours, donc la plupart des apprenants les commencent après le module 8.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Les listes de Larkfield comptent 60 108 enregistrements et 37 500 vrais clients. De combien le décompte des lignes dépasse-t-il le nombre réel de clients? Pourquoi une jointure sur le courriel tel que saisi ne règle-t-elle pas le problème?
Afficher la réponse
Le décompte des lignes dépasse le nombre réel de 22 608 : 60 108 / 37 500 = 1,603. Il compte donc 60,3 % plus de clients qu’il y en a. La jointure sur le courriel donne 50 367, soit encore 12 867 de trop. Elle manque les personnes qui ont saisi leur courriel autrement dans une autre liste, avec des majuscules ou une autre adresse. Et elle associe des personnes différentes qui partagent un courriel familial. Elle fait donc les deux types d’erreurs à la fois.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Utilisez les mots entité, enregistrement, appariement d'enregistrements et dédoublonnage pour décrire le cas de Valérie Tremblay. Décrivez aussi celui d'un client avec deux comptes de magasin.
Afficher la réponse
Valérie est une entité : une personne réelle. Elle a trois enregistrements, un dans chaque liste. Trouver que le compte du magasin, l’enregistrement de fidélité et celui de la jardinerie vont ensemble, c’est l’appariement d’enregistrements. Il s’agit d’un travail entre plusieurs listes. Un client avec deux comptes de magasin a deux enregistrements dans une seule liste. Les repérer, c’est le dédoublonnage. Les deux relèvent de la résolution d’entités.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une cliente a quatre enregistrements. Combien de vraies paires cela forme-t-il, et pourquoi un apparieur compte-t-il les paires?
Afficher la réponse
Quatre enregistrements forment 6 paires : chaque enregistrement s’apparie avec les 3 autres, et chaque paire est comptée une fois. Donc, 4 × 3 / 2 = 6. Un apparieur compte les paires parce que sa question de base, « la même entité ou non », concerne deux enregistrements. Les 27 677 vraies paires des données du cours constituent le corrigé. Nous évaluons une méthode selon le nombre de vraies paires qu’elle trouve et le nombre de mauvaises paires qu’elle ajoute.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les trois listes de Larkfield contiennent 60 108 enregistrements synthétiques de 37 500 vrais clients. Compter les lignes surestime leur nombre de 60,3 %. Une jointure sur le courriel tel que saisi en compte encore 50 367.
- Un même client peut sembler très différent dans trois listes : formats différents, erreurs, noms abrégés, valeurs manquantes. De petites différences peuvent aussi indiquer deux personnes différentes.
- Une entité est la chose réelle. Un enregistrement est une ligne à son sujet. La résolution d’entités trouve les enregistrements d’une même entité : appariement d’enregistrements entre listes, dédoublonnage dans une seule liste.
- 17 936 clients ont plus d’un enregistrement, ce qui forme 27 677 vraies paires : le corrigé.
- Les doublons entraînent des coûts : courriels et catalogues en double, points de fidélité répartis entre comptes et fraude cachée. Les flux fournisseurs présentent le même problème avec les titres des produits.
Vous pouvez maintenant décrire le problème d’appariement et expliquer pourquoi une jointure exacte ne le résout pas. Mais un apparieur peut se tromper de deux façons différentes, et elles n’ont pas le même coût. Ensuite, vous nommerez les deux erreurs et attribuerez un coût à chacune.
Leçon suivante : Fusions erronées et correspondances manquées