Aller au contenu
English

Trois listes, un seul client

  • Leçon 1
  • 25 min
  • Module 1 : Le problème de l'appariement

Où nous en sommes

Dans le cours de SQL, nous avons joint des tables sur une clé exactement identique. Les listes de clients réelles correspondent rarement exactement. Dans cette leçon, nous comptons les clients de Larkfield dans trois listes. Nous voyons aussi ce que chaque doublon coûte au magasin. Pensez d'abord à une clinique qui trouve trois dossiers pour une seule patiente.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Voyez pourquoi un magasin peut compter le même client deux ou trois fois, et ce que cela coûte. Apprenez ensuite les termes du problème pour pouvoir le mesurer dans la suite du cours.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 25 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Vous examinerez vous-même les mêmes enregistrements dans Découvrir les enregistrements, la dernière leçon de ce module.

Pensez à une petite clinique. Une femme s’y rend trois fois en dix ans. La première fois, la commis écrit « Valérie Tremblay ». Des années plus tard, une nouvelle commis écrit « TREMBLAY, VAL » et ne trouve pas l’ancien dossier. La troisième fois, elle donne un nouveau numéro de téléphone, et un troisième dossier est créé.

La clinique a maintenant trois dossiers pour une seule patiente. Chaque dossier contient une partie de son histoire. Un dossier contient son allergie, un autre sa nouvelle adresse, et un autre son dernier bilan sanguin. La clinique lui envoie trois lettres de rappel. Pire encore, un médecin qui ouvre un dossier ne voit pas l’allergie dans un autre.

Le problème de la clinique n’est pas un manque de données. Elle a trop de copies de la même personne, et personne ne voit qu’elles décrivent la même personne. Ce cours porte sur ce problème : comment décider, enregistrement par enregistrement, « est-ce la même chose? »

Larkfield est la boutique en ligne de produits pour la maison et le jardin que vous connaissez peut-être d’autres cours. En 2026, elle a acheté une chaîne de jardineries. Trois listes décrivent maintenant ses clients :

  1. Les comptes de la boutique : les personnes qui achètent en ligne. 31 128 enregistrements.
  2. Le programme de fidélité : les personnes qui accumulent des points. 17 037 enregistrements.
  3. La liste des jardineries : les personnes qui ont acheté dans une jardinerie. 11 943 enregistrements.

Une équipe différente a créé chaque liste, à une époque différente, avec des règles différentes. Personne n’avait prévu de les réunir un jour. Beaucoup de personnes figurent dans deux listes, et certaines dans les trois.

Chaque enregistrement de ce cours est synthétique. Notre code a créé les enregistrements à partir de 37 500 personnes inventées. Il a ensuite ajouté des erreurs réalistes : fautes de frappe, surnoms, anciennes adresses, courriels familiaux partagés et accents manquants. Nous savons à qui appartient réellement chaque enregistrement, ce qui permet de mesurer exactement chaque méthode. Les noms, les rues et les villes sont inventés. Les numéros de téléphone utilisent le préfixe 555, et les courriels utilisent des domaines réservés aux exemples.

TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique., le gestionnaire de produit, doit fournir un seul chiffre au conseil d’administration : combien de clients avons-nous? Il commence simplement et compte les lignes des trois listes. Cela donne 60 108.

Mais nous connaissons la vérité. Les 60 108 enregistrements appartiennent à 37 500 clients réels. Le nombre de lignes dépasse donc le nombre réel de 22 608. Cela représente 60,3 % de clients de plus que Larkfield n’en a réellement.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue., un ingénieur en IA, propose une solution rapide : « Joignez les listes sur l’adresse courriel. Même courriel, même client. » Il essaie avec les courriels exactement comme les personnes les ont saisis. Larkfield compte maintenant 50 367 clients. C’est mieux, mais il y en a encore 12 867 de trop.

Trois façons de compter les clients de Larkfield dans les enregistrements synthétiques. Compter les lignes donne 60 108; joindre sur le courriel tel que saisi donne 50 367; le nombre réel est 37 500.
Description textuelle du graphique

Un diagramme à colonnes avec trois colonnes, sur un axe allant de 0 à 65 000 clients. Compter chaque ligne des trois listes donne 60 108 clients. Joindre les enregistrements qui ont le même courriel, exactement comme saisi, donne 50 367 clients. Le nombre réel de clients est 37 500. La colonne du nombre réel est la plus basse : les deux méthodes comptent beaucoup trop de clients.

La jointure sur le courriel échoue de deux façons à la fois :

  • Elle manque des personnes. Hélène Thibault a saisi son courriel avec des majuscules dans une liste et sans majuscules dans une autre. D’autres clients utilisent une autre adresse courriel dans une autre liste. Leurs enregistrements restent séparés.
  • Elle joint des personnes différentes. Toute une famille peut partager un courriel, comme thegreens@example.com. La jointure regroupe toute la famille en un seul « client ».

Une jointure exacte ne suffit donc pas. Elle ne dit pas non plus à Omar quelles jointures sont erronées. Il vous faut une façon de décider si deux enregistrements décrivent la « même personne ou non ». Il vous faut aussi une façon de vérifier cette décision. Examinons d’abord une cliente.

Voici Valérie Tremblay, une cliente synthétique de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, telle que les trois listes la décrivent. Ce sont de vraies lignes des données du cours.

Trois fiches d'enregistrement côte à côte : compte de boutique S-009232, membre du programme de fidélité L-010072 et jardinerie G-000001. Chaque fiche contient six champs : nom, courriel, téléphone, adresse, code postal et date de naissance. Des cadres pointillés marquent les différences : la boutique écrit le téléphone +1 514 555 8296 et contient une faute de frappe dans le code postal, H6P 3H1 au lieu de H6P 3H7; la liste de fidélité n'a pas de colonne d'adresse et écrit la date de naissance 31/01/1975; la jardinerie écrit TREMBLAY, VAL en majuscules sans accent, place le code postal dans l'adresse et n'a pas de date de naissance. Des flèches relient les trois fiches à une fiche de référence, LK-G-000001, avec une valeur par champ et l'enregistrement d'origine de chaque valeur.
Une cliente synthétique dans trois listes. Les cadres pointillés indiquent les différences que l'apparieur doit reconnaître sans les confondre avec une autre personne. La fiche de référence en dessous prend une valeur par champ et garde son origine.
Description textuelle du diagramme

L’image montre trois fiches d’enregistrement pour Valérie Tremblay. Le compte de boutique S-009232 contient son nom complet, son courriel et le téléphone écrit +1 514 555 8296. Il contient aussi son adresse, le code postal H6P 3H1 et sa date de naissance, 1975-01-31. Le code postal contient une faute de frappe : le dernier chiffre devrait être 7. L’enregistrement de fidélité L-010072 contient le même nom et le même courriel, et le téléphone en dix chiffres. Il n’a pas de colonne d’adresse. Il contient le bon code postal H6P 3H7 et la date de naissance au format jour/mois/année : 31/01/1975. L’enregistrement de jardinerie G-000001 écrit le nom TREMBLAY, VAL : nom de famille d’abord, en majuscules, avec un prénom abrégé et sans accent. Sa ligne d’adresse inclut le code postal, et sa date de naissance est vide. Des flèches relient les trois fiches à une fiche de référence, LK-G-000001. Elle contient une valeur par champ. Le nom vient de la boutique. Le courriel, le téléphone et la date de naissance viennent de l’enregistrement de fidélité. L’adresse et le code postal viennent de la jardinerie.

Une personne voit immédiatement que ces trois enregistrements décrivent une seule femme. Un ordinateur voit six champs qui ne sont presque jamais égaux. Regardez les différences :

  • La même valeur, écrite autrement. +1 514 555 8296 et 5145558296 représentent un seul numéro de téléphone. 31/01/1975 et 1975-01-31 représentent une seule date.
  • Une erreur. Le code postal de la boutique, H6P 3H1, contient un caractère erroné.
  • Une valeur abrégée ou ancienne. « VAL » est l’abréviation de « Valérie ». L’ancien système de caisse des jardineries supprime les accents et écrit en majuscules.
  • Une valeur manquante. La liste de fidélité n’a pas de colonne d’adresse. La jardinerie n’a pas de date de naissance.

Aucune de ces différences ne signifie « une autre personne ». Mais d’autres petites différences le signifient. Marc Fortin et Marie Fortin ont presque le même nom, mais ce sont deux personnes. C’est pourquoi ce problème est difficile.

L’encadré au bas de l’image est une fiche de référence (golden record) : un enregistrement propre par client réel, construit à partir de tous ses enregistrements. Elle conserve une valeur par champ et garde l’enregistrement d’origine. Le projet la construit au module 7. Les trois enregistrements sources ne changent jamais, ce qui permet d’annuler une fusion erronée.

Le cours utilise quelques termes avec un sens précis. Ils viennent de l’image ci-dessus.

  • Une entité est la chose réelle que les enregistrements décrivent : une personne, une entreprise ou un produit. Valérie est une entité.
  • Un enregistrement est une ligne dans une liste qui décrit une entité. Valérie a trois enregistrements.
  • La résolution d’entités consiste à trouver quels enregistrements décrivent la même entité. C’est le nom du problème traité dans ce cours.
  • L’appariement d’enregistrements (record linkage) est la résolution d’entités entre plusieurs listes : quel compte de boutique correspond à quel membre du programme de fidélité?
  • Le dédoublonnage est la résolution d’entités dans une seule liste : quels comptes de boutique décrivent la même personne?

Larkfield a besoin des deux. Certaines personnes ont deux comptes de boutique. La plupart des personnes ayant plusieurs enregistrements figurent dans plusieurs listes. On utilise aussi « appariement » pour désigner l’ensemble, comme dans ce cours. La jointure du cours de SQL est l’appariement le plus simple : deux enregistrements correspondent seulement si une clé est exactement égale.

La plupart des clients sont faciles à traiter : ils ont un seul enregistrement. Les difficultés se trouvent chez les autres. Le graphique compte les clients réels selon leur nombre d’enregistrements.

Clients réels selon leur nombre d'enregistrements, dans les données synthétiques. 19 564 clients ont un enregistrement; 17 936 en ont de deux à cinq.
Description textuelle du graphique

Un diagramme à colonnes avec cinq colonnes. 19 564 clients ont un enregistrement. 13 644 clients ont deux enregistrements. 3 929 ont trois enregistrements. 346 ont quatre enregistrements. 17 ont cinq enregistrements. La première colonne est un peu plus haute que la deuxième, puis les colonnes diminuent rapidement.

Ainsi, 17 936 clients, soit environ la moitié, ont plus d’un enregistrement. Un apparieur travaille sur des paires d’enregistrements, car « même personne ou non » est une question concernant deux enregistrements. Un client avec deux enregistrements forme une vraie paire. Valérie a trois enregistrements, donc elle forme trois vraies paires : boutique–fidélité, boutique–jardinerie et fidélité–jardinerie. Un client avec cinq enregistrements forme dix paires.

Enregistrements d’un client Vraies paires par client Clients Vraies paires au total
2 1 13 644 13 644
3 3 3 929 11 787
4 6 346 2 076
5 10 17 170
Total 17 936 27 677

Les 27 677 vraies paires sont le corrigé de ce cours. Nous mesurons chaque méthode selon le nombre de vraies paires trouvées et de paires erronées ajoutées.

Omar pose la question importante pour l’entreprise : « Combien nous coûte un doublon? » Il y a trois réponses.

Valérie reçoit chaque courriel de marketing trois fois, une fois par enregistrement. Elle reçoit aussi trois catalogues imprimés. Elle peut penser que Larkfield manque de soin et se désabonner. Le cours utilise une hypothèse pour ce coût : 3 dollars par année pour chaque paire d’enregistrements qui devrait former un seul client, mais reste séparée. C’est notre choix pour les exercices, pas un prix mesuré.

Valérie accumule des points dans le programme de fidélité. Ses achats en jardinerie vont dans un autre enregistrement, donc ses points sont répartis entre deux comptes. Elle n’atteint jamais la prochaine récompense et appelle le service à la clientèle pour se plaindre. Les 3 dollars par année incluent aussi ce coût.

Certaines personnes utilisent volontairement des doublons. Un petit groupe ouvre de nombreux comptes avec de petites différences dans les noms et les adresses. Chaque compte utilise un rabais de première commande ou retourne des articles plusieurs fois. Chaque compte semble normal pris séparément. Le comportement n’apparaît que lorsque les comptes sont reliés.

Les données du cours ne contiennent aucun réseau de fraude. Nous décrivons ce coût, mais nous ne le mesurons pas. Il explique néanmoins pourquoi les équipes de lutte contre la fraude utilisent les méthodes d’appariement que vous apprenez ici.

Hana, la responsable du marchandisage, gère deux flux fournisseurs. Northfield Supply envoie 4 460 produits, et Copperleaf Wholesale en envoie 3 501. Les deux flux contiennent 2 750 produits communs, avec des titres différents :

Flux Produit Titre
Northfield NF-00001 Hearthside Cedar Raised Garden Bed, 4 ft, Sand
Copperleaf CL-01686 raised garden bed 1.2 m cedar sand - Hearthside

Un produit, deux titres : ordre des mots différent, majuscules différentes, et pieds plutôt que mètres. Le piège inverse existe aussi. « Larkfield Basics Metal Trellis, 6 ft, Natural » et le même titre avec « (Pack of 2) » désignent deux produits différents. Si Hana ne peut pas apparier les flux, elle ne peut pas comparer les prix des fournisseurs. Les flux fournisseurs sont aussi synthétiques.

Larkfield veut une seule liste de clients et une seule liste de produits, fondées sur des mesures plutôt que des impressions. Les fusions doivent être annulables, et une personne doit vérifier les cas où la méthode est incertaine. Six personnes travaillent sur ce projet dans le cours :

  • TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition., la scientifique des données, construit les mesures et compare les méthodes. Elle est votre guide principale.
  • Omar, le gestionnaire de produit, est responsable du nombre de clients et demande combien coûte chaque erreur.
  • TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours., la développeuse, est responsable de la tâche d’appariement : son exécution quotidienne, sa vitesse et l’annulation d’une fusion.
  • Tomás, l’ingénieur en IA, propose des idées rapides. Certaines sont des erreurs courantes, et le cours les teste.
  • Hana, la responsable du marchandisage, gère les flux fournisseurs : formats, unités et deux noms pour un seul produit.
  • Ivana, la responsable des données clients, gère les fiches de référence et la file de révision. Le cours suppose qu’elle peut vérifier 300 paires par jour.

Le cours compare de nombreuses méthodes sur les mêmes enregistrements. Elles vont des clés exactes et des règles aux classificateurs entraînés, aux plongements et au modèle de langage pour les paires incertaines. Chaque méthode reçoit le même test et les mêmes mesures, dans un seul tableau comparatif.

Erreur courante

Joindre sur le courriel et considérer le problème comme réglé

Symptôme : Tomás joint les trois listes sur l’adresse courriel. Le nombre passe de 60 108 à 50 367. « Problème réglé », dit-il, et l’équipe de marketing utilise la nouvelle liste.

Cause : la jointure trouve seulement les personnes qui ont saisi exactement le même courriel dans chaque liste. Elle compte encore 12 867 clients de trop. Elle joint aussi des personnes différentes qui partagent un courriel familial. Certaines reçoivent maintenant du courrier destiné à un frère ou à une mère. Personne n’a vérifié quelles jointures étaient correctes, car personne n’a comparé le résultat à la vérité.

Solution : mesurez un apparieur avant de lui faire confiance. Comptez les paires qu’il joint correctement, celles qu’il joint à tort et les vraies paires qu’il manque. La prochaine leçon nomme ces deux erreurs et attribue un prix à chacune.

Conséquence dans le travail en IA : « le nombre a diminué » n’est pas une mesure. Un apparieur peut améliorer le nombre en apparence tout en fusionnant des personnes différentes.

Les enregistrements de Larkfield sont synthétiques, donc nous connaissons toutes les réponses. Le travail réel présente d’autres données et d’autres pièges. Le cours se termine donc par trois études de cas sur des données publiques réelles. Chacune part des fichiers bruts d’un jeu de données pour aboutir à une recommandation.

Études de cas de ce cours

À la fin du cours, vous appliquez ce que vous avez appris à un projet réaliste, des données jusqu’à la recommandation. Terminez-en au moins une pour obtenir le certificat; les autres sont facultatives.

  • Apparier des produits entre deux boutiquesSur un banc d'essai ouvert d'appariement de produits avec une licence qui le permet : les méthodes de blocage, de chaînes, supervisées et par plongements, et un modèle de langage pour les paires incertaines; présenter la précision à un rappel fixe et le coût par millier de paires.
  • Relier des notices bibliographiquesSur des notices bibliographiques ouvertes avec une licence qui le permet : Splink contre un classificateur de paires; l'analyse des erreurs sur les titres, les listes d'auteurs et les lieux de publication.
  • Trouver des personnes et des entreprises en doubleSur des enregistrements de personnes simulés avec une licence qui le permet et un registre ouvert d'entreprises : les règles, Splink et le regroupement en entités avec une fiche de référence.

Lisez la liste comme un aperçu de la suite du cours. Les études de cas utilisent tout le cours, donc la plupart des apprenants les commencent après le module 8.

Vérifiez votre compréhension

Les listes de Larkfield comptent 60 108 enregistrements et 37 500 vrais clients. De combien le décompte des lignes dépasse-t-il le nombre réel de clients? Pourquoi une jointure sur le courriel tel que saisi ne règle-t-elle pas le problème?

Afficher la réponse

Le décompte des lignes dépasse le nombre réel de 22 608 : 60 108 / 37 500 = 1,603. Il compte donc 60,3 % plus de clients qu’il y en a. La jointure sur le courriel donne 50 367, soit encore 12 867 de trop. Elle manque les personnes qui ont saisi leur courriel autrement dans une autre liste, avec des majuscules ou une autre adresse. Et elle associe des personnes différentes qui partagent un courriel familial. Elle fait donc les deux types d’erreurs à la fois.

Vérifiez votre compréhension

Utilisez les mots entité, enregistrement, appariement d'enregistrements et dédoublonnage pour décrire le cas de Valérie Tremblay. Décrivez aussi celui d'un client avec deux comptes de magasin.

Afficher la réponse

Valérie est une entité : une personne réelle. Elle a trois enregistrements, un dans chaque liste. Trouver que le compte du magasin, l’enregistrement de fidélité et celui de la jardinerie vont ensemble, c’est l’appariement d’enregistrements. Il s’agit d’un travail entre plusieurs listes. Un client avec deux comptes de magasin a deux enregistrements dans une seule liste. Les repérer, c’est le dédoublonnage. Les deux relèvent de la résolution d’entités.

Vérifiez votre compréhension

Une cliente a quatre enregistrements. Combien de vraies paires cela forme-t-il, et pourquoi un apparieur compte-t-il les paires?

Afficher la réponse

Quatre enregistrements forment 6 paires : chaque enregistrement s’apparie avec les 3 autres, et chaque paire est comptée une fois. Donc, 4 × 3 / 2 = 6. Un apparieur compte les paires parce que sa question de base, « la même entité ou non », concerne deux enregistrements. Les 27 677 vraies paires des données du cours constituent le corrigé. Nous évaluons une méthode selon le nombre de vraies paires qu’elle trouve et le nombre de mauvaises paires qu’elle ajoute.

Récapitulatif

  • Les trois listes de Larkfield contiennent 60 108 enregistrements synthétiques de 37 500 vrais clients. Compter les lignes surestime leur nombre de 60,3 %. Une jointure sur le courriel tel que saisi en compte encore 50 367.
  • Un même client peut sembler très différent dans trois listes : formats différents, erreurs, noms abrégés, valeurs manquantes. De petites différences peuvent aussi indiquer deux personnes différentes.
  • Une entité est la chose réelle. Un enregistrement est une ligne à son sujet. La résolution d’entités trouve les enregistrements d’une même entité : appariement d’enregistrements entre listes, dédoublonnage dans une seule liste.
  • 17 936 clients ont plus d’un enregistrement, ce qui forme 27 677 vraies paires : le corrigé.
  • Les doublons entraînent des coûts : courriels et catalogues en double, points de fidélité répartis entre comptes et fraude cachée. Les flux fournisseurs présentent le même problème avec les titres des produits.

Vous pouvez maintenant décrire le problème d’appariement et expliquer pourquoi une jointure exacte ne le résout pas. Mais un apparieur peut se tromper de deux façons différentes, et elles n’ont pas le même coût. Ensuite, vous nommerez les deux erreurs et attribuerez un coût à chacune.

Leçon suivante : Fusions erronées et correspondances manquées