Aller au contenu
English

La fiche de référence

  • Leçon 24
  • 40 min
  • Module 7 : Des paires aux entités

Où nous en sommes

Nous avons maintenant des entités fiables. Chaque entité a encore plusieurs enregistrements sources avec des valeurs différentes. Dans cette leçon, nous construisons une fiche de référence avec des règles de fusion par champ. Nous conservons l'historique et annulons une fusion.

Ce que vous saurez faire

Donnez à chaque entité une fiche de référence (golden record) : la meilleure valeur pour chaque champ, avec l’enregistrement d’origine. Choisissez une règle de fusion pour chaque champ. Gardez les enregistrements sources inchangés et consignez chaque changement dans un historique pour pouvoir annuler une fusion erronée.

Carnet JupyterConstruire des fiches de référence dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter regroupe de façon sûre les paires issues des règles du module 2. Il construit ensuite une fiche de référence pour chaque entité ayant plusieurs enregistrements. Vous écrivez la règle « la valeur la plus récente gagne ». Ensuite, vous comptez quelle source gagne pour chaque champ et vous annulez une fusion. Ses cellules de préparation téléchargent les données. Il ne nécessite donc aucune préparation locale.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers du module 7. Vous pouvez aussi utiliser seulement le carnet.

Une bibliothèque a trois fiches pour un même livre. Une fiche a le titre complet, mais une ancienne cote de rangement. Une autre a la nouvelle cote, mais un titre court. La troisième contient une faute dans le nom de l’auteur.

La bibliothécaire écrit une nouvelle fiche pour le catalogue. Pour chaque ligne, elle choisit la meilleure source. Le titre vient de la fiche avec le titre complet. La cote vient de la fiche la plus récente, parce que les livres changent de place. Le nom de l’auteur vient des deux fiches qui concordent.

Elle ne jette pas les anciennes fiches. Elle les range dans un tiroir derrière la nouvelle fiche, avec une note : « créée à partir de ces trois fiches ». Si un lecteur dit plus tard « La troisième fiche concerne un autre livre », elle peut la retirer.

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a besoin de la même chose pour chaque client.

Voici Valérie Tremblay, la cliente que nous avons rencontrée au module 1. Après le regroupement sûr, ses trois enregistrements forment une seule entité, {ex.entity_id}. Mais ils ne concordent pas :

EnregistrementSourceNom saisiTéléphone saisiCode postalDate de naissance
S-009232shopValérie Tremblay+1 514 555 8296H6P 3H11975-01-31
L-010072loyaltyValérie Tremblay5145558296H6P 3H731/01/1975
G-000001gardenTREMBLAY, VAL5145558296(dans l'adresse)(vide)

TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut lui envoyer un seul courriel. Ivana veut imprimer une seule étiquette d’adresse. Quels nom, téléphone et code postal doivent-ils utiliser? Le code postal de la boutique, H6P 3H1, contient une faute de frappe. Le nom de la jardinerie est abrégé et sans accent. L’enregistrement du programme de fidélité n’a pas d’adresse municipale.

Choisir un enregistrement entier ne fonctionne pas. Chaque enregistrement est le meilleur pour certains champs et le pire pour d’autres.

Une fiche de référence est un enregistrement par entité, construit à partir de tous ses enregistrements. On l’appelle aussi « enregistrement maître », « meilleur enregistrement » ou « vue client unique ». Elle contient une valeur pour chaque champ et indique l’enregistrement d’origine de chaque valeur.

Une règle de fusion décide quelle valeur gagne pour un champ. Les responsables des données les appellent aussi règles de survie (survivorship) : elles décident quelle valeur survit. Quatre types de règles sont courants :

  • La plus récente : la valeur de l’enregistrement le plus récent. Utile pour ce qui change : un courriel, un téléphone, une adresse.
  • La plus fréquente : la valeur sur laquelle le plus d’enregistrements concordent. Utile pour ce qui ne change jamais, lorsqu’une valeur différente vient d’une faute de frappe : une date de naissance.
  • La plus complète : la valeur la plus longue ou la plus détaillée. Utile pour un nom avec un deuxième prénom ou une adresse avec un numéro d’appartement. Attention : une valeur plus longue n’est pas toujours correcte.
  • La source la plus fiable : la valeur de la source dont la saisie des données est la meilleure. Utile lorsqu’une source vérifie ses données, par exemple un formulaire qui confirme le courriel.

On peut combiner les règles : « la plus fréquente; en cas d’égalité, la source la plus fiable ».

Le projet utilise ces règles. Ce sont nos choix, écrits dans golden.py :

Champ Règle de fusion Pourquoi
nom le nom complet le plus fréquent; en cas d’égalité, la source la plus fiable (boutique, programme de fidélité, jardineries) les noms sont saisis de plusieurs façons, et le formulaire de la boutique est le plus rigoureux
courriel, téléphone l’enregistrement le plus récent qui en contient un les gens les changent, donc le plus récent a le plus de chances de fonctionner
adresse et code postal l’enregistrement le plus récent avec une adresse municipale; sinon, le code postal le plus récent les gens déménagent
date de naissance la plus fréquente (une inversion du jour et du mois compte comme la même date) elle ne change jamais

« La plus récente » utilise la date de création de l’enregistrement. C’est la date d’ouverture du compte de boutique, d’adhésion au programme de fidélité ou de première visite dans une jardinerie.

Un tableau pour la fiche de référence LK-G-000001. Colonnes : le champ, les trois enregistrements sources du plus récent au plus ancien, la règle de fusion et la valeur retenue. Nom : valerie tremblay, de S-009232, selon le nom le plus fréquent. Courriel : tremblay.valerie88@example.net, de L-010072, l'enregistrement le plus récent qui en contient un. Téléphone : 5145558296, de L-010072. Adresse : 6760 rue des herons, st eloi du lac QC, H6P3H7, de G-000001, l'enregistrement le plus récent avec une adresse municipale. Date de naissance : 1975-01-31, de L-010072, la plus fréquente. La valeur retenue de chaque ligne est en vert.
La fiche de référence LK-G-000001 de Valérie Tremblay, construite champ par champ à partir de ses trois enregistrements synthétiques. Valeurs après le nettoyage du module 2. La valeur retenue de chaque champ est en vert.
Description textuelle du diagramme

L’image est un tableau avec une ligne par champ. Ses colonnes montrent le champ, les trois enregistrements sources du plus récent au plus ancien, la règle de fusion et la valeur retenue. L’enregistrement du programme de fidélité L-010072 est le plus récent. Celui de la jardinerie G-000001 vient ensuite. Celui de la boutique S-009232 est le plus ancien. Nom : les enregistrements de la boutique et du programme de fidélité indiquent « valerie tremblay », et la jardinerie indique « val tremblay ». Le nom le plus fréquent gagne. La boutique et le programme de fidélité sont à égalité. La boutique est la source la plus fiable, donc le nom vient de S-009232. Courriel : les trois sont identiques; l’enregistrement le plus récent, L-010072, le fournit. Téléphone : les trois sont 5145558296 après nettoyage; il vient de L-010072. Adresse : l’enregistrement du programme de fidélité n’a pas d’adresse municipale. L’enregistrement le plus récent qui en contient une, celui de la jardinerie G-000001, fournit « 6760 rue des herons, st eloi du lac QC » et le code postal H6P3H7. Date de naissance : deux enregistrements indiquent 1975-01-31 et celui de la jardinerie n’en contient aucune; elle vient de L-010072.

Regardez la ligne de l’adresse. Le code postal de la boutique contient une faute de frappe. La règle n’avait pas besoin de le savoir. L’enregistrement de la jardinerie est plus récent et contient une adresse municipale. Il gagne donc, et son code postal est correct. Une règle ne trouve pas la vérité. Elle choisit une valeur pour une raison que vous pouvez expliquer. Parfois, cette raison mène à une mauvaise valeur.

La fiche de référence est une nouvelle ligne. Les trois enregistrements sources ne changent jamais. C’est important pour trois raisons :

  • Annulation. Si la fusion était erronée, vous pouvez retirer un enregistrement et reconstruire la fiche de référence.
  • Audit. Vous pouvez répondre à « D’où vient ce numéro de téléphone? » avec un identifiant d’enregistrement.
  • Nouvelles règles. Si vous changez une règle de fusion, vous reconstruisez chaque fiche de référence à partir des sources.

Chaque fusion, scission et suppression est consignée dans un historique : un fichier avec une ligne par événement. Le projet l’écrit dans outputs/history.jsonl, au format JSON Lines : un objet JSON par ligne.

Chaque entité a besoin d’un identifiant que d’autres systèmes peuvent conserver : courriels, programme de fidélité, équipe de lutte contre la fraude. Le projet nomme une nouvelle entité avec LK- suivi de son plus petit identifiant d’enregistrement. Valérie est donc {ex.entity_id}. Quand le projet reconstruit les entités, un enregistrement garde son ancien identifiant d’entité. Un identifiant ne change donc pas simplement parce que nous avons exécuté la tâche à nouveau. Le module 8 en a besoin lorsque de nouveaux enregistrements arrivent chaque jour.

Fenêtre de terminal
match golden
38,908 entities from 60,108 records (16,513 with more than one record); 0 with two dates of birth
Saved outputs/entities.csv and outputs/golden.csv

38 908 entités à partir de 60 108 enregistrements, contre 37 500 vrais clients. 16 513 entités ont plusieurs enregistrements et nécessitaient donc des règles de fusion. Aucune entité n’a deux dates de naissance. Le regroupement sûr a retiré ces groupes avant la construction des fiches de référence.

Examinez une fiche de référence et ses sources :

Fenêtre de terminal
match golden --show LK-G-000001
LK-G-000001: 3 records from garden,loyalty,shop
name valerie tremblay from S-009232
email tremblay.valerie88@example.net from L-010072
phone 5145558296 from L-010072
address 6760 rue des herons, st eloi du lac QC from G-000001
postcode H6P3H7 from G-000001
dob 1975-01-31 from L-010072
G-000001 TREMBLAY, VAL | tremblay.valerie88@example.net | 5145558296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC H6P3H7
L-010072 Valérie Tremblay | tremblay.valerie88@example.net | 5145558296 | H6P 3H7
S-009232 Valérie Tremblay | tremblay.valerie88@example.net | +1 514 555 8296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC

Chaque champ indique son origine. Les trois enregistrements sources apparaissent en dessous, tels que les sources les ont saisis.

Ivana révise une fusion et constate qu’elle est erronée. Elle retire un enregistrement. Le projet appelle cela une scission. Ici, nous retirons l’enregistrement de boutique de Valérie, seulement pour montrer le fonctionnement. Sa fusion était correcte.

Avant : l'entité LK-G-000001 avec trois enregistrements, G-000001, L-010072 et S-009232. La commande match undo S-009232. Après : l'entité LK-G-000001 garde G-000001 et L-010072, et la nouvelle entité LK-S-009232 contient S-009232 seul. En dessous, la ligne d'historique : événement split (scission), enregistrement S-009232, de l'entité LK-G-000001, nouvelle entité LK-S-009232. Le fichier des paires interdites reçoit deux paires : G-000001 avec S-009232, et L-010072 avec S-009232.
Annuler une fusion : l'enregistrement obtient sa propre entité, l'historique reçoit une ligne et deux paires interdites empêchent un nouveau regroupement.
Description textuelle du diagramme

L’image contient un encadré « avant » et deux encadrés « après ». Avant : l’entité LK-G-000001 contient trois enregistrements, G-000001, L-010072 et S-009232. Une flèche portant le texte « match undo S-009232 » mène à deux encadrés. Le premier, LK-G-000001, garde G-000001 et L-010072. Le deuxième, une nouvelle entité LK-S-009232, contient seulement S-009232. Sous les encadrés se trouvent deux lignes de texte. La ligne d’historique indique : événement de scission, enregistrement S-009232, entité d’origine LK-G-000001, nouvelle entité LK-S-009232. Le fichier des paires interdites reçoit deux paires : G-000001 avec S-009232, et L-010072 avec S-009232.

Fenêtre de terminal
match undo S-009232
S-009232 is now entity LK-S-009232; the other 2 record(s) stay in LK-G-000001.
Recorded in outputs/history.jsonl and outputs/cannot_link.csv (safe clustering will keep them apart).

Trois choses se sont produites :

  1. L’enregistrement a changé d’entité. S-009232 forme maintenant sa propre entité, {u.new_entity}. Les deux autres enregistrements gardent l’ancien identifiant, {u.others_stay_in}. Rien de ce qui utilise cet identifiant ne cesse donc de fonctionner.

  2. L’historique a une ligne de plus. Lisez la dernière ligne de l’historique. Le premier champ est l’heure à laquelle vous avez exécuté la commande; nous avons remplacé la nôtre par « … » :

    Fenêtre de terminal
    tail -n 1 outputs/history.jsonl

    Dans PowerShell, utilisez Get-Content outputs\history.jsonl -Tail 1.

    {"time": "…", "event": "split", "record": "S-009232", "from_entity": "LK-G-000001", "new_entity": "LK-S-009232", "others_now": "LK-G-000001"}
  3. Une paire interdite pour chaque autre enregistrement. outputs/cannot_link.csv indique maintenant que S-009232 ne peut jamais partager un groupe avec G-000001 ou L-010072. Le regroupement sûr lit ce fichier : c’est la troisième vérification de la leçon précédente. Il retire tout lien entre les deux enregistrements d’une paire interdite avant toute autre vérification.

Reconstruisez les fiches de référence, comme le ferait la tâche nocturne :

Fenêtre de terminal
match golden
38,909 entities from 60,108 records (16,513 with more than one record); 0 with two dates of birth
Saved outputs/entities.csv and outputs/golden.csv

Il y a une entité de plus : 38 909. Le modèle relie encore S-009232 aux deux autres enregistrements, mais les paires interdites ont priorité. match golden --show LK-G-000001 montre maintenant deux enregistrements, provenant de la jardinerie et du programme de fidélité. Le nom vient maintenant de L-010072, parce que l’enregistrement de la boutique n’est plus dans l’entité. L’annulation reste en place après une nouvelle exécution. Sans les paires interdites, l’exécution suivante fusionnerait de nouveau les enregistrements, et le travail d’Ivana serait perdu.

  • Construisez des fiches de référence pour les personnes qui utilisent les données : l’équipe marketing, l’équipe de soutien, les rapports. Gardez les enregistrements sources pour l’apparieur et les audits.
  • Choisissez une règle par champ et expliquez pourquoi par écrit. Aucune règle n’est la meilleure pour tous les champs. Une règle est une décision d’affaires : Omar et Ivana doivent être d’accord.
  • Une règle peut choisir une mauvaise valeur. « La plus récente » fait confiance à une nouvelle faute de frappe. « La plus fréquente » échoue lorsqu’une mauvaise valeur a été copiée deux fois. Vérifiez un échantillon de fiches de référence à la main et mesurez la fréquence à laquelle chaque source gagne.
  • N’écrasez jamais les sources. Stocker trois enregistrements plutôt qu’un coûte peu. Une fusion impossible à annuler peut coûter cher.
  • Gardez les identifiants stables. Chaque système qui a conservé un identifiant d’entité en dépend.

Erreur courante

Écraser les enregistrements sources avec les valeurs de référence

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. veut économiser de l’espace. « Nous avons maintenant la fiche de référence. Écrivons ses valeurs dans les trois enregistrements sources et supprimons les doublons. » Un mois plus tard, Ivana trouve une fusion erronée de deux frères. Elle ne peut pas la scinder : le courriel, le téléphone et la date de naissance du deuxième frère ont disparu. Il ne reste que les valeurs de référence.

Cause : la fusion a détruit de l’information. Une fiche de référence est une vue construite à partir des sources selon des règles. Quand les sources sont écrasées, les règles ne peuvent plus s’exécuter et une fusion erronée ne peut plus être annulée. Personne ne peut non plus dire d’où vient une valeur.

Solution : gardez les enregistrements sources inchangés. Construisez les fiches de référence dans de nouvelles lignes. Consignez chaque fusion et scission dans un historique. Conservez chaque scission sous forme de paire interdite pour que l’exécution suivante ne répète pas l’erreur.

Conséquence pour le travail en IA : gardez les données brutes et les étapes de création de chaque table dérivée, pas seulement le résultat. Vous pouvez alors corriger une étape et l’exécuter à nouveau. Suivre la provenance des données, dans SQL et préparation des données pour l’IA, montre comment consigner l’origine de chaque valeur.

Vérifiez votre compréhension

Une entité a trois enregistrements. Leurs courriels, du plus récent au plus ancien : (vide), anna.silva@example.com, anna.s@example.com. La règle est « l'enregistrement le plus récent qui en contient un ». Quel courriel gagne, et pourquoi pas la valeur vide?

Afficher la réponse

anna.silva@example.com. La règle prend l’enregistrement le plus récent qui contient un courriel. Le plus récent n’en contient aucun, donc la règle l’ignore. Une valeur vide n’est pas de l’information et ne gagne donc jamais contre une vraie valeur. La fiche de référence conserve aussi l’identifiant de l’enregistrement qui a fourni le courriel.

Vérifiez votre compréhension

Pourquoi le projet prend-il la date de naissance la plus fréquente, mais le numéro de téléphone le plus récent?

Afficher la réponse

Une date de naissance ne change jamais. Si deux enregistrements diffèrent, l’un contient une faute de frappe. La valeur partagée par le plus d’enregistrements a plus de chances d’être correcte. Un numéro de téléphone change : les gens déménagent et changent de fournisseur. L’enregistrement le plus récent a le plus de chances de contenir le numéro qui fonctionne maintenant. C’est vrai même si les anciens enregistrements concordent sur un ancien numéro.

Vérifiez votre compréhension

Après match undo S-009232, l'exécution suivante de match golden garde encore l'enregistrement dans sa propre entité. Qu'est-ce qui produit ce résultat?

Afficher la réponse

Les paires interdites (cannot-link). match undo écrit une paire pour chaque autre enregistrement de l’entité dans outputs/cannot_link.csv. Le regroupement sûr les lit à chaque exécution. Il retire d’abord les liens du modèle entre ces enregistrements. Un groupe qui contient encore une paire interdite par l’intermédiaire d’autres enregistrements échoue à la vérification. Son lien le plus faible est coupé. La scission reste donc en place.

Récapitulatif

  • Une fiche de référence contient une valeur pour chaque champ d’une entité et l’enregistrement d’origine de chaque valeur.
  • Une règle de fusion (ou règle de survie) choisit la valeur : la plus récente, la plus fréquente, la plus complète ou la source la plus fiable. Chez Larkfield : le nom et la date de naissance les plus fréquents; le courriel, le téléphone et l’adresse les plus récents.
  • match golden crée 38 908 entités à partir de 60 108 enregistrements (en réalité : 37 500), dont 16 513 avec plusieurs enregistrements.
  • Ne modifiez jamais les enregistrements sources. Consignez chaque fusion et scission dans un historique, gardez les identifiants d’entité stables et conservez chaque scission comme paire interdite.
  • match undo retire un enregistrement de son entité. Il reste séparé à l’exécution suivante.

Ensuite, nous mesurons les entités elles-mêmes, pas seulement les paires.

Leçon suivante : Mesures de groupes