La fiche de référence
- Leçon 24
- 40 min
- Module 7 : Des paires aux entités
Où nous en sommes
Nous avons maintenant des entités fiables. Chaque entité a encore plusieurs enregistrements sources avec des valeurs différentes. Dans cette leçon, nous construisons une fiche de référence avec des règles de fusion par champ. Nous conservons l'historique et annulons une fusion.
Leçon 24 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?La fiche de référence
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Donnez à chaque entité une fiche de référence (golden record) : la meilleure valeur pour chaque champ, avec l’enregistrement d’origine. Choisissez une règle de fusion pour chaque champ. Gardez les enregistrements sources inchangés et consignez chaque changement dans un historique pour pouvoir annuler une fusion erronée.
Carnet JupyterConstruire des fiches de référence dans un carnet Jupyter
Le carnet (notebook) Jupyter regroupe de façon sûre les paires issues des règles du module 2. Il construit ensuite une fiche de référence pour chaque entité ayant plusieurs enregistrements. Vous écrivez la règle « la valeur la plus récente gagne ». Ensuite, vous comptez quelle source gagne pour chaque champ et vous annulez une fusion. Ses cellules de préparation téléchargent les données. Il ne nécessite donc aucune préparation locale.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le regroupement sûr, présenté dans Un regroupement plus sûr.
- Les trois sources et leurs colonnes, présentées dans Découvrir les enregistrements.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers du module 7. Vous pouvez aussi utiliser seulement le carnet.
Une fiche pour le catalogue
Section intitulée « Une fiche pour le catalogue »Une bibliothèque a trois fiches pour un même livre. Une fiche a le titre complet, mais une ancienne cote de rangement. Une autre a la nouvelle cote, mais un titre court. La troisième contient une faute dans le nom de l’auteur.
La bibliothécaire écrit une nouvelle fiche pour le catalogue. Pour chaque ligne, elle choisit la meilleure source. Le titre vient de la fiche avec le titre complet. La cote vient de la fiche la plus récente, parce que les livres changent de place. Le nom de l’auteur vient des deux fiches qui concordent.
Elle ne jette pas les anciennes fiches. Elle les range dans un tiroir derrière la nouvelle fiche, avec une note : « créée à partir de ces trois fiches ». Si un lecteur dit plus tard « La troisième fiche concerne un autre livre », elle peut la retirer.
TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a besoin de la même chose pour chaque client.
Le problème : quelle valeur utiliser?
Section intitulée « Le problème : quelle valeur utiliser? »Voici Valérie Tremblay, la cliente que nous avons rencontrée au module 1. Après le regroupement sûr, ses trois enregistrements forment une seule entité, {ex.entity_id}. Mais ils ne concordent pas :
| Enregistrement | Source | Nom saisi | Téléphone saisi | Code postal | Date de naissance |
|---|---|---|---|---|---|
| S-009232 | shop | Valérie Tremblay | +1 514 555 8296 | H6P 3H1 | 1975-01-31 |
| L-010072 | loyalty | Valérie Tremblay | 5145558296 | H6P 3H7 | 31/01/1975 |
| G-000001 | garden | TREMBLAY, VAL | 5145558296 | (dans l'adresse) | (vide) |
TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut lui envoyer un seul courriel. Ivana veut imprimer une seule étiquette d’adresse. Quels nom, téléphone et code postal doivent-ils utiliser? Le code postal de la boutique, H6P 3H1, contient une faute de frappe. Le nom de la jardinerie est abrégé et sans accent. L’enregistrement du programme de fidélité n’a pas d’adresse municipale.
Choisir un enregistrement entier ne fonctionne pas. Chaque enregistrement est le meilleur pour certains champs et le pire pour d’autres.
L’idée : une règle de fusion par champ
Section intitulée « L’idée : une règle de fusion par champ »Une fiche de référence est un enregistrement par entité, construit à partir de tous ses enregistrements. On l’appelle aussi « enregistrement maître », « meilleur enregistrement » ou « vue client unique ». Elle contient une valeur pour chaque champ et indique l’enregistrement d’origine de chaque valeur.
Une règle de fusion décide quelle valeur gagne pour un champ. Les responsables des données les appellent aussi règles de survie (survivorship) : elles décident quelle valeur survit. Quatre types de règles sont courants :
- La plus récente : la valeur de l’enregistrement le plus récent. Utile pour ce qui change : un courriel, un téléphone, une adresse.
- La plus fréquente : la valeur sur laquelle le plus d’enregistrements concordent. Utile pour ce qui ne change jamais, lorsqu’une valeur différente vient d’une faute de frappe : une date de naissance.
- La plus complète : la valeur la plus longue ou la plus détaillée. Utile pour un nom avec un deuxième prénom ou une adresse avec un numéro d’appartement. Attention : une valeur plus longue n’est pas toujours correcte.
- La source la plus fiable : la valeur de la source dont la saisie des données est la meilleure. Utile lorsqu’une source vérifie ses données, par exemple un formulaire qui confirme le courriel.
On peut combiner les règles : « la plus fréquente; en cas d’égalité, la source la plus fiable ».
Les règles de Larkfield
Section intitulée « Les règles de Larkfield »Le projet utilise ces règles. Ce sont nos choix, écrits dans golden.py :
| Champ | Règle de fusion | Pourquoi |
|---|---|---|
| nom | le nom complet le plus fréquent; en cas d’égalité, la source la plus fiable (boutique, programme de fidélité, jardineries) | les noms sont saisis de plusieurs façons, et le formulaire de la boutique est le plus rigoureux |
| courriel, téléphone | l’enregistrement le plus récent qui en contient un | les gens les changent, donc le plus récent a le plus de chances de fonctionner |
| adresse et code postal | l’enregistrement le plus récent avec une adresse municipale; sinon, le code postal le plus récent | les gens déménagent |
| date de naissance | la plus fréquente (une inversion du jour et du mois compte comme la même date) | elle ne change jamais |
« La plus récente » utilise la date de création de l’enregistrement. C’est la date d’ouverture du compte de boutique, d’adhésion au programme de fidélité ou de première visite dans une jardinerie.
La fiche de référence de Valérie, champ par champ
Section intitulée « La fiche de référence de Valérie, champ par champ »Description textuelle du diagramme
L’image est un tableau avec une ligne par champ. Ses colonnes montrent le champ, les trois enregistrements sources du plus récent au plus ancien, la règle de fusion et la valeur retenue. L’enregistrement du programme de fidélité L-010072 est le plus récent. Celui de la jardinerie G-000001 vient ensuite. Celui de la boutique S-009232 est le plus ancien. Nom : les enregistrements de la boutique et du programme de fidélité indiquent « valerie tremblay », et la jardinerie indique « val tremblay ». Le nom le plus fréquent gagne. La boutique et le programme de fidélité sont à égalité. La boutique est la source la plus fiable, donc le nom vient de S-009232. Courriel : les trois sont identiques; l’enregistrement le plus récent, L-010072, le fournit. Téléphone : les trois sont 5145558296 après nettoyage; il vient de L-010072. Adresse : l’enregistrement du programme de fidélité n’a pas d’adresse municipale. L’enregistrement le plus récent qui en contient une, celui de la jardinerie G-000001, fournit « 6760 rue des herons, st eloi du lac QC » et le code postal H6P3H7. Date de naissance : deux enregistrements indiquent 1975-01-31 et celui de la jardinerie n’en contient aucune; elle vient de L-010072.
Regardez la ligne de l’adresse. Le code postal de la boutique contient une faute de frappe. La règle n’avait pas besoin de le savoir. L’enregistrement de la jardinerie est plus récent et contient une adresse municipale. Il gagne donc, et son code postal est correct. Une règle ne trouve pas la vérité. Elle choisit une valeur pour une raison que vous pouvez expliquer. Parfois, cette raison mène à une mauvaise valeur.
Conserver les sources et l’historique
Section intitulée « Conserver les sources et l’historique »La fiche de référence est une nouvelle ligne. Les trois enregistrements sources ne changent jamais. C’est important pour trois raisons :
- Annulation. Si la fusion était erronée, vous pouvez retirer un enregistrement et reconstruire la fiche de référence.
- Audit. Vous pouvez répondre à « D’où vient ce numéro de téléphone? » avec un identifiant d’enregistrement.
- Nouvelles règles. Si vous changez une règle de fusion, vous reconstruisez chaque fiche de référence à partir des sources.
Chaque fusion, scission et suppression est consignée dans un historique : un fichier avec une ligne par événement. Le projet l’écrit dans outputs/history.jsonl, au format JSON Lines : un objet JSON par ligne.
Identifiants d’entité stables
Section intitulée « Identifiants d’entité stables »Chaque entité a besoin d’un identifiant que d’autres systèmes peuvent conserver : courriels, programme de fidélité, équipe de lutte contre la fraude. Le projet nomme une nouvelle entité avec LK- suivi de son plus petit identifiant d’enregistrement. Valérie est donc {ex.entity_id}. Quand le projet reconstruit les entités, un enregistrement garde son ancien identifiant d’entité. Un identifiant ne change donc pas simplement parce que nous avons exécuté la tâche à nouveau. Le module 8 en a besoin lorsque de nouveaux enregistrements arrivent chaque jour.
Construire les fiches de référence
Section intitulée « Construire les fiches de référence »match golden38,908 entities from 60,108 records (16,513 with more than one record); 0 with two dates of birthSaved outputs/entities.csv and outputs/golden.csv38 908 entités à partir de 60 108 enregistrements, contre 37 500 vrais clients. 16 513 entités ont plusieurs enregistrements et nécessitaient donc des règles de fusion. Aucune entité n’a deux dates de naissance. Le regroupement sûr a retiré ces groupes avant la construction des fiches de référence.
Examinez une fiche de référence et ses sources :
match golden --show LK-G-000001LK-G-000001: 3 records from garden,loyalty,shop name valerie tremblay from S-009232 email tremblay.valerie88@example.net from L-010072 phone 5145558296 from L-010072 address 6760 rue des herons, st eloi du lac QC from G-000001 postcode H6P3H7 from G-000001 dob 1975-01-31 from L-010072 G-000001 TREMBLAY, VAL | tremblay.valerie88@example.net | 5145558296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC H6P3H7 L-010072 Valérie Tremblay | tremblay.valerie88@example.net | 5145558296 | H6P 3H7 S-009232 Valérie Tremblay | tremblay.valerie88@example.net | +1 514 555 8296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QCChaque champ indique son origine. Les trois enregistrements sources apparaissent en dessous, tels que les sources les ont saisis.
Annuler une fusion
Section intitulée « Annuler une fusion »Ivana révise une fusion et constate qu’elle est erronée. Elle retire un enregistrement. Le projet appelle cela une scission. Ici, nous retirons l’enregistrement de boutique de Valérie, seulement pour montrer le fonctionnement. Sa fusion était correcte.
Description textuelle du diagramme
L’image contient un encadré « avant » et deux encadrés « après ». Avant : l’entité LK-G-000001 contient trois enregistrements, G-000001, L-010072 et S-009232. Une flèche portant le texte « match undo S-009232 » mène à deux encadrés. Le premier, LK-G-000001, garde G-000001 et L-010072. Le deuxième, une nouvelle entité LK-S-009232, contient seulement S-009232. Sous les encadrés se trouvent deux lignes de texte. La ligne d’historique indique : événement de scission, enregistrement S-009232, entité d’origine LK-G-000001, nouvelle entité LK-S-009232. Le fichier des paires interdites reçoit deux paires : G-000001 avec S-009232, et L-010072 avec S-009232.
match undo S-009232S-009232 is now entity LK-S-009232; the other 2 record(s) stay in LK-G-000001.Recorded in outputs/history.jsonl and outputs/cannot_link.csv (safe clustering will keep them apart).Trois choses se sont produites :
-
L’enregistrement a changé d’entité. S-009232 forme maintenant sa propre entité,
{u.new_entity}. Les deux autres enregistrements gardent l’ancien identifiant,{u.others_stay_in}. Rien de ce qui utilise cet identifiant ne cesse donc de fonctionner. -
L’historique a une ligne de plus. Lisez la dernière ligne de l’historique. Le premier champ est l’heure à laquelle vous avez exécuté la commande; nous avons remplacé la nôtre par « … » :
Fenêtre de terminal tail -n 1 outputs/history.jsonlDans PowerShell, utilisez
Get-Content outputs\history.jsonl -Tail 1.{"time": "…", "event": "split", "record": "S-009232", "from_entity": "LK-G-000001", "new_entity": "LK-S-009232", "others_now": "LK-G-000001"} -
Une paire interdite pour chaque autre enregistrement.
outputs/cannot_link.csvindique maintenant que S-009232 ne peut jamais partager un groupe avec G-000001 ou L-010072. Le regroupement sûr lit ce fichier : c’est la troisième vérification de la leçon précédente. Il retire tout lien entre les deux enregistrements d’une paire interdite avant toute autre vérification.
Reconstruisez les fiches de référence, comme le ferait la tâche nocturne :
match golden38,909 entities from 60,108 records (16,513 with more than one record); 0 with two dates of birthSaved outputs/entities.csv and outputs/golden.csvIl y a une entité de plus : 38 909. Le modèle relie encore S-009232 aux deux autres enregistrements, mais les paires interdites ont priorité. match golden --show LK-G-000001 montre maintenant deux enregistrements, provenant de la jardinerie et du programme de fidélité. Le nom vient maintenant de L-010072, parce que l’enregistrement de la boutique n’est plus dans l’entité. L’annulation reste en place après une nouvelle exécution. Sans les paires interdites, l’exécution suivante fusionnerait de nouveau les enregistrements, et le travail d’Ivana serait perdu.
Quand l’utiliser et ce que cela coûte
Section intitulée « Quand l’utiliser et ce que cela coûte »- Construisez des fiches de référence pour les personnes qui utilisent les données : l’équipe marketing, l’équipe de soutien, les rapports. Gardez les enregistrements sources pour l’apparieur et les audits.
- Choisissez une règle par champ et expliquez pourquoi par écrit. Aucune règle n’est la meilleure pour tous les champs. Une règle est une décision d’affaires : Omar et Ivana doivent être d’accord.
- Une règle peut choisir une mauvaise valeur. « La plus récente » fait confiance à une nouvelle faute de frappe. « La plus fréquente » échoue lorsqu’une mauvaise valeur a été copiée deux fois. Vérifiez un échantillon de fiches de référence à la main et mesurez la fréquence à laquelle chaque source gagne.
- N’écrasez jamais les sources. Stocker trois enregistrements plutôt qu’un coûte peu. Une fusion impossible à annuler peut coûter cher.
- Gardez les identifiants stables. Chaque système qui a conservé un identifiant d’entité en dépend.
Erreur courante
Écraser les enregistrements sources avec les valeurs de référence
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. veut économiser de l’espace. « Nous avons maintenant la fiche de référence. Écrivons ses valeurs dans les trois enregistrements sources et supprimons les doublons. » Un mois plus tard, Ivana trouve une fusion erronée de deux frères. Elle ne peut pas la scinder : le courriel, le téléphone et la date de naissance du deuxième frère ont disparu. Il ne reste que les valeurs de référence.
Cause : la fusion a détruit de l’information. Une fiche de référence est une vue construite à partir des sources selon des règles. Quand les sources sont écrasées, les règles ne peuvent plus s’exécuter et une fusion erronée ne peut plus être annulée. Personne ne peut non plus dire d’où vient une valeur.
Solution : gardez les enregistrements sources inchangés. Construisez les fiches de référence dans de nouvelles lignes. Consignez chaque fusion et scission dans un historique. Conservez chaque scission sous forme de paire interdite pour que l’exécution suivante ne répète pas l’erreur.
Conséquence pour le travail en IA : gardez les données brutes et les étapes de création de chaque table dérivée, pas seulement le résultat. Vous pouvez alors corriger une étape et l’exécuter à nouveau. Suivre la provenance des données, dans SQL et préparation des données pour l’IA, montre comment consigner l’origine de chaque valeur.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une entité a trois enregistrements. Leurs courriels, du plus récent au plus ancien : (vide), anna.silva@example.com, anna.s@example.com. La règle est « l'enregistrement le plus récent qui en contient un ». Quel courriel gagne, et pourquoi pas la valeur vide?
Afficher la réponse
anna.silva@example.com. La règle prend l’enregistrement le plus récent qui contient un courriel. Le plus récent n’en contient aucun, donc la règle l’ignore. Une valeur vide n’est pas de l’information et ne gagne donc jamais contre une vraie valeur. La fiche de référence conserve aussi l’identifiant de l’enregistrement qui a fourni le courriel.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi le projet prend-il la date de naissance la plus fréquente, mais le numéro de téléphone le plus récent?
Afficher la réponse
Une date de naissance ne change jamais. Si deux enregistrements diffèrent, l’un contient une faute de frappe. La valeur partagée par le plus d’enregistrements a plus de chances d’être correcte. Un numéro de téléphone change : les gens déménagent et changent de fournisseur. L’enregistrement le plus récent a le plus de chances de contenir le numéro qui fonctionne maintenant. C’est vrai même si les anciens enregistrements concordent sur un ancien numéro.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Après match undo S-009232, l'exécution suivante de match golden garde encore l'enregistrement dans sa propre entité. Qu'est-ce qui produit ce résultat?
Afficher la réponse
Les paires interdites (cannot-link). match undo écrit une paire pour chaque autre enregistrement de l’entité dans outputs/cannot_link.csv. Le regroupement sûr les lit à chaque exécution. Il retire d’abord les liens du modèle entre ces enregistrements. Un groupe qui contient encore une paire interdite par l’intermédiaire d’autres enregistrements échoue à la vérification. Son lien le plus faible est coupé. La scission reste donc en place.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une fiche de référence contient une valeur pour chaque champ d’une entité et l’enregistrement d’origine de chaque valeur.
- Une règle de fusion (ou règle de survie) choisit la valeur : la plus récente, la plus fréquente, la plus complète ou la source la plus fiable. Chez Larkfield : le nom et la date de naissance les plus fréquents; le courriel, le téléphone et l’adresse les plus récents.
match goldencrée 38 908 entités à partir de 60 108 enregistrements (en réalité : 37 500), dont 16 513 avec plusieurs enregistrements.- Ne modifiez jamais les enregistrements sources. Consignez chaque fusion et scission dans un historique, gardez les identifiants d’entité stables et conservez chaque scission comme paire interdite.
match undoretire un enregistrement de son entité. Il reste séparé à l’exécution suivante.
Ensuite, nous mesurons les entités elles-mêmes, pas seulement les paires.
Leçon suivante : Mesures de groupes