Découvrir les enregistrements
- Leçon 3
- 40 min
- Module 1 : Le problème de l'appariement
Où nous en sommes
Dans les deux dernières leçons, nous avons vu pourquoi Larkfield compte trop de clients. Nous avons aussi vu le coût d'une fusion erronée et d'une correspondance manquée. Jusqu'ici, nous avons seulement lu des enregistrements et des résultats choisis par quelqu'un d'autre. Dans cette leçon, nous configurons le projet et ouvrons nous-mêmes les trois listes de clients. Nous listons les types de différences et exécutons la jointure sur le courriel sur notre ordinateur. La nouvelle commis de la clinique commence de la même façon : elle lit les dossiers avant d'en réunir.
Leçon 3 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Découvrir les enregistrements
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Configurez le projet du cours sur votre ordinateur et vérifiez qu’il fonctionne. Ensuite, lisez vous-même les trois listes de clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Listez les types de différences entre les enregistrements d’un même client et exécutez votre premier apparieur.
Carnet JupyterFaites la partie sur les données de cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter lit les trois listes de clients et les flux fournisseurs avec pandas. Il montre un client qui a trois enregistrements. Ensuite, vous calculez le nombre d’enregistrements par client et la proportion de clients présents dans plusieurs listes. Ses cellules de configuration téléchargent les données, donc aucune configuration locale n’est nécessaire. La configuration du projet ci-dessous nécessite votre propre ordinateur.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les entités, les enregistrements, les vraies paires et les trois listes, présentés dans Trois listes, un seul client.
- Les fusions erronées, les correspondances manquées, la précision par paire et le rappel par paire, présentés dans Fusions erronées et correspondances manquées.
- Comment ouvrir un terminal et exécuter une commande. Un environnement virtuel est un dossier avec ses propres paquets Python pour un projet. Si c’est nouveau pour vous, lisez d’abord Python pour l’ingénierie de l’IA en pratique.
Ce qu’il vous faut sur votre ordinateur
- Python 3.12. Vérifiez la version avec
python3.12 --versionsur macOS et Linux, oupy -3.12 --versionsur Windows. - Un éditeur de code, comme VS Code, et un terminal.
- Git, pour télécharger les fichiers du cours. Sans Git, vous pouvez plutôt télécharger un fichier ZIP (étape 1).
- Environ 200 Mo d’espace disque libre pour le projet, ses paquets et les données.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux suivent la même structure, mais nous ne les avons pas testées.
Le premier jour de la nouvelle commis
Section intitulée « Le premier jour de la nouvelle commis »Repensez à la clinique. Elle embauche une nouvelle commis pour mettre de l’ordre dans les dossiers des patients. Le premier jour, la commis ne réunit aucun dossier. D’abord, elle ouvre les trois classeurs et lit. Quel classeur contient la date de naissance? Lequel écrit les noms en majuscules? Quelles erreurs reviennent souvent?
C’est seulement ensuite qu’elle peut planifier le travail. Elle suit aussi une règle dès le départ : elle n’écrit jamais dans les dossiers originaux. Elle travaille sur des copies pour pouvoir annuler chaque erreur.
Vous faites la même chose dans cette leçon. Vous configurez le projet, lisez les enregistrements et listez les types de différences. Vous apprenez aussi les commandes qui protègent les données.
Les étapes d’un apparieur
Section intitulée « Les étapes d’un apparieur »Chaque apparieur de ce cours suit les mêmes étapes. L’image les montre, avec le module qui enseigne chacune.
Description textuelle du diagramme
Le diagramme contient neuf encadrés sur deux rangées. Il commence par les trois listes de clients : 60 108 enregistrements, tels que les gens les ont saisis. Normaliser écrit chaque valeur d’une seule façon (module 2). Bloquer choisit les paires d’enregistrements qui valent la peine d’être comparées (module 3). Comparer calcule une similarité pour chaque champ (module 4). Attribuer un score donne à chaque paire un nombre qui indique « identiques ou non » (modules 5 et 6). Ensuite, regrouper réunit les paires en clients. La fiche de référence (golden record) garde la meilleure valeur pour chaque champ (ces deux étapes relèvent du module 7). Réviser envoie les cas incertains à une personne (module 8). Le résultat est une seule liste de clients, que chaque module évalue par rapport aux vrais clients.
La jointure sur le courriel que vous exécutez aujourd’hui est l’apparieur le plus simple. Elle saute la normalisation, le blocage et la comparaison : deux enregistrements correspondent quand leurs courriels sont exactement identiques. Chaque module suivant remplace ou ajoute une étape et évalue le résultat sur les mêmes paires de test.
Configurer le projet
Section intitulée « Configurer le projet »Le projet s’appelle larkfield-match : c’est l’appariement d’enregistrements de Larkfield dans un petit programme Python, avec la commande match. Vous copiez sa première version, l’instantané start, depuis le dépôt des exercices pratiques du cours. Les modules suivants y ajoutent des fichiers, un module à la fois.
-
Récupérez les fichiers du cours. Si vous avez Git, ouvrez un terminal et clonez le dépôt des exercices pratiques une fois, dans un dossier comme
~/projects. Si vous avez déjà le clone, exécutez plutôtgit -C nextia-learning-labs pull.Fenêtre de terminal cd ~/projectsgit clone https://github.com/Nextia-Intelligence/nextia-learning-labs.gitSans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans
~/projects. Son dossier s’appelle alorsnextia-learning-labs-main. Utilisez ce nom dans les étapes suivantes. -
Copiez l’instantané
startdans un nouveau dossierlarkfield-match. Ensuite, copiez-y les données du cours dans un dossier nommédata:Fenêtre de terminal cp -R nextia-learning-labs/C39/snapshots/start larkfield-matchcp -R nextia-learning-labs/C39/data larkfield-match/datacd larkfield-matchFenêtre de terminal Copy-Item -Recurse nextia-learning-labs\C39\snapshots\start larkfield-matchCopy-Item -Recurse nextia-learning-labs\C39\data larkfield-match\datacd larkfield-match -
Ouvrez le dossier
larkfield-matchdans VS Code. Vous voyezlarkfield_match/(le code),tests/,data/,README.mdetrequirements.txt. -
Créez l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique et installez les paquets et le projet. Ce module nécessite seulement NumPy, pandas et pytest.
Fenêtre de terminal python3.12 -m venv .venvsource .venv/bin/activatepython -m pip install -r requirements.txt -e .Fenêtre de terminal py -3.12 -m venv .venv.venv\Scripts\Activate.ps1python -m pip install -r requirements.txt -e .La partie
-e .installe le projet lui-même pour que la commandematchfonctionne dans ce terminal. Sur Windows, si PowerShell indique que l’exécution de scripts est désactivée, exécutezSet-ExecutionPolicy -Scope CurrentUser RemoteSignedune fois. Ensuite, activez de nouveau l’environnement. -
Exécutez la vérification de la configuration :
Fenêtre de terminal match checkData: 30 files, checksums right (data)exact on the test split: pair precision 0.817 (expected 0.817), recall 0.338 (expected 0.338)exact makes 50,367 entities (expected 50,367)Setup check passed.La vérification compare chaque fichier de données à sa somme de contrôle, un court code calculé à partir de ses octets. Un fichier modifié donne une somme de contrôle différente. Ensuite, elle exécute la jointure sur le courriel et l’évalue. Ce sont les nombres de la dernière leçon.
-
Exécutez les tests. Ils utilisent un tout petit dossier de données inventées et prennent donc moins d’une seconde :
Fenêtre de terminal python -m pytest -q........... [100%]11 passed in 0.47s
Si une étape échoue, lisez Quand la vérification de la configuration échoue ci-dessous.
Trois listes, trois structures
Section intitulée « Trois listes, trois structures »Commencez par match info. Cette commande compte ce que contiennent les données :
match infoCustomer records (synthetic): 60,108 in 3 sources: shop accounts 31,128, loyalty members 17,037, garden centres 11,943True customers: 37,500 (1.60 records per customer); 17,936 customers have more than one record, the largest has 5 shop accounts: first_name, last_name, email, phone, address, city, province, postcode, date_of_birth, created loyalty members: full_name, email, phone, postcode, date_of_birth, joined, points garden centres: name, phone, address, email, date_of_birth, first_visitSupplier feeds (synthetic): Northfield Supply 4,460 products, Copperleaf Wholesale 3,501 products; 2,750 products are in both feedsLabelled pairs: 3,000 (1,050 same, 1,950 different)Regardez les trois lignes de noms de colonnes. Chaque liste a sa propre structure, car chaque équipe a construit son propre système. Le magasin sépare le prénom et le nom de famille. Le programme de fidélité conserve un seul nom complet, sans adresse municipale, et écrit les dates sous la forme jour/mois/année. L’ancienne caisse des jardineries écrit les noms en majuscules, sous la forme « NOM, PRÉNOM », et l’adresse entière dans un champ. Le diagramme montre comment le projet les lit.
Description textuelle du diagramme
Trois fichiers sources mènent à une seule table. Le fichier du magasin contient 31 128 enregistrements, avec des identifiants qui commencent par S. Le fichier de fidélité contient 17 037 enregistrements, avec des identifiants qui commencent par L. Le fichier des jardineries contient 11 943 enregistrements, avec des identifiants qui commencent par G. Le projet les place dans une seule table, avec les mêmes colonnes pour chaque enregistrement. Les colonnes sont l’identifiant d’enregistrement, la source, le nom, le courriel, le téléphone, l’adresse, le code postal et la date de naissance. Il ne change aucune valeur : un nom en majuscules reste en majuscules. Un quatrième fichier, truth.csv, donne le vrai client de chaque enregistrement et sa partition : entraînement, validation ou test. Une flèche pointillée montre que le projet l’utilise seulement pour évaluer un apparieur, jamais pour décider d’une correspondance.
La lettre au début d’un identifiant d’enregistrement indique la liste : S pour le magasin, L pour la fidélité, G pour les jardineries. Le graphique utilise ces lettres pour montrer dans quelles listes chaque vrai client apparaît.
- Dans une liste
- Dans deux ou trois listes
Description textuelle du graphique
Un graphique à colonnes avec sept colonnes. 14 256 clients sont seulement dans la liste du magasin (S). 7 735 sont dans les listes du magasin et de fidélité (S+L). 4 242 sont dans les listes du magasin et des jardineries (S+G). 3 939 sont seulement dans la liste de fidélité (L). 3 383 sont dans les trois listes (S+L+G). 2 215 sont seulement dans la liste des jardineries (G). 1 730 sont dans les listes de fidélité et des jardineries (L+G). Les quatre colonnes de clients présents dans deux ou trois listes totalisent 17 090.
Ainsi, 17 090 clients, soit 45,6 %, sont dans plusieurs listes. C’est le travail d’appariement d’enregistrements (record linkage). Quelques clients ont aussi deux enregistrements dans une même liste, par exemple deux comptes du magasin : c’est le travail de dédoublonnage. Le carnet Jupyter calcule les 45,6 % avec pandas.
Les valeurs absentes
Section intitulée « Les valeurs absentes »Un apparieur peut seulement comparer les valeurs présentes dans les deux enregistrements. Le graphique montre à quelle fréquence chaque liste laisse deux champs utiles vides : le courriel et la date de naissance. Le téléphone est moins souvent vide : dans 30,1 % des enregistrements du magasin, 7,8 % de ceux de fidélité et 14,1 % de ceux des jardineries.
- Magasin
- Fidélité
- Jardineries
Description textuelle du graphique
Un graphique à colonnes avec six colonnes de trois couleurs, une couleur par liste, sur un axe de 0 à 100 %. Le magasin : courriel vide 0 %, date de naissance 54,6 %. Fidélité : courriel 11,9 %, date de naissance 3,0 %. Jardineries : courriel 59,5 %, date de naissance 84,7 %.
Les jardineries sont la liste la plus difficile. La plupart de leurs enregistrements n’ont ni courriel ni date de naissance. Un apparieur doit donc s’appuyer sur le nom, le téléphone et l’adresse. Une valeur vide n’est pas un désaccord : « aucune date de naissance » ne signifie pas « une autre personne ». Le module 4 traite de ce sujet.
Un client, plusieurs enregistrements
Section intitulée « Un client, plusieurs enregistrements »match show affiche un enregistrement et tous les autres enregistrements du même vrai client. Regardez Valérie Tremblay, de la première leçon :
match show G-000001Entity E-08582 (train split): 3 record(s) G-000001 garden | TREMBLAY, VAL | tremblay.valerie88@example.net | 5145558296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC H6P3H7 | - | - L-010072 loyalty | Valérie Tremblay | tremblay.valerie88@example.net | 5145558296 | - | H6P 3H7 | 31/01/1975 S-009232 shop | Valérie Tremblay | tremblay.valerie88@example.net | +1 514 555 8296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC | H6P 3H1 | 1975-01-31Chaque ligne représente un enregistrement : l’identifiant, la liste, puis le nom, le courriel, le téléphone, l’adresse, le code postal et la date de naissance. Un tiret indique une valeur vide. La première ligne indique que le vrai client est E-08582 et qu’il appartient à la partition d’entraînement. Le cours réserve le jeu de test à l’évaluation, comme vous l’avez appris dans le cours d’apprentissage automatique.
Certains enregistrements contiennent un problème d’exercice que nous avons créé volontairement. match show le nomme. Regardez Samuel Green, l’un des frères de la dernière leçon :
match show G-001688Entity E-05554 (test split): 4 record(s) G-001688 garden | GREEN, SAMUEL | thegreens@example.com | 9055551835 | 3294 KESTREL AVENUE, HERONVALE ON M7K 4L8 | - | - G-008438 garden | GREEN, SAMUEL | - | 5195554060 | 6659 ORCHARD LANE, STONEWICK ON L0H 6T9 | - | - L-011126 loyalty | Samuel Green | Thegreens@Example.com | 9055551835 | - | M7K 4L8 | 14/03/1966 S-007770 shop | Samuel Green | Samuel.Green@Mail.example | - | 3294 Kestrel Avenue, Heronvale ON | M7K 4L8 | 1966-03-14Practice problems we made on purpose: brothers, movedSamuel a quatre enregistrements, dont deux dans la liste des jardineries. Ses propres enregistrements ne concordent pas : le courriel familial avec et sans majuscules, un courriel personnel et une autre adresse à Stonewick. Les enregistrements de son frère Nathan ne sont pas ici, car Nathan est une autre entité.
Les types de différences
Section intitulée « Les types de différences »Voici les différences présentes dans les données du cours, chacune avec une vraie paire d’un même client. Vérifiez n’importe laquelle avec match show et le premier identifiant d’enregistrement.
| Type de différence | Exemple (enregistrements d’un même client) | Enregistrements |
|---|---|---|
| Un autre format | +1 514 555 8296 et 5145558296; 31/01/1975 et 1975-01-31 |
S-009232, L-010072 |
| Majuscules et espaces | Thibault.Helene93@Example.net et thibault.helene93@example.net; " ryan.campbell81@example.com " avec des espaces |
S-028040, L-000482; L-007742 |
| Accents manquants | Geneviève Côté et Genevieve Cote |
L-010673, S-009281 |
| Prénom abrégé ou surnom | TAYLOR, MATTHEW et Matt Taylor |
G-011133, S-008399 |
| Prénom et nom inversés | Thibault Helene et Hélène Thibault |
L-000482, S-028040 |
| Faute de frappe | Nathalie Gagnon et Nathalie Gagnoj; mariepaqquette@… et mariepaquette@… |
L-007451, S-011570; L-016234, S-026828 |
| Mots abrégés dans l’adresse | 9225 Tamarack St. et 9225 Tamarack St; r. pour rue |
G-011133, S-008399 |
| Une ancienne adresse (déménagement) | 234 BOULEVARD DES LILAS … J8Y 1L3 et 8147 r. Sainte-Cécile … J0C-6V5 |
G-009906, S-005041 |
| Un autre courriel | le courriel familial thebouchards@example.org et son courriel personnel cbouchard@post.example |
L-014546, S-022315 |
| Une valeur vide | aucune date de naissance, aucun courriel | G-000001 |
Et le piège inverse, où deux personnes différentes se ressemblent :
| Ressemblance | Exemple (enregistrements de deux personnes) | Enregistrements |
|---|---|---|
| Presque le même nom | Marc Fortin et Marie Fortin |
S-014459, S-016782 |
| Une famille : mêmes adresse, téléphone et courriel | GREEN, SAMUEL et GREEN, NATHAN |
G-001688, G-002894 |
Chaque type du premier tableau vient du modèle d’erreurs du générateur de données. La fiche du jeu de données, data/dataset-card.md, indique la fréquence de chacun. Par exemple, 10 % des prénoms sont des surnoms et 35 % des enregistrements du magasin ont une ancienne adresse. Ces proportions sont nos choix, pas des faits sur de vrais magasins.
Exécuter la jointure sur le courriel
Section intitulée « Exécuter la jointure sur le courriel »Le projet appelle un apparieur complet une exécution. match score --list affiche les exécutions actuelles du projet :
match score --list exact customers same email, exactly as typedmatch eval exécute un apparieur et le mesure sur le jeu de test :
match eval --run exactexact on the test split: pair precision 0.817, recall 0.338, F1 0.478 2,300 pairs called the same: 1,879 right, 421 wrong; 3,685 of 5,564 true pairs missed entities after clustering (all records): 50,367 (true: 37,500)Vous connaissez les deux premières lignes depuis la dernière leçon. F1 combine la précision et le rappel en un nombre. Il est élevé seulement quand les deux sont élevés. Le cours d’apprentissage automatique l’explique dans Les métriques de classification.
La dernière ligne compte les clients. Pour transformer les paires en clients, le projet regroupe les paires. Si l’enregistrement A correspond à B, et B à C, alors A, B et C représentent un seul client. Le module 7 explique le regroupement. match cluster affiche les plus grands groupes :
match cluster --run exactexact: 60,108 records -> 50,367 entities (true: 37,500)Largest clusters: L-008538 (5 records), L-004017 (5 records), L-003697 (5 records)Saved to outputs/clusters/exact.csvC’est la première ligne du tableau comparatif du cours. Chaque module suivant y ajoute des lignes, mesurées de la même façon sur les mêmes 5 564 paires de test :
| Exécution | Module | Précision | Rappel | F1 |
|---|---|---|---|---|
exact |
1 | 0,817 | 0,338 | 0,478 |
Étiquetez vous-même des paires
Section intitulée « Étiquetez vous-même des paires »Avant qu’une méthode décide pour vous, décidez vous-même. match sample écrit 40 paires d’enregistrements à étiqueter. Les paires viennent des données d’entraînement. Les noms de famille des deux enregistrements de chaque paire commencent par les mêmes quatre lettres.
match sampleWrote 40 pairs to outputs/to_label.csv. Fill 'label' with same, different or unsure, and a reason.Then check your labels with: match sample-check-
Ouvrez
outputs/to_label.csvdans VS Code. Chaque ligne présente les deux enregistrements côte à côte :name_letname_r,email_letemail_r, et ainsi de suite. -
Pour chaque ligne, remplissez la colonne
label(étiquette) avecsame(identique),different(différent) ouunsure(incertain). -
Pour chaque ligne
unsure, écrivez dans la colonnereason(raison) ce qu’il faudrait savoir pour décider. -
Enregistrez le fichier et vérifiez vos étiquettes :
Fenêtre de terminal match sample-check
Quand nous avons étiqueté ces 40 paires, nous avons choisi unsure pour trois d’entre elles et different pour les autres. Voici le résultat :
Labelled 37 pairs as same or different: 37 agree with the true entities; 3 unsure; 0 empty.True pairs in the sample: 0 of 40Aucune des 40 paires ne représente un seul client. Deux enregistrements avec un nom de famille semblable représentent presque toujours deux personnes. Deux de nos paires unsure étaient des femmes avec le même prénom et un autre nom de famille : un nom marital? La troisième avait le même nom, mais un autre courriel, téléphone et province : un déménagement? Les trois représentaient deux personnes.
C’est l’idée de la dernière leçon, vue de l’intérieur. La plupart des paires qui se ressemblent un peu représentent des personnes différentes. Un apparieur qui fusionne sur un indice faible, comme le nom de famille, produit beaucoup de fusions erronées.
Essayez vous-même
Section intitulée « Essayez vous-même »Exécutez match sample --seed 9 et étiquetez les 40 nouvelles paires. Cet échantillon contient une vraie paire. Pouvez-vous la trouver avant de vérifier? Utilisez ensuite match show avec l’un de ses identifiants d’enregistrement. Nommez les types de différences entre ses enregistrements.
Vérifier et réinitialiser
Section intitulée « Vérifier et réinitialiser »Deux commandes maintiennent le projet dans un état connu :
match checkvérifie les fichiers de données et mesure la jointure sur le courriel.match resetsupprimeoutputs/et vérifie les fichiers de données.outputs/contient tout ce que le projet écrit : paires, groupes et, plus tard, enregistrements préparés et modèles. Vos étiquettes dansoutputs/to_label.csvsont aussi supprimées.
match resetReset: removed 3 files from outputs/; data: 30 files, all files are right.Le projet ne modifie jamais les fichiers dans data/. Comme la commis de la clinique, il travaille sur des copies. Les apparieurs écrivent les paires et les groupes dans outputs/. Les enregistrements sources restent tels quels. Si un fichier de données change par erreur, copiez à nouveau les données du cours depuis le dépôt des exercices pratiques.
Quand la vérification de la configuration échoue
Section intitulée « Quand la vérification de la configuration échoue »match check s’arrête avec un message quand quelque chose ne va pas. Lisez sa dernière ligne et trouvez-la ici :
| Message | Cause | Solution |
|---|---|---|
No course data found. Put the course data folder next to the project as data/, or set LARKFIELD_DATA to its path. (Données du cours introuvables. Placez le dossier de données à côté du projet sous le nom data/, ou indiquez son chemin dans LARKFIELD_DATA.) |
data/ manque, ou vous êtes dans le mauvais dossier |
allez dans larkfield-match avec cd et copiez à nouveau les données (étape 2) |
These data files are missing or changed: sources/loyalty_members.csv. Download the course data again. (Ces fichiers de données manquent ou ont changé : sources/loyalty_members.csv. Téléchargez à nouveau les données du cours.) |
un fichier de données a été modifié ou supprimé | copiez à nouveau ce fichier depuis nextia-learning-labs/C39/data/, puis exécutez match reset |
command not found: match (commande introuvable : match) |
l’environnement virtuel n’est pas actif dans ce terminal | activez-le à nouveau (étape 4) |
ModuleNotFoundError: No module named 'pandas' (module introuvable : pandas) |
les paquets ne sont pas installés dans cet environnement | exécutez à nouveau python -m pip install -r requirements.txt -e . |
Setup check failed: see the lesson's troubleshooting list. (La vérification de la configuration a échoué : consultez la liste de dépannage de la leçon.) |
la jointure sur le courriel a donné d’autres nombres : le code a été modifié | exécutez match reset; si l’échec persiste, copiez à nouveau l’instantané start |
Erreur courante
Nettoyer un fichier de données à la main
Symptôme : vous ouvrez data/sources/loyalty_members.csv dans un tableur et corrigez quelques noms qui semblent erronés. Vous enregistrez le fichier. Plus tard, match check s’arrête :
These data files are missing or changed: sources/loyalty_members.csv. Download the course data again.Cause : la modification a changé la somme de contrôle du fichier, donc le projet refuse de mesurer. Enregistrer dans un tableur peut modifier un fichier même sans changement de votre part : fins de ligne, guillemets ou format de date. Et la modification elle-même pose problème : vous avez changé les preuves. Une mesure sur des données modifiées ne peut pas se comparer à celle d’une autre personne. Votre « correction » peut aussi être erronée. « Thibault Helene » ressemble à une faute de frappe, mais c’est un vrai enregistrement avec les noms inversés.
Solution : recopiez le fichier original de nextia-learning-labs/C39/data/ dans data/. Exécutez ensuite match reset. La commande doit se terminer par « all files are right » (tous les fichiers sont corrects). Pour consulter les données, utilisez match info, match show ou le carnet (notebook) Jupyter. Ils lisent les fichiers sans jamais les écrire.
Conséquence pour le travail en IA : ne nettoyez jamais les enregistrements sources directement dans leurs fichiers. L’appariement conserve chaque enregistrement source tel quel et place les valeurs nettoyées à côté. Chaque fusion peut alors être expliquée et annulée. Le module 2 construit les valeurs nettoyées de cette façon.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Nommez quatre types de différences entre les trois enregistrements de Valérie Tremblay. Pour chacun, dites s'il signifie « une autre personne ».
Afficher la réponse
- Un autre format :
+1 514 555 8296et5145558296,31/01/1975et1975-01-31. C’est la même valeur, donc pas une autre personne. - Un nom abrégé, des majuscules et aucun accent :
TREMBLAY, VALcomparé àValérie Tremblay. C’est la même personne. - Une faute de frappe : le code postal
H6P 3H1comparé àH6P 3H7. Un caractère erroné, pas une autre personne. - Des valeurs vides : aucune adresse dans l’enregistrement de fidélité, aucune date de naissance dans l’enregistrement de jardinerie. Une valeur vide n’est pas un désaccord. Aucune de ces différences ne signifie une autre personne. Mais des noms presque identiques, comme Marc et Marie Fortin, peuvent désigner deux personnes. Un apparieur ne peut donc pas ignorer les petites différences.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi les enregistrements des jardineries rendent-ils l'appariement plus difficile que ceux du programme de fidélité? Utilisez le graphique des valeurs vides dans votre réponse.
Afficher la réponse
Les jardineries laissent le courriel vide dans 59,5 % de leurs enregistrements, et la date de naissance dans 84,7 %. La liste de fidélité les laisse vides dans seulement 11,9 % et 3,0 % des cas. Pour la plupart des enregistrements de jardinerie, l’apparieur n’a donc que le nom, le téléphone et l’adresse. Et ces champs présentent le plus de différences : noms en majuscules sans accents, prénoms abrégés et anciennes adresses. Dans le modèle d’erreurs, 60 % des enregistrements de jardinerie ont une ancienne adresse. Moins de champs à comparer, et plus de bruit dans ces champs.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Vous avez étiqueté 40 paires échantillonnées, et aucune ne représentait un seul client. Tomás dit : « Alors l'échantillon est défectueux. » Que répondez-vous?
Afficher la réponse
L’échantillon n’est pas défectueux. Il a choisi des paires dont les noms de famille commencent par les mêmes quatre lettres. La plupart représentent deux personnes différentes. C’est la situation normale en appariement : les vraies paires sont rares. Même parmi les enregistrements qui se ressemblent un peu, la plupart des paires représentent des personnes différentes. Un nom de famille semblable est donc un indice faible. Un apparieur qui fusionne sur cet indice produit beaucoup de fusions erronées. Avec match sample --seed 9, une des 40 paires est une vraie paire.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Le projet
larkfield-matchest installé : l’instantanéstart, les données dansdata/et un environnement virtuel.match checkse termine par « Setup check passed. » (La vérification de la configuration a réussi.). Les 11 tests réussissent. - Les trois listes ont des structures différentes. Le projet les lit dans une seule table sans modifier de valeur.
truth.csvsert seulement à mesurer. - 45,6 % des vrais clients figurent dans plus d’une liste. Les jardineries laissent le courriel vide dans 59,5 % de leurs enregistrements et la date de naissance dans 84,7 %.
- Les enregistrements d’un même client diffèrent de plusieurs façons : formats, majuscules, accents, noms abrégés ou inversés, fautes de frappe et anciennes adresses. Certaines valeurs sont vides. Et des personnes différentes peuvent quand même se ressembler.
exactdonne une précision de 0,817 et un rappel de 0,338 sur le jeu de test, ainsi que 50 367 clients. C’est la première ligne du tableau comparatif.match resetsupprimeoutputs/et vérifie les données, qui ne changent jamais.
Vous pouvez maintenant exécuter le projet et lire les enregistrements. Mais beaucoup de différences dans la table sont simplement des façons différentes d’écrire la même valeur. Ensuite, vous normalisez les valeurs pour que +1 514 555 8296 et 5145558296 deviennent égaux. Vous mesurez à quel point cette seule étape aide.
Leçon suivante : Normaliser