Aller au contenu
English

Découvrir les enregistrements

  • Leçon 3
  • 40 min
  • Module 1 : Le problème de l'appariement

Où nous en sommes

Dans les deux dernières leçons, nous avons vu pourquoi Larkfield compte trop de clients. Nous avons aussi vu le coût d'une fusion erronée et d'une correspondance manquée. Jusqu'ici, nous avons seulement lu des enregistrements et des résultats choisis par quelqu'un d'autre. Dans cette leçon, nous configurons le projet et ouvrons nous-mêmes les trois listes de clients. Nous listons les types de différences et exécutons la jointure sur le courriel sur notre ordinateur. La nouvelle commis de la clinique commence de la même façon : elle lit les dossiers avant d'en réunir.

Ce que vous saurez faire

Configurez le projet du cours sur votre ordinateur et vérifiez qu’il fonctionne. Ensuite, lisez vous-même les trois listes de clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Listez les types de différences entre les enregistrements d’un même client et exécutez votre premier apparieur.

Carnet JupyterFaites la partie sur les données de cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit les trois listes de clients et les flux fournisseurs avec pandas. Il montre un client qui a trois enregistrements. Ensuite, vous calculez le nombre d’enregistrements par client et la proportion de clients présents dans plusieurs listes. Ses cellules de configuration téléchargent les données, donc aucune configuration locale n’est nécessaire. La configuration du projet ci-dessous nécessite votre propre ordinateur.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Python 3.12. Vérifiez la version avec python3.12 --version sur macOS et Linux, ou py -3.12 --version sur Windows.
  • Un éditeur de code, comme VS Code, et un terminal.
  • Git, pour télécharger les fichiers du cours. Sans Git, vous pouvez plutôt télécharger un fichier ZIP (étape 1).
  • Environ 200 Mo d’espace disque libre pour le projet, ses paquets et les données.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux suivent la même structure, mais nous ne les avons pas testées.

Repensez à la clinique. Elle embauche une nouvelle commis pour mettre de l’ordre dans les dossiers des patients. Le premier jour, la commis ne réunit aucun dossier. D’abord, elle ouvre les trois classeurs et lit. Quel classeur contient la date de naissance? Lequel écrit les noms en majuscules? Quelles erreurs reviennent souvent?

C’est seulement ensuite qu’elle peut planifier le travail. Elle suit aussi une règle dès le départ : elle n’écrit jamais dans les dossiers originaux. Elle travaille sur des copies pour pouvoir annuler chaque erreur.

Vous faites la même chose dans cette leçon. Vous configurez le projet, lisez les enregistrements et listez les types de différences. Vous apprenez aussi les commandes qui protègent les données.

Chaque apparieur de ce cours suit les mêmes étapes. L’image les montre, avec le module qui enseigne chacune.

Neuf encadrés sur deux rangées, reliés par des flèches. Première rangée : trois listes de clients, 60 108 enregistrements tels qu'ils ont été saisis; normaliser, une seule façon d'écrire chaque valeur, module 2; bloquer, choisir les paires qui valent la peine d'être comparées, module 3; comparer, une similarité pour chaque champ, module 4; attribuer un score, identiques ou non : un nombre pour chaque paire, modules 5 et 6. Une flèche descend vers la deuxième rangée : regrouper, réunir les paires en clients, module 7; fiche de référence, la meilleure valeur pour chaque champ, module 7; réviser, une personne vérifie les cas incertains, module 8; une seule liste de clients, évaluée par rapport aux vrais clients dans chaque module.
Les étapes d'un apparieur, de trois listes à une seule liste de clients, et le module qui enseigne chaque étape. Cette leçon configure le projet; la jointure sur le courriel que vous exécutez saute la plupart des étapes.
Description textuelle du diagramme

Le diagramme contient neuf encadrés sur deux rangées. Il commence par les trois listes de clients : 60 108 enregistrements, tels que les gens les ont saisis. Normaliser écrit chaque valeur d’une seule façon (module 2). Bloquer choisit les paires d’enregistrements qui valent la peine d’être comparées (module 3). Comparer calcule une similarité pour chaque champ (module 4). Attribuer un score donne à chaque paire un nombre qui indique « identiques ou non » (modules 5 et 6). Ensuite, regrouper réunit les paires en clients. La fiche de référence (golden record) garde la meilleure valeur pour chaque champ (ces deux étapes relèvent du module 7). Réviser envoie les cas incertains à une personne (module 8). Le résultat est une seule liste de clients, que chaque module évalue par rapport aux vrais clients.

La jointure sur le courriel que vous exécutez aujourd’hui est l’apparieur le plus simple. Elle saute la normalisation, le blocage et la comparaison : deux enregistrements correspondent quand leurs courriels sont exactement identiques. Chaque module suivant remplace ou ajoute une étape et évalue le résultat sur les mêmes paires de test.

Le projet s’appelle larkfield-match : c’est l’appariement d’enregistrements de Larkfield dans un petit programme Python, avec la commande match. Vous copiez sa première version, l’instantané start, depuis le dépôt des exercices pratiques du cours. Les modules suivants y ajoutent des fichiers, un module à la fois.

  1. Récupérez les fichiers du cours. Si vous avez Git, ouvrez un terminal et clonez le dépôt des exercices pratiques une fois, dans un dossier comme ~/projects. Si vous avez déjà le clone, exécutez plutôt git -C nextia-learning-labs pull.

    Fenêtre de terminal
    cd ~/projects
    git clone https://github.com/Nextia-Intelligence/nextia-learning-labs.git

    Sans Git, téléchargez le fichier ZIP du dépôt et décompressez-le dans ~/projects. Son dossier s’appelle alors nextia-learning-labs-main. Utilisez ce nom dans les étapes suivantes.

  2. Copiez l’instantané start dans un nouveau dossier larkfield-match. Ensuite, copiez-y les données du cours dans un dossier nommé data :

    Fenêtre de terminal
    cp -R nextia-learning-labs/C39/snapshots/start larkfield-match
    cp -R nextia-learning-labs/C39/data larkfield-match/data
    cd larkfield-match
  3. Ouvrez le dossier larkfield-match dans VS Code. Vous voyez larkfield_match/ (le code), tests/, data/, README.md et requirements.txt.

  4. Créez l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique et installez les paquets et le projet. Ce module nécessite seulement NumPy, pandas et pytest.

    Fenêtre de terminal
    python3.12 -m venv .venv
    source .venv/bin/activate
    python -m pip install -r requirements.txt -e .

    La partie -e . installe le projet lui-même pour que la commande match fonctionne dans ce terminal. Sur Windows, si PowerShell indique que l’exécution de scripts est désactivée, exécutez Set-ExecutionPolicy -Scope CurrentUser RemoteSigned une fois. Ensuite, activez de nouveau l’environnement.

  5. Exécutez la vérification de la configuration :

    Fenêtre de terminal
    match check
    Data: 30 files, checksums right (data)
    exact on the test split: pair precision 0.817 (expected 0.817), recall 0.338 (expected 0.338)
    exact makes 50,367 entities (expected 50,367)
    Setup check passed.

    La vérification compare chaque fichier de données à sa somme de contrôle, un court code calculé à partir de ses octets. Un fichier modifié donne une somme de contrôle différente. Ensuite, elle exécute la jointure sur le courriel et l’évalue. Ce sont les nombres de la dernière leçon.

  6. Exécutez les tests. Ils utilisent un tout petit dossier de données inventées et prennent donc moins d’une seconde :

    Fenêtre de terminal
    python -m pytest -q
    ........... [100%]
    11 passed in 0.47s

Si une étape échoue, lisez Quand la vérification de la configuration échoue ci-dessous.

Commencez par match info. Cette commande compte ce que contiennent les données :

Fenêtre de terminal
match info
Customer records (synthetic): 60,108 in 3 sources: shop accounts 31,128, loyalty members 17,037, garden centres 11,943
True customers: 37,500 (1.60 records per customer); 17,936 customers have more than one record, the largest has 5
shop accounts: first_name, last_name, email, phone, address, city, province, postcode, date_of_birth, created
loyalty members: full_name, email, phone, postcode, date_of_birth, joined, points
garden centres: name, phone, address, email, date_of_birth, first_visit
Supplier feeds (synthetic): Northfield Supply 4,460 products, Copperleaf Wholesale 3,501 products; 2,750 products are in both feeds
Labelled pairs: 3,000 (1,050 same, 1,950 different)

Regardez les trois lignes de noms de colonnes. Chaque liste a sa propre structure, car chaque équipe a construit son propre système. Le magasin sépare le prénom et le nom de famille. Le programme de fidélité conserve un seul nom complet, sans adresse municipale, et écrit les dates sous la forme jour/mois/année. L’ancienne caisse des jardineries écrit les noms en majuscules, sous la forme « NOM, PRÉNOM », et l’adresse entière dans un champ. Le diagramme montre comment le projet les lit.

Trois fichiers sources mènent à une seule table dans le projet. sources/shop_accounts.csv : 31 128 enregistrements avec des identifiants qui commencent par S, et les colonnes first_name, last_name, email, phone, address, city, province, postcode et date_of_birth. sources/loyalty_members.csv : 17 037 enregistrements avec des identifiants qui commencent par L, et full_name, email, phone, postcode, date_of_birth sous la forme jour/mois/année, et points. sources/garden_centres.csv : 11 943 enregistrements avec des identifiants qui commencent par G, et le nom sous la forme SURNAME, FIRST, le téléphone, l'adresse sur une ligne, le courriel et la date de naissance. La table du projet contient record_id, source, name, email, phone, address, postcode et date_of_birth, avec les valeurs telles qu'elles ont été écrites. Une flèche pointillée portant l'étiquette « évaluer » va de truth.csv vers la table. Ce fichier associe chaque record_id au vrai client et à la partition : il sert seulement à évaluer, jamais à apparier.
Les trois listes de clients et la table unique dans laquelle le projet les charge. Les valeurs restent telles qu'elles ont été écrites. truth.csv est le corrigé : le projet l'utilise seulement pour évaluer.
Description textuelle du diagramme

Trois fichiers sources mènent à une seule table. Le fichier du magasin contient 31 128 enregistrements, avec des identifiants qui commencent par S. Le fichier de fidélité contient 17 037 enregistrements, avec des identifiants qui commencent par L. Le fichier des jardineries contient 11 943 enregistrements, avec des identifiants qui commencent par G. Le projet les place dans une seule table, avec les mêmes colonnes pour chaque enregistrement. Les colonnes sont l’identifiant d’enregistrement, la source, le nom, le courriel, le téléphone, l’adresse, le code postal et la date de naissance. Il ne change aucune valeur : un nom en majuscules reste en majuscules. Un quatrième fichier, truth.csv, donne le vrai client de chaque enregistrement et sa partition : entraînement, validation ou test. Une flèche pointillée montre que le projet l’utilise seulement pour évaluer un apparieur, jamais pour décider d’une correspondance.

La lettre au début d’un identifiant d’enregistrement indique la liste : S pour le magasin, L pour la fidélité, G pour les jardineries. Le graphique utilise ces lettres pour montrer dans quelles listes chaque vrai client apparaît.

  • Dans une liste
  • Dans deux ou trois listes
Vrais clients selon les listes qui contiennent un enregistrement à leur sujet. S = comptes du magasin, L = membres du programme de fidélité, G = jardineries. 17 090 clients (45,6 %) sont dans plusieurs listes.
Description textuelle du graphique

Un graphique à colonnes avec sept colonnes. 14 256 clients sont seulement dans la liste du magasin (S). 7 735 sont dans les listes du magasin et de fidélité (S+L). 4 242 sont dans les listes du magasin et des jardineries (S+G). 3 939 sont seulement dans la liste de fidélité (L). 3 383 sont dans les trois listes (S+L+G). 2 215 sont seulement dans la liste des jardineries (G). 1 730 sont dans les listes de fidélité et des jardineries (L+G). Les quatre colonnes de clients présents dans deux ou trois listes totalisent 17 090.

Ainsi, 17 090 clients, soit 45,6 %, sont dans plusieurs listes. C’est le travail d’appariement d’enregistrements (record linkage). Quelques clients ont aussi deux enregistrements dans une même liste, par exemple deux comptes du magasin : c’est le travail de dédoublonnage. Le carnet Jupyter calcule les 45,6 % avec pandas.

Un apparieur peut seulement comparer les valeurs présentes dans les deux enregistrements. Le graphique montre à quelle fréquence chaque liste laisse deux champs utiles vides : le courriel et la date de naissance. Le téléphone est moins souvent vide : dans 30,1 % des enregistrements du magasin, 7,8 % de ceux de fidélité et 14,1 % de ceux des jardineries.

  • Magasin
  • Fidélité
  • Jardineries
La proportion d'enregistrements sans courriel ou date de naissance, dans chaque liste (données synthétiques). Les jardineries n'ont aucune date de naissance pour 84,7 % de leurs enregistrements.
Description textuelle du graphique

Un graphique à colonnes avec six colonnes de trois couleurs, une couleur par liste, sur un axe de 0 à 100 %. Le magasin : courriel vide 0 %, date de naissance 54,6 %. Fidélité : courriel 11,9 %, date de naissance 3,0 %. Jardineries : courriel 59,5 %, date de naissance 84,7 %.

Les jardineries sont la liste la plus difficile. La plupart de leurs enregistrements n’ont ni courriel ni date de naissance. Un apparieur doit donc s’appuyer sur le nom, le téléphone et l’adresse. Une valeur vide n’est pas un désaccord : « aucune date de naissance » ne signifie pas « une autre personne ». Le module 4 traite de ce sujet.

match show affiche un enregistrement et tous les autres enregistrements du même vrai client. Regardez Valérie Tremblay, de la première leçon :

Fenêtre de terminal
match show G-000001
Entity E-08582 (train split): 3 record(s)
G-000001 garden | TREMBLAY, VAL | tremblay.valerie88@example.net | 5145558296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC H6P3H7 | - | -
L-010072 loyalty | Valérie Tremblay | tremblay.valerie88@example.net | 5145558296 | - | H6P 3H7 | 31/01/1975
S-009232 shop | Valérie Tremblay | tremblay.valerie88@example.net | +1 514 555 8296 | 6760, r. des Hérons, Saint-Éloi-du-Lac QC | H6P 3H1 | 1975-01-31

Chaque ligne représente un enregistrement : l’identifiant, la liste, puis le nom, le courriel, le téléphone, l’adresse, le code postal et la date de naissance. Un tiret indique une valeur vide. La première ligne indique que le vrai client est E-08582 et qu’il appartient à la partition d’entraînement. Le cours réserve le jeu de test à l’évaluation, comme vous l’avez appris dans le cours d’apprentissage automatique.

Certains enregistrements contiennent un problème d’exercice que nous avons créé volontairement. match show le nomme. Regardez Samuel Green, l’un des frères de la dernière leçon :

Fenêtre de terminal
match show G-001688
Entity E-05554 (test split): 4 record(s)
G-001688 garden | GREEN, SAMUEL | thegreens@example.com | 9055551835 | 3294 KESTREL AVENUE, HERONVALE ON M7K 4L8 | - | -
G-008438 garden | GREEN, SAMUEL | - | 5195554060 | 6659 ORCHARD LANE, STONEWICK ON L0H 6T9 | - | -
L-011126 loyalty | Samuel Green | Thegreens@Example.com | 9055551835 | - | M7K 4L8 | 14/03/1966
S-007770 shop | Samuel Green | Samuel.Green@Mail.example | - | 3294 Kestrel Avenue, Heronvale ON | M7K 4L8 | 1966-03-14
Practice problems we made on purpose: brothers, moved

Samuel a quatre enregistrements, dont deux dans la liste des jardineries. Ses propres enregistrements ne concordent pas : le courriel familial avec et sans majuscules, un courriel personnel et une autre adresse à Stonewick. Les enregistrements de son frère Nathan ne sont pas ici, car Nathan est une autre entité.

Voici les différences présentes dans les données du cours, chacune avec une vraie paire d’un même client. Vérifiez n’importe laquelle avec match show et le premier identifiant d’enregistrement.

Type de différence Exemple (enregistrements d’un même client) Enregistrements
Un autre format +1 514 555 8296 et 5145558296; 31/01/1975 et 1975-01-31 S-009232, L-010072
Majuscules et espaces Thibault.Helene93@Example.net et thibault.helene93@example.net; " ryan.campbell81@example.com " avec des espaces S-028040, L-000482; L-007742
Accents manquants Geneviève Côté et Genevieve Cote L-010673, S-009281
Prénom abrégé ou surnom TAYLOR, MATTHEW et Matt Taylor G-011133, S-008399
Prénom et nom inversés Thibault Helene et Hélène Thibault L-000482, S-028040
Faute de frappe Nathalie Gagnon et Nathalie Gagnoj; mariepaqquette@… et mariepaquette@… L-007451, S-011570; L-016234, S-026828
Mots abrégés dans l’adresse 9225 Tamarack St. et 9225 Tamarack St; r. pour rue G-011133, S-008399
Une ancienne adresse (déménagement) 234 BOULEVARD DES LILAS … J8Y 1L3 et 8147 r. Sainte-Cécile … J0C-6V5 G-009906, S-005041
Un autre courriel le courriel familial thebouchards@example.org et son courriel personnel cbouchard@post.example L-014546, S-022315
Une valeur vide aucune date de naissance, aucun courriel G-000001

Et le piège inverse, où deux personnes différentes se ressemblent :

Ressemblance Exemple (enregistrements de deux personnes) Enregistrements
Presque le même nom Marc Fortin et Marie Fortin S-014459, S-016782
Une famille : mêmes adresse, téléphone et courriel GREEN, SAMUEL et GREEN, NATHAN G-001688, G-002894

Chaque type du premier tableau vient du modèle d’erreurs du générateur de données. La fiche du jeu de données, data/dataset-card.md, indique la fréquence de chacun. Par exemple, 10 % des prénoms sont des surnoms et 35 % des enregistrements du magasin ont une ancienne adresse. Ces proportions sont nos choix, pas des faits sur de vrais magasins.

Le projet appelle un apparieur complet une exécution. match score --list affiche les exécutions actuelles du projet :

Fenêtre de terminal
match score --list
exact customers same email, exactly as typed

match eval exécute un apparieur et le mesure sur le jeu de test :

Fenêtre de terminal
match eval --run exact
exact on the test split: pair precision 0.817, recall 0.338, F1 0.478
2,300 pairs called the same: 1,879 right, 421 wrong; 3,685 of 5,564 true pairs missed
entities after clustering (all records): 50,367 (true: 37,500)

Vous connaissez les deux premières lignes depuis la dernière leçon. F1 combine la précision et le rappel en un nombre. Il est élevé seulement quand les deux sont élevés. Le cours d’apprentissage automatique l’explique dans Les métriques de classification.

La dernière ligne compte les clients. Pour transformer les paires en clients, le projet regroupe les paires. Si l’enregistrement A correspond à B, et B à C, alors A, B et C représentent un seul client. Le module 7 explique le regroupement. match cluster affiche les plus grands groupes :

Fenêtre de terminal
match cluster --run exact
exact: 60,108 records -> 50,367 entities (true: 37,500)
Largest clusters: L-008538 (5 records), L-004017 (5 records), L-003697 (5 records)
Saved to outputs/clusters/exact.csv

C’est la première ligne du tableau comparatif du cours. Chaque module suivant y ajoute des lignes, mesurées de la même façon sur les mêmes 5 564 paires de test :

Exécution Module Précision Rappel F1
exact 1 0,817 0,338 0,478

Avant qu’une méthode décide pour vous, décidez vous-même. match sample écrit 40 paires d’enregistrements à étiqueter. Les paires viennent des données d’entraînement. Les noms de famille des deux enregistrements de chaque paire commencent par les mêmes quatre lettres.

Fenêtre de terminal
match sample
Wrote 40 pairs to outputs/to_label.csv. Fill 'label' with same, different or unsure, and a reason.
Then check your labels with: match sample-check
  1. Ouvrez outputs/to_label.csv dans VS Code. Chaque ligne présente les deux enregistrements côte à côte : name_l et name_r, email_l et email_r, et ainsi de suite.

  2. Pour chaque ligne, remplissez la colonne label (étiquette) avec same (identique), different (différent) ou unsure (incertain).

  3. Pour chaque ligne unsure, écrivez dans la colonne reason (raison) ce qu’il faudrait savoir pour décider.

  4. Enregistrez le fichier et vérifiez vos étiquettes :

    Fenêtre de terminal
    match sample-check

Quand nous avons étiqueté ces 40 paires, nous avons choisi unsure pour trois d’entre elles et different pour les autres. Voici le résultat :

Labelled 37 pairs as same or different: 37 agree with the true entities; 3 unsure; 0 empty.
True pairs in the sample: 0 of 40

Aucune des 40 paires ne représente un seul client. Deux enregistrements avec un nom de famille semblable représentent presque toujours deux personnes. Deux de nos paires unsure étaient des femmes avec le même prénom et un autre nom de famille : un nom marital? La troisième avait le même nom, mais un autre courriel, téléphone et province : un déménagement? Les trois représentaient deux personnes.

C’est l’idée de la dernière leçon, vue de l’intérieur. La plupart des paires qui se ressemblent un peu représentent des personnes différentes. Un apparieur qui fusionne sur un indice faible, comme le nom de famille, produit beaucoup de fusions erronées.

Exécutez match sample --seed 9 et étiquetez les 40 nouvelles paires. Cet échantillon contient une vraie paire. Pouvez-vous la trouver avant de vérifier? Utilisez ensuite match show avec l’un de ses identifiants d’enregistrement. Nommez les types de différences entre ses enregistrements.

Deux commandes maintiennent le projet dans un état connu :

  • match check vérifie les fichiers de données et mesure la jointure sur le courriel.
  • match reset supprime outputs/ et vérifie les fichiers de données. outputs/ contient tout ce que le projet écrit : paires, groupes et, plus tard, enregistrements préparés et modèles. Vos étiquettes dans outputs/to_label.csv sont aussi supprimées.
Fenêtre de terminal
match reset
Reset: removed 3 files from outputs/; data: 30 files, all files are right.

Le projet ne modifie jamais les fichiers dans data/. Comme la commis de la clinique, il travaille sur des copies. Les apparieurs écrivent les paires et les groupes dans outputs/. Les enregistrements sources restent tels quels. Si un fichier de données change par erreur, copiez à nouveau les données du cours depuis le dépôt des exercices pratiques.

match check s’arrête avec un message quand quelque chose ne va pas. Lisez sa dernière ligne et trouvez-la ici :

Message Cause Solution
No course data found. Put the course data folder next to the project as data/, or set LARKFIELD_DATA to its path. (Données du cours introuvables. Placez le dossier de données à côté du projet sous le nom data/, ou indiquez son chemin dans LARKFIELD_DATA.) data/ manque, ou vous êtes dans le mauvais dossier allez dans larkfield-match avec cd et copiez à nouveau les données (étape 2)
These data files are missing or changed: sources/loyalty_members.csv. Download the course data again. (Ces fichiers de données manquent ou ont changé : sources/loyalty_members.csv. Téléchargez à nouveau les données du cours.) un fichier de données a été modifié ou supprimé copiez à nouveau ce fichier depuis nextia-learning-labs/C39/data/, puis exécutez match reset
command not found: match (commande introuvable : match) l’environnement virtuel n’est pas actif dans ce terminal activez-le à nouveau (étape 4)
ModuleNotFoundError: No module named 'pandas' (module introuvable : pandas) les paquets ne sont pas installés dans cet environnement exécutez à nouveau python -m pip install -r requirements.txt -e .
Setup check failed: see the lesson's troubleshooting list. (La vérification de la configuration a échoué : consultez la liste de dépannage de la leçon.) la jointure sur le courriel a donné d’autres nombres : le code a été modifié exécutez match reset; si l’échec persiste, copiez à nouveau l’instantané start

Erreur courante

Nettoyer un fichier de données à la main

Symptôme : vous ouvrez data/sources/loyalty_members.csv dans un tableur et corrigez quelques noms qui semblent erronés. Vous enregistrez le fichier. Plus tard, match check s’arrête :

These data files are missing or changed: sources/loyalty_members.csv. Download the course data again.

Cause : la modification a changé la somme de contrôle du fichier, donc le projet refuse de mesurer. Enregistrer dans un tableur peut modifier un fichier même sans changement de votre part : fins de ligne, guillemets ou format de date. Et la modification elle-même pose problème : vous avez changé les preuves. Une mesure sur des données modifiées ne peut pas se comparer à celle d’une autre personne. Votre « correction » peut aussi être erronée. « Thibault Helene » ressemble à une faute de frappe, mais c’est un vrai enregistrement avec les noms inversés.

Solution : recopiez le fichier original de nextia-learning-labs/C39/data/ dans data/. Exécutez ensuite match reset. La commande doit se terminer par « all files are right » (tous les fichiers sont corrects). Pour consulter les données, utilisez match info, match show ou le carnet (notebook) Jupyter. Ils lisent les fichiers sans jamais les écrire.

Conséquence pour le travail en IA : ne nettoyez jamais les enregistrements sources directement dans leurs fichiers. L’appariement conserve chaque enregistrement source tel quel et place les valeurs nettoyées à côté. Chaque fusion peut alors être expliquée et annulée. Le module 2 construit les valeurs nettoyées de cette façon.

Vérifiez votre compréhension

Nommez quatre types de différences entre les trois enregistrements de Valérie Tremblay. Pour chacun, dites s'il signifie « une autre personne ».

Afficher la réponse
  • Un autre format : +1 514 555 8296 et 5145558296, 31/01/1975 et 1975-01-31. C’est la même valeur, donc pas une autre personne.
  • Un nom abrégé, des majuscules et aucun accent : TREMBLAY, VAL comparé à Valérie Tremblay. C’est la même personne.
  • Une faute de frappe : le code postal H6P 3H1 comparé à H6P 3H7. Un caractère erroné, pas une autre personne.
  • Des valeurs vides : aucune adresse dans l’enregistrement de fidélité, aucune date de naissance dans l’enregistrement de jardinerie. Une valeur vide n’est pas un désaccord. Aucune de ces différences ne signifie une autre personne. Mais des noms presque identiques, comme Marc et Marie Fortin, peuvent désigner deux personnes. Un apparieur ne peut donc pas ignorer les petites différences.

Vérifiez votre compréhension

Pourquoi les enregistrements des jardineries rendent-ils l'appariement plus difficile que ceux du programme de fidélité? Utilisez le graphique des valeurs vides dans votre réponse.

Afficher la réponse

Les jardineries laissent le courriel vide dans 59,5 % de leurs enregistrements, et la date de naissance dans 84,7 %. La liste de fidélité les laisse vides dans seulement 11,9 % et 3,0 % des cas. Pour la plupart des enregistrements de jardinerie, l’apparieur n’a donc que le nom, le téléphone et l’adresse. Et ces champs présentent le plus de différences : noms en majuscules sans accents, prénoms abrégés et anciennes adresses. Dans le modèle d’erreurs, 60 % des enregistrements de jardinerie ont une ancienne adresse. Moins de champs à comparer, et plus de bruit dans ces champs.

Vérifiez votre compréhension

Vous avez étiqueté 40 paires échantillonnées, et aucune ne représentait un seul client. Tomás dit : « Alors l'échantillon est défectueux. » Que répondez-vous?

Afficher la réponse

L’échantillon n’est pas défectueux. Il a choisi des paires dont les noms de famille commencent par les mêmes quatre lettres. La plupart représentent deux personnes différentes. C’est la situation normale en appariement : les vraies paires sont rares. Même parmi les enregistrements qui se ressemblent un peu, la plupart des paires représentent des personnes différentes. Un nom de famille semblable est donc un indice faible. Un apparieur qui fusionne sur cet indice produit beaucoup de fusions erronées. Avec match sample --seed 9, une des 40 paires est une vraie paire.

Récapitulatif

  • Le projet larkfield-match est installé : l’instantané start, les données dans data/ et un environnement virtuel. match check se termine par « Setup check passed. » (La vérification de la configuration a réussi.). Les 11 tests réussissent.
  • Les trois listes ont des structures différentes. Le projet les lit dans une seule table sans modifier de valeur. truth.csv sert seulement à mesurer.
  • 45,6 % des vrais clients figurent dans plus d’une liste. Les jardineries laissent le courriel vide dans 59,5 % de leurs enregistrements et la date de naissance dans 84,7 %.
  • Les enregistrements d’un même client diffèrent de plusieurs façons : formats, majuscules, accents, noms abrégés ou inversés, fautes de frappe et anciennes adresses. Certaines valeurs sont vides. Et des personnes différentes peuvent quand même se ressembler.
  • exact donne une précision de 0,817 et un rappel de 0,338 sur le jeu de test, ainsi que 50 367 clients. C’est la première ligne du tableau comparatif. match reset supprime outputs/ et vérifie les données, qui ne changent jamais.

Vous pouvez maintenant exécuter le projet et lire les enregistrements. Mais beaucoup de différences dans la table sont simplement des façons différentes d’écrire la même valeur. Ensuite, vous normalisez les valeurs pour que +1 514 555 8296 et 5145558296 deviennent égaux. Vous mesurez à quel point cette seule étape aide.

Leçon suivante : Normaliser