Aller au contenu
English

Appariement exact et par règles

  • Leçon 6
  • 40 min
  • Module 2 : Nettoyer d'abord, puis apparier exactement

Où nous en sommes

Nos enregistrements sont maintenant propres et découpés en parties. L'apparieur le plus simple les compare exactement. Dans cette leçon, nous construisons des clés exactes et quelques règles, comme « même courriel, ou même téléphone et nom de famille ». Nous obtenons ainsi les résultats de référence à dépasser.

Ce que vous saurez faire

Construisez des apparieurs à partir de clés exactes et de règles appliquées aux enregistrements préparés. Mesurez chaque règle seule, puis les quatre ensemble, sur les paires de test. Le résultat est la référence de base : les résultats que chaque méthode suivante de ce cours doit dépasser.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet nettoie les enregistrements, construit des clés exactes avec pandas et mesure une règle. Vous construisez ensuite les autres règles et réunissez les quatre. Vous rapportez la précision par paire et le rappel par paire pour chacune. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.

La commis de la clinique travaille avec les dossiers depuis des années. Elle a quelques règles pratiques. « Même nom et même date de naissance : même patient. » « Même téléphone et même nom de famille : probablement la même famille, peut-être le même patient. » Elle sait quelles règles sont sûres et lesquelles demandent une seconde vérification.

Un ordinateur peut suivre ces règles, si chacune est exacte : deux enregistrements correspondent quand certains champs sont égaux. Cette leçon écrit quatre règles de ce type et mesure à quel point chacune est sûre.

Après normalisation, la jointure sur le courriel trouve 43,8 % des vraies paires. Beaucoup de clients ont deux courriels différents, ou aucun courriel dans une liste. Voici l’un d’eux : Samuel Green, que vous avez rencontré au module 1. Son enregistrement de fidélité et celui du magasin représentent une seule personne, avec deux courriels :

L-011126 samuel green thegreens@example.com 9055551835 M7K4L8 1966-03-14
S-007770 samuel green samuel.green@mail.example (no phone) M7K4L8 1966-03-14

Les courriels diffèrent, donc la jointure sur le courriel manque cette paire. Mais regardez les autres champs. Le prénom, le nom de famille, le code postal et la date de naissance sont tous égaux. Un apparieur qui examine ces champs ensemble peut trouver cette paire.

Une clé est une valeur construite à partir d’un ou de plusieurs champs d’un enregistrement. Par exemple, la clé « prénom + nom de famille + date de naissance » de L-011126 est samuel|green|1966-03-14. Une correspondance par clé exacte indique que deux enregistrements correspondent si leurs clés sont égales et qu’aucun champ n’est vide.

Une règle est une clé de ce type. Un ensemble de règles relie plusieurs règles par « ou » : deux enregistrements correspondent si au moins une règle le dit. Ce type d’apparieur fait de l’appariement par règles ou déterministe. Les mêmes enregistrements donnent toujours la même réponse, et vous pouvez expliquer exactement pourquoi.

L’ensemble de règles du projet compte quatre règles :

Un arbre de décision. Deux enregistrements normalisés et analysés passent à la règle 1 : même courriel? Seule, elle a une précision de 0,819 et un rappel de 0,438. Oui mène à SAME (identiques). Non mène à la règle 2 : même téléphone et même nom de famille? Seule, précision de 0,696, rappel de 0,438. Non mène à la règle 3 : mêmes prénom, nom de famille et date de naissance? Seule, précision de 1,000, rappel de 0,170. Non mène à la règle 4 : mêmes prénom, nom de famille et code postal? Seule, précision de 0,921, rappel de 0,621. Chaque oui mène à SAME. Le dernier non mène à DIFFERENT (différents), pour l'instant. L'encadré SAME indique : les quatre règles ensemble, précision de 0,723, rappel de 0,870.
Les quatre règles sous forme d'arbre de décision, avec la précision et le rappel de chacune sur le jeu de test (enregistrements synthétiques). Un seul oui suffit pour SAME (identiques).
Description textuelle du diagramme

Deux enregistrements passent par quatre questions. Règle 1 : même courriel? Règle 2 : même téléphone et même nom de famille? Règle 3 : mêmes prénom, nom de famille et date de naissance? Règle 4 : mêmes prénom, nom de famille et code postal? Un oui à n’importe quelle question donne SAME (identiques). Quatre non donnent DIFFERENT (différents). Seules, les règles ont des précisions très différentes : 1,000 pour le nom et la date de naissance, contre 0,696 pour le téléphone et le nom de famille. Les quatre ensemble ont une précision de 0,723 et un rappel de 0,870.

Chaque règle utilise des champs rarement égaux par hasard pour deux personnes différentes. Un nom de famille seul est trop courant : beaucoup de Tremblay vivent au Québec. Un nom de famille avec un téléphone est beaucoup plus rare. Un nom complet avec une date de naissance est encore plus rare.

Voici les quatre enregistrements de Samuel Green, et un enregistrement de son frère Nathan. Les frères sont un cas d’exercice que nous avons créé exprès : ils partagent un courriel familial, une ligne fixe et une adresse. Les valeurs sont les valeurs préparées.

Enregistrement Prénom Nom de famille Courriel Téléphone Code postal Date de naissance Vrai client
G-001688 samuel green thegreens@example.com 9055551835 M7K4L8 Samuel
G-008438 samuel green 5195554060 L0H6T9 Samuel
L-011126 samuel green thegreens@example.com 9055551835 M7K4L8 1966-03-14 Samuel
S-007770 samuel green samuel.green@mail.example M7K4L8 1966-03-14 Samuel
G-002894 nathan green thegreens@example.com 9055551835 M7K4L8 1966-05-20 Nathan

Cinq enregistrements font 10 paires. Le tableau montre quelles règles disent oui pour chaque paire :

Paire Règles qui disent oui Décision des règles Vérité Résultat
G-001688, L-011126 1, 2, 4 identiques une personne fusion correcte
G-001688, S-007770 4 identiques une personne fusion correcte
L-011126, S-007770 3, 4 identiques une personne fusion correcte
G-001688, G-002894 1, 2 identiques deux personnes fusion erronée
L-011126, G-002894 1, 2 identiques deux personnes fusion erronée
G-008438 avec chaque autre enregistrement de Samuel aucune différents une personne 3 correspondances manquées
S-007770, G-002894 aucune différents deux personnes correct
G-008438, G-002894 aucune différents deux personnes correct

Les règles trouvent 3 des 6 vraies paires de Samuel. Elles manquent les 3 paires avec G-008438 : une ancienne adresse à Stonewick, un autre téléphone et aucun courriel. Les règles 1 et 2 fusionnent aussi Samuel avec son frère, car la famille partage le courriel et le téléphone. Les règles 3 et 4 ne fusionnent pas les frères : leurs prénoms diffèrent.

Dans une seule petite famille, vous voyez donc toute l’histoire de cette leçon. Les règles qui utilisent le nom sont sûres. Les règles sur les champs familiaux partagés sont risquées.

Cette leçon ajoute un fichier : larkfield_match/runs/rules.py. Il définit les exécutions exact-norm, les quatre règles seules, l’ensemble rules et trois règles pour les flux de produits.

  1. Copiez le fichier de l’instantané end-of-m02 :

    Fenêtre de terminal
    cp ../nextia-learning-labs/C39/snapshots/end-of-m02/larkfield_match/runs/rules.py larkfield_match/runs/
  2. Listez les exécutions. Le projet trouve les nouvelles grâce au fichier :

    Fenêtre de terminal
    match score --list
    exact customers same email, exactly as typed
    exact-norm customers same email after normalising
    p-gtin products same barcode (GTIN) when both feeds have one
    p-rules products same barcode, or same parsed title
    p-title products same brand, title words, size and pack after parsing
    rule-name-dob customers same first name, surname and date of birth
    rule-name-postcode customers same first name, surname and postcode
    rule-phone customers same phone (and nothing else)
    rule-phone-surname customers same phone and same surname
    rules customers same email, or phone and surname, or name and birth date, or name and postcode
  3. Ouvrez larkfield_match/runs/rules.py. Chaque règle tient sur une ligne : une liste de colonnes préparées. _key_pairs garde les enregistrements où aucune de ces colonnes n’est vide, puis combine les colonnes en une clé. Ensuite, il renvoie chaque paire d’enregistrements qui ont la même clé. rules prend l’union de quatre listes de clés.

  4. Mesurez l’ensemble de règles sur le jeu de test :

    Fenêtre de terminal
    match eval --run rules
    Ran rules: 29,071 pairs called the same, in 14.2 s
    rules on the test split: pair precision 0.723, recall 0.870, F1 0.790
    6,693 pairs called the same: 4,840 right, 1,853 wrong; 724 of 5,564 true pairs missed
    entities after clustering (all records): 36,756 (true: 37,500)

    La première ligne compte les paires dans toutes les partitions et indique le temps. Le temps dépend de votre ordinateur. Les autres lignes concernent seulement le jeu de test.

  5. Mesurez chaque règle seule : exécutez match eval --run avec exact-norm, rule-phone-surname, rule-name-dob et rule-name-postcode. Par exemple :

    Fenêtre de terminal
    match eval --run rule-name-dob
    Ran rule-name-dob: 4,969 pairs called the same, in 1.7 s
    rule-name-dob on the test split: pair precision 1.000, recall 0.170, F1 0.291
    946 pairs called the same: 946 right, 0 wrong; 4,618 of 5,564 true pairs missed
    entities after clustering (all records): 55,409 (true: 37,500)

Le graphique place chaque règle sur deux axes : le rappel vers la droite, la précision vers le haut. Un apparieur parfait se trouve dans le coin supérieur droit.

Prédisez d’abord. La règle 3 seule a une précision de 1,000, et la règle 4, de 0,921. Que devient la précision quand vous reliez les quatre règles par « ou »? Monte-t-elle, reste-t-elle stable ou baisse-t-elle?

  • Une règle seule
  • Les quatre règles ensemble
Précision et rappel par paire de chaque règle seule, puis des quatre ensemble, sur le jeu de test (enregistrements synthétiques). « téléphone seul » ne fait pas partie de l'ensemble; il montre l'effet du téléphone sans nom de famille.
Description textuelle du graphique

Un nuage de points avec le rappel de 0 à 1 à l’horizontale, et la précision de 0,4 à 1,05 à la verticale. Rappel de 0,438 et précision de 0,819 pour le courriel. Rappel de 0,438 et précision de 0,696 pour le téléphone et le nom de famille. Rappel de 0,170 et précision de 1,000 pour le nom et la date de naissance. Rappel de 0,621 et précision de 0,921 pour le nom et le code postal. Rappel de 0,494 et précision de 0,539 pour le téléphone seul. Rappel de 0,870 et précision de 0,723 pour les quatre règles ensemble.

Règle Précision Rappel F1 Paires déclarées identiques Erronées
1. même courriel 0,819 0,438 0,571 2 976 538
2. même téléphone et nom de famille 0,696 0,438 0,537 3 501 1 065
3. même nom et date de naissance 1,000 0,170 0,291 946 0
4. même nom et code postal 0,921 0,621 0,742 3 754 296
les quatre (rules) 0,723 0,870 0,790 6 693 1 853

La précision baisse. Avec « ou », l’ensemble garde toutes les paires de chaque règle, donc aussi toutes leurs fusions erronées. Le rappel monte pour la même raison : chaque règle trouve des vraies paires que les autres manquent. Ensemble, les quatre règles trouvent 87,0 % des vraies paires, soit deux fois plus que le courriel.

La règle 3 a une précision parfaite, mais elle trouve seulement 17,0 % des vraies paires. La date de naissance est vide dans la plupart des enregistrements des magasins et des jardineries. La règle exige sa présence dans les deux enregistrements. Une règle peut seulement décider quand ses champs sont remplis.

Le tableau comparatif du cours compte maintenant deux lignes de plus. Chaque méthode suivante utilise les mêmes paires de test et doit dépasser ces résultats :

Exécution Module Précision Rappel F1
exact 1 0,817 0,338 0,478
exact-norm 2 0,819 0,438 0,571
rules 2 0,723 0,870 0,790

L’ensemble de règles est une solide référence de base. Il a demandé quatre lignes de code et s’exécute en quelques secondes. Dans les modules suivants, une méthode avec étiquettes atteindra le même F1. Un score aux poids choisis à la main restera en dessous.

Les flux fournisseurs sont plus faciles. Deux règles apparient les produits : même code-barres (GTIN), ou même titre analysé (marque, mots, taille et format).

Fenêtre de terminal
match eval --run p-rules
Ran p-rules: 2,086 pairs called the same, in 0.4 s
p-rules on the test split: pair precision 1.000, recall 0.772, F1 0.871
436 pairs called the same: 436 right, 0 wrong; 129 of 565 true pairs missed
entities after clustering (all records): 5,875 (true: 5,211)

Pas une seule fusion erronée, et 77,2 % des vraies paires. Les titres de produits contiennent des mots rares et des nombres exacts. Deux produits différents partagent donc rarement un titre analysé complet. Sur les 129 paires manquées, 93 diffèrent seulement par la taille, comme 1,22 m et 1,2 m dans la dernière leçon. Les 34 autres diffèrent seulement par les mots du titre. Les clients sont le cas difficile de ce cours; les produits sont le cas facile.

Erreur courante

Une règle sur un seul champ partagé

Symptôme : vous ajoutez une règle simple, « même téléphone ». Elle trouve plus de vraies paires que « même téléphone et nom de famille », mais la précision tombe à 0,539 :

Fenêtre de terminal
match eval --run rule-phone
Ran rule-phone: 19,873 pairs called the same, in 4.3 s
rule-phone on the test split: pair precision 0.539, recall 0.494, F1 0.515
5,101 pairs called the same: 2,748 right, 2,353 wrong; 2,816 of 5,564 true pairs missed
entities after clustering (all records): 45,230 (true: 37,500)

Cause : un téléphone n’est pas une personne. Les familles partagent une ligne fixe. Les jardineries ont aussi saisi leur propre numéro, 450-555-0100, pour 40 clients sans rendez-vous qui n’ont donné aucun téléphone. C’est un cas d’exercice que nous avons créé exprès. La règle relie les 40. Dans le jeu de test, 345 de ses paires viennent de ces enregistrements, et aucune n’est correcte.

Solution : n’écrivez jamais de règle sur un seul champ que plusieurs personnes peuvent partager : téléphone, courriel familial, code postal ou rue. Combinez-le avec un champ de la personne, comme le nom de famille ou le prénom. Comptez aussi combien d’enregistrements partagent chaque valeur d’une clé : une valeur partagée par 40 enregistrements n’est pas une personne. match eval --run rules --by problem, dans la prochaine leçon, montre les résultats de chaque règle pour chaque cas d’exercice.

Conséquence dans le travail en IA : une règle avec une clé faible peut fusionner des dizaines de personnes en un client. Le module 7 montre le résultat, un groupe de 40 personnes différentes, et comment couper ces liens. Avant d’ajouter une règle, regardez combien d’enregistrements partagent sa clé la plus courante.

Utilisez les règles comme premier apparieur et comme référence de base. Elles sont peu coûteuses, rapides et faciles à expliquer : « ces deux enregistrements ont le même nom et la même date de naissance. » Certaines équipes gardent une règle très stricte, comme la règle 3, pour la fusion automatique. Elles envoient le reste à d’autres méthodes.

Les règles sont fragiles. Elles exigent une égalité exacte. Gagnoj et Gagnon sont différents, tout comme Matt et Matthew. Elles exigent aussi des champs de clé remplis : une règle sur la date de naissance ne peut aider un enregistrement sans date. Les modules 4 à 6 remplacent « égal ou non » par un score qui permet de petites différences.

Les règles se multiplient. Chaque nouveau cas demande une nouvelle règle, et chaque règle ajoute ses fusions erronées. Mesurez chaque règle seule et dans l’ensemble, chaque fois que vous en modifiez une.

Le coût. L’exécution ne coûte presque rien : l’ensemble de règles prend quelques secondes sur un ordinateur portable. Le vrai coût vient de ses erreurs. Le cours suppose qu’une fusion erronée coûte 150 $, et une correspondance manquée, 3 $ par année. Avec ces coûts, les 1 853 fusions erronées de l’ensemble sur le jeu de test coûtent bien plus que ses correspondances manquées. Vous avez fait ce calcul dans Fusions erronées et correspondances manquées.

Vérifiez votre compréhension

La règle 3 (mêmes prénom, nom de famille et date de naissance) a une précision de 1,000, mais un rappel de seulement 0,170. Donnez deux raisons de ce faible rappel, d'après ce que vous savez des données.

Afficher la réponse
  1. Dates de naissance vides. La règle exige la date dans les deux enregistrements. Le magasin la laisse vide dans 54,6 % de ses enregistrements, et les jardineries, dans 84,7 %. La plupart des paires ne peuvent pas utiliser cette règle.
  2. Noms différents. La règle exige les mêmes prénom et nom de famille après normalisation. Les surnoms (Matt et Matthew), les noms abrégés (VAL et Valérie), les erreurs de saisie et les noms inversés rendent les noms différents.

La précision est élevée parce que deux personnes différentes partagent rarement un nom complet et une date de naissance.

Vérifiez votre compréhension

Dans l'exemple de la famille Green, quelles règles fusionnent Samuel avec son frère Nathan? Pourquoi les deux autres ne les fusionnent-elles pas?

Afficher la réponse

La règle 1 (même courriel) et la règle 2 (même téléphone et nom de famille) les fusionnent. Les frères partagent le courriel familial thegreens@example.com, la ligne fixe 9055551835 et le nom de famille. Les règles 3 et 4 exigent le même prénom, et samuel n’est pas nathan. Les règles qui utilisent le nom propre de la personne sont donc sûres ici. Les règles sur les champs familiaux partagés produisent les fusions erronées.

Vérifiez votre compréhension

Omar demande : « Pourquoi ne pas ajouter la règle 5, même nom de famille et même code postal? Elle trouverait plus de personnes qui ont changé de prénom ou utilisent un surnom. » À quoi vous attendez-vous? Comment vérifiez-vous?

Afficher la réponse

Le rappel monterait un peu : la règle trouverait certaines paires avec un surnom ou un prénom abrégé. Mais la précision baisserait beaucoup. Tous les membres d’un ménage ont le même nom de famille et le même code postal. La règle fusionne donc conjoints, parents et enfants. Elle fusionnerait aussi les frères de la famille Green. Vérifiez par la mesure : construisez la règle, mesurez-la seule et dans l’ensemble, puis examinez certaines de ses nouvelles paires. La dernière tâche du carnet fait cela. Avec le nettoyage du carnet, la règle 5 seule a une précision de 0,243. Ajoutée aux quatre règles, elle fait monter le rappel de 0,870 à 0,904 et baisser la précision de 0,723 à 0,271.

Récapitulatif

  • Une clé combine un ou plusieurs champs normalisés. Une correspondance par clé exacte indique « identiques » quand deux enregistrements ont des clés égales sans champ vide. Un ensemble de règles relie les règles par « ou ».
  • Seules, les règles ont des précisions très différentes. Nom et date de naissance : 1,000. Nom et code postal : 0,921. Courriel : 0,819. Téléphone et nom de famille : 0,696.
  • Les quatre ensemble : précision de 0,723, rappel de 0,870, F1 de 0,790, sur le jeu de test. Avec « ou », le rappel augmente, tout comme les fusions erronées.
  • Les règles sur les champs partagés produisent des fusions erronées : courriel familial, ligne fixe ou numéro du magasin. « Même téléphone » seul a une précision de 0,539.
  • rules est la référence de base du cours. Les flux de produits sont le cas facile : p-rules a une précision de 1,000 et un rappel de 0,772.

Vous avez maintenant des résultats pour chaque règle. Mais que comptent-ils exactement? Ensuite, vous examinez la précision et le rappel par paire. Vous voyez pourquoi le même apparieur semble meilleur ou moins bon selon que vous comptez les paires ou les clients.

Leçon suivante : Mesurer un apparieur