Appariement exact et par règles
- Leçon 6
- 40 min
- Module 2 : Nettoyer d'abord, puis apparier exactement
Où nous en sommes
Nos enregistrements sont maintenant propres et découpés en parties. L'apparieur le plus simple les compare exactement. Dans cette leçon, nous construisons des clés exactes et quelques règles, comme « même courriel, ou même téléphone et nom de famille ». Nous obtenons ainsi les résultats de référence à dépasser.
Leçon 6 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Appariement exact et par règles
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Construisez des apparieurs à partir de clés exactes et de règles appliquées aux enregistrements préparés. Mesurez chaque règle seule, puis les quatre ensemble, sur les paires de test. Le résultat est la référence de base : les résultats que chaque méthode suivante de ce cours doit dépasser.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet nettoie les enregistrements, construit des clés exactes avec pandas et mesure une règle. Vous construisez ensuite les autres règles et réunissez les quatre. Vous rapportez la précision par paire et le rappel par paire pour chacune. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les enregistrements préparés, dans Découper en parties.
- La précision par paire, le rappel par paire et le F1, dans Fusions erronées et correspondances manquées et Découvrir les enregistrements.
- Une jointure en SQL ou pandas : des lignes de deux tables qui ont la même valeur dans une colonne. Le cours SQL et préparation des données pour l’IA enseigne les jointures.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.
Les règles pratiques de la commis
Section intitulée « Les règles pratiques de la commis »La commis de la clinique travaille avec les dossiers depuis des années. Elle a quelques règles pratiques. « Même nom et même date de naissance : même patient. » « Même téléphone et même nom de famille : probablement la même famille, peut-être le même patient. » Elle sait quelles règles sont sûres et lesquelles demandent une seconde vérification.
Un ordinateur peut suivre ces règles, si chacune est exacte : deux enregistrements correspondent quand certains champs sont égaux. Cette leçon écrit quatre règles de ce type et mesure à quel point chacune est sûre.
Le problème : un champ ne suffit pas
Section intitulée « Le problème : un champ ne suffit pas »Après normalisation, la jointure sur le courriel trouve 43,8 % des vraies paires. Beaucoup de clients ont deux courriels différents, ou aucun courriel dans une liste. Voici l’un d’eux : Samuel Green, que vous avez rencontré au module 1. Son enregistrement de fidélité et celui du magasin représentent une seule personne, avec deux courriels :
L-011126 samuel green thegreens@example.com 9055551835 M7K4L8 1966-03-14S-007770 samuel green samuel.green@mail.example (no phone) M7K4L8 1966-03-14Les courriels diffèrent, donc la jointure sur le courriel manque cette paire. Mais regardez les autres champs. Le prénom, le nom de famille, le code postal et la date de naissance sont tous égaux. Un apparieur qui examine ces champs ensemble peut trouver cette paire.
L’idée : des clés exactes et des règles
Section intitulée « L’idée : des clés exactes et des règles »Une clé est une valeur construite à partir d’un ou de plusieurs champs d’un enregistrement. Par exemple, la clé « prénom + nom de famille + date de naissance » de L-011126 est samuel|green|1966-03-14. Une correspondance par clé exacte indique que deux enregistrements correspondent si leurs clés sont égales et qu’aucun champ n’est vide.
Une règle est une clé de ce type. Un ensemble de règles relie plusieurs règles par « ou » : deux enregistrements correspondent si au moins une règle le dit. Ce type d’apparieur fait de l’appariement par règles ou déterministe. Les mêmes enregistrements donnent toujours la même réponse, et vous pouvez expliquer exactement pourquoi.
L’ensemble de règles du projet compte quatre règles :
Description textuelle du diagramme
Deux enregistrements passent par quatre questions. Règle 1 : même courriel? Règle 2 : même téléphone et même nom de famille? Règle 3 : mêmes prénom, nom de famille et date de naissance? Règle 4 : mêmes prénom, nom de famille et code postal? Un oui à n’importe quelle question donne SAME (identiques). Quatre non donnent DIFFERENT (différents). Seules, les règles ont des précisions très différentes : 1,000 pour le nom et la date de naissance, contre 0,696 pour le téléphone et le nom de famille. Les quatre ensemble ont une précision de 0,723 et un rappel de 0,870.
Chaque règle utilise des champs rarement égaux par hasard pour deux personnes différentes. Un nom de famille seul est trop courant : beaucoup de Tremblay vivent au Québec. Un nom de famille avec un téléphone est beaucoup plus rare. Un nom complet avec une date de naissance est encore plus rare.
Exemple détaillé : la famille Green
Section intitulée « Exemple détaillé : la famille Green »Voici les quatre enregistrements de Samuel Green, et un enregistrement de son frère Nathan. Les frères sont un cas d’exercice que nous avons créé exprès : ils partagent un courriel familial, une ligne fixe et une adresse. Les valeurs sont les valeurs préparées.
| Enregistrement | Prénom | Nom de famille | Courriel | Téléphone | Code postal | Date de naissance | Vrai client |
|---|---|---|---|---|---|---|---|
| G-001688 | samuel | green | thegreens@example.com | 9055551835 | M7K4L8 | Samuel | |
| G-008438 | samuel | green | 5195554060 | L0H6T9 | Samuel | ||
| L-011126 | samuel | green | thegreens@example.com | 9055551835 | M7K4L8 | 1966-03-14 | Samuel |
| S-007770 | samuel | green | samuel.green@mail.example | M7K4L8 | 1966-03-14 | Samuel | |
| G-002894 | nathan | green | thegreens@example.com | 9055551835 | M7K4L8 | 1966-05-20 | Nathan |
Cinq enregistrements font 10 paires. Le tableau montre quelles règles disent oui pour chaque paire :
| Paire | Règles qui disent oui | Décision des règles | Vérité | Résultat |
|---|---|---|---|---|
| G-001688, L-011126 | 1, 2, 4 | identiques | une personne | fusion correcte |
| G-001688, S-007770 | 4 | identiques | une personne | fusion correcte |
| L-011126, S-007770 | 3, 4 | identiques | une personne | fusion correcte |
| G-001688, G-002894 | 1, 2 | identiques | deux personnes | fusion erronée |
| L-011126, G-002894 | 1, 2 | identiques | deux personnes | fusion erronée |
| G-008438 avec chaque autre enregistrement de Samuel | aucune | différents | une personne | 3 correspondances manquées |
| S-007770, G-002894 | aucune | différents | deux personnes | correct |
| G-008438, G-002894 | aucune | différents | deux personnes | correct |
Les règles trouvent 3 des 6 vraies paires de Samuel. Elles manquent les 3 paires avec G-008438 : une ancienne adresse à Stonewick, un autre téléphone et aucun courriel. Les règles 1 et 2 fusionnent aussi Samuel avec son frère, car la famille partage le courriel et le téléphone. Les règles 3 et 4 ne fusionnent pas les frères : leurs prénoms diffèrent.
Dans une seule petite famille, vous voyez donc toute l’histoire de cette leçon. Les règles qui utilisent le nom sont sûres. Les règles sur les champs familiaux partagés sont risquées.
Les règles dans le projet
Section intitulée « Les règles dans le projet »Cette leçon ajoute un fichier : larkfield_match/runs/rules.py. Il définit les exécutions exact-norm, les quatre règles seules, l’ensemble rules et trois règles pour les flux de produits.
-
Copiez le fichier de l’instantané
end-of-m02:Fenêtre de terminal cp ../nextia-learning-labs/C39/snapshots/end-of-m02/larkfield_match/runs/rules.py larkfield_match/runs/Fenêtre de terminal Copy-Item ..\nextia-learning-labs\C39\snapshots\end-of-m02\larkfield_match\runs\rules.py larkfield_match\runs\ -
Listez les exécutions. Le projet trouve les nouvelles grâce au fichier :
Fenêtre de terminal match score --listexact customers same email, exactly as typedexact-norm customers same email after normalisingp-gtin products same barcode (GTIN) when both feeds have onep-rules products same barcode, or same parsed titlep-title products same brand, title words, size and pack after parsingrule-name-dob customers same first name, surname and date of birthrule-name-postcode customers same first name, surname and postcoderule-phone customers same phone (and nothing else)rule-phone-surname customers same phone and same surnamerules customers same email, or phone and surname, or name and birth date, or name and postcode -
Ouvrez
larkfield_match/runs/rules.py. Chaque règle tient sur une ligne : une liste de colonnes préparées._key_pairsgarde les enregistrements où aucune de ces colonnes n’est vide, puis combine les colonnes en une clé. Ensuite, il renvoie chaque paire d’enregistrements qui ont la même clé.rulesprend l’union de quatre listes de clés. -
Mesurez l’ensemble de règles sur le jeu de test :
Fenêtre de terminal match eval --run rulesRan rules: 29,071 pairs called the same, in 14.2 srules on the test split: pair precision 0.723, recall 0.870, F1 0.7906,693 pairs called the same: 4,840 right, 1,853 wrong; 724 of 5,564 true pairs missedentities after clustering (all records): 36,756 (true: 37,500)La première ligne compte les paires dans toutes les partitions et indique le temps. Le temps dépend de votre ordinateur. Les autres lignes concernent seulement le jeu de test.
-
Mesurez chaque règle seule : exécutez
match eval --runavecexact-norm,rule-phone-surname,rule-name-dobetrule-name-postcode. Par exemple :Fenêtre de terminal match eval --run rule-name-dobRan rule-name-dob: 4,969 pairs called the same, in 1.7 srule-name-dob on the test split: pair precision 1.000, recall 0.170, F1 0.291946 pairs called the same: 946 right, 0 wrong; 4,618 of 5,564 true pairs missedentities after clustering (all records): 55,409 (true: 37,500)
Chaque règle, puis les quatre ensemble
Section intitulée « Chaque règle, puis les quatre ensemble »Le graphique place chaque règle sur deux axes : le rappel vers la droite, la précision vers le haut. Un apparieur parfait se trouve dans le coin supérieur droit.
Prédisez d’abord. La règle 3 seule a une précision de 1,000, et la règle 4, de 0,921. Que devient la précision quand vous reliez les quatre règles par « ou »? Monte-t-elle, reste-t-elle stable ou baisse-t-elle?
- Une règle seule
- Les quatre règles ensemble
Description textuelle du graphique
Un nuage de points avec le rappel de 0 à 1 à l’horizontale, et la précision de 0,4 à 1,05 à la verticale. Rappel de 0,438 et précision de 0,819 pour le courriel. Rappel de 0,438 et précision de 0,696 pour le téléphone et le nom de famille. Rappel de 0,170 et précision de 1,000 pour le nom et la date de naissance. Rappel de 0,621 et précision de 0,921 pour le nom et le code postal. Rappel de 0,494 et précision de 0,539 pour le téléphone seul. Rappel de 0,870 et précision de 0,723 pour les quatre règles ensemble.
| Règle | Précision | Rappel | F1 | Paires déclarées identiques | Erronées |
|---|---|---|---|---|---|
| 1. même courriel | 0,819 | 0,438 | 0,571 | 2 976 | 538 |
| 2. même téléphone et nom de famille | 0,696 | 0,438 | 0,537 | 3 501 | 1 065 |
| 3. même nom et date de naissance | 1,000 | 0,170 | 0,291 | 946 | 0 |
| 4. même nom et code postal | 0,921 | 0,621 | 0,742 | 3 754 | 296 |
les quatre (rules) |
0,723 | 0,870 | 0,790 | 6 693 | 1 853 |
La précision baisse. Avec « ou », l’ensemble garde toutes les paires de chaque règle, donc aussi toutes leurs fusions erronées. Le rappel monte pour la même raison : chaque règle trouve des vraies paires que les autres manquent. Ensemble, les quatre règles trouvent 87,0 % des vraies paires, soit deux fois plus que le courriel.
La règle 3 a une précision parfaite, mais elle trouve seulement 17,0 % des vraies paires. La date de naissance est vide dans la plupart des enregistrements des magasins et des jardineries. La règle exige sa présence dans les deux enregistrements. Une règle peut seulement décider quand ses champs sont remplis.
La référence de base
Section intitulée « La référence de base »Le tableau comparatif du cours compte maintenant deux lignes de plus. Chaque méthode suivante utilise les mêmes paires de test et doit dépasser ces résultats :
| Exécution | Module | Précision | Rappel | F1 |
|---|---|---|---|---|
exact |
1 | 0,817 | 0,338 | 0,478 |
exact-norm |
2 | 0,819 | 0,438 | 0,571 |
rules |
2 | 0,723 | 0,870 | 0,790 |
L’ensemble de règles est une solide référence de base. Il a demandé quatre lignes de code et s’exécute en quelques secondes. Dans les modules suivants, une méthode avec étiquettes atteindra le même F1. Un score aux poids choisis à la main restera en dessous.
Les produits : le cas facile
Section intitulée « Les produits : le cas facile »Les flux fournisseurs sont plus faciles. Deux règles apparient les produits : même code-barres (GTIN), ou même titre analysé (marque, mots, taille et format).
match eval --run p-rulesRan p-rules: 2,086 pairs called the same, in 0.4 sp-rules on the test split: pair precision 1.000, recall 0.772, F1 0.871 436 pairs called the same: 436 right, 0 wrong; 129 of 565 true pairs missed entities after clustering (all records): 5,875 (true: 5,211)Pas une seule fusion erronée, et 77,2 % des vraies paires. Les titres de produits contiennent des mots rares et des nombres exacts. Deux produits différents partagent donc rarement un titre analysé complet. Sur les 129 paires manquées, 93 diffèrent seulement par la taille, comme 1,22 m et 1,2 m dans la dernière leçon. Les 34 autres diffèrent seulement par les mots du titre. Les clients sont le cas difficile de ce cours; les produits sont le cas facile.
Erreur courante
Une règle sur un seul champ partagé
Symptôme : vous ajoutez une règle simple, « même téléphone ». Elle trouve plus de vraies paires que « même téléphone et nom de famille », mais la précision tombe à 0,539 :
match eval --run rule-phoneRan rule-phone: 19,873 pairs called the same, in 4.3 srule-phone on the test split: pair precision 0.539, recall 0.494, F1 0.515 5,101 pairs called the same: 2,748 right, 2,353 wrong; 2,816 of 5,564 true pairs missed entities after clustering (all records): 45,230 (true: 37,500)Cause : un téléphone n’est pas une personne. Les familles partagent une ligne fixe. Les jardineries ont aussi saisi leur propre numéro, 450-555-0100, pour 40 clients sans rendez-vous qui n’ont donné aucun téléphone. C’est un cas d’exercice que nous avons créé exprès. La règle relie les 40. Dans le jeu de test, 345 de ses paires viennent de ces enregistrements, et aucune n’est correcte.
Solution : n’écrivez jamais de règle sur un seul champ que plusieurs personnes peuvent partager : téléphone, courriel familial, code postal ou rue. Combinez-le avec un champ de la personne, comme le nom de famille ou le prénom. Comptez aussi combien d’enregistrements partagent chaque valeur d’une clé : une valeur partagée par 40 enregistrements n’est pas une personne. match eval --run rules --by problem, dans la prochaine leçon, montre les résultats de chaque règle pour chaque cas d’exercice.
Conséquence dans le travail en IA : une règle avec une clé faible peut fusionner des dizaines de personnes en un client. Le module 7 montre le résultat, un groupe de 40 personnes différentes, et comment couper ces liens. Avant d’ajouter une règle, regardez combien d’enregistrements partagent sa clé la plus courante.
Quand utiliser les règles, et ce qu’elles coûtent
Section intitulée « Quand utiliser les règles, et ce qu’elles coûtent »Utilisez les règles comme premier apparieur et comme référence de base. Elles sont peu coûteuses, rapides et faciles à expliquer : « ces deux enregistrements ont le même nom et la même date de naissance. » Certaines équipes gardent une règle très stricte, comme la règle 3, pour la fusion automatique. Elles envoient le reste à d’autres méthodes.
Les règles sont fragiles. Elles exigent une égalité exacte. Gagnoj et Gagnon sont différents, tout comme Matt et Matthew. Elles exigent aussi des champs de clé remplis : une règle sur la date de naissance ne peut aider un enregistrement sans date. Les modules 4 à 6 remplacent « égal ou non » par un score qui permet de petites différences.
Les règles se multiplient. Chaque nouveau cas demande une nouvelle règle, et chaque règle ajoute ses fusions erronées. Mesurez chaque règle seule et dans l’ensemble, chaque fois que vous en modifiez une.
Le coût. L’exécution ne coûte presque rien : l’ensemble de règles prend quelques secondes sur un ordinateur portable. Le vrai coût vient de ses erreurs. Le cours suppose qu’une fusion erronée coûte 150 $, et une correspondance manquée, 3 $ par année. Avec ces coûts, les 1 853 fusions erronées de l’ensemble sur le jeu de test coûtent bien plus que ses correspondances manquées. Vous avez fait ce calcul dans Fusions erronées et correspondances manquées.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La règle 3 (mêmes prénom, nom de famille et date de naissance) a une précision de 1,000, mais un rappel de seulement 0,170. Donnez deux raisons de ce faible rappel, d'après ce que vous savez des données.
Afficher la réponse
- Dates de naissance vides. La règle exige la date dans les deux enregistrements. Le magasin la laisse vide dans 54,6 % de ses enregistrements, et les jardineries, dans 84,7 %. La plupart des paires ne peuvent pas utiliser cette règle.
- Noms différents. La règle exige les mêmes prénom et nom de famille après normalisation. Les surnoms (
MattetMatthew), les noms abrégés (VALetValérie), les erreurs de saisie et les noms inversés rendent les noms différents.
La précision est élevée parce que deux personnes différentes partagent rarement un nom complet et une date de naissance.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Dans l'exemple de la famille Green, quelles règles fusionnent Samuel avec son frère Nathan? Pourquoi les deux autres ne les fusionnent-elles pas?
Afficher la réponse
La règle 1 (même courriel) et la règle 2 (même téléphone et nom de famille) les fusionnent. Les frères partagent le courriel familial thegreens@example.com, la ligne fixe 9055551835 et le nom de famille. Les règles 3 et 4 exigent le même prénom, et samuel n’est pas nathan. Les règles qui utilisent le nom propre de la personne sont donc sûres ici. Les règles sur les champs familiaux partagés produisent les fusions erronées.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar demande : « Pourquoi ne pas ajouter la règle 5, même nom de famille et même code postal? Elle trouverait plus de personnes qui ont changé de prénom ou utilisent un surnom. » À quoi vous attendez-vous? Comment vérifiez-vous?
Afficher la réponse
Le rappel monterait un peu : la règle trouverait certaines paires avec un surnom ou un prénom abrégé. Mais la précision baisserait beaucoup. Tous les membres d’un ménage ont le même nom de famille et le même code postal. La règle fusionne donc conjoints, parents et enfants. Elle fusionnerait aussi les frères de la famille Green. Vérifiez par la mesure : construisez la règle, mesurez-la seule et dans l’ensemble, puis examinez certaines de ses nouvelles paires. La dernière tâche du carnet fait cela. Avec le nettoyage du carnet, la règle 5 seule a une précision de 0,243. Ajoutée aux quatre règles, elle fait monter le rappel de 0,870 à 0,904 et baisser la précision de 0,723 à 0,271.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une clé combine un ou plusieurs champs normalisés. Une correspondance par clé exacte indique « identiques » quand deux enregistrements ont des clés égales sans champ vide. Un ensemble de règles relie les règles par « ou ».
- Seules, les règles ont des précisions très différentes. Nom et date de naissance : 1,000. Nom et code postal : 0,921. Courriel : 0,819. Téléphone et nom de famille : 0,696.
- Les quatre ensemble : précision de 0,723, rappel de 0,870, F1 de 0,790, sur le jeu de test. Avec « ou », le rappel augmente, tout comme les fusions erronées.
- Les règles sur les champs partagés produisent des fusions erronées : courriel familial, ligne fixe ou numéro du magasin. « Même téléphone » seul a une précision de 0,539.
rulesest la référence de base du cours. Les flux de produits sont le cas facile :p-rulesa une précision de 1,000 et un rappel de 0,772.
Vous avez maintenant des résultats pour chaque règle. Mais que comptent-ils exactement? Ensuite, vous examinez la précision et le rappel par paire. Vous voyez pourquoi le même apparieur semble meilleur ou moins bon selon que vous comptez les paires ou les clients.
Leçon suivante : Mesurer un apparieur