Mesurer un apparieur
- Leçon 7
- 35 min
- Module 2 : Nettoyer d'abord, puis apparier exactement
Où nous en sommes
Nos règles ont trouvé beaucoup de paires. Nous ne savons pas encore combien sont correctes. Dans cette leçon, nous mesurons un apparieur avec la précision et le rappel par paire selon les vraies entités. Nous voyons aussi pourquoi les paires et les entités donnent des nombres différents.
Leçon 7 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Mesurer un apparieur
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Mesurez un apparieur selon les vrais clients. Comptez ses fusions correctes, ses fusions erronées et ses correspondances manquées. Calculez ensuite la précision et le rappel par paire. Voyez pourquoi le même apparieur donne d’autres nombres quand vous comptez les clients plutôt que les paires. Enfin, détaillez le résultat par liste et par problème d’exercice.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter construit l’ensemble de règles. Il compte ses fusions correctes, ses fusions erronées et ses correspondances manquées avec pandas. Vous calculez la précision et le rappel par paire sans fonction auxiliaire. Ensuite, vous regroupez les paires en clients et mesurez les paires que les groupes créent. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- L’ensemble de règles
ruleset ses nombres, présentés dans Appariement exact et par règles. - Les vraies paires, la précision par paire et le rappel par paire, présentés dans Fusions erronées et correspondances manquées. Le cours d’apprentissage automatique explique la précision et le rappel pour tout classificateur dans Les métriques de classification.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.
L’audit de la clinique
Section intitulée « L’audit de la clinique »Après un mois, la clinique demande à une auditrice de vérifier le travail de la commis. L’auditrice a un corrigé. Pour un ensemble de patients, leur carte d’assurance maladie confirme leur véritable identité.
L’auditrice ne demande pas « Le travail est-il bon? ». Elle pose deux questions précises. Parmi toutes les fusions de la commis, combien étaient correctes? Parmi tous les doublons existants, combien la commis en a-t-elle fusionnés? Ensuite, elle compte. Elle pose aussi une troisième question : combien de patients la clinique a-t-elle maintenant? Elle sait que ce décompte peut sembler correct même quand le travail est incorrect.
Le problème : un seul nombre peut cacher les erreurs
Section intitulée « Le problème : un seul nombre peut cacher les erreurs »L’ensemble de règles de la dernière leçon crée 36 756 clients à partir de 60 108 enregistrements. Le vrai nombre est 37 500. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. est content : « Il nous manque seulement 744 clients par rapport au vrai nombre. C’est un écart de 2 %. Peut-on l’utiliser? »
Mais ce même ensemble de règles a produit 1 853 fusions erronées et 724 correspondances manquées dans le jeu de test seulement. Les fusions erronées réduisent le décompte : deux personnes deviennent une seule. Les correspondances manquées l’augmentent : une personne reste deux. Les deux erreurs s’annulent dans le décompte. Un apparieur peut obtenir le nombre exact tout en confondant des milliers de personnes.
Le nombre de clients n’est donc pas une mesure de qualité. Vous devez compter les erreurs elles-mêmes.
L’idée : compter les paires selon les vraies entités
Section intitulée « L’idée : compter les paires selon les vraies entités »Les données ont un corrigé : truth.csv donne le vrai client, l’entité, de chaque enregistrement. Ce fichier vous permet de connaître chaque vraie paire : deux enregistrements de la même entité. Comparez maintenant les paires de l’apparieur aux vraies paires. Chaque paire d’enregistrements entre dans l’une de ces quatre cases :
Description textuelle du diagramme
La grille classe chaque paire du jeu de test. Les règles disent IDENTIQUE pour 6 693 paires : 4 840 fusions correctes et 1 853 fusions erronées. Les règles disent DIFFÉRENT pour toutes les autres paires. Parmi elles, 724 sont des correspondances manquées. Les 651 254 150 autres sont des paires de deux clients, qu’il faut garder séparés. La précision par paire est 4 840 divisé par 6 693 : 0,723. Le rappel par paire est 4 840 divisé par 5 564, le nombre de vraies paires : 0,870.
Ce tableau s’appelle une matrice de confusion. Ses quatre cases portent des noms tirés des statistiques. Les fusions correctes sont des vrais positifs, et les fusions erronées sont des faux positifs. Les correspondances manquées sont des faux négatifs. Les paires qu’il faut garder séparées sont des vrais négatifs.
- Précision par paire = fusions correctes / toutes les paires déclarées identiques = 4 840 / 6 693 = 0,723.
- Rappel par paire = fusions correctes / toutes les vraies paires = 4 840 / 5 564 = 0,870.
Regardez la case en bas à droite. Presque chaque paire d’enregistrements représente deux personnes différentes. Cette case explique pourquoi l’exactitude est inutile pour l’appariement. Vous l’avez vu dans le cas d’échec de Fusions erronées et correspondances manquées. La précision et le rappel ignorent volontairement cette case.
Quelles paires sont des paires « de test »?
Section intitulée « Quelles paires sont des paires « de test »? »Chaque vrai client appartient à une partition : entraînement, validation ou test. Une paire appartient au jeu de test si au moins un de ses enregistrements appartient à un client de test. Ainsi, une fusion erronée entre un enregistrement de test et un enregistrement d’entraînement compte comme une erreur de test. Le jeu de test compte 12 041 enregistrements et 5 564 vraies paires. Chaque module mesure les résultats sur ces mêmes paires, pour permettre de comparer les lignes du tableau comparatif.
Paires et entités
Section intitulée « Paires et entités »Un apparieur renvoie des paires. Mais TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a besoin de clients. Pour obtenir des clients, le projet regroupe les paires. Si A correspond à B, et B correspond à C, alors A, B et C forment un seul client. C’est vrai même si personne n’a comparé A et C. Le module 7 enseigne le regroupement. Ici, le point important est que le regroupement change les paires.
Un tout petit exemple où chaque paire est visible
Section intitulée « Un tout petit exemple où chaque paire est visible »Le diagramme utilise des lettres pour les enregistrements. C’est un exemple construit, pas des enregistrements de nos données.
Description textuelle du diagramme
Le panneau 1 contient un client avec quatre enregistrements, A à D. L’apparieur trouve trois paires en chaîne : A–B, B–C et C–D. Le client a six vraies paires, donc le rappel par paire est de 3 sur 6. Après regroupement, les quatre enregistrements forment un seul client, et les six paires sont reliées. Cela corrige les paires manquées A–C, A–D et B–D. Le panneau 2 contient deux clients : E, F et G, puis H et I. L’apparieur trouve trois paires correctes et une paire incorrecte, G–H : une précision de 3 sur 4. Après regroupement, les cinq enregistrements forment un seul client. Cela relie 10 paires : les 4 vraies paires et 6 paires de deux personnes différentes. La précision tombe à 4 sur 10.
Le regroupement améliore donc le rappel et peut nuire beaucoup à la précision. Une seule paire incorrecte entre deux groupes relie chaque enregistrement d’un groupe à chaque enregistrement de l’autre.
Les règles avant et après regroupement
Section intitulée « Les règles avant et après regroupement »Passons aux vraies données. Le projet regroupe les paires de rules. Il compte ensuite chaque paire à l’intérieur de chaque groupe, comme dans le petit exemple.
- Paires trouvées par les règles
- Paires à l'intérieur des groupes
Description textuelle du graphique
Un graphique à quatre colonnes. Précision : 0,723 pour les paires trouvées par les règles, 0,524 pour les paires à l’intérieur des groupes. Rappel : 0,870 avant, 0,899 après.
| Paires du jeu de test | Déclarées identiques | Correctes | Incorrectes | Précision | Rappel |
|---|---|---|---|---|---|
| trouvées par les règles | 6 693 | 4 840 | 1 853 | 0,723 | 0,870 |
| à l’intérieur des groupes | 9 538 | 5 000 | 4 538 | 0,524 | 0,899 |
Le regroupement trouve 160 vraies paires de plus, comme dans le panneau 1. Mais il ajoute 2 685 fusions erronées, comme dans le panneau 2. Le plus grand groupe de rules contient 14 enregistrements; aucun vrai client n’en a plus de 5. Ces grands groupes représentent des familles et des téléphones partagés, reliés en chaîne par « ou ».
Quel nombre est correct? Les deux, pour des questions différentes. Les paires trouvées par les règles indiquent la qualité de chaque décision. Les paires à l’intérieur des groupes indiquent la qualité de la liste finale de clients. Les clients de Larkfield se trouvent dans la liste finale, donc le deuxième nombre compte pour Omar. Ce cours présente le premier dans le tableau comparatif, de la même façon pour chaque méthode. Le module 7 mesure les groupes.
Les mesures par paire donnent aussi plus de poids aux clients qui ont beaucoup d’enregistrements. Un client avec 5 enregistrements a 10 paires; un client avec 2 enregistrements a 1 paire. Le module 7 ajoute des mesures qui comptent chaque enregistrement une seule fois.
Mesurer dans le projet
Section intitulée « Mesurer dans le projet »Cette leçon ajoute la commande match compare, les tests du module et son README. Après cette leçon, votre projet correspond à l’instantané end-of-m02.
-
Copiez les trois fichiers :
Fenêtre de terminal S=../nextia-learning-labs/C39/snapshots/end-of-m02for f in larkfield_match/commands/compare.py tests/test_clean.py README.md; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C39\snapshots\end-of-m02"foreach ($f in 'larkfield_match\commands\compare.py', 'tests\test_clean.py', 'README.md') { Copy-Item "$S\$f" $f } -
Exécutez les tests.
tests/test_clean.pyajoute cinq tests pour la normalisation, l’analyse en parties et la règle des courriels :Fenêtre de terminal python -m pytest -q................ [100%]16 passed in 4.93s -
Affichez les résultats des règles pour chaque paire de listes.
--by sourcenomme les deux listes de chaque paire.garden-shopdésigne un enregistrement de jardinerie avec un enregistrement de magasin.Fenêtre de terminal match eval --run rules --by sourcerules on the test split: pair precision 0.723, recall 0.870, F1 0.7906,693 pairs called the same: 4,840 right, 1,853 wrong; 724 of 5,564 true pairs missedentities after clustering (all records): 36,756 (true: 37,500)source true found recall predicted precisiongarden-garden 78 62 0.795 135 0.459garden-loyalty 1089 918 0.843 1104 0.832garden-shop 1647 1371 0.832 1648 0.832loyalty-loyalty 40 40 1.000 526 0.076loyalty-shop 2386 2200 0.922 2644 0.832shop-shop 324 249 0.769 636 0.392
Résultats par liste
Section intitulée « Résultats par liste »Un total peut cacher une partie faible. Le graphique montre la précision des règles pour chaque paire de listes.
- Deux listes différentes
- Deux enregistrements dans une seule liste
Description textuelle du graphique
Un graphique à six colonnes. La précision est de 0,832 pour fidélité avec magasin, jardineries avec magasin et jardineries avec fidélité. Elle est de 0,392 pour magasin avec magasin. Elle est de 0,459 pour jardineries avec jardineries. Elle est de 0,076 pour fidélité avec fidélité.
Entre deux listes, les règles ont une précision de 0,832. Dans une même liste, elles sont beaucoup moins bonnes. Le pire résultat est fidélité avec fidélité : 526 paires déclarées identiques, et seulement 40 correctes. La plupart des autres représentent des membres d’une famille. Chacun a une carte de fidélité, et tous donnent le courriel familial. La règle 1 les fusionne.
Résultats par problème d’exercice
Section intitulée « Résultats par problème d’exercice »--by problem regroupe les paires selon les problèmes d’exercice que nous avons créés volontairement :
match eval --run rules --by problem problem true found recall predicted precision brothers 39 24 0.615 57 0.421 family_email 487 378 0.776 879 0.430 moved 1277 1051 0.823 1388 0.757 none 3468 3129 0.902 4056 0.771placeholder_phone 13 11 0.846 16 0.688 saint_town 280 247 0.882 297 0.832(Les trois premières lignes de la sortie sont les mêmes que ci-dessus et ne sont pas affichées.) Les courriels familiaux et les frères ont une précision de 0,430 et de 0,421. Plus de la moitié de ces fusions sont incorrectes. Les clients qui ont déménagé gardent un rappel de 0,823, car les règles 1, 2 et 3 n’utilisent pas l’adresse. Comparez avec le courriel tel qu’il a été saisi : exécutez match eval --run exact --by problem. Son rappel est de 0,026 sur les vraies paires de frères et de 0,062 sur les courriels familiaux.
Quelles paires une règle ajoute-t-elle?
Section intitulée « Quelles paires une règle ajoute-t-elle? »match compare montre deux exécutions côte à côte, ainsi que les paires qu’une seule des deux trouve. Comparez la règle 4 seule aux quatre règles :
match compare rule-name-postcode rulesrule-name-postcode precision 0.921 recall 0.621 F1 0.742 (3,754 pairs)rules precision 0.723 recall 0.870 F1 0.790 (6,693 pairs)Only rule-name-postcode: 0 pairs (0 right, 0 wrong)Only rules: 2,939 pairs (1,382 right, 1,557 wrong) wrong S-000065 'Michael Anderson' / S-002479 'Michael Anderson' wrong L-005295 'Catherine Bélanger' / S-002438 'Josee Belanger' wrong L-005225 'Chloé Fournier' / S-011989 'Julie Fournier'Les trois autres règles ajoutent 2 939 paires : 1 382 correctes et 1 557 incorrectes. Elles augmentent donc le rappel de 0,621 à 0,870 et réduisent la précision de 0,921 à 0,723. Les exemples incorrects montrent pourquoi. Catherine Bélanger et Josée Bélanger partagent un téléphone et un nom de famille, donc la règle 2 les fusionne. La règle 2 fusionne aussi Chloé et Julie Fournier, qui sont nées à 26 ans d’intervalle. Les deux Michael Anderson sont deux personnes avec le même nom et la même adresse courriel, michael.anderson@example.com. La règle 1 les fusionne donc. Utilisez match show avec un identifiant d’enregistrement pour voir tous leurs enregistrements.
--show 10 affiche plus d’exemples. Lisez-les avant de faire confiance à une règle.
Erreur courante
Précision mesurée sur des paires choisies
Symptôme : vous mesurez les règles sur les 3 000 paires étiquetées dans data/labelled_pairs.csv. Vous obtenez une précision de 0,990 et un rappel de 0,875. Sur le jeu de test, la précision est de 0,723. Laquelle est vraie?
Cause : les paires étiquetées ont été choisies, et non tirées de toutes les paires. Elles contiennent 1 050 vraies paires et seulement 1 950 paires de deux personnes. Parmi ces dernières, 1 500 ont le même nom de famille dans une région, et 450 sont aléatoires. Sur toutes les paires, les règles rencontrent beaucoup plus de possibilités de fusion erronée. Il y a des familles, des téléphones partagés et des personnes portant le même nom. Sur ces 1 950 paires, elles n’ont produit que 9 fusions erronées. La précision sur les paires étiquetées indique donc peu de choses sur la précision sur toutes les paires. Le rappel est proche (0,875 contre 0,870), car les 1 050 vraies paires forment un échantillon représentatif des vraies paires.
Solution : mesurez la précision sur toutes les paires que l’apparieur déclare identiques, selon les vraies entités, comme match eval. Utilisez les paires étiquetées pour entraîner un modèle, pas pour présenter sa précision. Si vous n’avez qu’un échantillon, tirez-le des paires que l’apparieur déclare identiques, puis vérifiez-les.
Conséquence dans le travail en IA : une mesure ne vaut que ce que valent les paires qu’elle compte. Avant de faire confiance à un nombre, demandez-vous : quelles paires inclut-il, et comment ont-elles été choisies? Dans le travail réel, vous avez rarement un corrigé complet. Le module 8 en construit un, paire par paire, à partir de la révision humaine.
Quand utiliser chaque mesure
Section intitulée « Quand utiliser chaque mesure »- Précision et rappel par paire, sur les paires trouvées par l’apparieur : pour comparer les méthodes et ajuster un seuil. C’est le tableau comparatif du cours.
- Les mêmes mesures sur les paires à l’intérieur des groupes : pour juger la liste finale de clients. Le module 7 ajoute des mesures de groupes.
- Par liste et par problème : pour trouver la partie faible d’un apparieur, avant de le modifier.
- Le nombre de clients : pour présenter le résultat à l’entreprise, jamais pour juger la qualité.
Ce que cela coûte. Les mesures ont besoin d’un corrigé. Nos données synthétiques en ont un complet, car notre code a créé les enregistrements à partir de personnes connues. Les données réelles n’en ont pas. Vous devez alors étiqueter un échantillon de paires à la main, ce qui prend du temps à un réviseur. Le module 8 le fait avec la file de révision d’Ivana.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un apparieur déclare que 2 000 paires de test correspondent : 1 500 sont correctes. Le jeu de test contient 5 564 vraies paires. Remplissez les quatre cases possibles, puis calculez la précision par paire et le rappel par paire.
Afficher la réponse
- Fusions correctes (vrais positifs) : 1 500.
- Fusions erronées (faux positifs) : 2 000 − 1 500 = 500.
- Correspondances manquées (faux négatifs) : 5 564 − 1 500 = 4 064.
- Les vrais négatifs sont toutes les autres paires du jeu de test; vous n’en avez pas besoin.
Précision par paire = 1 500 / 2 000 = 0,750. Rappel par paire = 1 500 / 5 564 = 0,270.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar dit : « Les règles donnent 36 756 clients. En réalité, il y en a 37 500. Donc, les règles sont correctes à 98 %. » Expliquez ce qui cloche dans ce raisonnement.
Afficher la réponse
Le nombre de clients combine deux erreurs qui s’annulent. Les fusions erronées réduisent ce nombre, et les correspondances manquées l’augmentent. Sur le jeu de test seulement, les règles produisent 1 853 fusions erronées et manquent 724 vraies paires. Après le regroupement, les paires à l’intérieur des groupes ont une précision de 0,524. Le nombre peut être proche de la réalité même si le système confond des milliers de personnes. Jugez un apparieur par sa précision et son rappel. Utilisez le nombre de clients seulement pour présenter le résultat.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Montrez une règle qui augmente le rappel et réduit la précision, puis nommez les paires qui causent cet effet. Utilisez le projet.
Afficher la réponse
Exécutez match compare rule-phone-surname rule-phone. Retirer le nom de famille de la règle 2 laisse seulement « même téléphone ». Cela ajoute 1 600 paires : 312 correctes et 1 288 incorrectes. Le rappel passe de 0,438 à 0,494, et la précision baisse de 0,696 à 0,539. Les paires incorrectes réunissent des personnes avec un nom de famille différent et le même téléphone. Certaines sont membres d’une même famille. D’autres sont les 40 clients de passage à la jardinerie dont les enregistrements portent le numéro du magasin, 450-555-0100. match eval --run rule-phone --by problem montre qu’aucune de ses 345 paires de test concernant ces clients de passage n’est correcte.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Comparez les paires de l’apparieur aux vraies paires : fusions correctes, fusions erronées, correspondances manquées et paires correctement gardées séparées. C’est la matrice de confusion.
- Précision par paire = fusions correctes / paires déclarées correspondantes; rappel par paire = fusions correctes / vraies paires. Les règles : 4 840 / 6 693 = 0,723, et 4 840 / 5 564 = 0,870. L’exactitude est inutile : presque chaque paire réunit deux personnes différentes.
- Le regroupement change les paires. Pour les règles, il ajoute 160 fusions correctes et 2 685 fusions erronées. À l’intérieur des groupes, la précision est de 0,524 et le rappel, de 0,899. Le nombre de clients, 36 756, cache ces erreurs.
- Ventilez les résultats : à l’intérieur d’une même liste, les règles sont faibles (fidélité avec fidélité : précision de 0,076, courriels familiaux).
- La précision sur un ensemble choisi de paires (0,990 sur les paires étiquetées) n’est pas celle sur toutes les paires (0,723).
- Votre projet correspond maintenant à l’instantané
end-of-m02. Les 16 tests réussissent.
Les règles trouvent leurs paires par des jointures sur des clés exactes. Elles n’examinent donc jamais la plupart des paires. Un apparieur qui accepte de petites différences doit comparer les enregistrements une paire à la fois. Ensuite, vous calculez le nombre de paires pour 60 108 enregistrements et le temps nécessaire pour les comparer.
Leçon suivante : Pourquoi comparer toutes les paires est impossible