Aller au contenu
English

Mesurer un apparieur

  • Leçon 7
  • 35 min
  • Module 2 : Nettoyer d'abord, puis apparier exactement

Où nous en sommes

Nos règles ont trouvé beaucoup de paires. Nous ne savons pas encore combien sont correctes. Dans cette leçon, nous mesurons un apparieur avec la précision et le rappel par paire selon les vraies entités. Nous voyons aussi pourquoi les paires et les entités donnent des nombres différents.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Mesurez un apparieur selon les vrais clients. Comptez ses fusions correctes, ses fusions erronées et ses correspondances manquées. Calculez ensuite la précision et le rappel par paire. Voyez pourquoi le même apparieur donne d’autres nombres quand vous comptez les clients plutôt que les paires. Enfin, détaillez le résultat par liste et par problème d’exercice.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter construit l’ensemble de règles. Il compte ses fusions correctes, ses fusions erronées et ses correspondances manquées avec pandas. Vous calculez la précision et le rappel par paire sans fonction auxiliaire. Ensuite, vous regroupez les paires en clients et mesurez les paires que les groupes créent. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.

Après un mois, la clinique demande à une auditrice de vérifier le travail de la commis. L’auditrice a un corrigé. Pour un ensemble de patients, leur carte d’assurance maladie confirme leur véritable identité.

L’auditrice ne demande pas « Le travail est-il bon? ». Elle pose deux questions précises. Parmi toutes les fusions de la commis, combien étaient correctes? Parmi tous les doublons existants, combien la commis en a-t-elle fusionnés? Ensuite, elle compte. Elle pose aussi une troisième question : combien de patients la clinique a-t-elle maintenant? Elle sait que ce décompte peut sembler correct même quand le travail est incorrect.

Le problème : un seul nombre peut cacher les erreurs

Section intitulée « Le problème : un seul nombre peut cacher les erreurs »

L’ensemble de règles de la dernière leçon crée 36 756 clients à partir de 60 108 enregistrements. Le vrai nombre est 37 500. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. est content : « Il nous manque seulement 744 clients par rapport au vrai nombre. C’est un écart de 2 %. Peut-on l’utiliser? »

Mais ce même ensemble de règles a produit 1 853 fusions erronées et 724 correspondances manquées dans le jeu de test seulement. Les fusions erronées réduisent le décompte : deux personnes deviennent une seule. Les correspondances manquées l’augmentent : une personne reste deux. Les deux erreurs s’annulent dans le décompte. Un apparieur peut obtenir le nombre exact tout en confondant des milliers de personnes.

Le nombre de clients n’est donc pas une mesure de qualité. Vous devez compter les erreurs elles-mêmes.

L’idée : compter les paires selon les vraies entités

Section intitulée « L’idée : compter les paires selon les vraies entités »

Les données ont un corrigé : truth.csv donne le vrai client, l’entité, de chaque enregistrement. Ce fichier vous permet de connaître chaque vraie paire : deux enregistrements de la même entité. Comparez maintenant les paires de l’apparieur aux vraies paires. Chaque paire d’enregistrements entre dans l’une de ces quatre cases :

Une grille de quatre cases. Colonnes : vraiment le même client, vraiment deux clients. Lignes : les règles disent IDENTIQUE, les règles disent DIFFÉRENT. IDENTIQUE et vraiment le même : 4 840 fusions correctes, les vrais positifs. IDENTIQUE mais vraiment deux clients : 1 853 fusions erronées, les faux positifs. DIFFÉRENT mais vraiment le même : 724 correspondances manquées, les faux négatifs. DIFFÉRENT et vraiment deux clients : 651 254 150 paires qu'il faut garder séparées, les vrais négatifs. En dessous : précision par paire = 4 840 / (4 840 + 1 853) = 0,723; rappel par paire = 4 840 / (4 840 + 724) = 0,870. Le jeu de test compte 651 261 567 paires; seulement 5 564 sont de vraies paires.
Les décomptes de la matrice de confusion des règles sur le jeu de test (enregistrements synthétiques). La précision utilise la ligne du haut; le rappel utilise la colonne de gauche. La case en bas à droite est énorme, et aucune des deux mesures ne l'utilise.
Description textuelle du diagramme

La grille classe chaque paire du jeu de test. Les règles disent IDENTIQUE pour 6 693 paires : 4 840 fusions correctes et 1 853 fusions erronées. Les règles disent DIFFÉRENT pour toutes les autres paires. Parmi elles, 724 sont des correspondances manquées. Les 651 254 150 autres sont des paires de deux clients, qu’il faut garder séparés. La précision par paire est 4 840 divisé par 6 693 : 0,723. Le rappel par paire est 4 840 divisé par 5 564, le nombre de vraies paires : 0,870.

Ce tableau s’appelle une matrice de confusion. Ses quatre cases portent des noms tirés des statistiques. Les fusions correctes sont des vrais positifs, et les fusions erronées sont des faux positifs. Les correspondances manquées sont des faux négatifs. Les paires qu’il faut garder séparées sont des vrais négatifs.

  • Précision par paire = fusions correctes / toutes les paires déclarées identiques = 4 840 / 6 693 = 0,723.
  • Rappel par paire = fusions correctes / toutes les vraies paires = 4 840 / 5 564 = 0,870.

Regardez la case en bas à droite. Presque chaque paire d’enregistrements représente deux personnes différentes. Cette case explique pourquoi l’exactitude est inutile pour l’appariement. Vous l’avez vu dans le cas d’échec de Fusions erronées et correspondances manquées. La précision et le rappel ignorent volontairement cette case.

Chaque vrai client appartient à une partition : entraînement, validation ou test. Une paire appartient au jeu de test si au moins un de ses enregistrements appartient à un client de test. Ainsi, une fusion erronée entre un enregistrement de test et un enregistrement d’entraînement compte comme une erreur de test. Le jeu de test compte 12 041 enregistrements et 5 564 vraies paires. Chaque module mesure les résultats sur ces mêmes paires, pour permettre de comparer les lignes du tableau comparatif.

Un apparieur renvoie des paires. Mais TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield a besoin de clients. Pour obtenir des clients, le projet regroupe les paires. Si A correspond à B, et B correspond à C, alors A, B et C forment un seul client. C’est vrai même si personne n’a comparé A et C. Le module 7 enseigne le regroupement. Ici, le point important est que le regroupement change les paires.

Le diagramme utilise des lettres pour les enregistrements. C’est un exemple construit, pas des enregistrements de nos données.

Deux panneaux où les enregistrements sont des cercles. Panneau 1 : un client avec quatre enregistrements A, B, C et D, reliés par les lignes vertes A–B, B–C et C–D. Le texte dit : l'apparieur trouve 3 paires; le client a 6 vraies paires; le rappel par paire est 3 / 6 = 0,50. Après regroupement, A, B, C et D forment un seul client et les 6 paires sont reliées; entités : 1, la bonne réponse. Panneau 2 : deux clients. E, F et G sont le client 1; H et I sont le client 2. Les lignes E–F, F–G et H–I sont vertes. La ligne G–H est rouge et pointillée : c'est une paire incorrecte. Le texte dit : l'apparieur trouve 4 paires, 3 correctes et G–H incorrecte; la précision par paire est 3 / 4 = 0,75. Après regroupement, E à I forment un seul client : 10 paires sont reliées, 4 correctes et 6 incorrectes; la précision par paire est 4 / 10 = 0,40; entités : 1, pas 2.
Le regroupement ajoute les paires entre chaque combinaison de deux enregistrements d'un groupe. Dans le panneau 1, il corrige trois correspondances manquées. Dans le panneau 2, une paire incorrecte devient six fusions erronées.
Description textuelle du diagramme

Le panneau 1 contient un client avec quatre enregistrements, A à D. L’apparieur trouve trois paires en chaîne : A–B, B–C et C–D. Le client a six vraies paires, donc le rappel par paire est de 3 sur 6. Après regroupement, les quatre enregistrements forment un seul client, et les six paires sont reliées. Cela corrige les paires manquées A–C, A–D et B–D. Le panneau 2 contient deux clients : E, F et G, puis H et I. L’apparieur trouve trois paires correctes et une paire incorrecte, G–H : une précision de 3 sur 4. Après regroupement, les cinq enregistrements forment un seul client. Cela relie 10 paires : les 4 vraies paires et 6 paires de deux personnes différentes. La précision tombe à 4 sur 10.

Le regroupement améliore donc le rappel et peut nuire beaucoup à la précision. Une seule paire incorrecte entre deux groupes relie chaque enregistrement d’un groupe à chaque enregistrement de l’autre.

Passons aux vraies données. Le projet regroupe les paires de rules. Il compte ensuite chaque paire à l’intérieur de chaque groupe, comme dans le petit exemple.

  • Paires trouvées par les règles
  • Paires à l'intérieur des groupes
Les règles sur le jeu de test, avant et après regroupement (enregistrements synthétiques). Le regroupement ajoute 160 fusions correctes et 2 685 fusions erronées.
Description textuelle du graphique

Un graphique à quatre colonnes. Précision : 0,723 pour les paires trouvées par les règles, 0,524 pour les paires à l’intérieur des groupes. Rappel : 0,870 avant, 0,899 après.

Paires du jeu de test Déclarées identiques Correctes Incorrectes Précision Rappel
trouvées par les règles 6 693 4 840 1 853 0,723 0,870
à l’intérieur des groupes 9 538 5 000 4 538 0,524 0,899

Le regroupement trouve 160 vraies paires de plus, comme dans le panneau 1. Mais il ajoute 2 685 fusions erronées, comme dans le panneau 2. Le plus grand groupe de rules contient 14 enregistrements; aucun vrai client n’en a plus de 5. Ces grands groupes représentent des familles et des téléphones partagés, reliés en chaîne par « ou ».

Quel nombre est correct? Les deux, pour des questions différentes. Les paires trouvées par les règles indiquent la qualité de chaque décision. Les paires à l’intérieur des groupes indiquent la qualité de la liste finale de clients. Les clients de Larkfield se trouvent dans la liste finale, donc le deuxième nombre compte pour Omar. Ce cours présente le premier dans le tableau comparatif, de la même façon pour chaque méthode. Le module 7 mesure les groupes.

Les mesures par paire donnent aussi plus de poids aux clients qui ont beaucoup d’enregistrements. Un client avec 5 enregistrements a 10 paires; un client avec 2 enregistrements a 1 paire. Le module 7 ajoute des mesures qui comptent chaque enregistrement une seule fois.

Cette leçon ajoute la commande match compare, les tests du module et son README. Après cette leçon, votre projet correspond à l’instantané end-of-m02.

  1. Copiez les trois fichiers :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m02
    for f in larkfield_match/commands/compare.py tests/test_clean.py README.md; do
    cp "$S/$f" "$f"
    done
  2. Exécutez les tests. tests/test_clean.py ajoute cinq tests pour la normalisation, l’analyse en parties et la règle des courriels :

    Fenêtre de terminal
    python -m pytest -q
    ................ [100%]
    16 passed in 4.93s
  3. Affichez les résultats des règles pour chaque paire de listes. --by source nomme les deux listes de chaque paire. garden-shop désigne un enregistrement de jardinerie avec un enregistrement de magasin.

    Fenêtre de terminal
    match eval --run rules --by source
    rules on the test split: pair precision 0.723, recall 0.870, F1 0.790
    6,693 pairs called the same: 4,840 right, 1,853 wrong; 724 of 5,564 true pairs missed
    entities after clustering (all records): 36,756 (true: 37,500)
    source true found recall predicted precision
    garden-garden 78 62 0.795 135 0.459
    garden-loyalty 1089 918 0.843 1104 0.832
    garden-shop 1647 1371 0.832 1648 0.832
    loyalty-loyalty 40 40 1.000 526 0.076
    loyalty-shop 2386 2200 0.922 2644 0.832
    shop-shop 324 249 0.769 636 0.392

Un total peut cacher une partie faible. Le graphique montre la précision des règles pour chaque paire de listes.

  • Deux listes différentes
  • Deux enregistrements dans une seule liste
Précision par paire des règles selon les listes des deux enregistrements, jeu de test (enregistrements synthétiques). L = fidélité, S = magasin, G = jardineries. Les paires d'une même liste sont la partie faible.
Description textuelle du graphique

Un graphique à six colonnes. La précision est de 0,832 pour fidélité avec magasin, jardineries avec magasin et jardineries avec fidélité. Elle est de 0,392 pour magasin avec magasin. Elle est de 0,459 pour jardineries avec jardineries. Elle est de 0,076 pour fidélité avec fidélité.

Entre deux listes, les règles ont une précision de 0,832. Dans une même liste, elles sont beaucoup moins bonnes. Le pire résultat est fidélité avec fidélité : 526 paires déclarées identiques, et seulement 40 correctes. La plupart des autres représentent des membres d’une famille. Chacun a une carte de fidélité, et tous donnent le courriel familial. La règle 1 les fusionne.

--by problem regroupe les paires selon les problèmes d’exercice que nous avons créés volontairement :

Fenêtre de terminal
match eval --run rules --by problem
problem true found recall predicted precision
brothers 39 24 0.615 57 0.421
family_email 487 378 0.776 879 0.430
moved 1277 1051 0.823 1388 0.757
none 3468 3129 0.902 4056 0.771
placeholder_phone 13 11 0.846 16 0.688
saint_town 280 247 0.882 297 0.832

(Les trois premières lignes de la sortie sont les mêmes que ci-dessus et ne sont pas affichées.) Les courriels familiaux et les frères ont une précision de 0,430 et de 0,421. Plus de la moitié de ces fusions sont incorrectes. Les clients qui ont déménagé gardent un rappel de 0,823, car les règles 1, 2 et 3 n’utilisent pas l’adresse. Comparez avec le courriel tel qu’il a été saisi : exécutez match eval --run exact --by problem. Son rappel est de 0,026 sur les vraies paires de frères et de 0,062 sur les courriels familiaux.

match compare montre deux exécutions côte à côte, ainsi que les paires qu’une seule des deux trouve. Comparez la règle 4 seule aux quatre règles :

Fenêtre de terminal
match compare rule-name-postcode rules
rule-name-postcode precision 0.921 recall 0.621 F1 0.742 (3,754 pairs)
rules precision 0.723 recall 0.870 F1 0.790 (6,693 pairs)
Only rule-name-postcode: 0 pairs (0 right, 0 wrong)
Only rules: 2,939 pairs (1,382 right, 1,557 wrong)
wrong S-000065 'Michael Anderson' / S-002479 'Michael Anderson'
wrong L-005295 'Catherine Bélanger' / S-002438 'Josee Belanger'
wrong L-005225 'Chloé Fournier' / S-011989 'Julie Fournier'

Les trois autres règles ajoutent 2 939 paires : 1 382 correctes et 1 557 incorrectes. Elles augmentent donc le rappel de 0,621 à 0,870 et réduisent la précision de 0,921 à 0,723. Les exemples incorrects montrent pourquoi. Catherine Bélanger et Josée Bélanger partagent un téléphone et un nom de famille, donc la règle 2 les fusionne. La règle 2 fusionne aussi Chloé et Julie Fournier, qui sont nées à 26 ans d’intervalle. Les deux Michael Anderson sont deux personnes avec le même nom et la même adresse courriel, michael.anderson@example.com. La règle 1 les fusionne donc. Utilisez match show avec un identifiant d’enregistrement pour voir tous leurs enregistrements.

--show 10 affiche plus d’exemples. Lisez-les avant de faire confiance à une règle.

Erreur courante

Précision mesurée sur des paires choisies

Symptôme : vous mesurez les règles sur les 3 000 paires étiquetées dans data/labelled_pairs.csv. Vous obtenez une précision de 0,990 et un rappel de 0,875. Sur le jeu de test, la précision est de 0,723. Laquelle est vraie?

Cause : les paires étiquetées ont été choisies, et non tirées de toutes les paires. Elles contiennent 1 050 vraies paires et seulement 1 950 paires de deux personnes. Parmi ces dernières, 1 500 ont le même nom de famille dans une région, et 450 sont aléatoires. Sur toutes les paires, les règles rencontrent beaucoup plus de possibilités de fusion erronée. Il y a des familles, des téléphones partagés et des personnes portant le même nom. Sur ces 1 950 paires, elles n’ont produit que 9 fusions erronées. La précision sur les paires étiquetées indique donc peu de choses sur la précision sur toutes les paires. Le rappel est proche (0,875 contre 0,870), car les 1 050 vraies paires forment un échantillon représentatif des vraies paires.

Solution : mesurez la précision sur toutes les paires que l’apparieur déclare identiques, selon les vraies entités, comme match eval. Utilisez les paires étiquetées pour entraîner un modèle, pas pour présenter sa précision. Si vous n’avez qu’un échantillon, tirez-le des paires que l’apparieur déclare identiques, puis vérifiez-les.

Conséquence dans le travail en IA : une mesure ne vaut que ce que valent les paires qu’elle compte. Avant de faire confiance à un nombre, demandez-vous : quelles paires inclut-il, et comment ont-elles été choisies? Dans le travail réel, vous avez rarement un corrigé complet. Le module 8 en construit un, paire par paire, à partir de la révision humaine.

  • Précision et rappel par paire, sur les paires trouvées par l’apparieur : pour comparer les méthodes et ajuster un seuil. C’est le tableau comparatif du cours.
  • Les mêmes mesures sur les paires à l’intérieur des groupes : pour juger la liste finale de clients. Le module 7 ajoute des mesures de groupes.
  • Par liste et par problème : pour trouver la partie faible d’un apparieur, avant de le modifier.
  • Le nombre de clients : pour présenter le résultat à l’entreprise, jamais pour juger la qualité.

Ce que cela coûte. Les mesures ont besoin d’un corrigé. Nos données synthétiques en ont un complet, car notre code a créé les enregistrements à partir de personnes connues. Les données réelles n’en ont pas. Vous devez alors étiqueter un échantillon de paires à la main, ce qui prend du temps à un réviseur. Le module 8 le fait avec la file de révision d’Ivana.

Vérifiez votre compréhension

Un apparieur déclare que 2 000 paires de test correspondent : 1 500 sont correctes. Le jeu de test contient 5 564 vraies paires. Remplissez les quatre cases possibles, puis calculez la précision par paire et le rappel par paire.

Afficher la réponse
  • Fusions correctes (vrais positifs) : 1 500.
  • Fusions erronées (faux positifs) : 2 000 − 1 500 = 500.
  • Correspondances manquées (faux négatifs) : 5 564 − 1 500 = 4 064.
  • Les vrais négatifs sont toutes les autres paires du jeu de test; vous n’en avez pas besoin.

Précision par paire = 1 500 / 2 000 = 0,750. Rappel par paire = 1 500 / 5 564 = 0,270.

Vérifiez votre compréhension

Omar dit : « Les règles donnent 36 756 clients. En réalité, il y en a 37 500. Donc, les règles sont correctes à 98 %. » Expliquez ce qui cloche dans ce raisonnement.

Afficher la réponse

Le nombre de clients combine deux erreurs qui s’annulent. Les fusions erronées réduisent ce nombre, et les correspondances manquées l’augmentent. Sur le jeu de test seulement, les règles produisent 1 853 fusions erronées et manquent 724 vraies paires. Après le regroupement, les paires à l’intérieur des groupes ont une précision de 0,524. Le nombre peut être proche de la réalité même si le système confond des milliers de personnes. Jugez un apparieur par sa précision et son rappel. Utilisez le nombre de clients seulement pour présenter le résultat.

Vérifiez votre compréhension

Montrez une règle qui augmente le rappel et réduit la précision, puis nommez les paires qui causent cet effet. Utilisez le projet.

Afficher la réponse

Exécutez match compare rule-phone-surname rule-phone. Retirer le nom de famille de la règle 2 laisse seulement « même téléphone ». Cela ajoute 1 600 paires : 312 correctes et 1 288 incorrectes. Le rappel passe de 0,438 à 0,494, et la précision baisse de 0,696 à 0,539. Les paires incorrectes réunissent des personnes avec un nom de famille différent et le même téléphone. Certaines sont membres d’une même famille. D’autres sont les 40 clients de passage à la jardinerie dont les enregistrements portent le numéro du magasin, 450-555-0100. match eval --run rule-phone --by problem montre qu’aucune de ses 345 paires de test concernant ces clients de passage n’est correcte.

Récapitulatif

  • Comparez les paires de l’apparieur aux vraies paires : fusions correctes, fusions erronées, correspondances manquées et paires correctement gardées séparées. C’est la matrice de confusion.
  • Précision par paire = fusions correctes / paires déclarées correspondantes; rappel par paire = fusions correctes / vraies paires. Les règles : 4 840 / 6 693 = 0,723, et 4 840 / 5 564 = 0,870. L’exactitude est inutile : presque chaque paire réunit deux personnes différentes.
  • Le regroupement change les paires. Pour les règles, il ajoute 160 fusions correctes et 2 685 fusions erronées. À l’intérieur des groupes, la précision est de 0,524 et le rappel, de 0,899. Le nombre de clients, 36 756, cache ces erreurs.
  • Ventilez les résultats : à l’intérieur d’une même liste, les règles sont faibles (fidélité avec fidélité : précision de 0,076, courriels familiaux).
  • La précision sur un ensemble choisi de paires (0,990 sur les paires étiquetées) n’est pas celle sur toutes les paires (0,723).
  • Votre projet correspond maintenant à l’instantané end-of-m02. Les 16 tests réussissent.

Les règles trouvent leurs paires par des jointures sur des clés exactes. Elles n’examinent donc jamais la plupart des paires. Un apparieur qui accepte de petites différences doit comparer les enregistrements une paire à la fois. Ensuite, vous calculez le nombre de paires pour 60 108 enregistrements et le temps nécessaire pour les comparer.

Leçon suivante : Pourquoi comparer toutes les paires est impossible