Aller au contenu
English

La preuve apportée par chaque champ

  • Leçon 15
  • 40 min
  • Module 5 : L'appariement probabiliste

Où nous en sommes

Nos poids choisis à la main fonctionnaient, mais nous les avions devinés. Un meilleur poids indique ce que chaque accord nous apprend. Dans cette leçon, nous découvrons l'idée de Fellegi–Sunter et ses probabilités m et u. Nous voyons aussi pourquoi un nom de famille rare compte davantage.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Mesurez ce que chaque champ vous apprend sur une paire. Comptez à quelle fréquence un champ concorde pour un même client et à quelle fréquence il concorde par hasard. Transformez ces deux nombres en poids de correspondance, puis additionnez les poids. Voyez pourquoi un nom de famille rare compte davantage qu’un nom courant.

Carnet JupyterCalculez les indices dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter compte m et u pour six champs sur les 3 000 paires étiquetées de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Vous comparez le poids de Smith à celui d’Oyelaran et additionnez les indices de chaque champ pour une paire. Ses cellules de préparation téléchargent les données; aucune configuration locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match à la fin du module 4, avec son environnement virtuel actif. Vous pouvez aussi utiliser uniquement le carnet.

Une réceptionniste d’une clinique très fréquentée trouve deux fiches de patients. Les deux portent le nom Smith. Est-ce un patient inscrit deux fois? Elle hausse les épaules. La clinique compte des centaines de Smith. Deux fiches portant ce nom lui apprennent très peu.

Le lendemain, elle trouve deux fiches portant le nom Oyelaran. Cette fois, elle les examine attentivement. La clinique compte seulement quelques patients portant ce nom. Ces deux fiches désignent probablement la même personne.

Puis elle remarque une troisième chose. Deux fiches avec la même ville lui apprennent presque rien : la plupart des patients habitent la même ville. Deux fiches avec la même date de naissance lui apprennent beaucoup : peu de patients en partagent une.

Sans utiliser de nombres, elle pose une question pour chaque indice : à quelle fréquence cet accord se produirait-il par hasard? Un indice rare chez des inconnus constitue une preuve forte. Un indice que des inconnus partagent constamment constitue une preuve faible.

Dans Comparer champ par champ, puis combiner, nous avons choisi intuitivement un poids pour chaque champ. Le courriel recevait 3,0, le téléphone 2,5, le nom de famille 2,0 et la ville 0,5. Le score additionne poids × similarité, et les paires dépassant 8 désignent « la même personne ». Sur les paires de test, il a atteint un F1 de 0,759, sous les quatre règles du module 2 (0,790).

Les poids devinés ont trois défauts que la réceptionniste verrait immédiatement :

  • Smith et Oyelaran comptent autant. Un accord sur le nom de famille ajoute 2,0 points, quel que soit le nom.
  • Un désaccord compte pour zéro. Deux dates de naissance différentes indiquent fortement deux personnes distinctes. Le score n’en tient pas compte.
  • Les nombres ne veulent rien dire. Un score de 8 signifie-t-il « très probable » ou « un peu probable »? Personne ne peut le dire.

Il nous faut des poids tirés des données, avec une signification claire.

Pour chaque champ, posez deux questions :

  • m : parmi les paires d’enregistrements du même client, à quelle fréquence ce champ concorde-t-il?
  • u : parmi les paires d’enregistrements de clients différents, à quelle fréquence concorde-t-il?

Les lettres viennent de « match » (correspondance) et « unmatched » (sans correspondance). Un bon champ a un m élevé et un u faible. La date de naissance concorde pour presque toutes les vraies paires, et pour très peu de paires d’inconnus.

Le rapport m ÷ u indique combien de fois l’accord est plus probable pour une vraie paire que pour des inconnus. Si m vaut 0,80 et u vaut 0,01, un accord est 80 fois plus probable pour une vraie paire.

Nous prenons le logarithme en base 2 de ce rapport. Nous l’appelons le poids de correspondance de l’accord :

poids de correspondance de l’accord = log2(m ÷ u)

Sur cette échelle, +1 signifie « deux fois plus probable pour une vraie paire », +2 quatre fois, +10 environ mille fois. Un poids de 0 signifie « aucun indice ». Un poids négatif est un indice contre une correspondance. Le logarithme nous permet d’additionner les poids, alors qu’il faudrait multiplier les rapports.

Un désaccord constitue aussi un indice. Son poids utilise le complément de chaque probabilité :

poids de correspondance du désaccord = log2((1 − m) ÷ (1 − u))

Une valeur manquante ajoute 0. Comme dans le module 4, un champ vide ne fournit aucun indice dans un sens ou dans l’autre.

C’est le modèle de Fellegi–Sunter, nommé d’après Ivan Fellegi et Alan Sunter, qui l’ont publié en 1969. Presque tous les apparieurs probabilistes actuels, y compris Splink, l’utilisent.

Imaginez 1 000 paires candidates dont nous connaissons les réponses : 100 paires du même client et 900 paires de clients différents. Les nombres sont inventés pour simplifier les calculs.

m et u comptés sur 1 000 paires étiquetées, un exemple inventé. Le courriel concorde dans 80 des 100 paires du même client, donc m = 0,80, et dans 9 des 900 paires de clients différents, donc u = 0,01. Poids de l'accord +6,32, poids du désaccord -2,31. Le nom de famille concorde dans 90 cas sur 100 : m = 0,90; dans 45 cas sur 900 : u = 0,05. Poids de l'accord +4,17, poids du désaccord -3,25. Poids a priori log2(100 ÷ 900) = -3,17.
m et u pour deux champs, comptés sur 1 000 paires dont nous connaissons les réponses (un exemple inventé).
Description textuelle du diagramme

L’image comporte trois colonnes. La première compte les paires du même client : le courriel concorde dans 80 cas sur 100, donc m = 0,80; le nom de famille concorde dans 90 cas sur 100, donc m = 0,90. La deuxième compte les paires de clients différents : le courriel concorde dans 9 cas sur 900, donc u = 0,01; le nom de famille concorde dans 45 cas sur 900, donc u = 0,05. La troisième donne les poids. Courriel : accord +6,32, désaccord -2,31. Nom de famille : accord +4,17, désaccord -3,25. Une note sous les colonnes donne le poids a priori : log2(100 ÷ 900) = -3,17.

Avant d’examiner les champs, une paire candidate aléatoire désigne le même client 100 fois sur 1 000. La cote est de 100 contre 900. Ce point de départ est la probabilité a priori, et son poids est log2(100 ÷ 900) = -3,17. Nous ajoutons le poids de chaque champ au poids a priori :

Paire Poids a priori Courriel Nom de famille Poids total Probabilité
Les deux concordent -3,17 +6,32 +4,17 +7,32 0,994
Courriel seulement -3,17 +6,32 -3,25 -0,10 0,483
Nom de famille seulement -3,17 -2,31 +4,17 -1,31 0,287
Aucun des deux -3,17 -2,31 -3,25 -8,73 0,002

Le poids total est le logarithme de la cote. Pour retrouver une probabilité, inversez le logarithme :

probabilité de correspondance = 2w ÷ (1 + 2w), où w est le poids total.

Pour la première ligne : 27,32 vaut environ 160, et 160 ÷ 161 = 0,994. Un total de 0 donne 1 ÷ 2 = 0,5 : des chances égales.

C’est la règle de Bayes, exprimée avec des cotes : la cote a priori multipliée par l’indice de chaque champ. Additionner les poids traite chaque champ comme un indice distinct. C’est une hypothèse, et elle n’est pas toujours vraie. Une famille partage un nom de famille, une adresse et un téléphone. La leçon 3 de ce module montre le coût de cette hypothèse sur les enregistrements de Larkfield.

La question de la réceptionniste portait sur la valeur, pas seulement sur le champ. Un accord sur « smith » est courant chez des inconnus. Un accord sur « oyelaran » est rare.

Nous pouvons calculer u pour chaque valeur. Supposons qu’une proportion s des enregistrements porte un nom de famille donné. Deux enregistrements aléatoires le portent alors tous deux avec une probabilité d’environ s × s. Smith figure dans 3,9 % des enregistrements de Larkfield, donc u ≈ 0,039 × 0,039 = 0,0015. Oyelaran figure dans 0,1 % des enregistrements, donc u ≈ 0,000001.

Gardez le même m pour tous les noms de famille : 0,95, une hypothèse. Le projet calcule le poids d’accord pour n’importe quel nom de famille :

Fenêtre de terminal
match weights --surnames Smith Tremblay Martin Nguyen Oyelaran
Agreeing on one surname (m = 0.95, an assumption; u from how common the surname is):
smith 2,350 records (3.9097%) u 1.53e-03 weight +9.28
tremblay 1,949 records (3.2426%) u 1.05e-03 weight +9.82
martin 1,103 records (1.8351%) u 3.37e-04 weight +11.46
nguyen 730 records (1.2145%) u 1.48e-04 weight +12.65
oyelaran 60 records (0.0998%) u 9.96e-07 weight +19.86
  • Nom de famille courant (plus de 500 enregistrements)
  • Nom de famille rare
Le poids d'un accord sur un nom de famille, avec m = 0,95 (une hypothèse) et u calculé selon sa fréquence dans les 60 108 enregistrements synthétiques de Larkfield. Mesuré.
Description textuelle du graphique

Un graphique à points avec six lignes, des noms de famille courants aux noms rares. smith 9,28; tremblay 9,82; martin 11,46; nguyen 12,65; oyelaran 19,86; laframboise 21,34. Les quatre noms courants comptent chacun entre 730 et 2 350 enregistrements. Oyelaran en compte 60 et Laframboise 36.

Un accord sur « oyelaran » vaut environ 10 de plus qu’un accord sur « smith ». En termes de rapport, cela représente 210, soit environ mille fois plus. C’est un ajustement selon la fréquence du terme : le poids dépend de la fréquence de la valeur. Splink l’utilise pour le nom de famille dans la prochaine leçon.

Le projet de ce module contient un fichier fs.py qui compte m et u pour chaque champ. Un champ peut avoir plusieurs niveaux, pas seulement « accord » ou « désaccord ». Pour le prénom, les niveaux sont « identique », « proche » (Jaro–Winkler de 0,92 ou plus), « semblable » (0,8 ou plus) et « différent ». Chaque niveau reçoit ses propres m, u et poids.

D’où viennent les étiquettes? Nos enregistrements sont synthétiques; nous connaissons donc le vrai client derrière chaque enregistrement. fs.py compte les paires candidates de la partition d’entraînement et utilise leurs vraies réponses. Dans un vrai projet, vous avez rarement autant d’étiquettes. La prochaine leçon élimine ce besoin.

  1. Dans votre dossier de projet, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez les fichiers de l’instantané end-of-m05. Ce module compte trois leçons, et vous copiez tous leurs fichiers maintenant. Copiez aussi ses fichiers requirements.txt et README.md :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m05
    cp $S/larkfield_match/fs.py $S/larkfield_match/splinkmodel.py larkfield_match/
    cp $S/larkfield_match/runs/probabilistic.py larkfield_match/runs/
    cp $S/larkfield_match/commands/weights.py $S/larkfield_match/commands/splink.py larkfield_match/commands/
    cp $S/larkfield_match/commands/explain.py $S/larkfield_match/commands/bands.py larkfield_match/commands/
    cp $S/tests/test_probabilistic.py tests/
    cp $S/requirements.txt $S/README.md .
  2. Installez les nouveaux paquets. Splink et DuckDB serviront dans la prochaine leçon :

    Fenêtre de terminal
    python -m pip install -r requirements.txt

    La dernière ligne nomme les nouveaux paquets :

    Successfully installed duckdb-2.0.0 pyarrow-26.0.1 splink-5.0.0 sqlglot-30.30.0
  3. Exécutez les tests. Il y en a maintenant 29 :

    Fenêtre de terminal
    python -m pytest -q
    ............................. [100%]
    29 passed in 57.64s
Fenêtre de terminal
match weights
Counted on 406,500 training candidate pairs (16,383 true pairs):
field level m u weight
first same 0.8138 0.4804 0.7605
first close (JW >= 0.92) 0.0505 0.0352 0.5191
first similar (JW >= 0.8) 0.0508 0.1989 -1.9701
first different 0.0850 0.2855 -1.7479
last same 0.8853 0.8608 0.0404
last close (JW >= 0.92) 0.0678 0.0514 0.3997
last different 0.0469 0.0878 -0.9034
email same 0.7142 0.0018 8.6183
email different 0.2858 0.9982 -1.8043
phone same 0.7561 0.0087 6.4359
phone different 0.2439 0.9913 -2.0228
postcode same 0.8541 0.0602 3.8255
postcode different 0.1459 0.9398 -2.6869
street same 0.8672 0.0649 3.7404
street similar (>= 0.9) 0.0000 0.0002 -7.7952
street different 0.1328 0.9349 -2.8153
town same 0.8796 0.1124 2.9687
town different 0.1204 0.8876 -2.8817
dob same 0.9701 0.0076 6.9995
dob different 0.0299 0.9924 -5.0505

Lisez une ligne. Pour le courriel, m vaut 0,7142 : le courriel concorde pour 71 % des vraies paires. u vaut 0,0018 : il concorde pour 0,18 % des autres paires candidates. Le rapport vaut environ 400, et log2(400) ≈ 8,62.

Le poids d'accord pour chaque champ, compté sur 406 500 paires candidates de la partition d'entraînement des enregistrements synthétiques, avec leurs vraies réponses. Mesuré.
Description textuelle du graphique

Un graphique à points avec une ligne par champ, du plus fort au plus faible. Courriel 8,62; date de naissance 7,00; téléphone 6,44; code postal 3,83; rue 3,74; ville 2,97; prénom 0,76; nom de famille 0,04.

Trois choses ressortent :

  • Le courriel, la date de naissance et le téléphone sont forts. Des inconnus les partagent rarement.
  • Une date de naissance différente est un indice fort contre une correspondance : −5,05. Un courriel différent est un indice faible contre : −1,80. Beaucoup de clients ont deux courriels.
  • Le nom de famille ne vaut presque rien : +0,04. Cela semble incorrect. Le cas d’échec ci-dessous l’explique.

L’exécution fs-labels additionne les poids de chaque paire candidate, à partir du poids a priori. Elle choisit le seuil sur la partition de validation, comme toutes les exécutions du cours :

Fenêtre de terminal
match eval --run fs-labels
Ran fs-labels: 23,078 pairs called the same, in 242.8 s
fs-labels on the test split: pair precision 0.839, recall 0.747, F1 0.790
4,951 pairs called the same: 4,155 right, 796 wrong; 1,409 of 5,564 true pairs missed
entities after clustering (all records): 40,151 (true: 37,500)
Exécution Précision Rappel F1
rules 0,723 0,870 0,790
weighted 0,751 0,766 0,759
fs-labels 0,839 0,747 0,790

Les poids mesurés dépassent nos poids devinés : un F1 de 0,790 contre 0,759. Ils égalent les quatre règles, avec un équilibre différent : une précision bien plus élevée, mais un rappel plus faible. Maintenant, chaque poids a une signification que nous pouvons vérifier.

  • Utilisez-le quand les champs sont peu nombreux et clairs, et que vous pouvez expliquer une décision champ par champ. Un responsable des données peut lire un tableau des poids.
  • Il faut des étiquettes pour compter m et u. Ici, la vérité synthétique nous a fourni gratuitement 16 383 vraies paires. Dans un vrai projet, il faut étiqueter les paires à la main. La prochaine leçon apprend les poids sans étiquettes.
  • Il suppose que les champs sont des indices distincts. Les familles contredisent cette hypothèse. La leçon 3 mesure les conséquences.
  • Il coûte peu. Le comptage est rapide, et le calcul du score demande une addition par champ.

Erreur courante

Compter u sur les paires candidates fait paraître le nom de famille inutile

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit le tableau ci-dessus. « Un accord sur le nom de famille vaut +0,04, dit-il. Enlevons le nom de famille. »

Cause : fs.py compte u sur les paires candidates, pas sur des paires aléatoires. Le blocage a créé ces candidats. Une des cinq clés utilise les 4 premières lettres du nom de famille. La plupart des candidats partagent donc déjà un nom de famille, et u pour « même nom de famille » vaut 0,86. Parmi les candidats, un nom de famille partagé est normal; il nous apprend donc peu. Entre deux enregistrements aléatoires, c’est rare. Le poids répond à la question : « Que nous apprend cet accord parmi ces paires? »

Correction : gardez le nom de famille. Comptez u sur des paires aléatoires d’enregistrements, ou sur des paires que le blocage n’a pas façonnées. Splink le fait dans la prochaine leçon. Son poids pour un même nom de famille vaut environ +6. Lisez toujours un poids en tenant compte des paires utilisées pour le calculer.

Conséquence dans le travail en IA : chaque nombre appris dépend des données qui ont servi à l’apprendre. Un modèle entraîné sur des données filtrées apprend le filtre. Apprentissage automatique : du problème à un modèle fiable montre le même effet avec des données d’entraînement qui ne ressemblent pas aux cas réels.

Vérifiez votre compréhension

Le téléphone concorde pour 76 % des vraies paires et pour 0,87 % des autres paires candidates. Calculez le poids d'accord et le poids de désaccord.

Afficher la réponse

Accord : log2(0,7561 ÷ 0,0087) = log2(86,9) ≈ +6,44. Un téléphone partagé est environ 87 fois plus probable pour une vraie paire. Désaccord : log2((1 − 0,7561) ÷ (1 − 0,0087)) = log2(0,246) ≈ −2,02. Un téléphone différent est environ 4 fois plus probable pour deux clients différents. Ce sont les deux lignes du téléphone dans match weights (poids de correspondance).

Vérifiez votre compréhension

Deux enregistrements partagent le nom de famille Oyelaran, et deux autres partagent le nom Smith. Tout le reste est identique. Quelle paire reçoit le poids total le plus élevé, et pourquoi?

Afficher la réponse

La paire Oyelaran, d’environ 10,6 (+19,86 contre +9,28, avec m = 0,95). Deux enregistrements aléatoires partagent « smith » beaucoup plus souvent, car 3,9 % des enregistrements portent ce nom. Deux enregistrements aléatoires ne partagent presque jamais « oyelaran » (0,1 % des enregistrements). Un accord rare est un indice plus fort. Splink applique cela avec un ajustement selon la fréquence du terme sur le nom de famille.

Vérifiez votre compréhension

Une paire a un poids total de 0. Ivana dit : « Il n'y a donc aucun indice. » A-t-elle raison?

Afficher la réponse

Pas tout à fait. Un total de 0 signifie des chances égales : une probabilité de correspondance de 2⁰ ÷ (1 + 2⁰) = 0,5. Le poids a priori est bien inférieur à 0 : −3,17 dans le petit exemple, et beaucoup plus bas chez Larkfield. Les champs ont fait passer la paire du poids a priori à 0. Ils ont donc fourni des indices forts pour une correspondance, mais pas assez pour être certain. Un poids de champ de 0 signifie « aucun indice »; un poids total de 0 signifie « une chance sur deux ».

Récapitulatif

  • m est la fréquence à laquelle un champ concorde pour le même client. u est la fréquence à laquelle il concorde par hasard, pour des clients différents.
  • Le poids de correspondance de l’accord est log2(m ÷ u); celui du désaccord, log2((1 − m) ÷ (1 − u)). Une valeur manquante ajoute 0. Ajoutez les poids au poids a priori pour obtenir le total.
  • La probabilité de correspondance est 2w ÷ (1 + 2w). Additionner les poids suppose que les champs sont des indices distincts.
  • Les valeurs rares comptent davantage : un accord sur « oyelaran » (+19,86) vaut environ mille fois plus qu’un accord sur « smith » (+9,28).
  • Les poids comptés sur les paires d’entraînement étiquetées (fs-labels) atteignent un F1 de 0,790, au-dessus des poids devinés (0,759). Compter u sur les paires candidates fait paraître le nom de famille inutile.

Ces poids ont nécessité 16 383 vraies paires étiquetées. Ensuite, nous laisserons Splink les apprendre à partir des seuls enregistrements.

Leçon suivante : Apprendre les poids sans étiquettes