La preuve apportée par chaque champ
- Leçon 15
- 40 min
- Module 5 : L'appariement probabiliste
Où nous en sommes
Nos poids choisis à la main fonctionnaient, mais nous les avions devinés. Un meilleur poids indique ce que chaque accord nous apprend. Dans cette leçon, nous découvrons l'idée de Fellegi–Sunter et ses probabilités m et u. Nous voyons aussi pourquoi un nom de famille rare compte davantage.
Leçon 15 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?La preuve apportée par chaque champ
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Mesurez ce que chaque champ vous apprend sur une paire. Comptez à quelle fréquence un champ concorde pour un même client et à quelle fréquence il concorde par hasard. Transformez ces deux nombres en poids de correspondance, puis additionnez les poids. Voyez pourquoi un nom de famille rare compte davantage qu’un nom courant.
Carnet JupyterCalculez les indices dans un carnet
Le carnet (notebook) Jupyter compte m et u pour six champs sur les 3 000 paires étiquetées de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Vous comparez le poids de Smith à celui d’Oyelaran et additionnez les indices de chaque champ pour une paire. Ses cellules de préparation téléchargent les données; aucune configuration locale n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les vecteurs de comparaison et le score pondéré à la main, présentés dans Comparer champ par champ, puis combiner.
- La précision par paire, le rappel et le F1, présentés dans Mesurer un apparieur.
- La probabilité conditionnelle est utile, mais la leçon explique les notions nécessaires. La probabilité conditionnelle, dans Mathématiques et statistiques essentielles pour l’IA, l’explique en détail.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchà la fin du module 4, avec son environnement virtuel actif. Vous pouvez aussi utiliser uniquement le carnet.
Deux fiches à la clinique
Section intitulée « Deux fiches à la clinique »Une réceptionniste d’une clinique très fréquentée trouve deux fiches de patients. Les deux portent le nom Smith. Est-ce un patient inscrit deux fois? Elle hausse les épaules. La clinique compte des centaines de Smith. Deux fiches portant ce nom lui apprennent très peu.
Le lendemain, elle trouve deux fiches portant le nom Oyelaran. Cette fois, elle les examine attentivement. La clinique compte seulement quelques patients portant ce nom. Ces deux fiches désignent probablement la même personne.
Puis elle remarque une troisième chose. Deux fiches avec la même ville lui apprennent presque rien : la plupart des patients habitent la même ville. Deux fiches avec la même date de naissance lui apprennent beaucoup : peu de patients en partagent une.
Sans utiliser de nombres, elle pose une question pour chaque indice : à quelle fréquence cet accord se produirait-il par hasard? Un indice rare chez des inconnus constitue une preuve forte. Un indice que des inconnus partagent constamment constitue une preuve faible.
Le problème : des poids que nous avons devinés
Section intitulée « Le problème : des poids que nous avons devinés »Dans Comparer champ par champ, puis combiner, nous avons choisi intuitivement un poids pour chaque champ. Le courriel recevait 3,0, le téléphone 2,5, le nom de famille 2,0 et la ville 0,5. Le score additionne poids × similarité, et les paires dépassant 8 désignent « la même personne ». Sur les paires de test, il a atteint un F1 de 0,759, sous les quatre règles du module 2 (0,790).
Les poids devinés ont trois défauts que la réceptionniste verrait immédiatement :
- Smith et Oyelaran comptent autant. Un accord sur le nom de famille ajoute 2,0 points, quel que soit le nom.
- Un désaccord compte pour zéro. Deux dates de naissance différentes indiquent fortement deux personnes distinctes. Le score n’en tient pas compte.
- Les nombres ne veulent rien dire. Un score de 8 signifie-t-il « très probable » ou « un peu probable »? Personne ne peut le dire.
Il nous faut des poids tirés des données, avec une signification claire.
L’idée : deux questions pour chaque champ
Section intitulée « L’idée : deux questions pour chaque champ »Pour chaque champ, posez deux questions :
- m : parmi les paires d’enregistrements du même client, à quelle fréquence ce champ concorde-t-il?
- u : parmi les paires d’enregistrements de clients différents, à quelle fréquence concorde-t-il?
Les lettres viennent de « match » (correspondance) et « unmatched » (sans correspondance). Un bon champ a un m élevé et un u faible. La date de naissance concorde pour presque toutes les vraies paires, et pour très peu de paires d’inconnus.
Le rapport m ÷ u indique combien de fois l’accord est plus probable pour une vraie paire que pour des inconnus. Si m vaut 0,80 et u vaut 0,01, un accord est 80 fois plus probable pour une vraie paire.
Nous prenons le logarithme en base 2 de ce rapport. Nous l’appelons le poids de correspondance de l’accord :
poids de correspondance de l’accord = log2(m ÷ u)
Sur cette échelle, +1 signifie « deux fois plus probable pour une vraie paire », +2 quatre fois, +10 environ mille fois. Un poids de 0 signifie « aucun indice ». Un poids négatif est un indice contre une correspondance. Le logarithme nous permet d’additionner les poids, alors qu’il faudrait multiplier les rapports.
Un désaccord constitue aussi un indice. Son poids utilise le complément de chaque probabilité :
poids de correspondance du désaccord = log2((1 − m) ÷ (1 − u))
Une valeur manquante ajoute 0. Comme dans le module 4, un champ vide ne fournit aucun indice dans un sens ou dans l’autre.
C’est le modèle de Fellegi–Sunter, nommé d’après Ivan Fellegi et Alan Sunter, qui l’ont publié en 1969. Presque tous les apparieurs probabilistes actuels, y compris Splink, l’utilisent.
Un petit exemple
Section intitulée « Un petit exemple »Imaginez 1 000 paires candidates dont nous connaissons les réponses : 100 paires du même client et 900 paires de clients différents. Les nombres sont inventés pour simplifier les calculs.
Description textuelle du diagramme
L’image comporte trois colonnes. La première compte les paires du même client : le courriel concorde dans 80 cas sur 100, donc m = 0,80; le nom de famille concorde dans 90 cas sur 100, donc m = 0,90. La deuxième compte les paires de clients différents : le courriel concorde dans 9 cas sur 900, donc u = 0,01; le nom de famille concorde dans 45 cas sur 900, donc u = 0,05. La troisième donne les poids. Courriel : accord +6,32, désaccord -2,31. Nom de famille : accord +4,17, désaccord -3,25. Une note sous les colonnes donne le poids a priori : log2(100 ÷ 900) = -3,17.
Avant d’examiner les champs, une paire candidate aléatoire désigne le même client 100 fois sur 1 000. La cote est de 100 contre 900. Ce point de départ est la probabilité a priori, et son poids est log2(100 ÷ 900) = -3,17. Nous ajoutons le poids de chaque champ au poids a priori :
| Paire | Poids a priori | Courriel | Nom de famille | Poids total | Probabilité |
|---|---|---|---|---|---|
| Les deux concordent | -3,17 | +6,32 | +4,17 | +7,32 | 0,994 |
| Courriel seulement | -3,17 | +6,32 | -3,25 | -0,10 | 0,483 |
| Nom de famille seulement | -3,17 | -2,31 | +4,17 | -1,31 | 0,287 |
| Aucun des deux | -3,17 | -2,31 | -3,25 | -8,73 | 0,002 |
Du poids à la probabilité
Section intitulée « Du poids à la probabilité »Le poids total est le logarithme de la cote. Pour retrouver une probabilité, inversez le logarithme :
probabilité de correspondance = 2w ÷ (1 + 2w), où w est le poids total.
Pour la première ligne : 27,32 vaut environ 160, et 160 ÷ 161 = 0,994. Un total de 0 donne 1 ÷ 2 = 0,5 : des chances égales.
C’est la règle de Bayes, exprimée avec des cotes : la cote a priori multipliée par l’indice de chaque champ. Additionner les poids traite chaque champ comme un indice distinct. C’est une hypothèse, et elle n’est pas toujours vraie. Une famille partage un nom de famille, une adresse et un téléphone. La leçon 3 de ce module montre le coût de cette hypothèse sur les enregistrements de Larkfield.
Les noms rares comptent davantage
Section intitulée « Les noms rares comptent davantage »La question de la réceptionniste portait sur la valeur, pas seulement sur le champ. Un accord sur « smith » est courant chez des inconnus. Un accord sur « oyelaran » est rare.
Nous pouvons calculer u pour chaque valeur. Supposons qu’une proportion s des enregistrements porte un nom de famille donné. Deux enregistrements aléatoires le portent alors tous deux avec une probabilité d’environ s × s. Smith figure dans 3,9 % des enregistrements de Larkfield, donc u ≈ 0,039 × 0,039 = 0,0015. Oyelaran figure dans 0,1 % des enregistrements, donc u ≈ 0,000001.
Gardez le même m pour tous les noms de famille : 0,95, une hypothèse. Le projet calcule le poids d’accord pour n’importe quel nom de famille :
match weights --surnames Smith Tremblay Martin Nguyen OyelaranAgreeing on one surname (m = 0.95, an assumption; u from how common the surname is): smith 2,350 records (3.9097%) u 1.53e-03 weight +9.28 tremblay 1,949 records (3.2426%) u 1.05e-03 weight +9.82 martin 1,103 records (1.8351%) u 3.37e-04 weight +11.46 nguyen 730 records (1.2145%) u 1.48e-04 weight +12.65 oyelaran 60 records (0.0998%) u 9.96e-07 weight +19.86- Nom de famille courant (plus de 500 enregistrements)
- Nom de famille rare
Description textuelle du graphique
Un graphique à points avec six lignes, des noms de famille courants aux noms rares. smith 9,28; tremblay 9,82; martin 11,46; nguyen 12,65; oyelaran 19,86; laframboise 21,34. Les quatre noms courants comptent chacun entre 730 et 2 350 enregistrements. Oyelaran en compte 60 et Laframboise 36.
Un accord sur « oyelaran » vaut environ 10 de plus qu’un accord sur « smith ». En termes de rapport, cela représente 210, soit environ mille fois plus. C’est un ajustement selon la fréquence du terme : le poids dépend de la fréquence de la valeur. Splink l’utilise pour le nom de famille dans la prochaine leçon.
Compter m et u sur les enregistrements de Larkfield
Section intitulée « Compter m et u sur les enregistrements de Larkfield »Le projet de ce module contient un fichier fs.py qui compte m et u pour chaque champ. Un champ peut avoir plusieurs niveaux, pas seulement « accord » ou « désaccord ». Pour le prénom, les niveaux sont « identique », « proche » (Jaro–Winkler de 0,92 ou plus), « semblable » (0,8 ou plus) et « différent ». Chaque niveau reçoit ses propres m, u et poids.
D’où viennent les étiquettes? Nos enregistrements sont synthétiques; nous connaissons donc le vrai client derrière chaque enregistrement. fs.py compte les paires candidates de la partition d’entraînement et utilise leurs vraies réponses. Dans un vrai projet, vous avez rarement autant d’étiquettes. La prochaine leçon élimine ce besoin.
Ajouter les fichiers du module 5
Section intitulée « Ajouter les fichiers du module 5 »-
Dans votre dossier de projet, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez les fichiers de l’instantané
end-of-m05. Ce module compte trois leçons, et vous copiez tous leurs fichiers maintenant. Copiez aussi ses fichiersrequirements.txtetREADME.md:Fenêtre de terminal S=../nextia-learning-labs/C39/snapshots/end-of-m05cp $S/larkfield_match/fs.py $S/larkfield_match/splinkmodel.py larkfield_match/cp $S/larkfield_match/runs/probabilistic.py larkfield_match/runs/cp $S/larkfield_match/commands/weights.py $S/larkfield_match/commands/splink.py larkfield_match/commands/cp $S/larkfield_match/commands/explain.py $S/larkfield_match/commands/bands.py larkfield_match/commands/cp $S/tests/test_probabilistic.py tests/cp $S/requirements.txt $S/README.md .Fenêtre de terminal $S = "..\nextia-learning-labs\C39\snapshots\end-of-m05"Copy-Item $S\larkfield_match\fs.py, $S\larkfield_match\splinkmodel.py larkfield_match\Copy-Item $S\larkfield_match\runs\probabilistic.py larkfield_match\runs\Copy-Item $S\larkfield_match\commands\weights.py, $S\larkfield_match\commands\splink.py larkfield_match\commands\Copy-Item $S\larkfield_match\commands\explain.py, $S\larkfield_match\commands\bands.py larkfield_match\commands\Copy-Item $S\tests\test_probabilistic.py tests\Copy-Item $S\requirements.txt, $S\README.md . -
Installez les nouveaux paquets. Splink et DuckDB serviront dans la prochaine leçon :
Fenêtre de terminal python -m pip install -r requirements.txtLa dernière ligne nomme les nouveaux paquets :
Successfully installed duckdb-2.0.0 pyarrow-26.0.1 splink-5.0.0 sqlglot-30.30.0 -
Exécutez les tests. Il y en a maintenant 29 :
Fenêtre de terminal python -m pytest -q............................. [100%]29 passed in 57.64s
Lire les poids
Section intitulée « Lire les poids »match weightsCounted on 406,500 training candidate pairs (16,383 true pairs): field level m u weight first same 0.8138 0.4804 0.7605 first close (JW >= 0.92) 0.0505 0.0352 0.5191 first similar (JW >= 0.8) 0.0508 0.1989 -1.9701 first different 0.0850 0.2855 -1.7479 last same 0.8853 0.8608 0.0404 last close (JW >= 0.92) 0.0678 0.0514 0.3997 last different 0.0469 0.0878 -0.9034 email same 0.7142 0.0018 8.6183 email different 0.2858 0.9982 -1.8043 phone same 0.7561 0.0087 6.4359 phone different 0.2439 0.9913 -2.0228postcode same 0.8541 0.0602 3.8255postcode different 0.1459 0.9398 -2.6869 street same 0.8672 0.0649 3.7404 street similar (>= 0.9) 0.0000 0.0002 -7.7952 street different 0.1328 0.9349 -2.8153 town same 0.8796 0.1124 2.9687 town different 0.1204 0.8876 -2.8817 dob same 0.9701 0.0076 6.9995 dob different 0.0299 0.9924 -5.0505Lisez une ligne. Pour le courriel, m vaut 0,7142 : le courriel concorde pour 71 % des vraies paires. u vaut 0,0018 : il concorde pour 0,18 % des autres paires candidates. Le rapport vaut environ 400, et log2(400) ≈ 8,62.
Description textuelle du graphique
Un graphique à points avec une ligne par champ, du plus fort au plus faible. Courriel 8,62; date de naissance 7,00; téléphone 6,44; code postal 3,83; rue 3,74; ville 2,97; prénom 0,76; nom de famille 0,04.
Trois choses ressortent :
- Le courriel, la date de naissance et le téléphone sont forts. Des inconnus les partagent rarement.
- Une date de naissance différente est un indice fort contre une correspondance : −5,05. Un courriel différent est un indice faible contre : −1,80. Beaucoup de clients ont deux courriels.
- Le nom de famille ne vaut presque rien : +0,04. Cela semble incorrect. Le cas d’échec ci-dessous l’explique.
Attribuer un score à chaque paire avec ces poids
Section intitulée « Attribuer un score à chaque paire avec ces poids »L’exécution fs-labels additionne les poids de chaque paire candidate, à partir du poids a priori. Elle choisit le seuil sur la partition de validation, comme toutes les exécutions du cours :
match eval --run fs-labelsRan fs-labels: 23,078 pairs called the same, in 242.8 sfs-labels on the test split: pair precision 0.839, recall 0.747, F1 0.790 4,951 pairs called the same: 4,155 right, 796 wrong; 1,409 of 5,564 true pairs missed entities after clustering (all records): 40,151 (true: 37,500)| Exécution | Précision | Rappel | F1 |
|---|---|---|---|
rules |
0,723 | 0,870 | 0,790 |
weighted |
0,751 | 0,766 | 0,759 |
fs-labels |
0,839 | 0,747 | 0,790 |
Les poids mesurés dépassent nos poids devinés : un F1 de 0,790 contre 0,759. Ils égalent les quatre règles, avec un équilibre différent : une précision bien plus élevée, mais un rappel plus faible. Maintenant, chaque poids a une signification que nous pouvons vérifier.
Quand l’utiliser et ce qu’il coûte
Section intitulée « Quand l’utiliser et ce qu’il coûte »- Utilisez-le quand les champs sont peu nombreux et clairs, et que vous pouvez expliquer une décision champ par champ. Un responsable des données peut lire un tableau des poids.
- Il faut des étiquettes pour compter m et u. Ici, la vérité synthétique nous a fourni gratuitement 16 383 vraies paires. Dans un vrai projet, il faut étiqueter les paires à la main. La prochaine leçon apprend les poids sans étiquettes.
- Il suppose que les champs sont des indices distincts. Les familles contredisent cette hypothèse. La leçon 3 mesure les conséquences.
- Il coûte peu. Le comptage est rapide, et le calcul du score demande une addition par champ.
Erreur courante
Compter u sur les paires candidates fait paraître le nom de famille inutile
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit le tableau ci-dessus. « Un accord sur le nom de famille vaut +0,04, dit-il. Enlevons le nom de famille. »
Cause : fs.py compte u sur les paires candidates, pas sur des paires aléatoires. Le blocage a créé ces candidats. Une des cinq clés utilise les 4 premières lettres du nom de famille. La plupart des candidats partagent donc déjà un nom de famille, et u pour « même nom de famille » vaut 0,86. Parmi les candidats, un nom de famille partagé est normal; il nous apprend donc peu. Entre deux enregistrements aléatoires, c’est rare. Le poids répond à la question : « Que nous apprend cet accord parmi ces paires? »
Correction : gardez le nom de famille. Comptez u sur des paires aléatoires d’enregistrements, ou sur des paires que le blocage n’a pas façonnées. Splink le fait dans la prochaine leçon. Son poids pour un même nom de famille vaut environ +6. Lisez toujours un poids en tenant compte des paires utilisées pour le calculer.
Conséquence dans le travail en IA : chaque nombre appris dépend des données qui ont servi à l’apprendre. Un modèle entraîné sur des données filtrées apprend le filtre. Apprentissage automatique : du problème à un modèle fiable montre le même effet avec des données d’entraînement qui ne ressemblent pas aux cas réels.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Le téléphone concorde pour 76 % des vraies paires et pour 0,87 % des autres paires candidates. Calculez le poids d'accord et le poids de désaccord.
Afficher la réponse
Accord : log2(0,7561 ÷ 0,0087) = log2(86,9) ≈ +6,44. Un téléphone partagé est environ 87 fois plus probable pour une vraie paire. Désaccord : log2((1 − 0,7561) ÷ (1 − 0,0087)) = log2(0,246) ≈ −2,02. Un téléphone différent est environ 4 fois plus probable pour deux clients différents. Ce sont les deux lignes du téléphone dans match weights (poids de correspondance).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Deux enregistrements partagent le nom de famille Oyelaran, et deux autres partagent le nom Smith. Tout le reste est identique. Quelle paire reçoit le poids total le plus élevé, et pourquoi?
Afficher la réponse
La paire Oyelaran, d’environ 10,6 (+19,86 contre +9,28, avec m = 0,95). Deux enregistrements aléatoires partagent « smith » beaucoup plus souvent, car 3,9 % des enregistrements portent ce nom. Deux enregistrements aléatoires ne partagent presque jamais « oyelaran » (0,1 % des enregistrements). Un accord rare est un indice plus fort. Splink applique cela avec un ajustement selon la fréquence du terme sur le nom de famille.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Une paire a un poids total de 0. Ivana dit : « Il n'y a donc aucun indice. » A-t-elle raison?
Afficher la réponse
Pas tout à fait. Un total de 0 signifie des chances égales : une probabilité de correspondance de 2⁰ ÷ (1 + 2⁰) = 0,5. Le poids a priori est bien inférieur à 0 : −3,17 dans le petit exemple, et beaucoup plus bas chez Larkfield. Les champs ont fait passer la paire du poids a priori à 0. Ils ont donc fourni des indices forts pour une correspondance, mais pas assez pour être certain. Un poids de champ de 0 signifie « aucun indice »; un poids total de 0 signifie « une chance sur deux ».
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- m est la fréquence à laquelle un champ concorde pour le même client. u est la fréquence à laquelle il concorde par hasard, pour des clients différents.
- Le poids de correspondance de l’accord est log2(m ÷ u); celui du désaccord, log2((1 − m) ÷ (1 − u)). Une valeur manquante ajoute 0. Ajoutez les poids au poids a priori pour obtenir le total.
- La probabilité de correspondance est 2w ÷ (1 + 2w). Additionner les poids suppose que les champs sont des indices distincts.
- Les valeurs rares comptent davantage : un accord sur « oyelaran » (+19,86) vaut environ mille fois plus qu’un accord sur « smith » (+9,28).
- Les poids comptés sur les paires d’entraînement étiquetées (
fs-labels) atteignent un F1 de 0,790, au-dessus des poids devinés (0,759). Compter u sur les paires candidates fait paraître le nom de famille inutile.
Ces poids ont nécessité 16 383 vraies paires étiquetées. Ensuite, nous laisserons Splink les apprendre à partir des seuls enregistrements.
Leçon suivante : Apprendre les poids sans étiquettes