Des poids à une décision
- Leçon 17
- 35 min
- Module 5 : L'appariement probabiliste
Où nous en sommes
Splink donne un poids de correspondance à chaque paire. Une entreprise a besoin d'une décision pour chaque paire. Dans cette leçon, nous transformons les poids en probabilités, fixons deux seuils et envoyons la zone incertaine en révision.
Leçon 17 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Des poids à une décision
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Transformez les poids de correspondance en décisions. Voyez pourquoi les probabilités de Splink sont beaucoup trop sûres sur les enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Découvrez pourquoi le projet utilise plutôt le poids comme score. Fixez ensuite deux seuils. Les paires au-dessus du seuil supérieur fusionnent. Les paires sous le seuil inférieur restent séparées. La zone incertaine entre les deux passe à une personne. Choisissez les seuils selon la capacité du réviseur.
Carnet JupyterRépartir les paires en zones dans un carnet Jupyter
Le carnet entraîne Splink à nouveau et compare ses probabilités à la vérité pour vérifier leur degré de certitude. Il trace les poids des vraies paires et des autres paires. Vous comptez les paires dans la zone de révision entre deux seuils et les jours de travail pour un réviseur. Ses cellules de préparation installent Splink et téléchargent les données. Aucune préparation locale n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les poids de correspondance et la probabilité de correspondance, dans La preuve apportée par chaque champ.
- Le modèle Splink du projet, dans Apprendre les poids sans étiquettes.
- Le coût d’une fusion erronée et d’une correspondance manquée, dans Fusions erronées et correspondances manquées.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers du module 5 et un modèle entraîné (match splink). Ou utilisez seulement le carnet.
Deuxième correction
Section intitulée « Deuxième correction »Une enseignante corrige 300 copies d’examen. La note de passage est 50. Une copie notée 85 réussit clairement, et une copie notée 12 échoue clairement. Ses notes pour ces copies sont définitives.
Une copie notée 49 ou 51 est différente. Un point de plus ou de moins change le résultat, et sa correction n’est pas aussi exacte. L’école envoie donc chaque copie notée entre 45 et 55 à une deuxième correctrice. Cette personne les relit et décide.
Quelle largeur donner à cette zone? L’école ne peut pas envoyer les 300 copies. Elle demande : combien de copies la deuxième correctrice peut-elle lire cette semaine? La largeur de la zone dépend du temps dont elle dispose.
L’appariement comporte les trois mêmes parties. Les correspondances certaines fusionnent. Les non-correspondances certaines restent séparées. Les paires entre les deux passent à une personne : chez Larkfield, Ivana.
Le problème : des probabilités beaucoup trop sûres
Section intitulée « Le problème : des probabilités beaucoup trop sûres »Splink donne à chaque paire un poids de correspondance, puis une probabilité de correspondance : 2w ÷ (1 + 2w). La probabilité semble être l’outil parfait. Fusionnez au-dessus de 0,99, et vous attendez au plus une erreur sur 100.
Regardez une paire. G-001688 et G-002894 sont deux frères, Samuel et Nathan Green : un problème d’exercice que nous avons créé exprès. Ils partagent un nom de famille, un courriel familial, une ligne fixe et une adresse.
match explain G-001688 G-002894 prior (two random records) -15.83 (total -15.83) first -3.44 (total -19.28) samuel / nathan last +6.46 (total -12.82) green / green email +12.26 (total -0.55) thegreens@example.com / thegreens@example.com phone +14.16 (total +13.61) 9055551835 / 9055551835 postcode +13.28 (total +26.89) M7K4L8 / M7K4L8 street +7.19 (total +34.07) kestrel ave / kestrel ave town +3.84 (total +37.91) heronvale / heronvale dob +0.00 (total +37.91) None / 1966-05-20Match weight +37.91 -> match probability 1.0000True answer: differentDescription textuelle du diagramme
Chaque ligne est une étape, depuis le haut. La probabilité a priori, −15,83, est le poids de deux enregistrements pris au hasard. Les prénoms diffèrent (samuel et nathan). Le prénom retire donc 3,44, ce qui donne −19,28. Ensuite, le nom de famille green ajoute 6,46, le courriel familial 12,26, la ligne fixe 14,16, le code postal 13,28, la rue 7,19 et la ville 3,84. La date de naissance n’ajoute rien, car un enregistrement n’en a pas. Le total est +37,91, et la probabilité est 1,0000. La vraie réponse : deux personnes différentes.
Les frères obtiennent un poids de correspondance de 37,9 et une probabilité de 1,0. Splink est « sûr », et il se trompe.
Est-ce seulement une paire?
Section intitulée « Est-ce seulement une paire? »Non. Comparez les probabilités de Splink à la vérité pour les 391 666 paires candidates du jeu de test :
| Probabilité de correspondance | Paires de test | Part des paires qui sont vraies |
|---|---|---|
| 0 à 0,5 | 152 571 | 0,001 |
| 0,5 à 0,9 | 33 757 | 0,002 |
| 0,9 à 0,99 | 30 011 | 0,005 |
| 0,99 à 0,999999 | 11 621 | 0,099 |
| 0,999999 à 1 | 4 619 | 0,855 |
Parmi les 4 619 paires ayant une probabilité supérieure à 0,999999, seulement 85,5 % sont de vraies paires. Et 15 paires de test obtiennent une probabilité d’exactement 1,0. Une probabilité qui correspond à la vérité est dite bien étalonnée. Ici, les probabilités de Splink sont loin de l’être.
Pourquoi : les mêmes indices, comptés cinq fois
Section intitulée « Pourquoi : les mêmes indices, comptés cinq fois »Le modèle Fellegi–Sunter ajoute le poids de chaque champ comme un indice distinct. Cela est vrai pour des inconnus : deux inconnus qui partagent un code postal partagent rarement aussi un téléphone. Ce n’est pas vrai dans une famille. Des frères qui partagent une adresse partagent aussi le code postal, la rue, la ville et la ligne fixe. Ils partagent souvent aussi le nom de famille et un courriel. Il s’agit d’un seul fait, « même ménage », et le modèle le compte cinq fois.
Le carnet de cette leçon montre cet effet. Son modèle n’a ni rue ni ville : deux champs du ménage en moins. Parmi ses paires de test au-dessus de 0,999999, 97,4 % sont de vraies paires, contre 85,5 % pour le modèle du projet. Ce n’est toujours pas bien étalonné, mais c’est beaucoup moins faux.
Le projet utilise donc le poids de correspondance seulement pour classer les paires, et choisit les seuils par mesure. L’exécution splink de la dernière leçon a choisi un poids de 15,61 sur la partition de validation, pas une probabilité de 0,5. Seuils et calibration, dans le cours Apprentissage automatique : du problème à un modèle fiable, montre comment mesurer et corriger l’étalonnage d’un classificateur.
Deux seuils, trois zones
Section intitulée « Deux seuils, trois zones »Un seul seuil impose un « oui » ou un « non » à chaque paire, même aux paires douteuses. Deux seuils créent trois zones :
- Zone de correspondance : poids égal ou supérieur au seuil supérieur. Fusionnez sans révision.
- Zone de révision : entre les deux seuils. Une personne décide.
- Zone de non-correspondance : sous le seuil inférieur. Ne fusionnez pas.
match bandssplink, test split, thresholds 10.0 and 20.0: match band: 4,604 pairs, precision 0.856 review band: 4,262 pairs (795 true pairs, 3,467 not) non-match band: 382,800 pairs, 795 true pairs lost thereIf reviewers decide every review pair correctly: precision 0.877, recall 0.851Description textuelle du diagramme
Un axe des poids va de faible à élevé, avec des lignes pointillées à 10 et à 20. La zone de gauche, sous 10, est la zone de non-correspondance : 382 800 paires. On y perd 795 vraies paires; ces paires ne fusionnent pas. La zone du milieu, de 10 à 20, est la zone de révision : 4 262 paires. Parmi elles, 795 sont vraies et 3 467 ne le sont pas; Ivana décide. La zone de droite, à partir de 20, est la zone de correspondance : 4 604 paires avec une précision de 0,856. Elles fusionnent sans révision.
Le graphique montre où les vraies paires et les autres paires se situent selon le poids :
- Vraies paires
- Autres paires candidates
- Seuils 10 et 20 (pointillés)
Description textuelle du graphique
Deux courbes selon le poids de correspondance, de −10 à 50, et des lignes verticales pointillées à 10 et à 20. Les autres paires candidates sont surtout à gauche. Environ 13 % se trouvent dans chacune des classes −10 à −8 et −8 à −6. Une deuxième bosse d’environ 7 % se trouve de 2 à 4. À partir de 8, chaque classe contient moins de 1 %. Les vraies paires sont surtout à droite, avec deux sommets : 9,7 % aux poids 22 à 24, et 9,2 % à 34 à 36. Entre 6 et 20, les deux courbes sont basses : c’est là que les deux groupes se chevauchent. Non représentées : 159 064 autres paires et 23 vraies paires que Splink a exclues avec une probabilité inférieure à 0,001.
Chaque courbe représente une part de son propre groupe. Les vraies paires semblent donc aussi fréquentes que les autres. En nombre, elles ne le sont pas. De 6 à 20, le jeu de test contient 12 522 autres paires et 1 204 vraies paires. Les groupes s’y chevauchent, et aucun seuil unique ne les sépare. La zone de révision se situe sur ce chevauchement.
Quelle largeur peut avoir la zone de révision?
Section intitulée « Quelle largeur peut avoir la zone de révision? »La zone de révision prend du temps à Ivana. Les hypothèses du cours : Ivana révise 300 paires par jour, à 1,2 minute par paire. Larkfield veut réviser une fois tout son arriéré : toutes les partitions, pas seulement le jeu de test. Pour cette leçon, nous ajoutons une hypothèse : TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. donne à Ivana un mois, soit 20 jours ouvrables, pour l’arriéré.
Explorer
Deux seuils, trois zones, une réviseuse
Prédisez d’abord : Avec les seuils 10 et 20, combien de jours ouvrables de révision faut-il à Ivana pour tout l'arriéré?
- Zone de fusion
- 21 523 pairesprécision 0,916
- Zone de révision
- 13 378 paires3 954 vraies paires
- Jours de révision
- 44,6 jours
- Si chaque révision est juste
- rappel 0,855, précision 0,929
Seuils 10 et 20 : 21 523 paires fusionnent sans révision (précision 0,916). 13 378 paires vont en révision, dont 3 954 vraies paires. Une personne à 300 paires par jour a besoin de 44,6 jours ouvrables. Si chaque révision est juste : rappel 0,855, précision 0,929. C’est plus que les 20 jours de révision qu’Ivana peut donner.
| Bas ↓ / haut → | 16 | 18 | 20 | 22 | 25 |
|---|---|---|---|---|---|
| 5 | 178,453 524 | 182,054 614 | 187,556 264 | 197,259 150 | 212,363 688 |
| 8 | 68,320 498 | 72,021 588 | 77,523 238 | 87,126 124 | 102,230 662 |
| 10 | 35,510 638 | 39,111 728 | 44,613 378 | 54,216 264 | 69,320 802 |
| 12 | 11,33 397 | 15,04 487 | 20,56 137 | 30,19 023 | 45,213 561 |
| 14 | 3,91 160 | 7,52 250 | 13,03 900 | 22,66 786 | 37,711 324 |
Description textuelle de l’explorateur
L’explorateur a deux curseurs. Le seuil inférieur prend les valeurs 5, 8, 10, 12 et 14; le seuil supérieur, 16, 18, 20, 22 et 25. Ils commencent à 10 et à 20. Quatre tuiles montrent la zone de correspondance (21 523 paires, précision de 0,916), la zone de révision (13 378 paires, dont 3 954 vraies), les jours de révision (44,6) et le résultat si chaque révision est correcte (rappel de 0,855, précision de 0,929). Une phrase répète ces nombres et indique si la révision tient dans les 20 jours d’Ivana. Un graphique à barres montre les jours de révision pour chaque seuil inférieur au seuil supérieur choisi. Une ligne pointillée indique 20 jours. Un tableau donne les jours et les paires à réviser pour les 25 paires de seuils. Avec un seuil supérieur de 20 : le seuil inférieur 5 donne 187,5 jours; 8, 77,5; 10, 44,6; 12, 20,5; 14, 13,0. Avec un seuil inférieur de 10 : le seuil supérieur 16 donne 35,5 jours; 18, 39,1; 20, 44,6; 22, 54,2; 25, 69,3.
À essayer :
- Gardez le seuil supérieur à 20 et déplacez le seuil inférieur. Chaque baisse ajoute des milliers de paires à réviser et améliore un peu le rappel.
- Gardez le seuil inférieur à 10 et déplacez le seuil supérieur. Un seuil supérieur plus élevé améliore la précision de la zone de correspondance, de 0,894 à 16 à 0,953 à 25. Ces paires passent en révision : il faut plus de jours.
- Trouvez les paires de seuils qui tiennent dans 20 jours. Laquelle perd le moins de vraies paires?
Évaluer le compromis avec les coûts
Section intitulée « Évaluer le compromis avec les coûts »Avec les seuils 10 et 20, la révision prend 44,6 jours : plus du double du mois d’Ivana. Les seuils 14 et 20 prennent 13,0 jours et respectent le délai. Le prix : si chaque révision est correcte, le rappel passe de 0,855 à 0,796.
Les coûts du cours aident à juger ce compromis (ce sont des hypothèses). Une fusion erronée coûte 150 $ : un inconnu voit les commandes et l’adresse d’un autre client. Une correspondance manquée coûte 3 $ par année. Une révision coûte 1,2 minute à 40 $ l’heure : 0,80 $. Réviser une paire douteuse coûte donc peu, et une fusion erronée coûte très cher. La zone de correspondance à 20 a une précision de 0,916 sur toutes les partitions. Environ 1 800 de ses 21 523 paires sont donc des fusions erronées. Augmenter le seuil supérieur en transfère certaines à Ivana, et cela vaut généralement son temps.
Essayez une autre paire de seuils dans le projet. La sortie concerne seulement le jeu de test :
match bands --lower 12 --upper 20splink, test split, thresholds 12.0 and 20.0: match band: 4,604 pairs, precision 0.856 review band: 1,820 pairs (581 true pairs, 1,239 not) non-match band: 385,242 pairs, 1,009 true pairs lost thereIf reviewers decide every review pair correctly: precision 0.872, recall 0.813Quand utiliser une zone de révision, et ce qu’elle coûte
Section intitulée « Quand utiliser une zone de révision, et ce qu’elle coûte »- Utilisez-la dès qu’une erreur coûte cher et qu’une personne peut mieux décider que le modèle. Chez Larkfield, une fusion erronée coûte autant que 50 années d’une correspondance manquée.
- Choisissez les seuils sur les paires de validation, puis vérifiez-les sur les paires de test, comme pour les mesures de l’explorateur.
- Dimensionnez la zone selon la capacité du réviseur, pas seulement selon le modèle. Demandez combien de paires par jour, et pendant combien de jours.
- Ne faites pas confiance à une probabilité que vous n’avez pas vérifiée. Mesurez d’abord son étalonnage. Pour Splink sur ces enregistrements, utilisez le poids.
- Un meilleur modèle réduit le chevauchement, et donc la zone de révision. Un classificateur de paires supervisé, au module 6, fait cela. La révision humaine, au module 8, gère la file de révision chaque jour.
Erreur courante
Fusionner chaque paire ayant une probabilité supérieure à 0,99
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit les probabilités. « On fusionne tout au-dessus de 0,99. Ça fait au plus 1 % d’erreurs. » Sur le jeu de test, 16 240 paires ont une probabilité supérieure à 0,99. Seulement 5 104 sont de vraies paires : une précision de 0,314. Deux fusions sur trois réunissent des personnes différentes.
Cause : les probabilités ne sont pas bien étalonnées. Splink ajoute les champs du ménage comme des indices distincts. Les familles obtiennent donc des probabilités proches de 1,0. Ici, « 0,99 » ne veut pas dire « 99 sur 100 sont correctes ».
Correction : ne lisez jamais la probabilité d’un modèle comme une promesse. Mesurez la part de vraies paires à chaque score, comme le fait le tableau ci-dessus. Choisissez le seuil selon la précision et le rappel mesurés sur les paires de validation. Ici, le seuil de poids 15,61 déclare que 5 300 paires de test correspondent, avec une précision de 0,817.
Conséquence dans le travail en IA : beaucoup de modèles donnent des scores qui ressemblent à des probabilités, mais ne sont pas bien étalonnés. Les classificateurs, les modèles de classement et les modèles de langage qui indiquent leur certitude peuvent tous le faire. Un seuil fixé sur un score mal étalonné donne un taux d’erreur différent de celui attendu.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Une paire a un poids de correspondance de 0. Quelle est sa probabilité de correspondance? Et pour une paire de poids 10?
Afficher la réponse
Poids 0 : 2⁰ ÷ (1 + 2⁰) = 1 ÷ 2 = 0,5. Poids 10 : 2¹⁰ = 1 024, et 1 024 ÷ 1 025 ≈ 0,999. Chaque +1 double le rapport des probabilités. Mais sur les enregistrements de Larkfield, ces probabilités ne sont pas bien étalonnées. Parmi les paires de test ayant des probabilités de 0,99 à 0,999999, seulement 9,9 % sont de vraies paires.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec les seuils 10 et 20, la zone de révision de tout l'arriéré contient 13 378 paires. Combien de jours ouvrables faut-il à Ivana, et combien cela coûte-t-il selon les hypothèses du cours?
Afficher la réponse
13 378 ÷ 300 = 44,6 jours ouvrables. Chaque révision prend 1,2 minute à 40 $ l’heure, soit 0,80 $ par paire : environ 10 700 $ en tout. C’est le coût d’environ 71 fusions erronées à 150 $ chacune. La zone de correspondance à 20 contient encore environ 1 800 fusions erronées. La révision coûte donc peu en comparaison. La vraie limite est le temps : 44,6 jours ne tiennent pas dans les 20 jours d’Ivana.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar demande d'augmenter le seuil inférieur de 10 à 14 pour que la révision tienne dans un mois. Que perd Larkfield?
Afficher la réponse
La zone de révision passe de 13 378 à 3 900 paires : 13,0 jours, ce qui respecte le délai. Mais chaque paire ayant un poids de 10 à 14 reste maintenant séparée, sans révision. Si chaque révision est correcte, le rappel passe de 0,855 à 0,796. Environ 6 % des vraies paires deviennent des correspondances manquées. À 3 $ par année chacune, cela coûte peu comparativement à une fusion erronée. Le choix est donc raisonnable. Une autre option : garder le seuil inférieur et donner plus de temps à Ivana. Ou améliorer le modèle pour réduire le nombre de paires incertaines.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Probabilité de correspondance = 2w ÷ (1 + 2w). Sur les enregistrements de Larkfield, les probabilités de Splink sont beaucoup trop sûres. Parmi les paires de test au-dessus de 0,999999, seulement 85,5 % sont vraies. Les frères obtiennent 1,0.
- La cause : le modèle ajoute les champs du ménage (code postal, téléphone, rue, nom de famille, courriel) comme des indices distincts. Le projet classe les paires selon le poids de correspondance et choisit les seuils par mesure.
- Deux seuils créent une zone de correspondance, une zone de révision et une zone de non-correspondance. Avec 10 et 20 sur le jeu de test : 4 604 paires fusionnent (précision de 0,856), 4 262 passent en révision.
- Sur tout l’arriéré, la zone de révision de 10 à 20 contient 13 378 paires : 44,6 jours pour un réviseur à 300 par jour. Dimensionnez la zone selon la capacité du réviseur et le coût de chaque erreur.
- Splink sans étiquettes atteint un score F1 de 0,797. Un classificateur avec étiquettes fait mieux.
Le module 5 est terminé. Splink a appris des poids lisibles sans étiquettes, mais il compte plusieurs fois les champs partagés d’un ménage. Ensuite, au module 6, un classificateur apprend à partir de paires étiquetées combien chaque champ ajoute réellement.
Leçon suivante : Un classificateur de paires supervisé