Aller au contenu
English

Des poids à une décision

  • Leçon 17
  • 35 min
  • Module 5 : L'appariement probabiliste

Où nous en sommes

Splink donne un poids de correspondance à chaque paire. Une entreprise a besoin d'une décision pour chaque paire. Dans cette leçon, nous transformons les poids en probabilités, fixons deux seuils et envoyons la zone incertaine en révision.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Transformez les poids de correspondance en décisions. Voyez pourquoi les probabilités de Splink sont beaucoup trop sûres sur les enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. Découvrez pourquoi le projet utilise plutôt le poids comme score. Fixez ensuite deux seuils. Les paires au-dessus du seuil supérieur fusionnent. Les paires sous le seuil inférieur restent séparées. La zone incertaine entre les deux passe à une personne. Choisissez les seuils selon la capacité du réviseur.

Carnet JupyterRépartir les paires en zones dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet entraîne Splink à nouveau et compare ses probabilités à la vérité pour vérifier leur degré de certitude. Il trace les poids des vraies paires et des autres paires. Vous comptez les paires dans la zone de révision entre deux seuils et les jours de travail pour un réviseur. Ses cellules de préparation installent Splink et téléchargent les données. Aucune préparation locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers du module 5 et un modèle entraîné (match splink). Ou utilisez seulement le carnet.

Une enseignante corrige 300 copies d’examen. La note de passage est 50. Une copie notée 85 réussit clairement, et une copie notée 12 échoue clairement. Ses notes pour ces copies sont définitives.

Une copie notée 49 ou 51 est différente. Un point de plus ou de moins change le résultat, et sa correction n’est pas aussi exacte. L’école envoie donc chaque copie notée entre 45 et 55 à une deuxième correctrice. Cette personne les relit et décide.

Quelle largeur donner à cette zone? L’école ne peut pas envoyer les 300 copies. Elle demande : combien de copies la deuxième correctrice peut-elle lire cette semaine? La largeur de la zone dépend du temps dont elle dispose.

L’appariement comporte les trois mêmes parties. Les correspondances certaines fusionnent. Les non-correspondances certaines restent séparées. Les paires entre les deux passent à une personne : chez Larkfield, Ivana.

Le problème : des probabilités beaucoup trop sûres

Section intitulée « Le problème : des probabilités beaucoup trop sûres »

Splink donne à chaque paire un poids de correspondance, puis une probabilité de correspondance : 2w ÷ (1 + 2w). La probabilité semble être l’outil parfait. Fusionnez au-dessus de 0,99, et vous attendez au plus une erreur sur 100.

Regardez une paire. G-001688 et G-002894 sont deux frères, Samuel et Nathan Green : un problème d’exercice que nous avons créé exprès. Ils partagent un nom de famille, un courriel familial, une ligne fixe et une adresse.

Fenêtre de terminal
match explain G-001688 G-002894
prior (two random records) -15.83 (total -15.83)
first -3.44 (total -19.28) samuel / nathan
last +6.46 (total -12.82) green / green
email +12.26 (total -0.55) thegreens@example.com / thegreens@example.com
phone +14.16 (total +13.61) 9055551835 / 9055551835
postcode +13.28 (total +26.89) M7K4L8 / M7K4L8
street +7.19 (total +34.07) kestrel ave / kestrel ave
town +3.84 (total +37.91) heronvale / heronvale
dob +0.00 (total +37.91) None / 1966-05-20
Match weight +37.91 -> match probability 1.0000
True answer: different
Un graphique en cascade des poids de correspondance pour la paire des frères G-001688 / G-002894. La probabilité a priori commence à −15,83. Le prénom (samuel / nathan) retire 3,44. Le nom de famille ajoute 6,46, le courriel 12,26, le téléphone 14,16, le code postal 13,28, la rue 7,19 et la ville 3,84. La date de naissance ajoute 0, car un enregistrement n'en a pas. Le total est +37,91, une probabilité de 1,0000. La vraie réponse : deux personnes différentes.
Un graphique en cascade des poids de correspondance : chaque champ ajoute des indices (vert) ou en retire (rouge). Cinq champs partagés du ménage pèsent plus que les prénoms différents.
Description textuelle du diagramme

Chaque ligne est une étape, depuis le haut. La probabilité a priori, −15,83, est le poids de deux enregistrements pris au hasard. Les prénoms diffèrent (samuel et nathan). Le prénom retire donc 3,44, ce qui donne −19,28. Ensuite, le nom de famille green ajoute 6,46, le courriel familial 12,26, la ligne fixe 14,16, le code postal 13,28, la rue 7,19 et la ville 3,84. La date de naissance n’ajoute rien, car un enregistrement n’en a pas. Le total est +37,91, et la probabilité est 1,0000. La vraie réponse : deux personnes différentes.

Les frères obtiennent un poids de correspondance de 37,9 et une probabilité de 1,0. Splink est « sûr », et il se trompe.

Non. Comparez les probabilités de Splink à la vérité pour les 391 666 paires candidates du jeu de test :

Probabilité de correspondancePaires de testPart des paires qui sont vraies
0 à 0,5152 5710,001
0,5 à 0,933 7570,002
0,9 à 0,9930 0110,005
0,99 à 0,99999911 6210,099
0,999999 à 14 6190,855

Parmi les 4 619 paires ayant une probabilité supérieure à 0,999999, seulement 85,5 % sont de vraies paires. Et 15 paires de test obtiennent une probabilité d’exactement 1,0. Une probabilité qui correspond à la vérité est dite bien étalonnée. Ici, les probabilités de Splink sont loin de l’être.

Le modèle Fellegi–Sunter ajoute le poids de chaque champ comme un indice distinct. Cela est vrai pour des inconnus : deux inconnus qui partagent un code postal partagent rarement aussi un téléphone. Ce n’est pas vrai dans une famille. Des frères qui partagent une adresse partagent aussi le code postal, la rue, la ville et la ligne fixe. Ils partagent souvent aussi le nom de famille et un courriel. Il s’agit d’un seul fait, « même ménage », et le modèle le compte cinq fois.

Le carnet de cette leçon montre cet effet. Son modèle n’a ni rue ni ville : deux champs du ménage en moins. Parmi ses paires de test au-dessus de 0,999999, 97,4 % sont de vraies paires, contre 85,5 % pour le modèle du projet. Ce n’est toujours pas bien étalonné, mais c’est beaucoup moins faux.

Le projet utilise donc le poids de correspondance seulement pour classer les paires, et choisit les seuils par mesure. L’exécution splink de la dernière leçon a choisi un poids de 15,61 sur la partition de validation, pas une probabilité de 0,5. Seuils et calibration, dans le cours Apprentissage automatique : du problème à un modèle fiable, montre comment mesurer et corriger l’étalonnage d’un classificateur.

Un seul seuil impose un « oui » ou un « non » à chaque paire, même aux paires douteuses. Deux seuils créent trois zones :

  • Zone de correspondance : poids égal ou supérieur au seuil supérieur. Fusionnez sans révision.
  • Zone de révision : entre les deux seuils. Une personne décide.
  • Zone de non-correspondance : sous le seuil inférieur. Ne fusionnez pas.
Fenêtre de terminal
match bands
splink, test split, thresholds 10.0 and 20.0:
match band: 4,604 pairs, precision 0.856
review band: 4,262 pairs (795 true pairs, 3,467 not)
non-match band: 382,800 pairs, 795 true pairs lost there
If reviewers decide every review pair correctly: precision 0.877, recall 0.851
Trois zones du poids de correspondance de Splink sur le jeu de test, avec les seuils 10 et 20. Sous 10, la zone de non-correspondance : 382 800 paires, 795 vraies paires perdues, aucune fusion. De 10 à 20, la zone de révision : 4 262 paires, dont 795 vraies et 3 467 autres; Ivana décide. À partir de 20, la zone de correspondance : 4 604 paires, précision de 0,856, fusion sans révision.
Deux seuils sur le poids de correspondance créent trois zones. Les décomptes proviennent du jeu de test des enregistrements synthétiques.
Description textuelle du diagramme

Un axe des poids va de faible à élevé, avec des lignes pointillées à 10 et à 20. La zone de gauche, sous 10, est la zone de non-correspondance : 382 800 paires. On y perd 795 vraies paires; ces paires ne fusionnent pas. La zone du milieu, de 10 à 20, est la zone de révision : 4 262 paires. Parmi elles, 795 sont vraies et 3 467 ne le sont pas; Ivana décide. La zone de droite, à partir de 20, est la zone de correspondance : 4 604 paires avec une précision de 0,856. Elles fusionnent sans révision.

Le graphique montre où les vraies paires et les autres paires se situent selon le poids :

  • Vraies paires
  • Autres paires candidates
  • Seuils 10 et 20 (pointillés)
Poids de correspondance des paires candidates du jeu de test : 5 531 vraies paires et 386 135 autres paires, chacune en part de son propre groupe. Non représentées : les paires que Splink a exclues (probabilité inférieure à 0,001) : 23 vraies et 159 064 autres. Les poids supérieurs à 50 sont dans la dernière classe. Mesuré.
Description textuelle du graphique

Deux courbes selon le poids de correspondance, de −10 à 50, et des lignes verticales pointillées à 10 et à 20. Les autres paires candidates sont surtout à gauche. Environ 13 % se trouvent dans chacune des classes −10 à −8 et −8 à −6. Une deuxième bosse d’environ 7 % se trouve de 2 à 4. À partir de 8, chaque classe contient moins de 1 %. Les vraies paires sont surtout à droite, avec deux sommets : 9,7 % aux poids 22 à 24, et 9,2 % à 34 à 36. Entre 6 et 20, les deux courbes sont basses : c’est là que les deux groupes se chevauchent. Non représentées : 159 064 autres paires et 23 vraies paires que Splink a exclues avec une probabilité inférieure à 0,001.

Chaque courbe représente une part de son propre groupe. Les vraies paires semblent donc aussi fréquentes que les autres. En nombre, elles ne le sont pas. De 6 à 20, le jeu de test contient 12 522 autres paires et 1 204 vraies paires. Les groupes s’y chevauchent, et aucun seuil unique ne les sépare. La zone de révision se situe sur ce chevauchement.

La zone de révision prend du temps à Ivana. Les hypothèses du cours : Ivana révise 300 paires par jour, à 1,2 minute par paire. Larkfield veut réviser une fois tout son arriéré : toutes les partitions, pas seulement le jeu de test. Pour cette leçon, nous ajoutons une hypothèse : TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. donne à Ivana un mois, soit 20 jours ouvrables, pour l’arriéré.

Explorer

Deux seuils, trois zones, une réviseuse

Zone de fusion
21 523 pairesprécision 0,916
Zone de révision
13 378 paires3 954 vraies paires
Jours de révision
44,6 jours
Si chaque révision est juste
rappel 0,855, précision 0,929

Seuils 10 et 20 : 21 523 paires fusionnent sans révision (précision 0,916). 13 378 paires vont en révision, dont 3 954 vraies paires. Une personne à 300 paires par jour a besoin de 44,6 jours ouvrables. Si chaque révision est juste : rappel 0,855, précision 0,929. C’est plus que les 20 jours de révision qu’Ivana peut donner.

Jours de révision pour chaque paire de seuils (une personne, 300 paires par jour). Sous chaque nombre : les paires de la zone de révision.
Bas ↓ / haut →1618202225
5178,453 524182,054 614187,556 264197,259 150212,363 688
868,320 49872,021 58877,523 23887,126 124102,230 662
1035,510 63839,111 72844,613 37854,216 26469,320 802
1211,33 39715,04 48720,56 13730,19 02345,213 561
143,91 1607,52 25013,03 90022,66 78637,711 324
Les poids de correspondance de Splink, mesurés pour chaque paire candidate des 60 108 enregistrements synthétiques (toutes les partitions). Les 300 paires par jour d'Ivana sont l'hypothèse du cours; les 20 jours sont celle de cette leçon.
Description textuelle de l’explorateur

L’explorateur a deux curseurs. Le seuil inférieur prend les valeurs 5, 8, 10, 12 et 14; le seuil supérieur, 16, 18, 20, 22 et 25. Ils commencent à 10 et à 20. Quatre tuiles montrent la zone de correspondance (21 523 paires, précision de 0,916), la zone de révision (13 378 paires, dont 3 954 vraies), les jours de révision (44,6) et le résultat si chaque révision est correcte (rappel de 0,855, précision de 0,929). Une phrase répète ces nombres et indique si la révision tient dans les 20 jours d’Ivana. Un graphique à barres montre les jours de révision pour chaque seuil inférieur au seuil supérieur choisi. Une ligne pointillée indique 20 jours. Un tableau donne les jours et les paires à réviser pour les 25 paires de seuils. Avec un seuil supérieur de 20 : le seuil inférieur 5 donne 187,5 jours; 8, 77,5; 10, 44,6; 12, 20,5; 14, 13,0. Avec un seuil inférieur de 10 : le seuil supérieur 16 donne 35,5 jours; 18, 39,1; 20, 44,6; 22, 54,2; 25, 69,3.

À essayer :

  • Gardez le seuil supérieur à 20 et déplacez le seuil inférieur. Chaque baisse ajoute des milliers de paires à réviser et améliore un peu le rappel.
  • Gardez le seuil inférieur à 10 et déplacez le seuil supérieur. Un seuil supérieur plus élevé améliore la précision de la zone de correspondance, de 0,894 à 16 à 0,953 à 25. Ces paires passent en révision : il faut plus de jours.
  • Trouvez les paires de seuils qui tiennent dans 20 jours. Laquelle perd le moins de vraies paires?

Avec les seuils 10 et 20, la révision prend 44,6 jours : plus du double du mois d’Ivana. Les seuils 14 et 20 prennent 13,0 jours et respectent le délai. Le prix : si chaque révision est correcte, le rappel passe de 0,855 à 0,796.

Les coûts du cours aident à juger ce compromis (ce sont des hypothèses). Une fusion erronée coûte 150 $ : un inconnu voit les commandes et l’adresse d’un autre client. Une correspondance manquée coûte 3 $ par année. Une révision coûte 1,2 minute à 40 $ l’heure : 0,80 $. Réviser une paire douteuse coûte donc peu, et une fusion erronée coûte très cher. La zone de correspondance à 20 a une précision de 0,916 sur toutes les partitions. Environ 1 800 de ses 21 523 paires sont donc des fusions erronées. Augmenter le seuil supérieur en transfère certaines à Ivana, et cela vaut généralement son temps.

Essayez une autre paire de seuils dans le projet. La sortie concerne seulement le jeu de test :

Fenêtre de terminal
match bands --lower 12 --upper 20
splink, test split, thresholds 12.0 and 20.0:
match band: 4,604 pairs, precision 0.856
review band: 1,820 pairs (581 true pairs, 1,239 not)
non-match band: 385,242 pairs, 1,009 true pairs lost there
If reviewers decide every review pair correctly: precision 0.872, recall 0.813

Quand utiliser une zone de révision, et ce qu’elle coûte

Section intitulée « Quand utiliser une zone de révision, et ce qu’elle coûte »
  • Utilisez-la dès qu’une erreur coûte cher et qu’une personne peut mieux décider que le modèle. Chez Larkfield, une fusion erronée coûte autant que 50 années d’une correspondance manquée.
  • Choisissez les seuils sur les paires de validation, puis vérifiez-les sur les paires de test, comme pour les mesures de l’explorateur.
  • Dimensionnez la zone selon la capacité du réviseur, pas seulement selon le modèle. Demandez combien de paires par jour, et pendant combien de jours.
  • Ne faites pas confiance à une probabilité que vous n’avez pas vérifiée. Mesurez d’abord son étalonnage. Pour Splink sur ces enregistrements, utilisez le poids.
  • Un meilleur modèle réduit le chevauchement, et donc la zone de révision. Un classificateur de paires supervisé, au module 6, fait cela. La révision humaine, au module 8, gère la file de révision chaque jour.

Erreur courante

Fusionner chaque paire ayant une probabilité supérieure à 0,99

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. lit les probabilités. « On fusionne tout au-dessus de 0,99. Ça fait au plus 1 % d’erreurs. » Sur le jeu de test, 16 240 paires ont une probabilité supérieure à 0,99. Seulement 5 104 sont de vraies paires : une précision de 0,314. Deux fusions sur trois réunissent des personnes différentes.

Cause : les probabilités ne sont pas bien étalonnées. Splink ajoute les champs du ménage comme des indices distincts. Les familles obtiennent donc des probabilités proches de 1,0. Ici, « 0,99 » ne veut pas dire « 99 sur 100 sont correctes ».

Correction : ne lisez jamais la probabilité d’un modèle comme une promesse. Mesurez la part de vraies paires à chaque score, comme le fait le tableau ci-dessus. Choisissez le seuil selon la précision et le rappel mesurés sur les paires de validation. Ici, le seuil de poids 15,61 déclare que 5 300 paires de test correspondent, avec une précision de 0,817.

Conséquence dans le travail en IA : beaucoup de modèles donnent des scores qui ressemblent à des probabilités, mais ne sont pas bien étalonnés. Les classificateurs, les modèles de classement et les modèles de langage qui indiquent leur certitude peuvent tous le faire. Un seuil fixé sur un score mal étalonné donne un taux d’erreur différent de celui attendu.

Vérifiez votre compréhension

Une paire a un poids de correspondance de 0. Quelle est sa probabilité de correspondance? Et pour une paire de poids 10?

Afficher la réponse

Poids 0 : 2⁰ ÷ (1 + 2⁰) = 1 ÷ 2 = 0,5. Poids 10 : 2¹⁰ = 1 024, et 1 024 ÷ 1 025 ≈ 0,999. Chaque +1 double le rapport des probabilités. Mais sur les enregistrements de Larkfield, ces probabilités ne sont pas bien étalonnées. Parmi les paires de test ayant des probabilités de 0,99 à 0,999999, seulement 9,9 % sont de vraies paires.

Vérifiez votre compréhension

Avec les seuils 10 et 20, la zone de révision de tout l'arriéré contient 13 378 paires. Combien de jours ouvrables faut-il à Ivana, et combien cela coûte-t-il selon les hypothèses du cours?

Afficher la réponse

13 378 ÷ 300 = 44,6 jours ouvrables. Chaque révision prend 1,2 minute à 40 $ l’heure, soit 0,80 $ par paire : environ 10 700 $ en tout. C’est le coût d’environ 71 fusions erronées à 150 $ chacune. La zone de correspondance à 20 contient encore environ 1 800 fusions erronées. La révision coûte donc peu en comparaison. La vraie limite est le temps : 44,6 jours ne tiennent pas dans les 20 jours d’Ivana.

Vérifiez votre compréhension

Omar demande d'augmenter le seuil inférieur de 10 à 14 pour que la révision tienne dans un mois. Que perd Larkfield?

Afficher la réponse

La zone de révision passe de 13 378 à 3 900 paires : 13,0 jours, ce qui respecte le délai. Mais chaque paire ayant un poids de 10 à 14 reste maintenant séparée, sans révision. Si chaque révision est correcte, le rappel passe de 0,855 à 0,796. Environ 6 % des vraies paires deviennent des correspondances manquées. À 3 $ par année chacune, cela coûte peu comparativement à une fusion erronée. Le choix est donc raisonnable. Une autre option : garder le seuil inférieur et donner plus de temps à Ivana. Ou améliorer le modèle pour réduire le nombre de paires incertaines.

Récapitulatif

  • Probabilité de correspondance = 2w ÷ (1 + 2w). Sur les enregistrements de Larkfield, les probabilités de Splink sont beaucoup trop sûres. Parmi les paires de test au-dessus de 0,999999, seulement 85,5 % sont vraies. Les frères obtiennent 1,0.
  • La cause : le modèle ajoute les champs du ménage (code postal, téléphone, rue, nom de famille, courriel) comme des indices distincts. Le projet classe les paires selon le poids de correspondance et choisit les seuils par mesure.
  • Deux seuils créent une zone de correspondance, une zone de révision et une zone de non-correspondance. Avec 10 et 20 sur le jeu de test : 4 604 paires fusionnent (précision de 0,856), 4 262 passent en révision.
  • Sur tout l’arriéré, la zone de révision de 10 à 20 contient 13 378 paires : 44,6 jours pour un réviseur à 300 par jour. Dimensionnez la zone selon la capacité du réviseur et le coût de chaque erreur.
  • Splink sans étiquettes atteint un score F1 de 0,797. Un classificateur avec étiquettes fait mieux.

Le module 5 est terminé. Splink a appris des poids lisibles sans étiquettes, mais il compte plusieurs fois les champs partagés d’un ménage. Ensuite, au module 6, un classificateur apprend à partir de paires étiquetées combien chaque champ ajoute réellement.

Leçon suivante : Un classificateur de paires supervisé