Aller au contenu
English

Un regroupement plus sûr

  • Leçon 23
  • 35 min
  • Module 7 : Des paires aux entités

Où nous en sommes

Les composantes connexes ont trop réuni d'enregistrements. Il faut des vérifications pour empêcher un lien faible de réunir deux familles. Dans cette leçon, nous vérifions la qualité des groupes et coupons les liens faibles. Nous ajoutons aussi des règles comme « aucune date de naissance différente dans une entité ».

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Empêchez un lien faible de réunir deux personnes. Appliquez à chaque groupe quelques vérifications qu’un vrai client réussit toujours. Quand un groupe échoue, coupez son lien le plus faible et vérifiez à nouveau les parties. Mesurez ce que les vérifications corrigent et ce qu’elles coûtent.

Carnet JupyterSécuriser les groupes dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter regroupe les paires issues des quatre règles du module 2. Il examine ensuite un groupe trop grand. Vous écrivez la vérification des dates de naissance. Ensuite, le carnet coupe les liens faibles jusqu’à ce que chaque groupe réussisse les vérifications. Il compare la taille des groupes avant et après. Ses cellules de préparation téléchargent les données. Il ne nécessite donc aucune préparation locale.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers du module 7, copiés dans la leçon précédente. Vous pouvez aussi utiliser seulement le carnet.

Une clinique fusionne les dossiers de patients de deux anciens cabinets. Une infirmière ouvre un dossier fusionné. Le premier document indique que le patient est né le 12 mars 1980. Le deuxième indique le 3 juillet 1985.

Une personne ne peut pas avoir deux dates de naissance. L’infirmière le sait donc tout de suite : ce dossier contient deux patients. Elle n’a pas eu besoin de comparer tous les documents. Une règle simple a trouvé l’erreur.

Puis elle pose une deuxième question : quel document est au mauvais endroit? Elle examine pourquoi chaque document a été ajouté au dossier. Deux documents partagent un numéro d’assurance maladie : une raison solide. Un document partage seulement un nom de famille et une rue : une raison faible. Elle retire le document associé à la raison la plus faible, puis vérifie à nouveau le dossier.

C’est le sujet de cette leçon : des vérifications simples qui repèrent un groupe erroné. Et une règle qui retire d’abord le lien le plus faible.

Le problème : des groupes qui ne peuvent pas représenter une seule personne

Section intitulée « Le problème : des groupes qui ne peuvent pas représenter une seule personne »

Dans la leçon précédente, les composantes connexes ont réuni les paires de LightGBM en 38 514 entités. La plupart sont correctes. Mais 75 groupes ont plus de 5 enregistrements, alors qu’aucun vrai client n’en a plus de 5. Le plus grand en a 9.

Voici un groupe réel formé par les liens de LightGBM. Il contient 4 enregistrements :

EnregistrementSourceNom, tel que saisiDate de naissance (nettoyée)
G-000554gardenOUELLET, NATHAOIE1950-10-21
G-002354gardenOUELLET, NATHALIE(vide)
L-016649loyaltyNathalie Ouellet1992-12-06
S-029847shopNathalie Ouellet1950-10-21

Le groupe contient deux dates de naissance. Comme l’infirmière, nous savons qu’il contient au moins deux personnes. Les composantes connexes ne peuvent pas le voir : elles suivent seulement les liens.

L’idée : vérifier et couper le lien le plus faible

Section intitulée « L’idée : vérifier et couper le lien le plus faible »

Une vérification est une règle que chaque vraie entité respecte. Si un groupe échoue à une vérification, il est certainement erroné. Le projet utilise trois vérifications. Nous les avons choisies pour les enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield :

  1. Aucune date de naissance différente. Une personne a une seule date de naissance. Une date vide n’apporte aucune preuve. Si le jour et le mois sont inversés, comme dans 1975-01-31 et 1975-31-01, ils comptent comme la même date.
  2. Pas plus de 6 enregistrements. Aucun vrai client n’en a plus de 5. Nous en autorisons un de plus pour ne pas scinder un client qui aurait un enregistrement supplémentaire.
  3. Aucune paire qu’une personne a marquée « pas la même personne ». Quand Ivana annule une fusion erronée, le projet s’en souvient. Il retire d’abord tout lien entre deux de ces enregistrements, avant les autres vérifications. La leçon 3 montre comment.

Dans les articles scientifiques, le troisième type de règle est une contrainte de paire interdite (cannot-link). Ces deux enregistrements ne peuvent jamais appartenir au même groupe.

Que faisons-nous d’un groupe qui échoue? Nous ne le jetons pas. La plupart de ses liens sont corrects. Nous retirons un lien : le lien le plus faible, soit la paire ayant le score le plus bas. Puis nous vérifions à nouveau chaque partie. Une partie qui échoue encore perd son prochain lien le plus faible. Nous arrêtons quand toutes les parties réussissent.

Voici le groupe du tableau, avec ses 4 liens et le score de LightGBM pour chaque lien.

4 enregistrements d'un groupe de LightGBM : G-000554, OUELLET, NATHAOIE, né(e) le 1950-10-21; G-002354, OUELLET, NATHALIE, né(e) le vide; L-016649, Nathalie Ouellet, né(e) le 1992-12-06; S-029847, Nathalie Ouellet, né(e) le 1950-10-21. Liens et scores : G-000554 à S-029847 0,999999; G-002354 à L-016649 0,999938; G-002354 à S-029847 0,999926; G-000554 à G-002354 0,999736. Le regroupement sûr coupe coupure 1 : G-000554 à G-002354, score 0,999736; coupure 2 : G-002354 à S-029847, score 0,999926. Après les coupures : G-000554 et S-029847; G-002354 et L-016649.
Un groupe réel formé par les liens de LightGBM dans les enregistrements synthétiques. Le regroupement sûr coupe le lien le plus faible jusqu'à ce qu'aucune partie ne contienne deux dates de naissance.
Description textuelle du diagramme

L’image montre 4 encadrés d’enregistrements aux coins d’un carré. Chaque encadré indique l’identifiant de l’enregistrement, la source, le nom tel que saisi et la date de naissance. Des lignes relient les enregistrements que LightGBM considère comme une même personne. Chaque ligne porte son score. La coupure 1 retire le lien G-000554 à G-002354, de score 0,999736. La coupure 2 retire le lien G-002354 à S-029847, de score 0,999926. Les liens coupés sont rouges et pointillés. Après les coupures, les enregistrements forment 2 groupes : G-000554 et S-029847; G-002354 et L-016649. Chaque groupe contient une seule date de naissance.

Suivez les étapes :

  • Coupure 1. Le groupe échoue (« deux dates de naissance »). Son lien le plus faible est G-000554 / G-002354, de score 0,999736. Le regroupement sûr le retire.
  • Coupure 2. Le groupe échoue (« deux dates de naissance »). Son lien le plus faible est G-002354 / S-029847, de score 0,999926. Le regroupement sûr le retire.

Pourquoi faut-il 2 coupures? Parce que plusieurs chaînes reliaient les enregistrements. Après la première coupure, un autre lien relie encore les deux personnes. Le groupe se scinde seulement quand aucune chaîne ne les relie. Chaque partie réussit alors la vérification : une seule date de naissance par partie.

Le résultat est correct. Nos enregistrements sont synthétiques, donc nous connaissons la vérité : ce sont deux femmes différentes portant le même nom, Nathalie Ouellet. Un enregistrement contient même une faute de frappe, « NATHAOIE ». Chaque partie contient maintenant les enregistrements d’une seule de ces femmes.

Le modèle est moins sûr d’un lien dont le score est bas. Quand un groupe est erroné, nous retirons donc ce lien en premier, en retirant le moins de liens possible. Cette règle est facile à expliquer à Ivana, et chaque coupure est consignée dans un journal.

Mais regardez les scores : ils dépassent tous 0,999. Les différences sont minuscules. Le lien le plus faible est donc à peine plus faible que les autres. La règle est une bonne estimation, pas une preuve. Nous pouvons mesurer sa qualité, car nous connaissons les vrais clients :

  • Parmi les 679 liens que le regroupement sûr coupe, 463 relient deux clients différents. Ces coupures sont correctes. Les 216 autres coupent un lien entre les enregistrements d’un même client.
  • Nous avons examiné les 263 groupes de 3 à 5 enregistrements qui échouaient aux vérifications. Dans 161 de ces groupes, les parties correspondent exactement aux vrais clients.

La vérification est donc fiable : un groupe contenant deux dates de naissance est erroné. Le choix du lien à couper est moins fiable. Certains outils coupent le lien dont le retrait sépare le mieux le groupe. D’autres refont le regroupement avec un seuil plus strict. Dans La révision humaine, une personne tranche les cas difficiles.

Exécuter le regroupement sur les enregistrements de Larkfield

Section intitulée « Exécuter le regroupement sur les enregistrements de Larkfield »

match cluster a une nouvelle option, --method safe. --show-cuts 5 affiche les cinq premiers liens coupés :

Fenêtre de terminal
match cluster --run lgbm --method safe --show-cuts 5
lgbm (safe): 60,108 records -> 38,908 entities (true: 37,500)
Largest clusters: G-001224 (6 records), G-000994 (6 records), G-002621 (6 records)
Links cut: 679
L-000323 / G-000077 score 1.000 (two dates of birth)
L-001750 / G-000077 score 1.000 (two dates of birth)
L-005021 / G-002529 score 1.000 (two dates of birth)
L-001790 / G-000121 score 1.000 (two dates of birth)
S-001111 / G-000121 score 1.000 (two dates of birth)
Saved to outputs/clusters/lgbm-safe.csv

Regardez les scores de ces premières coupures : 1.000, après arrondi. Dans ces groupes, LightGBM était très sûr de chaque lien. Pourtant, les enregistrements contiennent deux dates de naissance. Les vérifications repèrent des erreurs que le score du modèle ne révèle pas.

Le plus grand groupe contient maintenant 6 enregistrements. Le regroupement sûr a coupé 679 liens. La plupart des coupures avaient pour raison « deux dates de naissance » (676). Certains groupes étaient aussi trop grands (74). Une coupure peut avoir les deux raisons.

match eval affiche maintenant les deux regroupements, avec des mesures des groupes. Nous étudierons ces mesures en détail à la leçon 4. Pour l’instant, examinons-en une : la précision B-cubed. Pour chaque enregistrement, elle demande : quelle proportion de son groupe représente la même personne? Puis elle calcule la moyenne sur les enregistrements. Une valeur de 1,0 signifie qu’aucun groupe ne contient deux personnes.

Fenêtre de terminal
match eval --run lgbm
lgbm on the test split: pair precision 0.918, recall 0.886, F1 0.902
5,375 pairs called the same: 4,932 right, 443 wrong; 632 of 5,564 true pairs missed
entities after clustering (all records): 38,514 (true: 37,500)
connected components: 38,514 entities, largest 9 records, 75 clusters over 5 records
B-cubed precision 0.979, recall 0.967; cluster pairs precision 0.838, recall 0.917; exact clusters precision 0.873, recall 0.913
safe clustering: 38,908 entities, largest 6 records, 11 clusters over 5 records
B-cubed precision 0.987, recall 0.965; cluster pairs precision 0.911, recall 0.909; exact clusters precision 0.880, recall 0.923

Lisez les deux lignes qui commencent par « connected components » (composantes connexes) et « safe clustering » (regroupement sûr) :

Regroupement Entités Plus grand Précision B-cubed Rappel B-cubed
composantes connexes 38 514 9 0,979 0,967
regroupement sûr 38 908 6 0,987 0,965

La précision B-cubed passe de 0,979 à 0,987. Le rappel baisse légèrement, de 0,967 à 0,965 : certaines coupures scindent les enregistrements d’un vrai client. Le nombre d’entités passe de 38 514 à 38 908, contre 37 500 vrais clients.

Les vérifications aident tous les apparieurs. Elles aident surtout ceux qui créent beaucoup de liens erronés.

  • Composantes connexes
  • Regroupement sûr
Précision B-cubed de six exécutions, avec les composantes connexes et le regroupement sûr, sur le jeu de test des enregistrements synthétiques. Valeurs mesurées.
Description textuelle du graphique

Un graphique à points avec deux lignes par exécution : une pour les composantes connexes et une pour le regroupement sûr. exact-norm : 0,981 avec les composantes connexes, 0,995 avec le regroupement sûr. rules : 0,917 avec les composantes connexes, 0,974 avec le regroupement sûr. rule-phone : 0,941 avec les composantes connexes, 0,969 avec le regroupement sûr. weighted : 0,937 avec les composantes connexes, 0,962 avec le regroupement sûr. splink : 0,954 avec les composantes connexes, 0,975 avec le regroupement sûr. lgbm : 0,979 avec les composantes connexes, 0,987 avec le regroupement sûr. Le regroupement sûr donne une valeur plus élevée pour chaque exécution. Le gain est le plus grand pour les règles (de 0,917 à 0,974). Il est le plus petit pour exact-norm, qui crée peu de liens.

ExécutionPlus grand groupe, composantes connexesPlus grand groupe, regroupement sûrLiens coupés
exact-norm641 262
rules1465 404
rule-phone4064 406
weighted1262 318
splink1161 714
lgbm96679

Le groupe géant de la leçon précédente a aussi disparu, mais regardez de près. Parmi les 40 enregistrements de jardinerie ayant le numéro de téléphone fictif, seulement 4 contiennent une date de naissance. Seule la vérification de taille agit sur eux. Elle les scinde en groupes d’au plus 6 enregistrements. Ces petits groupes sont encore erronés. La vérification de taille limite les dommages. Elle ne les élimine pas. Seule la correction de la leçon précédente le fait : traiter le numéro fictif comme une valeur manquante.

  • Utilisez des vérifications que chaque vraie entité réussit. Elles doivent venir de faits réels : une date de naissance par personne, un numéro fiscal par société, un code-barres par produit. Une vérification qui rejette de vraies entités les scinde.
  • Chaque vérification voit seulement ce que contiennent les enregistrements. 85 % des enregistrements de jardinerie n’ont aucune date de naissance. La vérification des dates de naissance ne peut pas protéger ces groupes. La vérification de taille le peut encore.
  • Cela coûte un peu de rappel. Le rappel B-cubed de LightGBM passe de 0,967 à 0,965. Nous supposons qu’une fusion erronée coûte 150 dollars à Larkfield, et une correspondance manquée, 3 dollars par année. Ce compromis est donc bon ici. Avec d’autres coûts, il pourrait ne pas l’être.
  • L’exécution coûte peu. Seuls les groupes qui échouent sont scindés, et ils sont petits. Le projet utilise NetworkX pour les liens de ces groupes.
  • Conservez le journal. Chaque coupure indique une paire d’enregistrements, un score et une raison. Ivana peut vérifier les coupures, et vous pouvez les compter par raison.

Erreur courante

Une vérification sur les valeurs brutes scinde de vrais clients

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. écrit sa propre vérification des dates de naissance. Il compare les dates telles que les sources les ont saisies. L’enregistrement de fidélité de Valérie Tremblay indique 31/01/1975, et son enregistrement de magasin indique 1975-01-31. Sa vérification indique « deux dates de naissance » et scinde son entité en deux. Des milliers de vrais clients sont scindés de la même façon.

Cause : la vérification a comparé des valeurs dans des formats différents. La même date, écrite de deux façons, ressemble à deux dates. La qualité d’une vérification dépend des valeurs qu’elle compare.

Correction : exécutez les vérifications sur les valeurs nettoyées du module 2, où chaque date suit le format YYYY-MM-DD. Autorisez la différence connue sans danger : le jour et le mois inversés. Testez la vérification sur des enregistrements d’une même personne avant de lui faire confiance.

Conséquence en IA : une règle de qualité des données appliquée aux valeurs brutes produit de fausses alertes. Un outil de suivi de modèle, une règle de validation ou un garde-fou peut échouer de la même façon. Les règles de validation dans SQL et préparation des données pour l’IA montre comment écrire et tester des règles sur des valeurs nettoyées.

Vérifiez votre compréhension

Un groupe contient quatre enregistrements avec les dates de naissance 1980-03-14, (vide), 1980-14-03 et 1980-03-14. Échoue-t-il à la vérification des dates de naissance?

Afficher la réponse

Non. La date vide n’apporte aucune preuve. 1980-14-03 correspond à 1980-03-14 avec le jour et le mois inversés. La vérification les considère comme la même date. Le groupe contient donc une seule date de naissance et réussit la vérification. Il échouerait seulement avec une date réellement différente, par exemple 1981-03-14.

Vérifiez votre compréhension

Le regroupement sûr coupe d'abord le lien ayant le score le plus bas. Pourquoi ne pas couper celui ayant le score le plus élevé, ou un lien au hasard?

Afficher la réponse

Le score le plus bas représente la meilleure estimation du modèle pour repérer le lien erroné. Couper le score le plus élevé retire le lien auquel le modèle fait le plus confiance. Le groupe échouerait probablement encore. Un lien choisi au hasard ignore les preuves disponibles. L’estimation n’est pas parfaite : parmi les 679 coupures de LightGBM, 463 relient deux clients différents. Les autres coupent un lien entre les enregistrements d’un même client.

Vérifiez votre compréhension

Le regroupement sûr fait passer la précision B-cubed de LightGBM de 0,979 à 0,987, et baisser le rappel de 0,967 à 0,965. Omar demande : est-ce un bon compromis?

Afficher la réponse

Avec les coûts supposés de Larkfield, oui. Une fusion erronée coûte environ 150 dollars : un inconnu voit les commandes et l’adresse d’un autre client. Une correspondance manquée coûte environ 3 dollars par année : un courriel ou un catalogue envoyé en double. La précision protège contre l’erreur coûteuse, et la perte de rappel est faible. Si une correspondance manquée coûtait très cher, par exemple en détection de fraude, la réponse pourrait changer. Vous conserveriez alors les groupes scindés pour révision.

Récapitulatif

  • Une vérification est une règle que chaque vraie entité respecte. Larkfield en a trois : aucune date de naissance différente, au plus 6 enregistrements et aucune paire interdite. Une paire interdite est une paire qu’une personne a marquée « pas la même personne ».
  • Quand un groupe échoue, coupez son lien le plus faible (le score le plus bas). Puis vérifiez à nouveau chaque partie.
  • Pour LightGBM, le regroupement sûr coupe 679 liens. Le plus grand groupe passe de 9 à 6 enregistrements. La précision B-cubed passe de 0,979 à 0,987, et le rappel baisse de 0,967 à 0,965.
  • Les vérifications aident tous les apparieurs, surtout ceux qui créent beaucoup de liens erronés.
  • Exécutez les vérifications sur des valeurs nettoyées et conservez un journal de chaque coupure.

Ensuite, chaque entité reçoit une fiche de référence (golden record), construite champ par champ à partir de ses enregistrements.

Leçon suivante : La fiche de référence