Aller au contenu
English

Trouver des personnes et des entreprises en double

  • Étude de cas 3
  • 150 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Pendant huit modules, nos personnes étaient les clients synthétiques de Larkfield. Dans cette étude de cas, nous trouvons les doublons dans une liste de personnes simulées, puis dans un registre réel et ouvert d'entreprises. Nous créons ensuite un enregistrement pour chacune.

Étude de cas 3 sur 3 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Trouver des personnes et des entreprises en double

Ce que vous saurez faire

Trouvez les doublons dans une seule liste, du fichier brut à la décision. Faites-le deux fois : d’abord dans une liste de personnes simulées, puis dans un registre réel d’entreprises. Vous comparerez les règles, Splink sans étiquettes et deux classificateurs avec une même mesure. Vous transformerez les paires en entités et créerez des fiches de référence (golden records). Vous choisirez une conception avec ses seuils et sa file de révision.

Étude de casPièce de portfolio

Durée
Environ 2 h 30
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Normaliser les noms et les formes juridiques
  • Le blocage et ses limites
  • Vecteurs de comparaison
  • Splink, régression logistique et LightGBM
  • Groupes et fiches de référence
  • Étiquettes incomplètes
  • Une file de révision et son coût

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute toutes les étapes de cette page, avec le même code et les mêmes sorties. Il comprend aussi deux tâches avec des vérifications. Ses cellules de configuration installent les paquets du cours et téléchargent environ 2 Mo de données. Il ne nécessite ni compte ni clé. Après l’installation, son exécution prend environ une minute et demie.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 150 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Voici les leçons les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)

  • Un environnement virtuel avec les paquets du cours du module 6 et networkx 3.7 du module 7. Ajoutez Splink 5.0.0, DuckDB 2.0.0 et pyarrow 26.0.1 du module 5. L’environnement du projet larkfield-match les contient tous. Cette étude de cas ne modifie pas les fichiers du projet.
  • Le carnet, téléchargé à partir du lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de configuration crée un dossier duplicates à côté du carnet. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12.13, dans Jupyter après un nouveau démarrage. Windows et Linux n’ont pas été testés.

Imaginez une école qui possède une liste de ses anciens élèves. En vingt ans, un élève s’inscrit trois fois : comme « Robert », comme « Rob », puis avec une faute de frappe dans son nom de famille. L’école lui envoie trois lettres. Pire encore, elle le confond avec un autre Robert, et un inconnu reçoit ses renseignements.

Toute liste de personnes ou d’entreprises présente ce problème. Dans cette étude de cas, deux personnes y font face. (Nadia, Kofi et la banque sont inventés; les données ne le sont pas.)

  • Nadia est une scientifique des données. Elle doit supprimer les doublons d’une liste de personnes. Une vraie liste de personnes ne peut pas figurer dans un cours public. Elle commence donc avec une liste de personnes simulées.
  • Kofi gère les données de référence d’une petite banque. Quand la banque déclare ses opérations, elle identifie chaque entreprise cliente par son LEI. Une entreprise doit avoir un seul LEI. Kofi veut trouver les entreprises qui en ont deux.

Chaque erreur a un coût. Une fusion erronée réunit deux personnes ou entreprises différentes. Une personne voit les renseignements d’une autre, ou la banque déclare une opération pour la mauvaise entreprise. Un doublon manqué sépare une personne ou une entreprise en deux. Les deux équipes fixent la même règle : fusionner sans intervention humaine seulement si au moins 99 fusions sur 100 sont correctes. Une personne vérifie les paires incertaines. (La règle et le temps du réviseur sont nos hypothèses.)

Vous construirez deux apparieurs pour une liste chacun. Ils trouvent les doublons dans une seule table, pas entre deux tables. Chacun classe chaque paire candidate dans fusionner, faire réviser ou non-correspondance. Il réunit ensuite les paires en entités et conserve un enregistrement par entité.

Les étapes viennent des modules 2 à 8. Une idée est nouvelle : les étiquettes incomplètes, dans la partie 2.

La liste est fake_1000, dans le dépôt de jeux de données de l’équipe Splink : 1 000 enregistrements de 251 personnes simulées. Un programme a inventé ces personnes. Il a ensuite écrit chacune de 1 à 7 fois avec des erreurs : fautes de frappe, surnoms, prénoms et noms de famille intervertis, dates modifiées et valeurs vides. Aucune personne réelle ne figure dans ces données.

Pourquoi pas une autre liste? FEBRL, une liste connue de personnes simulées, utilise la ANU Open Source Licence (voir sa page de projet). Cette licence ne figure pas dans la liste des licences du cours. Une liste de personnes réelles exigerait les précautions de Confidentialité et appariement.

Colonne Signification Utilisation
unique_id Le numéro de l’enregistrement Clé
first_name, surname Le nom, tel qu’il est écrit Normalisé, comparé
dob La date de naissance Comparée comme texte et comme nombre de jours
city, email La ville et le courriel (souvent vides) Comparés
cluster La vraie personne Étiquette seulement, jamais une entrée
repeated IDs: 0
empty values: {'first_name': 169, 'surname': 181, 'dob': 0, 'city': 187, 'email': 211}
people: 251 | records per person: {1: 43, 2: 30, 3: 37, 4: 34, 5: 33, 6: 33, 7: 41}

Ce que cela nous apprend. Environ une valeur sur cinq est vide, sauf la date de naissance. La plupart des personnes ont plusieurs enregistrements : 208 des 251 personnes en ont au moins deux.

Enregistrements 0 à 3 d'une personne simulée. Enregistrement 0 : Robert Alan, 1971-06-24, aucune ville, robert255@smith.net. Enregistrement 1 : Robert Allen, 1971-05-24, aucune ville, roberta25@smith.net. Enregistrement 2 : Rob Allen, 1971-06-24, London, roberta25@smith.net. Enregistrement 3 : Robert Alen, 1971-06-24, Lonon, aucun courriel. La fiche de référence : robert, allen, 1971-06-24, london, roberta25@smith.net.
Une personne simulée écrite de quatre façons. La fiche de référence prend la valeur la plus fréquente de chaque champ.
Description textuelle du diagramme

Un tableau de cinq colonnes (prénom, nom de famille, date de naissance, ville, courriel) et quatre lignes, une par enregistrement. Les valeurs vides sont grises. Une flèche pointe vers le bas, vers une ligne verte : la fiche de référence.

  • L’unité est une paire d’enregistrements de la même liste. La cible est « même personne ou non », selon la colonne cluster.
  • La partition place chaque personne dans les données d’entraînement (50 %), de validation (25 %) ou de test (25 %). Une paire appartient au test si l’un de ses enregistrements est dans le test. Ainsi, un lien erroné entre une personne du test et toute autre personne compte comme une erreur. Le jeu de test contient 498 vraies paires. Nous avons choisi les proportions et la graine (39).
  • Les mesures. Précision par paire, rappel et F1 sur le test, avec tous les seuils choisis sur la validation. Pour les entités, B-cubed et précision et rappel des groupes exacts, dans Mesures de groupes.

1 000 enregistrements donnent 499 500 paires. Un ordinateur portable les compare toutes en environ 3 secondes. Mais nous essayons d’abord quatre clés de blocage du module 3 : la date de naissance, le courriel, deux lettres de chaque nom et trois lettres du nom de famille.

candidates true kept pair completeness
date of birth 873 856 0.421
email 682 682 0.336
2 letters of first + last name 691 538 0.265
first 3 letters of last name 3015 818 0.403
all four together 3875 1601 0.788

Ce que cela nous apprend. Ensemble, les quatre clés ne conservent que 79 % des vraies paires. Sur les enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, cinq clés en conservaient 99,4 %. Nous comparons donc les 499 500 paires. Avec un million d’enregistrements, ce serait impossible. Il faudrait des clés moins restrictives, comme dans Pourquoi comparer toutes les paires est impossible.

Chaque paire reçoit un vecteur de comparaison de sept similarités, comme dans Comparer champ par champ, puis combiner :

  • Jaro-Winkler sur les prénoms, les noms de famille et les villes;
  • Jaro-Winkler entre chaque prénom et l’autre nom de famille, pour les noms intervertis;
  • deux pour la date : une similarité du texte et le nombre de jours entre les dates;
  • Jaro-Winkler sur les courriels.

Une valeur manquante reste manquante. Les cinq méthodes :

  • Règles : mêmes prénom, nom de famille et date de naissance; ou même courriel.
  • Splink sans étiquettes, avec des comparaisons semblables à celles des tutoriels de Splink.
  • Régression logistique et LightGBM sur le vecteur de comparaison, entraînés sur les 125 250 paires d’entraînement (1 045 vraies).
precision recall f1 called right
exact name + date of birth 1.000 0.050 0.096 25.0 25.0
rule: same email 1.000 0.325 0.491 162.0 162.0
Splink, no labels 0.958 0.867 0.910 451.0 432.0
logistic regression 0.899 0.861 0.880 477.0 429.0
LightGBM 0.979 0.934 0.956 475.0 465.0
F1 de cinq méthodes sur les mêmes 498 paires de test de personnes simulées. LightGBM gagne, et Splink sans étiquettes dépasse la régression logistique.
Description textuelle du graphique

Cinq points sur une échelle de 0 à 1. Nom et date de naissance exacts 0,096; même courriel 0,491; Splink sans étiquettes 0,91; régression logistique 0,88; LightGBM 0,956.

Ce que cela nous apprend. La règle exacte trouve 25 paires sur 498. LightGBM atteint un F1 de 0,956. Splink sans aucune étiquette (0,910) dépasse la régression logistique avec étiquettes (0,880). Sur les clients de Larkfield, c’était l’inverse (régression logistique 0,911, Splink 0,797). Les familles partagent en effet une adresse, un téléphone et un nom de famille. Ces personnes simulées n’ont pas de familles.

LightGBM attribue 54 % de son gain à la similarité des courriels et 29 % aux jours entre les dates. Les noms comptent moins : les erreurs touchent surtout les noms.

Dans le carnet, vous entraînez LightGBM sans le champ des noms intervertis. Ce champ ne représente que 1,4 % du gain, mais le F1 passe de 0,956 à 0,936. Un champ peu important peut départager les quelques paires difficiles.

Décider : fusionner, faire réviser ou non-correspondance

Section intitulée « Décider : fusionner, faire réviser ou non-correspondance »

Comme dans La révision humaine, nous divisons la probabilité de LightGBM en trois zones. Le seuil inférieur est de 0,05. Sur la validation, nous avons essayé quatre seuils supérieurs (0,5, 0,8, 0,95 et 0,99). Seul 0,99 respecte la règle des 99 %. Sur le test, utilisé une seule fois :

accepted accepted right precision accepted to review true in review recall if reviews are right
validation 452.0 449.0 0.993 72.0 35.0 0.992
test 440.0 440.0 1.000 84.0 48.0 0.980

Ce que cela nous apprend. Sur le test, les 440 fusions sont toutes correctes. Parmi les 84 paires à réviser, 48 sont vraies. Si la personne décide correctement, l’apparieur trouve 98 % des vraies paires.

Les composantes connexes, dans Regrouper les paires, réunissent chaque chaîne de liens en un groupe. Avec les liens de LightGBM, les personnes du test obtiennent une précision B-cubed de 0,942 et un rappel de 0,986. L’apparieur trouve 64 groupes pour 63 vraies personnes. Le plus grand groupe contient 10 enregistrements : il réunit donc deux personnes. Quelques liens erronés relient de nombreux enregistrements en chaîne. La précision B-cubed est donc inférieure à la précision par paire (0,979).

Erreur courante

Une règle qui fonctionnait sur Larkfield

Symptôme : Nadia réutilise la vérification de regroupement sûr du module 7 : « deux dates de naissance différentes ne peuvent pas désigner une seule personne ». Le rappel B-cubed passe de 0,986 à 0,568. Les 63 personnes du test se divisent en 146 groupes.

Cause : dans cette liste, 58 % des vraies paires ont deux dates de naissance différentes. Parmi les 208 personnes avec plusieurs enregistrements, 178 ont au moins deux dates. Le programme qui a créé les enregistrements fait aussi des erreurs dans les dates. Le générateur de Larkfield modifiait peu de dates. Il intervertissait le jour et le mois dans quelques enregistrements, ce que la vérification autorise. Il intervertissait deux chiffres de l’année dans environ 1 enregistrement sur 100.

Correction : conservez la date comme indice dans le score, pas comme règle stricte. Le vecteur de comparaison contient le nombre de jours entre les deux dates. Une petite différence compte donc encore comme indice.

Conséquence pour le travail en IA : une règle est une affirmation sur les données. Avant de la réutiliser sur de nouvelles données, mesurez à quelle fréquence elle y est vraie, comme dans Un regroupement plus sûr.

Fiches de référence et conception appliquée à de nouvelles personnes

Section intitulée « Fiches de référence et conception appliquée à de nouvelles personnes »

Nous utilisons une règle de fusion par champ, comme dans La fiche de référence. Elle conserve la valeur non vide la plus fréquente; en cas d’égalité, l’enregistrement le plus ancien gagne. Les quatre enregistrements de la première personne deviennent robert allen, 1971-06-24, london, roberta25@smith.net.

La fonction find_duplicate_people() du carnet exécute toutes les étapes sur une nouvelle liste. Nous l’exécutons seulement sur les 253 enregistrements des personnes du test, comme s’ils étaient nouveaux :

253 records of new people, 0.4 s -> 65 golden records: {'bcubed precision': 0.981, 'bcubed recall': 0.986,
'exact precision': 0.892, 'exact recall': 0.921, 'entities found': 65, 'true entities': 63, 'largest': 10}

Ce que cela nous apprend. 65 fiches de référence pour 63 personnes, avec une précision et un rappel B-cubed proches de 0,98. La conception fonctionne sur des enregistrements qu’elle n’a jamais vus.

Une bibliothèque attribue une cote à chaque livre pour réunir deux exemplaires du même livre. Le LEI (identifiant d’entité juridique) fait la même chose pour les entités juridiques : un code de 20 caractères par entreprise, fonds ou organisme public. Les banques l’utilisent pour déclarer les opérations. GLEIF, la Global Legal Entity Identifier Foundation, gère le système. Des émetteurs locaux attribuent les codes.

Parfois, une entreprise reçoit deux LEI, par exemple de deux émetteurs. Quand GLEIF ou un émetteur le découvre, le deuxième LEI reçoit le statut DUPLICATE (doublon), avec le LEI conservé. La question de Kofi : un apparieur peut-il trouver ces doublons à partir des noms, des formes juridiques et des adresses?

Les données sont réelles : tous les enregistrements LEI ayant une adresse juridique en Irlande, soit 38 650 enregistrements, tirés de l’API publique de GLEIF. L’Irlande compte beaucoup d’entreprises et de fonds d’investissement. 180 enregistrements portent le statut DUPLICATE. Les enregistrements reliés par ces liens représentent une seule entreprise : 173 entreprises ont au moins deux LEI, avec 191 vraies paires.

Colonne Signification Utilisation
legal_name, other_names Le nom juridique; les autres noms, souvent un ancien nom Normalisés, comparés
legal_form Un code de forme juridique, comme « Designated Activity Company » Comparé
category GENERAL, FUND, BRANCH … Comparée
address, city, postcode L’adresse juridique Comparés
registration_authority, registration_number Le registre et le numéro dans ce registre Comparés
managing_lou, first_registered L’émetteur du LEI et l’année de la première inscription Comparés
registration_status, duplicate_of DUPLICATE et le LEI conservé Étiquettes seulement, jamais des entrées
records that GLEIF marks DUPLICATE: 180 | their surviving LEI is in the file: 180
categories: {'GENERAL': 24068, 'FUND': 14538, 'BRANCH': 39, 'RESIDENT_GOVERNMENT_ENTITY': 5}
empty values: {'legal_form': 0, 'address': 0, 'postcode': 6444, 'registration_number': 4902, 'other_names': 32325}
most common postcode: D02 Y512 with 2181 records

Ce que cela nous apprend. 38 % des enregistrements sont des fonds. Les administrateurs de fonds inscrivent des milliers de fonds à un même bureau : 2 181 enregistrements partagent un code postal. L’adresse nous dit donc peu de choses. Un fonds à compartiments multiples écrit aussi « UMBRELLA PLC - SUB-FUND ». Tous ses sous-fonds partagent son numéro d’inscription.

À gauche : une entreprise avec deux LEI. Compass COSS Master ICAV, Ten Earlsfort Terrace, code postal D02 T380, numéro C567887, marqué DUPLICATE, et COMPASS COSS MASTER ICAV, TEN EARLSFORT TERRACE, DUBLIN 2, D02 T380, C567887. Même nom, adresse, code postal et numéro. À droite : trois fonds nommés GLOBAL EQUITY FUND, à trois adresses (Townsend Street D02 R156, Charlemont Place D02 F985, Sir John Rogerson's Quay D02 RK57) avec trois numéros d'inscription (C70223, C129688, C92746). Même nom, adresse et numéro différents.
Un même nom peut désigner une entreprise avec deux LEI, ou trois fonds différents.
Description textuelle du diagramme

Deux colonnes. À gauche, deux fiches d’enregistrement d’une entreprise; l’encadré vert indique que l’apparieur devrait trouver cette paire. À droite, trois fiches d’enregistrement avec le même nom, mais des adresses et des numéros différents. L’encadré rouge indique qu’une règle fondée seulement sur le nom les fusionne.

Comme dans Normaliser, company() écrit la forme juridique sous une forme courte unique : « public limited company » et « p.l.c. » deviennent plc, et « limited » devient ltd. core() retire ensuite les mots de forme juridique. Ainsi, « AVOCA CLO XLII Designated Activity Company » devient avoca clo xlii. sub_fund() conserve la partie après le dernier tiret.

Les règles exactes échouent largement :

exact name: {'precision': 0.198, 'recall': 0.455, 'f1': 0.276, 'called': 101, 'right': 20, 'true': 44}
rule: same registration number: {'precision': 0.23, 'recall': 0.455, 'f1': 0.305, 'called': 87, 'right': 20, 'true': 44}

Ce que cela nous apprend. Quatre paires de « même nom » sur cinq ne sont pas des doublons selon GLEIF. Pour les personnes, la règle exacte avait toujours raison. Pour les entreprises, beaucoup de fonds partagent un nom. Tous les sous-fonds d’un fonds à compartiments multiples partagent un numéro d’inscription.

38 650 enregistrements donnent environ 747 millions de paires. Nous combinons cinq blocages :

  • le même nom de base, et le même nom de sous-fonds;
  • le même numéro d’inscription (au plus 20 enregistrements par numéro);
  • un « autre nom » qui est le nom d’un autre enregistrement;
  • les 10 meilleurs selon TF-IDF : pour chaque nom, les 10 noms les plus similaires. L’idée est la même que dans Apparier des produits entre deux boutiques.
candidates true kept pair completeness reduction ratio
same name 308.0 92.0 0.482 1.00000
same sub-fund name 926.0 114.0 0.597 1.00000
same registration number 193.0 69.0 0.361 1.00000
other name = name 105.0 25.0 0.131 1.00000
TF-IDF top 10 292030.0 160.0 0.838 0.99961
all five together 292389.0 174.0 0.911 0.99961

Ce que cela nous apprend. 292 389 candidats conservent 174 des 191 vraies paires. La plupart des 17 paires perdues sont des fonds ayant changé de nom. Par exemple, « OLD MUTUAL … US EQUITY INCOME FUND » et « JUPITER MERIAN US EQUITY INCOME FUND ». Un lien relie même une société de capital-investissement à une entreprise de béton ayant un autre numéro d’inscription. Un registre peut aussi contenir des erreurs.

Chaque candidat reçoit 11 similarités. Quatre comparent les noms et les autres noms. Les autres comparent la forme juridique, la catégorie, l’adresse, le code postal, le numéro d’inscription et l’émetteur du LEI. Elles comptent aussi les années entre les deux premières inscriptions.

La partition d’entraînement ne contient que 77 vraies paires. Le LightGBM utilisé ici est donc petit : 4 feuilles, au moins 30 paires par feuille et une pénalité sur les grands poids. La régression logistique donne plus de poids aux rares vraies paires (class_weight="balanced").

precision recall f1 called right true
exact name 0.198 0.455 0.276 101.0 20.0 44.0
rule: same registration number 0.230 0.455 0.305 87.0 20.0 44.0
Splink, no labels 0.476 0.227 0.308 21.0 10.0 44.0
logistic regression 0.204 0.455 0.282 98.0 20.0 44.0
LightGBM (small) 0.404 0.523 0.455 57.0 23.0 44.0
F1 de cinq méthodes sur les mêmes 44 paires de test d'enregistrements LEI irlandais. Chaque méthode reste loin des résultats des personnes; le petit LightGBM est le meilleur.
Description textuelle du graphique

Cinq points sur une échelle de 0 à 1. Nom exact 0,276; même numéro d’inscription 0,305; Splink sans étiquettes 0,308; régression logistique 0,282; petit LightGBM 0,455.

Ce que cela nous apprend. Le meilleur F1 est de 0,455, contre 0,956 pour les personnes simulées. Splink sans étiquettes est assez précis, mais trouve peu de paires (rappel de 0,227). Sans étiquettes, il ne peut probablement pas apprendre qu’un nom et une adresse communs constituent des indices faibles parmi des milliers de fonds. Le petit LightGBM tire l’essentiel de son gain du numéro d’inscription, du nom du sous-fonds et du nom.

Erreur courante

Un gros modèle avec peu d'étiquettes

Symptôme : Kofi a d’abord utilisé le LightGBM des personnes : 15 feuilles et 300 arbres. Son F1 sur le test est de 0,103. Il signale 266 paires pour en trouver 16.

Cause : avec 77 vraies paires, un gros modèle apprend les paires d’entraînement par cœur. Sur la validation, son meilleur seuil est de 0,997. Il signale encore 184 paires pour en trouver 30.

Solution : un petit modèle avec moins de feuilles, plus de paires par feuille et une pénalité sur les grands poids. La partition de validation l’a choisi : F1 de 0,248 pour le gros modèle, de 0,699 pour le petit.

Conséquence pour le travail en IA : comptez vos étiquettes positives avant de choisir un modèle. Avec quelques dizaines, choisissez un modèle simple. Ou étiquetez davantage de paires incertaines pour le modèle, comme dans L’apprentissage actif.

Un enseignant corrige un examen avec un corrigé. Si le corrigé n’a pas de réponse à la question 7, une bonne réponse à cette question compte comme fausse. La note de l’élève est alors plus basse qu’elle devrait l’être.

Les liens DUPLICATE de GLEIF sont un tel corrigé, avec des lacunes. GLEIF marque seulement les doublons que quelqu’un a trouvés. Une paire que l’apparieur juge « identique », mais pas GLEIF, n’est donc pas toujours une erreur. Nous avons examiné les 34 paires de test que LightGBM jugeait « identiques », contrairement aux liens de GLEIF :

{'wrong matches': 34, 'same name and registration number': 8, 'same name, one number missing': 15}

Ce que cela nous apprend. 8 des 34 correspondances « fausses » ont le même nom et le même numéro d’inscription. Par exemple, « BLACKROCK EUROPEAN CLO XVI DESIGNATED ACTIVITY COMPANY » a deux LEI avec le numéro 784613 et une adresse. Il s’agit probablement d’une entreprise avec deux LEI que personne n’a encore marqués. Une des 8 est encore la société de capital-investissement : son vrai doublon a le même nom et le même numéro. Quinze autres ont le même nom et un numéro manquant. Elles peuvent représenter un fonds, ou deux sous-fonds de deux fonds à compartiments multiples.

« Même nom et même numéro » est notre règle, pas celle de GLEIF. Nous n’avons pas vérifié les paires une par une. La vraie précision est donc probablement supérieure à 0,404, mais nous ne savons pas de combien.

Quand les étiquettes sont incomplètes, ne vous fiez pas seulement à la précision mesurée. Lisez manuellement les premières correspondances « fausses ». Signalez les vrais doublons au registre : cela aide tout le monde.

Le jeu de test n’a que 44 vraies paires. Une paire change donc le F1 d’environ 0,02. Le carnet (notebook) Jupyter répète la partition avec dix autres germes aléatoires, sur les mêmes candidats.

Avec dix partitions différentes, le F1 du petit LightGBM varie d'environ 0,36 à 0,57. Celui du nom exact varie de 0,18 à 0,36. LightGBM gagne sur chaque partition.
Description textuelle du graphique

Deux rangées de dix points sur une échelle de 0 à 1. Nom exact : 0,286; 0,22; 0,182; 0,364; 0,283; 0,306; 0,254; 0,336; 0,303; 0,24. Petit LightGBM : 0,505; 0,508; 0,364; 0,571; 0,563; 0,526; 0,5; 0,52; 0,539; 0,505. Le jeu de test contient de 31 à 59 vraies paires.

Ce que cela nous apprend. Le F1 varie d’environ 0,2 entre les partitions. Lisez donc ces résultats à une décimale, pas trois. L’ordre des deux méthodes ne change pas.

Sur la validation, aucun seuil supérieur n’atteint la règle des 99 % :

accepted accepted right precision accepted to review true in review recall if reviews are right
0.50 38.0 33.0 0.868 137.0 14.0 0.81
0.70 33.0 29.0 0.879 142.0 18.0 0.81
0.90 18.0 16.0 0.889 157.0 31.0 0.81
0.95 7.0 6.0 0.857 168.0 41.0 0.81

Donc, aucune paire n’est fusionnée sans une personne. Toute paire ayant un score d’au moins 0,05 va à un réviseur, par score décroissant. Sur le test :

to review GLEIF duplicates probably the same, not marked (our rule) recall if reviews are right
validation 175.0 47.0 3.0 0.810
test 255.0 30.0 8.0 0.682

Ce que cela nous apprend. L’ordre des 255 paires de test compte : dans la tâche du carnet, les 30 premières paires contiennent 18 doublons. Ensuite, le réviseur en trouve peu. Kofi peut arrêter quand le rendement devient trop faible pour une heure de travail.

Un LEI par entreprise, et la conception sur de nouveaux enregistrements

Section intitulée « Un LEI par entreprise, et la conception sur de nouveaux enregistrements »

Pour chaque entreprise avec deux LEI, la règle de fusion conserve un LEI (notre choix). Elle privilégie le meilleur statut d’inscription (ISSUED, « émis », en premier), puis le plus ancien. Le statut sert seulement ici, après l’appariement. Les paires révisées réunissent 133 entreprises. Pour 132 d’entre elles, le LEI conservé est celui que GLEIF conserve.

Les mesures de groupes nous disent peu de choses ici. Presque chaque entreprise a un LEI. B-cubed reste donc près de 1,0, peu importe ce que fait l’apparieur. Comptez plutôt les fusions.

La fonction find_duplicate_companies() du carnet exécute chaque étape sur une nouvelle liste. Sur les 9 661 enregistrements des entreprises de test seulement, en 2 secondes :

count sum
decision
review 47 9
review first 24 21

Ce que cela nous apprend. 24 paires ont un score d’au moins 0,5 (« réviser en premier »), dont 21 doublons selon GLEIF. Sous 0,5, seulement 9 sur 47 en sont. Ensemble, la file trouve 30 des 44 vraies paires.

Deux conceptions avec les décomptes de test. Personnes (simulées) : toutes les paires, 7 similarités, LightGBM, liens, groupes, fiches de référence. Score d'au moins 0,99 : fusionner, 440 paires, 440 correctes. De 0,05 à 0,99 : une personne révise, 84 paires, 48 vraies. Sous 0,05 : aucune correspondance. Entreprises (GLEIF, Irlande) : 5 blocages, 11 similarités, petit LightGBM, file de révision, un LEI. Aucun score n'est assez sûr pour fusionner sans une personne. Score d'au moins 0,05 : une personne révise, par score décroissant, 255 paires, 30 doublons selon GLEIF et 8 autres probablement identiques. Trente premières révisions : 18 doublons.
Les mêmes étapes, deux décisions : l'apparieur des personnes fusionne seul la plupart des paires; celui des entreprises trie seulement une file pour une personne.
Description textuelle du diagramme

Deux colonnes. Chacune contient un en-tête, un encadré avec ses étapes et trois bandes avec leurs décomptes sur le jeu de test.

Le temps du réviseur est une hypothèse du cours : 1,2 minute par paire à 40 $ US l’heure. Le calcul coûte presque rien : le carnet complet s’exécute en environ 80 secondes sur un portable.

Paires à réviser sur le test Temps du réviseur Par 1 000 enregistrements (approximation)
Personnes 84, pour 253 enregistrements de test 1,7 heure, environ 67 $ US environ 265 $ US
Entreprises 255, pour 9 661 enregistrements de test 5,1 heures, environ 204 $ US environ 21 $ US

Ce que cela nous apprend. Une liste bruitée de personnes coûte beaucoup plus de révision par enregistrement. Le registre d’entreprises coûte peu par enregistrement, car la plupart des entreprises ont un LEI. Mais seulement environ une paire révisée sur huit est un doublon selon GLEIF. La majeure partie des dépenses de Kofi sert donc à obtenir un « non ».

Nadia écrit, pour une vraie liste de personnes :

  • Utilisez la conception des personnes. Fusionnez à partir de 0,99; faites réviser de 0,05 à 0,99. Réentraînez-la d’abord sur les étiquettes de la vraie liste : les erreurs simulées ne sont pas des erreurs réelles.
  • Gardez la date de naissance comme indice, pas comme règle stricte, jusqu’à connaître la fréquence des dates différentes dans la vraie liste.

Kofi écrit, pour la banque :

  • Ne fusionnez jamais les LEI automatiquement. Aucun seuil n’a respecté la règle des 99 % sur la validation.
  • Révisez la file par ordre de score, et arrêtez quand le rendement devient trop faible pour le temps du réviseur.
  • Associez les clients de la banque au LEI conservé.
  • Signalez les doublons probables à l’émetteur du LEI. Les étiquettes du registre sont incomplètes, et une correction aide tout le monde.

Ce qu’il ne faut pas faire :

  • Ne fusionnez pas sur le nom seulement. Quatre paires de même nom sur cinq représentaient des entités différentes.
  • Ne réutilisez pas un seuil, une règle ou une taille de modèle provenant d’une autre liste sans nouvelle validation. Le modèle des personnes a échoué sur les entreprises.
  • Les personnes simulées sont plus difficiles d’une façon, plus faciles d’une autre. Leurs erreurs sont importantes, mais elles n’ont pas de familles. Ni elles ni Larkfield ne vous disent comment une vraie liste se comporte.
  • Les étiquettes des entreprises sont incomplètes, et certaines sont fausses. La précision mesurée est une borne inférieure.
  • Un pays, une journée. Un autre pays, ou le même registre le mois prochain, donne d’autres chiffres.
  • Petits jeux de test. Une autre partition change le F1 des entreprises de jusqu’à 0,2.
  • Aucun modèle de langage et aucun plongement ici. Les noms sont courts. Le module 6 a montré que les plongements n’aidaient pas sur les noms et les adresses.
  • Les prix sont des hypothèses. Vérifiez les coûts réels de votre équipe.
  • Citez les sources. La licence MIT exige de conserver son avis de droit d’auteur avec le fichier des personnes. CC0 n’exige rien, mais indiquez la provenance des données LEI.
  • Aucune personne privée. Les personnes sont simulées. Nous avons exclu les entrepreneurs individuels des données LEI, car un entrepreneur individuel est une personne physique.
  • Les entreprises sont réelles. Un statut DUPLICATE est une donnée de GLEIF. « Probablement identiques » est notre règle. Ni l’un ni l’autre ne constitue une affirmation sur une entreprise. Signalez un doublon soupçonné à l’émetteur du LEI; ne le publiez pas comme un fait.
  • Une fusion erronée de personnes est une atteinte à la confidentialité. Sur une vraie liste, conservez les enregistrements sources et journalisez chaque fusion. Rendez chaque fusion réversible, comme dans La fiche de référence.

Cette étude de cas montre que vous pouvez partir d’un registre réel aux étiquettes incomplètes pour arriver à une décision. Appropriez-vous le projet avec un changement, comme ceux de la section Aller plus loin ci-dessous.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties.
  • Les deux tableaux comparatifs en fichiers CSV : chaque méthode, son seuil, sa précision, son rappel et son F1.
  • DECISION.md : les seuils, la file de révision, sa taille et son coût, ainsi que les hypothèses.
  • Les sources et licences des données : le fichier des personnes avec son avis MIT. L’extrait LEI avec son filtre, sa date et sa somme de contrôle.

Un modèle de README :

# Finding duplicate people and companies
## Problem
One list of people and one register of companies hold duplicates.
Merge without a person only when 99 in 100 merges are right; a person checks the rest.
## Data and licence
People: Splink's fake_1000 (MIT), 1,000 simulated records of 251 people.
Companies: GLEIF LEI records with a legal address in Ireland (CC0), 38,650 records;
labels: GLEIF's 180 DUPLICATE links (191 true pairs).
## Approach
Normalised names and legal forms; all pairs for people, five blockings for companies
(pair completeness 0.911); comparison vectors; rules, Splink without labels,
logistic regression and LightGBM compared; clusters and golden records.
## Results (test split)
People: LightGBM F1 0.956; merge >= 0.99: 440 pairs, all right.
Companies: small LightGBM F1 0.455 (exact name 0.276); no safe merge threshold;
review queue of 255 pairs, 18 duplicates in the first 30.
## Limits
Simulated people; incomplete register labels; one country; small test sets.

Comment le décrire en entrevue, en deux phrases : « J’ai créé deux détecteurs de doublons avec les mêmes étapes : sur des personnes simulées, LightGBM a atteint un F1 de 0,96 et fusionné 440 paires de test sans erreur. Sur des enregistrements LEI réels, le meilleur F1 était de 0,46 parce que des milliers de fonds partagent des noms et des numéros; beaucoup de correspondances “fausses” étaient probablement des doublons non marqués dans le registre, alors j’ai conçu une file de révision plutôt que des fusions automatiques. »

Aller plus loin :

  • Ajoutez le nom du fonds à compartiments multiples (la partie avant le tiret) comme champ, puis mesurez de nouveau.
  • Révisez manuellement les 34 correspondances « fausses », étiquetez-les et mesurez la précision avec vos étiquettes.
  • Téléchargez les enregistrements LEI d’un autre pays avec le même filtre d’API. Exécutez la même conception sans nouvel entraînement.

Vérifiez votre compréhension

La règle exacte « mêmes prénom, nom de famille et date de naissance » avait une précision de 1,0 pour les personnes. Mais « même nom » avait une précision de seulement 0,198 pour les sociétés. Expliquez la différence avec un exemple des enregistrements GLEIF.

Afficher la réponse

Pour les personnes, trois champs identiques par hasard sont rares : deux personnes simulées différentes ne partagent presque jamais les trois. Pour les sociétés, différentes entités partagent souvent un champ : le nom. Beaucoup de fonds ont des noms génériques. Par exemple, trois enregistrements « GLOBAL EQUITY FUND » ont trois numéros d’immatriculation et trois adresses différents. Des compartiments portant le même nom existent aussi dans différents fonds à compartiments. Le nom seul relie donc des fonds différents. L’apparieur a aussi besoin du numéro d’immatriculation, du nom du compartiment et d’autres champs.

Vérifiez votre compréhension

LightGBM a jugé « identiques » 34 paires de sociétés du jeu de test que GLEIF ne relie pas. Kofi dit : « Donc, 34 de nos correspondances sont fausses. » Que répondez-vous?

Afficher la réponse

Pas nécessairement. Les étiquettes de GLEIF sont incomplètes : GLEIF marque seulement les doublons que quelqu’un a trouvés. Parmi les 34 paires, 8 ont le même nom et le même numéro d’immatriculation. Il s’agit donc probablement d’une seule entité avec deux LEI. Dans 15 autres paires, les noms sont identiques, mais un numéro manque. La précision mesurée est donc une borne inférieure. Vérifiez à la main les paires aux scores les plus élevés et signalez les vrais doublons à l’émetteur du LEI. Indiquez clairement quelles étiquettes viennent de GLEIF et lesquelles sont les vôtres.

Vérifiez votre compréhension

La vérification du module 7, « deux dates de naissance différentes ne peuvent pas désigner une seule personne », améliorait les groupes de Larkfield. Pourquoi a-t-elle fragmenté les groupes de personnes simulées, et que devrait faire Nadia à la place?

Afficher la réponse

Dans la liste simulée, 58 % des vraies paires ont deux dates de naissance différentes. Le programme produit aussi des erreurs dans les dates. La vérification a coupé ces vrais liens, faisant passer le rappel B-cubed de 0,986 à 0,568. Le générateur de Larkfield modifiait peu de dates : surtout une inversion du jour et du mois, que la vérification permet. Nadia devrait garder la date comme indice dans le score, par exemple le nombre de jours entre les dates. Avant d’appliquer une règle sans exception, elle devrait mesurer sa validité sur les nouvelles données.

Récapitulatif

  • Pour les personnes simulées, quatre clés de blocage conservaient seulement 79 % des vraies paires. Nous avons donc comparé les 499 500 paires.
  • LightGBM (F1 de 0,956) a surpassé Splink sans étiquettes (0,910) et la régression logistique (0,880). Les fusions à 0,99 ou plus étaient toutes correctes sur le jeu de test.
  • Une règle de Larkfield (deux dates de naissance ne peuvent pas désigner une seule personne) a fragmenté les groupes de personnes. Mesurez d’abord la validité d’une règle sur les nouvelles données.
  • Dans les vrais enregistrements LEI, quatre paires de même nom sur cinq étaient des entités différentes. Un petit LightGBM a gagné (F1 de 0,455), car les données d’entraînement contenaient seulement 77 vraies paires.
  • Les étiquettes de GLEIF sont incomplètes : la précision mesurée est une borne inférieure. La conception repose sur une file de révision triée par score, sans fusion automatique.

Ensuite, le travail final : fusionnez les clients de Larkfield avec la liste d’une deuxième société, en utilisant tout le cours.

Leçon suivante : Travail final