Aller au contenu
English

Comparer champ par champ, puis combiner

  • Leçon 14
  • 40 min
  • Module 4 : Comparer les enregistrements : les mesures de similarité

Où nous en sommes

Nous pouvons maintenant attribuer un score à un champ à la fois. Une paire d'enregistrements contient plusieurs champs. Dans cette leçon, nous construisons un vecteur de comparaison pour chaque paire. Nous combinons les champs avec des poids choisis à la main, puis choisissons un seuil.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 14 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Comparer champ par champ, puis combiner

Ce que vous saurez faire

Comparez une paire champ par champ, puis gardez les résultats dans une ligne de nombres : un vecteur de comparaison. Traitez les valeurs vides comme manquantes, et non comme différentes. Combinez ensuite les champs en un seul score avec des poids choisis à la main. Choisissez un seuil sur les paires de validation, puis ajoutez le résultat au tableau comparatif.

Carnet JupyterConstruire des vecteurs et un score pondéré dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter crée les paires candidates des cinq clés et construit un vecteur de comparaison à six champs pour chacune. Il ajoute des poids choisis à la main et vous demande de choisir le seuil sur la partition de validation. Ses cellules de préparation téléchargent les données; aucune préparation locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers des deux dernières leçons. Ou utilisez seulement le carnet.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) ne sont pas testées.

Une patiente arrive à une clinique. La réceptionniste trouve un dossier avec le même nom de famille. Est-ce son dossier?

La réceptionniste ne décide pas seulement à partir du nom de famille. Elle demande la date de naissance, puis l’adresse, puis le numéro de téléphone. Chaque réponse apporte un élément de preuve :

  • La date de naissance concorde : preuve forte. Peu de personnes partagent un nom de famille et une date de naissance.
  • Le nom de famille concorde : preuve faible. Beaucoup de familles partagent un nom de famille courant.
  • Le téléphone ne figure pas au dossier : aucune preuve. Cela ne dit ni « oui » ni « non ».

Elle pèse ensuite tous ces éléments ensemble. Un apparieur doit faire la même chose pour chaque paire candidate.

Dans les deux dernières leçons, nous avons comparé un champ à la fois. Chaque champ échoue dans certains cas :

  • Les noms sont partagés par les membres d’une famille. Dans La similarité de chaînes, 54 % des paires candidates de personnes différentes avaient un ratio d’ensembles de mots du nom complet d’au moins 0,9.
  • Les courriels sont partagés par des familles entières (thegreens@example.com). Les jardineries n’ont aucun courriel dans 60 % de leurs enregistrements.
  • Les codes postaux changent quand un client déménage : 4 289 vraies paires ont deux codes postaux différents.
  • Les dates de naissance sont vides dans la plupart des enregistrements des jardineries et du magasin.

Chaque champ apporte une preuve. Il nous les faut tous, côte à côte, pour chaque paire.

Un vecteur de comparaison est une ligne de nombres pour une paire candidate : un nombre par comparaison de champ. Ici, un vecteur désigne une liste de nombres dans un ordre fixe. Le projet compare 16 éléments pour chaque paire de clients.

Chaque nombre appartient à l’un de trois types :

  1. Une similarité de 0 à 1, pour les champs avec des erreurs de saisie. Le prénom, le nom de famille et la partie du courriel avant le @ utilisent Jaro–Winkler. Le nom complet et la rue utilisent le ratio d’ensembles de mots.
  2. Un accord : 1 quand les valeurs nettoyées sont égales, 0 quand elles diffèrent. Cela concerne les champs où un caractère erroné donne une autre valeur : courriel, téléphone, code postal, numéro civique, ville et date de naissance.
  3. Une valeur manquante, quand l’un des deux enregistrements n’a aucune valeur pour le champ.

Le diagramme montre les vecteurs de deux paires. La première contient les enregistrements de Valérie Tremblay à la jardinerie et au magasin : une cliente. La seconde contient les frères Samuel et Nathan Green : deux personnes.

Deux vecteurs de comparaison de 16 champs chacun. Valérie Tremblay, G-000001 et S-009232, une cliente : prénom 0,867, nom de famille 1, nom complet 0,857, initiale du prénom 1, son du nom de famille 1, courriel 1, courriel avant @ 1, téléphone 1, code postal 0, trois premiers caractères du code postal 1, rue 1, numéro civique 1, ville 1, date de naissance manquante, jour et mois inversés manquants, année de naissance manquante. Samuel et Nathan Green, G-001688 et G-002894, deux frères : prénom 0,444, nom de famille 1, nom complet 0,588, initiale du prénom 0, son du nom de famille 1, courriel 1, courriel avant @ 1, téléphone 1, code postal 1, trois premiers caractères du code postal 1, rue 1, numéro civique 1, ville 1, date de naissance manquante, inversion manquante, année manquante.
Les vecteurs de comparaison de deux paires. Les frères concordent sur plus de champs que les deux enregistrements de Valérie. Seul le prénom les distingue.
Description textuelle du diagramme

Un tableau de 16 lignes, une par comparaison de champ, et deux colonnes. La paire de Valérie concorde sur le nom de famille, le courriel, le téléphone, la rue, le numéro civique et la ville. Ses prénoms sont proches (0,867 : « val » et « valérie »). Ses codes postaux diffèrent d’un caractère, une erreur de saisie. Le code postal obtient donc 0, mais les trois premiers caractères concordent. Son enregistrement de jardinerie n’a pas de date de naissance; les trois champs de date sont donc manquants. Les frères concordent sur tout ce qu’ils partagent : nom de famille, courriel familial, ligne fixe, code postal, rue, numéro et ville. Seuls leurs prénoms diffèrent (0,444). Leurs champs de date sont aussi manquants.

Regardez les frères. Ils concordent sur plus de champs que les enregistrements de Valérie. Un ménage partage la plupart de ses champs. C’est le cas le plus difficile pour tout apparieur, et il revient dans chaque module.

Pourquoi distinguer « manquant » de 0? Parce que leur sens diffère. Un 0 dit « les deux enregistrements ne concordent pas » : une preuve contre une correspondance. Manquant dit « nous ne savons pas » : aucune preuve dans un sens ou dans l’autre.

Les valeurs manquantes sont courantes. Sur les 1 108 591 paires candidates des cinq clés, la date de naissance manque dans 71,1 % des paires, le téléphone dans 36,8 % et le courriel dans 28,4 %. Si nous les remplacions toutes par 0, la plupart des paires recevraient des preuves contre elles qui n’existent pas.

Dans le code, une valeur manquante est NaN (« pas un nombre ») : pandas et NumPy la distinguent de 0. Les modules suivants s’en servent. Dans le module 5, un champ manquant n’ajoute aucun poids, et un désaccord soustrait du poids.

Les dates et les nombres ont besoin de leurs propres comparaisons

Section intitulée « Les dates et les nombres ont besoin de leurs propres comparaisons »

Une mesure de chaînes appliquée à une date ou à un nombre donne des résultats étranges. « 1975-01-31 » et « 1975-01-13 » partagent la plupart de leurs caractères, mais ce sont des jours différents. Le projet compare donc les dates et les nombres de façons adaptées :

  • Date de naissance : égale ou non (dob_eq), avec deux erreurs courantes en plus. dob_swap vaut 1 quand le jour et le mois sont inversés (31/01 contre 01/31). dob_year_eq vaut 1 quand seule l’année concorde.
  • Code postal : égal ou non, avec les trois premiers caractères (postcode3_eq), le secteur, en plus. Un client qui déménage dans une même ville les garde souvent.
  • Numéro civique : égal ou non. Un numéro différent dans la même rue désigne un autre domicile.
  • Produits : le vecteur des paires de produits contient size_ratio et price_ratio : la plus petite valeur divisée par la plus grande. Une comparaison de 12 pouces à 16 pouces donne 0,75, et deux tailles égales donnent 1. Il contient aussi pack_eq, pour comparer un article seul à un paquet de 2. Les nombres et les unités ont ainsi leurs propres champs, comme le demandait La similarité de chaînes.

Nous avons maintenant 16 nombres par paire. Pour décider, il nous faut un seul score. La méthode la plus simple est une somme pondérée : multiplier chaque nombre par un poids, puis additionner les résultats.

score = poids₁ × valeur₁ + poids₂ × valeur₂ + …

Une valeur manquante n’ajoute rien. Nous avons choisi les poids à la main, avant de regarder les résultats. Les identifiants forts comptent le plus, la ville le moins :

Champ Poids Pourquoi
même courriel 3 un courriel appartient généralement à une personne (mais les familles en partagent certains)
même téléphone 2,5 fort, mais les lignes fixes sont partagées
même date de naissance 2,5 forte quand les deux enregistrements l’ont
même code postal 2 un domicile, pas une personne
nom de famille (Jaro–Winkler) 2 partagé par les familles
prénom (Jaro–Winkler) 1,5 les surnoms et les initiales le réduisent
rue (ensemble de mots) 1,5 encore un domicile
même numéro civique 1 complète la rue
même ville 0,5 des milliers de personnes la partagent

Le score maximal possible est la somme des poids : 16,5. Le projet utilise ici 9 des 16 champs. Les 7 autres attendent le module 5, où les données choisissent les poids.

Le score des deux paires avec des poids choisis à la main. Valérie Tremblay : courriel 1 × 3 = 3, téléphone 1 × 2,5 = 2,5, date de naissance manquante → 0, code postal 0 × 2 = 0, nom de famille 1 × 2 = 2, prénom 0,867 × 1,5 = 1,30, rue 1 × 1,5 = 1,5, numéro civique 1 × 1 = 1, ville 1 × 0,5 = 0,5; total 11,80, au moins 8, considérés comme la même personne, correct. Samuel et Nathan Green : courriel 3, téléphone 2,5, date de naissance manquante → 0, code postal 2, nom de famille 2, prénom 0,444 × 1,5 = 0,67, rue 1,5, numéro civique 1, ville 0,5; total 13,17, au moins 8, considérés comme la même personne, incorrect.
Poids × valeur, additionnés, pour les deux paires. Les deux atteignent le seuil de 8. Les frères ont un score supérieur à celui des enregistrements de Valérie.
Description textuelle du diagramme

Pour chacun des 9 champs pondérés : son poids, puis la valeur, le poids et les points pour chaque paire. La paire de Valérie obtient 11,80 points : tout sauf la date de naissance (manquante) et le code postal (une erreur de saisie). Les frères obtiennent 13,17 points : tout sauf la date de naissance, avec seulement 0,67 point pour leurs prénoms différents. Avec un seuil de 8, les deux paires sont considérées comme « la même personne ». La première décision est correcte; la seconde fusionne deux personnes.

Le score pondéré ne peut pas distinguer les frères. Leurs prénoms diffèrent, mais le prénom a un poids de seulement 1,5, et tous les autres champs concordent. Réduire le poids des champs partagés par le ménage nuirait à toutes les vraies paires qui en dépendent. Les poids choisis à la main ne peuvent pas régler ce problème. Il nous faut des preuves qui tiennent compte de la fréquence de partage d’une valeur : module 5.

Une paire dont le score atteint ou dépasse le seuil est considérée comme « la même personne ». Quel seuil choisir? Le cours répartit les vrais clients en trois groupes : entraînement (60 %), validation (20 %) et test (20 %). Nous essayons chaque valeur possible sur les paires de validation et gardons celle qui donne le meilleur F1. Nous ne la choisissons jamais sur les paires de test. Sinon, le résultat du test serait trop bon : nous aurions ajusté l’apparieur au test.

Le graphique montre la précision et le rappel sur les paires de validation à chaque seuil.

  • Précision
  • Rappel
Précision et rappel de « score ≥ seuil » sur les paires de validation de nos enregistrements synthétiques. Le meilleur F1 est obtenu au seuil de 8. Juste au-dessus de 8, le rappel baisse de 10 points.
Description textuelle du graphique

Deux lignes sur des seuils de 0 à 16,5. La précision passe de près de 0 aux seuils faibles à 1,0 au-dessus d’environ 11. Le rappel passe de près de 1 à près de 0. Au meilleur seuil, 8,0, la précision est de 0,796 et le rappel de 0,767 sur les paires de validation. Juste au-dessus de 8, le rappel tombe à 0,667, car 572 paires de validation ont un score d’exactement 8.

La plupart des valeurs du vecteur sont 0 ou 1. Beaucoup de paires obtiennent donc exactement le même score. Parmi les paires de validation, 572 ont un score d’exactement 8,0, et 542 d’entre elles sont de vraies paires. Le type le plus courant (285 paires) concorde sur le téléphone, le code postal, le nom de famille et le prénom. Il n’a ni courriel, ni date de naissance, ni rue. Cela donne 2,5 + 2 + 2 + 1,5 = 8. La plupart sont des enregistrements du programme de fidélité, qui n’ont pas d’adresse de rue.

Un seuil de 8,0 les garde donc toutes, et un seuil de 8,1 les perd toutes. Un petit changement de seuil peut modifier le rappel de 10 points. Regardez la courbe avant de vous fier à un seul nombre.

Ajoutez le reste du code de ce module : les vecteurs de comparaison, l’exécution pondérée, les outils de seuil et les tests.

  1. Dans votre dossier de projet, copiez les fichiers restants de l’instantané end-of-m04, ainsi que son README.md :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m04
    cp $S/larkfield_match/vectors.py $S/larkfield_match/thresholds.py larkfield_match/
    cp $S/larkfield_match/runs/weighted.py larkfield_match/runs/
    cp $S/larkfield_match/commands/vector.py $S/larkfield_match/commands/threshold.py larkfield_match/commands/
    cp $S/tests/test_similarity.py tests/
    cp $S/README.md .

    Aucun nouveau paquet n’est nécessaire.

  2. Exécutez les tests. Il y en a maintenant 25 :

    Fenêtre de terminal
    python -m pytest -q
    ......................... [100%]
    25 passed in 15.27s
  3. Affichez le vecteur de comparaison de la paire de Valérie :

    Fenêtre de terminal
    match vector G-000001 S-009232
    G-000001: val tremblay | tremblay.valerie88@example.net | 5145558296 | rue des herons | st eloi du lac | H6P3H7 | -
    S-009232: valerie tremblay | tremblay.valerie88@example.net | 5145558296 | rue des herons | st eloi du lac | H6P3H1 | 1975-01-31
    first_jw 0.867
    last_jw 1.000
    name_tsr 0.857
    first_initial 1.000
    last_sound 1.000
    email_eq 1.000
    email_local_jw 1.000
    phone_eq 1.000
    postcode_eq 0.000
    postcode3_eq 1.000
    street_tsr 1.000
    number_eq 1.000
    town_eq 1.000
    dob_eq missing
    dob_swap missing
    dob_year_eq missing
    True answer: same

    Essayez aussi les frères : match vector G-001688 G-002894.

Fenêtre de terminal
match eval --run weighted

La première exécution construit les vecteurs des 1 108 591 paires candidates et les garde dans outputs/vectors/ :

Ran weighted: 25,270 pairs called the same, in 101.3 s
weighted on the test split: pair precision 0.751, recall 0.766, F1 0.759
5,673 pairs called the same: 4,263 right, 1,410 wrong; 1,301 of 5,564 true pairs missed
entities after clustering (all records): 38,755 (true: 37,500)

Sur un portable peu sollicité, la même exécution a pris 54,8 secondes. Sur le nôtre, elle a pris 101,3 secondes et utilisé environ 0,9 Go de mémoire. Votre durée sera différente; les décomptes ne changeront pas.

Pour voir vous-même le compromis, exécutez match threshold. La commande affiche la précision et le rappel sur les paires de validation à quelques seuils :

Fenêtre de terminal
match threshold
weighted on the validation pairs:
threshold precision recall F1
1.843 0.018 0.994 0.035
3.937 0.059 0.971 0.111
6.033 0.336 0.855 0.482
8.000 0.796 0.767 0.782 <- best F1
8.125 0.816 0.667 0.734
10.222 0.934 0.439 0.597
12.319 1.000 0.106 0.191
14.500 1.000 0.004 0.009
16.500 1.000 0.003 0.006

larkfield_match/vectors.py construit tous les vecteurs en une fois, une colonne par champ. Voici deux de ces colonnes :

v["first_jw"] = _masked(_sim(L["first"], R["first"], JaroWinkler.similarity), L["first"], R["first"])
v["phone_eq"] = _eq(L.phone, R.phone)

_sim attribue un score à toutes les paires avec rapidfuzz en un seul appel. _masked et _eq mettent la valeur à NaN (manquante) quand l’un des deux enregistrements est vide. runs/weighted.py additionne ensuite les valeurs pondérées, en comptant NaN comme 0. Enfin, thresholds.best_f1 choisit le seuil sur les paires de validation.

Chaque module ajoute des lignes à un même tableau : mêmes enregistrements, mêmes paires de test, mêmes mesures. Voici le tableau jusqu’ici.

F1 de chaque exécution sur le jeu de test de nos enregistrements synthétiques. Le score avec des poids choisis à la main (orange) est une deuxième référence de base. Il ne dépasse pas les quatre règles du module 2.
Description textuelle du graphique

Quatre barres : exact 0,478, exact-norm 0,571, rules 0,790, weighted 0,759.

Exécution Module Précision Rappel F1
exact 1 0,817 0,338 0,478
exact-norm 2 0,819 0,438 0,571
rules 2 0,723 0,870 0,790
weighted 4 0,751 0,766 0,759

Le score pondéré est moins bon que les quatre règles de Appariement exact et par règles : F1 de 0,759 contre 0,790. Il est un peu plus précis et trouve moins de vraies paires. Est-ce une surprise? Cela ne devrait pas en être une. Nous avons choisi les poids au jugé, et les règles ont aussi été écrites à la main, avec soin. Un score avec beaucoup de champs n’est pas meilleur simplement parce qu’il en a beaucoup. Il est meilleur seulement quand ses poids sont bons, et nous ne les avons pas encore appris.

Le carnet de cette leçon montre à quel point les poids choisis à la main sont fragiles. Il utilise seulement six champs, avec les mêmes poids pour ceux-ci. Son meilleur seuil sur les données de validation est 5,5. Il atteint un F1 de 0,791 sur les paires de test, mieux que le score à 16 champs du projet. Moins de champs ont donné un meilleur résultat ici seulement parce que nos estimations leur convenaient mieux par hasard. Les poids choisis à la main ne vous disent pas quels champs sont utiles.

Exécutez match eval --run weighted --by problem pour voir le rappel et la précision de chaque problème d’exercice créé volontairement :

problem true found recall predicted precision
brothers 39 19 0.487 30 0.633
family_email 487 234 0.480 268 0.873
moved 1277 788 0.617 992 0.794
none 3468 3008 0.867 4086 0.736
placeholder_phone 13 7 0.538 8 0.875
saint_town 280 207 0.739 289 0.716
  • Clients qui ont déménagé : rappel de 0,617. Le code postal, la rue et le numéro civique diffèrent tous. Un client qui a déménagé perd donc 4,5 points sur 16,5.
  • Courriels familiaux : rappel de 0,480. Le courriel familial et le courriel personnel diffèrent; le courriel n’ajoute donc rien.
  • Frères : 30 paires considérées comme « la même personne », seulement 19 correctes. Les champs du ménage s’additionnent, comme dans le diagramme.

Par source (--by source), la précision est la plus faible pour les paires au sein d’une même source : magasin avec magasin (0,293) et jardinerie avec jardinerie (0,296). Ce sont surtout des personnes différentes à une même adresse.

Utilisez-le quand Ne l’utilisez pas quand Ce qu’il coûte
vous n’avez pas d’étiquettes et avez besoin d’une première référence de base avec tous les champs vous avez des étiquettes : apprenez plutôt les poids (modules 5 et 6) un après-midi pour choisir les poids; ce sont des estimations
vous devez expliquer chaque décision avec des calculs simples les champs dépendent les uns des autres (un ménage partage cinq champs à la fois) les vecteurs : 1,1 million de paires × 16 champs; moins d’une minute sur un portable

Le vecteur de comparaison est l’élément durable de cette leçon. Toutes les méthodes suivantes lisent les mêmes 16 nombres : Fellegi–Sunter et Splink au module 5, les classificateurs au module 6. Seule la façon de les combiner change.

Erreur courante

Vide égale vide

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. écrit sa propre comparaison de courriels : left.email == right.email. Deux enregistrements de jardinerie sans courriel donnent "" == "", ce qui vaut True (vrai). Son score pondéré augmente, tout comme le nombre de paires considérées comme « la même personne ».

Cause : deux valeurs vides sont égales comme texte, mais elles ne constituent pas une preuve. Dans 21,4 % des paires candidates, les deux enregistrements n’ont aucune date de naissance. Les deux n’ont aucun téléphone dans 4,2 % des cas, et aucun courriel dans 2,4 % des cas. Nous avons calculé le score pondéré avec cette erreur sur quatre champs : courriel, téléphone, date de naissance et code postal. Ensuite, nous avons choisi de nouveau le seuil sur les données de validation. Sur les paires de test : précision 0,675, rappel 0,501, F1 0,575, contre 0,759 sans l’erreur. Le meilleur seuil monte à 10,5, et la moitié des vraies paires sont perdues. Les champs vides donnent des points à des paires de personnes sans lien. Il faut donc relever le seuil pour les exclure, ce qui exclut aussi de vraies paires.

Correction : marquez une comparaison comme manquante si l’une des valeurs est vide, comme vectors.py avec _eq et _masked. Normalisez d’abord, pour que « N/A », « - » et les espaces deviennent aussi des valeurs vides.

Conséquence dans le travail en IA : une valeur de remplacement peut ressembler à de vraies données. Les jardineries ont saisi leur propre numéro de téléphone pour 40 clients de passage. C’est la même erreur sous une autre forme, et le module 7 montre son effet sur les groupes.

Vérifiez votre compréhension

L'enregistrement de Valérie à la jardinerie n'a aucune date de naissance. Pourquoi le vecteur de comparaison indique-t-il « manquant » plutôt que 0 pour dob_eq? Qu'est-ce qui changerait s'il indiquait 0?

Afficher la réponse

0 signifie « les deux enregistrements diffèrent » : un indice qu’il s’agit de deux personnes. Manquant signifie « nous ne pouvons pas comparer » : aucun indice dans un sens ou dans l’autre. Les deux enregistrements de Valérie ne diffèrent pas sur la date de naissance; l’un des deux ne l’a pas. Si nous écrivions 0, chaque paire contenant un enregistrement de jardinerie semblerait moins similaire. En effet, la plupart des enregistrements de jardinerie n’ont aucune date de naissance. Dans un score qui soustrait du poids en cas de désaccord, comme au module 5, beaucoup de vraies paires passeraient sous le seuil.

Vérifiez votre compréhension

Les frères Samuel et Nathan Green obtiennent un score supérieur à celui des deux enregistrements de Valérie. Quels champs leur donnent des points, et pourquoi un meilleur choix de poids à la main ne peut-il pas régler cela?

Afficher la réponse

Ils partagent le courriel familial, la ligne fixe, le code postal, le nom de famille, la rue, le numéro civique et la ville. Un ménage partage presque tous les champs. Seul le prénom diffère. Pour faire passer les frères sous le seuil, nous devrions réduire les poids des champs du ménage. Mais les vraies paires ont besoin de ces mêmes champs. Par exemple, les deux enregistrements d’un client peuvent contenir un surnom. Les poids choisis à la main traitent tous les accords de la même façon. Ce qui aide, c’est de tenir compte de la fréquence d’une valeur : une ligne fixe partagée est un indice faible. Un désaccord doit aussi compter contre une correspondance. Le module 5 fait les deux.

Vérifiez votre compréhension

Un collègue choisit le seuil du score pondéré sur les paires de test et annonce un F1 de 0,76. Pourquoi est-ce incorrect, même si le nombre est proche du nôtre?

Afficher la réponse

Les paires de test doivent rester inutilisées jusqu’à la fin. Si nous choisissons le seuil sur ces paires, le F1 annoncé est le meilleur résultat pour elles. Ce n’est pas une estimation honnête pour de nouvelles paires. Sur un autre jeu d’enregistrements, l’apparieur ferait probablement un peu moins bien. Choisissez le seuil sur les paires de validation, puis mesurez une seule fois sur les paires de test, comme thresholds.best_f1. Le nombre peut être proche ici, mais c’est la méthode qui le rend fiable.

Récapitulatif

  • Un vecteur de comparaison contient une ligne de nombres par paire candidate : similarités, accords (1 ou 0) et valeurs manquantes.
  • Manquant ne veut pas dire différent. Une valeur vide n’apporte aucun indice. Deux valeurs vides ne constituent pas un accord.
  • Les dates, codes postaux, nombres et formats nécessitent leurs propres comparaisons : égalité, inversion, trois premiers caractères, ratio.
  • Le score pondéré à la main additionne les produits poids × valeur. Avec un seuil de 8, choisi sur les données de validation, il atteint une précision de 0,751 sur les paires de test. Son rappel est de 0,766 et son F1 de 0,759. C’est moins bon que les quatre règles (0,790).
  • Les ménages partagent presque tous les champs. Les frères obtiennent un score supérieur à celui des enregistrements d’une même cliente.

Nos poids étaient des estimations. Ensuite, au module 5, nous mesurons les indices de chaque champ. À quelle fréquence les valeurs concordent-elles pour le même client, et à quelle fréquence concordent-elles par hasard?

Leçon suivante : La preuve apportée par chaque champ