Comparer champ par champ, puis combiner
- Leçon 14
- 40 min
- Module 4 : Comparer les enregistrements : les mesures de similarité
Où nous en sommes
Nous pouvons maintenant attribuer un score à un champ à la fois. Une paire d'enregistrements contient plusieurs champs. Dans cette leçon, nous construisons un vecteur de comparaison pour chaque paire. Nous combinons les champs avec des poids choisis à la main, puis choisissons un seuil.
Leçon 14 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Comparer champ par champ, puis combiner
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Comparez une paire champ par champ, puis gardez les résultats dans une ligne de nombres : un vecteur de comparaison. Traitez les valeurs vides comme manquantes, et non comme différentes. Combinez ensuite les champs en un seul score avec des poids choisis à la main. Choisissez un seuil sur les paires de validation, puis ajoutez le résultat au tableau comparatif.
Carnet JupyterConstruire des vecteurs et un score pondéré dans un carnet Jupyter
Le carnet (notebook) Jupyter crée les paires candidates des cinq clés et construit un vecteur de comparaison à six champs pour chacune. Il ajoute des poids choisis à la main et vous demande de choisir le seuil sur la partition de validation. Ses cellules de préparation téléchargent les données; aucune préparation locale n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Jaro–Winkler et le ratio d’ensembles de mots, vus dans La similarité de chaînes; les codes phonétiques, vus dans Ça se prononce pareil.
- La précision par paire, le rappel et le F1, ainsi que le jeu de test, vus dans Mesurer un apparieur.
- Pourquoi choisir les paramètres sur des données de validation, vu dans Données d’entraînement, de validation et de test du cours d’apprentissage automatique.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers des deux dernières leçons. Ou utilisez seulement le carnet.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) ne sont pas testées.
Une clinique vérifie l’identité d’une patiente
Section intitulée « Une clinique vérifie l’identité d’une patiente »Une patiente arrive à une clinique. La réceptionniste trouve un dossier avec le même nom de famille. Est-ce son dossier?
La réceptionniste ne décide pas seulement à partir du nom de famille. Elle demande la date de naissance, puis l’adresse, puis le numéro de téléphone. Chaque réponse apporte un élément de preuve :
- La date de naissance concorde : preuve forte. Peu de personnes partagent un nom de famille et une date de naissance.
- Le nom de famille concorde : preuve faible. Beaucoup de familles partagent un nom de famille courant.
- Le téléphone ne figure pas au dossier : aucune preuve. Cela ne dit ni « oui » ni « non ».
Elle pèse ensuite tous ces éléments ensemble. Un apparieur doit faire la même chose pour chaque paire candidate.
Le problème : un seul champ ne suffit jamais
Section intitulée « Le problème : un seul champ ne suffit jamais »Dans les deux dernières leçons, nous avons comparé un champ à la fois. Chaque champ échoue dans certains cas :
- Les noms sont partagés par les membres d’une famille. Dans La similarité de chaînes, 54 % des paires candidates de personnes différentes avaient un ratio d’ensembles de mots du nom complet d’au moins 0,9.
- Les courriels sont partagés par des familles entières (
thegreens@example.com). Les jardineries n’ont aucun courriel dans 60 % de leurs enregistrements. - Les codes postaux changent quand un client déménage : 4 289 vraies paires ont deux codes postaux différents.
- Les dates de naissance sont vides dans la plupart des enregistrements des jardineries et du magasin.
Chaque champ apporte une preuve. Il nous les faut tous, côte à côte, pour chaque paire.
L’idée : un vecteur de comparaison
Section intitulée « L’idée : un vecteur de comparaison »Un vecteur de comparaison est une ligne de nombres pour une paire candidate : un nombre par comparaison de champ. Ici, un vecteur désigne une liste de nombres dans un ordre fixe. Le projet compare 16 éléments pour chaque paire de clients.
Chaque nombre appartient à l’un de trois types :
- Une similarité de 0 à 1, pour les champs avec des erreurs de saisie. Le prénom, le nom de famille et la partie du courriel avant le @ utilisent Jaro–Winkler. Le nom complet et la rue utilisent le ratio d’ensembles de mots.
- Un accord : 1 quand les valeurs nettoyées sont égales, 0 quand elles diffèrent. Cela concerne les champs où un caractère erroné donne une autre valeur : courriel, téléphone, code postal, numéro civique, ville et date de naissance.
- Une valeur manquante, quand l’un des deux enregistrements n’a aucune valeur pour le champ.
Le diagramme montre les vecteurs de deux paires. La première contient les enregistrements de Valérie Tremblay à la jardinerie et au magasin : une cliente. La seconde contient les frères Samuel et Nathan Green : deux personnes.
Description textuelle du diagramme
Un tableau de 16 lignes, une par comparaison de champ, et deux colonnes. La paire de Valérie concorde sur le nom de famille, le courriel, le téléphone, la rue, le numéro civique et la ville. Ses prénoms sont proches (0,867 : « val » et « valérie »). Ses codes postaux diffèrent d’un caractère, une erreur de saisie. Le code postal obtient donc 0, mais les trois premiers caractères concordent. Son enregistrement de jardinerie n’a pas de date de naissance; les trois champs de date sont donc manquants. Les frères concordent sur tout ce qu’ils partagent : nom de famille, courriel familial, ligne fixe, code postal, rue, numéro et ville. Seuls leurs prénoms diffèrent (0,444). Leurs champs de date sont aussi manquants.
Regardez les frères. Ils concordent sur plus de champs que les enregistrements de Valérie. Un ménage partage la plupart de ses champs. C’est le cas le plus difficile pour tout apparieur, et il revient dans chaque module.
Manquant ne veut pas dire différent
Section intitulée « Manquant ne veut pas dire différent »Pourquoi distinguer « manquant » de 0? Parce que leur sens diffère. Un 0 dit « les deux enregistrements ne concordent pas » : une preuve contre une correspondance. Manquant dit « nous ne savons pas » : aucune preuve dans un sens ou dans l’autre.
Les valeurs manquantes sont courantes. Sur les 1 108 591 paires candidates des cinq clés, la date de naissance manque dans 71,1 % des paires, le téléphone dans 36,8 % et le courriel dans 28,4 %. Si nous les remplacions toutes par 0, la plupart des paires recevraient des preuves contre elles qui n’existent pas.
Dans le code, une valeur manquante est NaN (« pas un nombre ») : pandas et NumPy la distinguent de 0. Les modules suivants s’en servent. Dans le module 5, un champ manquant n’ajoute aucun poids, et un désaccord soustrait du poids.
Les dates et les nombres ont besoin de leurs propres comparaisons
Section intitulée « Les dates et les nombres ont besoin de leurs propres comparaisons »Une mesure de chaînes appliquée à une date ou à un nombre donne des résultats étranges. « 1975-01-31 » et « 1975-01-13 » partagent la plupart de leurs caractères, mais ce sont des jours différents. Le projet compare donc les dates et les nombres de façons adaptées :
- Date de naissance : égale ou non (
dob_eq), avec deux erreurs courantes en plus.dob_swapvaut 1 quand le jour et le mois sont inversés (31/01 contre 01/31).dob_year_eqvaut 1 quand seule l’année concorde. - Code postal : égal ou non, avec les trois premiers caractères (
postcode3_eq), le secteur, en plus. Un client qui déménage dans une même ville les garde souvent. - Numéro civique : égal ou non. Un numéro différent dans la même rue désigne un autre domicile.
- Produits : le vecteur des paires de produits contient
size_ratioetprice_ratio: la plus petite valeur divisée par la plus grande. Une comparaison de 12 pouces à 16 pouces donne 0,75, et deux tailles égales donnent 1. Il contient aussipack_eq, pour comparer un article seul à un paquet de 2. Les nombres et les unités ont ainsi leurs propres champs, comme le demandait La similarité de chaînes.
Combiner les champs avec des poids
Section intitulée « Combiner les champs avec des poids »Nous avons maintenant 16 nombres par paire. Pour décider, il nous faut un seul score. La méthode la plus simple est une somme pondérée : multiplier chaque nombre par un poids, puis additionner les résultats.
score = poids₁ × valeur₁ + poids₂ × valeur₂ + …
Une valeur manquante n’ajoute rien. Nous avons choisi les poids à la main, avant de regarder les résultats. Les identifiants forts comptent le plus, la ville le moins :
| Champ | Poids | Pourquoi |
|---|---|---|
| même courriel | 3 | un courriel appartient généralement à une personne (mais les familles en partagent certains) |
| même téléphone | 2,5 | fort, mais les lignes fixes sont partagées |
| même date de naissance | 2,5 | forte quand les deux enregistrements l’ont |
| même code postal | 2 | un domicile, pas une personne |
| nom de famille (Jaro–Winkler) | 2 | partagé par les familles |
| prénom (Jaro–Winkler) | 1,5 | les surnoms et les initiales le réduisent |
| rue (ensemble de mots) | 1,5 | encore un domicile |
| même numéro civique | 1 | complète la rue |
| même ville | 0,5 | des milliers de personnes la partagent |
Le score maximal possible est la somme des poids : 16,5. Le projet utilise ici 9 des 16 champs. Les 7 autres attendent le module 5, où les données choisissent les poids.
Description textuelle du diagramme
Pour chacun des 9 champs pondérés : son poids, puis la valeur, le poids et les points pour chaque paire. La paire de Valérie obtient 11,80 points : tout sauf la date de naissance (manquante) et le code postal (une erreur de saisie). Les frères obtiennent 13,17 points : tout sauf la date de naissance, avec seulement 0,67 point pour leurs prénoms différents. Avec un seuil de 8, les deux paires sont considérées comme « la même personne ». La première décision est correcte; la seconde fusionne deux personnes.
Le score pondéré ne peut pas distinguer les frères. Leurs prénoms diffèrent, mais le prénom a un poids de seulement 1,5, et tous les autres champs concordent. Réduire le poids des champs partagés par le ménage nuirait à toutes les vraies paires qui en dépendent. Les poids choisis à la main ne peuvent pas régler ce problème. Il nous faut des preuves qui tiennent compte de la fréquence de partage d’une valeur : module 5.
Choisir le seuil sur les données de validation
Section intitulée « Choisir le seuil sur les données de validation »Une paire dont le score atteint ou dépasse le seuil est considérée comme « la même personne ». Quel seuil choisir? Le cours répartit les vrais clients en trois groupes : entraînement (60 %), validation (20 %) et test (20 %). Nous essayons chaque valeur possible sur les paires de validation et gardons celle qui donne le meilleur F1. Nous ne la choisissons jamais sur les paires de test. Sinon, le résultat du test serait trop bon : nous aurions ajusté l’apparieur au test.
Le graphique montre la précision et le rappel sur les paires de validation à chaque seuil.
- Précision
- Rappel
Description textuelle du graphique
Deux lignes sur des seuils de 0 à 16,5. La précision passe de près de 0 aux seuils faibles à 1,0 au-dessus d’environ 11. Le rappel passe de près de 1 à près de 0. Au meilleur seuil, 8,0, la précision est de 0,796 et le rappel de 0,767 sur les paires de validation. Juste au-dessus de 8, le rappel tombe à 0,667, car 572 paires de validation ont un score d’exactement 8.
Pourquoi la courbe a des paliers
Section intitulée « Pourquoi la courbe a des paliers »La plupart des valeurs du vecteur sont 0 ou 1. Beaucoup de paires obtiennent donc exactement le même score. Parmi les paires de validation, 572 ont un score d’exactement 8,0, et 542 d’entre elles sont de vraies paires. Le type le plus courant (285 paires) concorde sur le téléphone, le code postal, le nom de famille et le prénom. Il n’a ni courriel, ni date de naissance, ni rue. Cela donne 2,5 + 2 + 2 + 1,5 = 8. La plupart sont des enregistrements du programme de fidélité, qui n’ont pas d’adresse de rue.
Un seuil de 8,0 les garde donc toutes, et un seuil de 8,1 les perd toutes. Un petit changement de seuil peut modifier le rappel de 10 points. Regardez la courbe avant de vous fier à un seul nombre.
Exécuter dans le projet
Section intitulée « Exécuter dans le projet »Ajoutez le reste du code de ce module : les vecteurs de comparaison, l’exécution pondérée, les outils de seuil et les tests.
-
Dans votre dossier de projet, copiez les fichiers restants de l’instantané
end-of-m04, ainsi que sonREADME.md:Fenêtre de terminal S=../nextia-learning-labs/C39/snapshots/end-of-m04cp $S/larkfield_match/vectors.py $S/larkfield_match/thresholds.py larkfield_match/cp $S/larkfield_match/runs/weighted.py larkfield_match/runs/cp $S/larkfield_match/commands/vector.py $S/larkfield_match/commands/threshold.py larkfield_match/commands/cp $S/tests/test_similarity.py tests/cp $S/README.md .Fenêtre de terminal $S = "..\nextia-learning-labs\C39\snapshots\end-of-m04"Copy-Item $S\larkfield_match\vectors.py, $S\larkfield_match\thresholds.py larkfield_match\Copy-Item $S\larkfield_match\runs\weighted.py larkfield_match\runs\Copy-Item $S\larkfield_match\commands\vector.py, $S\larkfield_match\commands\threshold.py larkfield_match\commands\Copy-Item $S\tests\test_similarity.py tests\Copy-Item $S\README.md .Aucun nouveau paquet n’est nécessaire.
-
Exécutez les tests. Il y en a maintenant 25 :
Fenêtre de terminal python -m pytest -q......................... [100%]25 passed in 15.27s -
Affichez le vecteur de comparaison de la paire de Valérie :
Fenêtre de terminal match vector G-000001 S-009232G-000001: val tremblay | tremblay.valerie88@example.net | 5145558296 | rue des herons | st eloi du lac | H6P3H7 | -S-009232: valerie tremblay | tremblay.valerie88@example.net | 5145558296 | rue des herons | st eloi du lac | H6P3H1 | 1975-01-31first_jw 0.867last_jw 1.000name_tsr 0.857first_initial 1.000last_sound 1.000email_eq 1.000email_local_jw 1.000phone_eq 1.000postcode_eq 0.000postcode3_eq 1.000street_tsr 1.000number_eq 1.000town_eq 1.000dob_eq missingdob_swap missingdob_year_eq missingTrue answer: sameEssayez aussi les frères :
match vector G-001688 G-002894.
Attribuer un score et mesurer chaque paire candidate
Section intitulée « Attribuer un score et mesurer chaque paire candidate »match eval --run weightedLa première exécution construit les vecteurs des 1 108 591 paires candidates et les garde dans outputs/vectors/ :
Ran weighted: 25,270 pairs called the same, in 101.3 sweighted on the test split: pair precision 0.751, recall 0.766, F1 0.759 5,673 pairs called the same: 4,263 right, 1,410 wrong; 1,301 of 5,564 true pairs missed entities after clustering (all records): 38,755 (true: 37,500)Sur un portable peu sollicité, la même exécution a pris 54,8 secondes. Sur le nôtre, elle a pris 101,3 secondes et utilisé environ 0,9 Go de mémoire. Votre durée sera différente; les décomptes ne changeront pas.
Pour voir vous-même le compromis, exécutez match threshold. La commande affiche la précision et le rappel sur les paires de validation à quelques seuils :
match thresholdweighted on the validation pairs: threshold precision recall F1 1.843 0.018 0.994 0.035 3.937 0.059 0.971 0.111 6.033 0.336 0.855 0.482 8.000 0.796 0.767 0.782 <- best F1 8.125 0.816 0.667 0.734 10.222 0.934 0.439 0.597 12.319 1.000 0.106 0.191 14.500 1.000 0.004 0.009 16.500 1.000 0.003 0.006Comment le code fonctionne
Section intitulée « Comment le code fonctionne »larkfield_match/vectors.py construit tous les vecteurs en une fois, une colonne par champ. Voici deux de ces colonnes :
v["first_jw"] = _masked(_sim(L["first"], R["first"], JaroWinkler.similarity), L["first"], R["first"])v["phone_eq"] = _eq(L.phone, R.phone)_sim attribue un score à toutes les paires avec rapidfuzz en un seul appel. _masked et _eq mettent la valeur à NaN (manquante) quand l’un des deux enregistrements est vide. runs/weighted.py additionne ensuite les valeurs pondérées, en comptant NaN comme 0. Enfin, thresholds.best_f1 choisit le seuil sur les paires de validation.
Le tableau comparatif
Section intitulée « Le tableau comparatif »Chaque module ajoute des lignes à un même tableau : mêmes enregistrements, mêmes paires de test, mêmes mesures. Voici le tableau jusqu’ici.
Description textuelle du graphique
Quatre barres : exact 0,478, exact-norm 0,571, rules 0,790, weighted 0,759.
| Exécution | Module | Précision | Rappel | F1 |
|---|---|---|---|---|
exact |
1 | 0,817 | 0,338 | 0,478 |
exact-norm |
2 | 0,819 | 0,438 | 0,571 |
rules |
2 | 0,723 | 0,870 | 0,790 |
weighted |
4 | 0,751 | 0,766 | 0,759 |
Le score pondéré est moins bon que les quatre règles de Appariement exact et par règles : F1 de 0,759 contre 0,790. Il est un peu plus précis et trouve moins de vraies paires. Est-ce une surprise? Cela ne devrait pas en être une. Nous avons choisi les poids au jugé, et les règles ont aussi été écrites à la main, avec soin. Un score avec beaucoup de champs n’est pas meilleur simplement parce qu’il en a beaucoup. Il est meilleur seulement quand ses poids sont bons, et nous ne les avons pas encore appris.
Le carnet de cette leçon montre à quel point les poids choisis à la main sont fragiles. Il utilise seulement six champs, avec les mêmes poids pour ceux-ci. Son meilleur seuil sur les données de validation est 5,5. Il atteint un F1 de 0,791 sur les paires de test, mieux que le score à 16 champs du projet. Moins de champs ont donné un meilleur résultat ici seulement parce que nos estimations leur convenaient mieux par hasard. Les poids choisis à la main ne vous disent pas quels champs sont utiles.
Où il échoue
Section intitulée « Où il échoue »Exécutez match eval --run weighted --by problem pour voir le rappel et la précision de chaque problème d’exercice créé volontairement :
problem true found recall predicted precision brothers 39 19 0.487 30 0.633 family_email 487 234 0.480 268 0.873 moved 1277 788 0.617 992 0.794 none 3468 3008 0.867 4086 0.736placeholder_phone 13 7 0.538 8 0.875 saint_town 280 207 0.739 289 0.716- Clients qui ont déménagé : rappel de 0,617. Le code postal, la rue et le numéro civique diffèrent tous. Un client qui a déménagé perd donc 4,5 points sur 16,5.
- Courriels familiaux : rappel de 0,480. Le courriel familial et le courriel personnel diffèrent; le courriel n’ajoute donc rien.
- Frères : 30 paires considérées comme « la même personne », seulement 19 correctes. Les champs du ménage s’additionnent, comme dans le diagramme.
Par source (--by source), la précision est la plus faible pour les paires au sein d’une même source : magasin avec magasin (0,293) et jardinerie avec jardinerie (0,296). Ce sont surtout des personnes différentes à une même adresse.
Quand utiliser un score pondéré à la main
Section intitulée « Quand utiliser un score pondéré à la main »| Utilisez-le quand | Ne l’utilisez pas quand | Ce qu’il coûte |
|---|---|---|
| vous n’avez pas d’étiquettes et avez besoin d’une première référence de base avec tous les champs | vous avez des étiquettes : apprenez plutôt les poids (modules 5 et 6) | un après-midi pour choisir les poids; ce sont des estimations |
| vous devez expliquer chaque décision avec des calculs simples | les champs dépendent les uns des autres (un ménage partage cinq champs à la fois) | les vecteurs : 1,1 million de paires × 16 champs; moins d’une minute sur un portable |
Le vecteur de comparaison est l’élément durable de cette leçon. Toutes les méthodes suivantes lisent les mêmes 16 nombres : Fellegi–Sunter et Splink au module 5, les classificateurs au module 6. Seule la façon de les combiner change.
Erreur courante
Vide égale vide
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. écrit sa propre comparaison de courriels : left.email == right.email. Deux enregistrements de jardinerie sans courriel donnent "" == "", ce qui vaut True (vrai). Son score pondéré augmente, tout comme le nombre de paires considérées comme « la même personne ».
Cause : deux valeurs vides sont égales comme texte, mais elles ne constituent pas une preuve. Dans 21,4 % des paires candidates, les deux enregistrements n’ont aucune date de naissance. Les deux n’ont aucun téléphone dans 4,2 % des cas, et aucun courriel dans 2,4 % des cas. Nous avons calculé le score pondéré avec cette erreur sur quatre champs : courriel, téléphone, date de naissance et code postal. Ensuite, nous avons choisi de nouveau le seuil sur les données de validation. Sur les paires de test : précision 0,675, rappel 0,501, F1 0,575, contre 0,759 sans l’erreur. Le meilleur seuil monte à 10,5, et la moitié des vraies paires sont perdues. Les champs vides donnent des points à des paires de personnes sans lien. Il faut donc relever le seuil pour les exclure, ce qui exclut aussi de vraies paires.
Correction : marquez une comparaison comme manquante si l’une des valeurs est vide, comme vectors.py avec _eq et _masked. Normalisez d’abord, pour que « N/A », « - » et les espaces deviennent aussi des valeurs vides.
Conséquence dans le travail en IA : une valeur de remplacement peut ressembler à de vraies données. Les jardineries ont saisi leur propre numéro de téléphone pour 40 clients de passage. C’est la même erreur sous une autre forme, et le module 7 montre son effet sur les groupes.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
L'enregistrement de Valérie à la jardinerie n'a aucune date de naissance. Pourquoi le vecteur de comparaison indique-t-il « manquant » plutôt que 0 pour dob_eq? Qu'est-ce qui changerait s'il indiquait 0?
Afficher la réponse
0 signifie « les deux enregistrements diffèrent » : un indice qu’il s’agit de deux personnes. Manquant signifie « nous ne pouvons pas comparer » : aucun indice dans un sens ou dans l’autre. Les deux enregistrements de Valérie ne diffèrent pas sur la date de naissance; l’un des deux ne l’a pas. Si nous écrivions 0, chaque paire contenant un enregistrement de jardinerie semblerait moins similaire. En effet, la plupart des enregistrements de jardinerie n’ont aucune date de naissance. Dans un score qui soustrait du poids en cas de désaccord, comme au module 5, beaucoup de vraies paires passeraient sous le seuil.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les frères Samuel et Nathan Green obtiennent un score supérieur à celui des deux enregistrements de Valérie. Quels champs leur donnent des points, et pourquoi un meilleur choix de poids à la main ne peut-il pas régler cela?
Afficher la réponse
Ils partagent le courriel familial, la ligne fixe, le code postal, le nom de famille, la rue, le numéro civique et la ville. Un ménage partage presque tous les champs. Seul le prénom diffère. Pour faire passer les frères sous le seuil, nous devrions réduire les poids des champs du ménage. Mais les vraies paires ont besoin de ces mêmes champs. Par exemple, les deux enregistrements d’un client peuvent contenir un surnom. Les poids choisis à la main traitent tous les accords de la même façon. Ce qui aide, c’est de tenir compte de la fréquence d’une valeur : une ligne fixe partagée est un indice faible. Un désaccord doit aussi compter contre une correspondance. Le module 5 fait les deux.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un collègue choisit le seuil du score pondéré sur les paires de test et annonce un F1 de 0,76. Pourquoi est-ce incorrect, même si le nombre est proche du nôtre?
Afficher la réponse
Les paires de test doivent rester inutilisées jusqu’à la fin. Si nous choisissons le seuil sur ces paires, le F1 annoncé est le meilleur résultat pour elles. Ce n’est pas une estimation honnête pour de nouvelles paires. Sur un autre jeu d’enregistrements, l’apparieur ferait probablement un peu moins bien. Choisissez le seuil sur les paires de validation, puis mesurez une seule fois sur les paires de test, comme thresholds.best_f1. Le nombre peut être proche ici, mais c’est la méthode qui le rend fiable.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un vecteur de comparaison contient une ligne de nombres par paire candidate : similarités, accords (1 ou 0) et valeurs manquantes.
- Manquant ne veut pas dire différent. Une valeur vide n’apporte aucun indice. Deux valeurs vides ne constituent pas un accord.
- Les dates, codes postaux, nombres et formats nécessitent leurs propres comparaisons : égalité, inversion, trois premiers caractères, ratio.
- Le score pondéré à la main additionne les produits poids × valeur. Avec un seuil de 8, choisi sur les données de validation, il atteint une précision de 0,751 sur les paires de test. Son rappel est de 0,766 et son F1 de 0,759. C’est moins bon que les quatre règles (0,790).
- Les ménages partagent presque tous les champs. Les frères obtiennent un score supérieur à celui des enregistrements d’une même cliente.
Nos poids étaient des estimations. Ensuite, au module 5, nous mesurons les indices de chaque champ. À quelle fréquence les valeurs concordent-elles pour le même client, et à quelle fréquence concordent-elles par hasard?
Leçon suivante : La preuve apportée par chaque champ