Ce que le blocage fait perdre
- Leçon 11
- 35 min
- Module 3 : Le blocage : ne pas tout comparer
Où nous en sommes
Nous avons maintenant plusieurs façons de créer des paires candidates. Chacune peut perdre de vraies paires. Dans cette leçon, nous mesurons l'exhaustivité des paires et le taux de réduction. Nous choisissons aussi des clés qui trouvent les clients qui ont déménagé.
Leçon 11 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Ce que le blocage fait perdre
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Mesurez ce qu’un blocage perd, avec l’exhaustivité des paires (pair completeness) et le taux de réduction. Trouvez quelles vraies paires une clé perd. Choisissez des clés qui trouvent aussi les clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield qui ont déménagé.
Carnet JupyterTrouver ce qu'un blocage perd dans un carnet Jupyter
Le carnet (notebook) Jupyter mesure les cinq clés sur les enregistrements de Larkfield. Vous dressez la liste des vraies paires que le code postal perd et trouvez ce qu’elles ont en commun. Vous mesurez ensuite un blocage qui les trouve. Ses cellules de préparation téléchargent les données, donc aucune préparation locale n’est nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les clés de blocage, leur combinaison et le voisinage trié, vus dans Clés de blocage et voisinage trié.
- MinHash LSH pour les titres de produits, vu dans MinHash et LSH.
- Le rappel, vu dans Mesurer un apparieur.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers de blocage de ce module. Ou utilisez seulement le carnet.
Le filet de pêche
Section intitulée « Le filet de pêche »Une pêcheuse choisit les mailles de son filet. De larges mailles laissent les petits poissons s’échapper. Le filet est léger, et elle trie rapidement sa prise. Des mailles fines retiennent presque tous les poissons. Mais les algues et les pierres alourdissent le filet, et le tri prend toute la journée.
Elle ne peut pas juger le filet seulement par le poids de sa prise. Elle doit aussi savoir quels poissons se sont échappés. Si tous les poissons échappés sont d’une même espèce, le filet a un trou à un endroit. Elle peut réparer cet endroit.
Le blocage est le filet. Les paires candidates sont la prise. Les vraies paires que le blocage retire sont les poissons échappés, et elles ne reviennent jamais.
Le problème : « le blocage sert seulement à aller vite »
Section intitulée « Le problème : « le blocage sert seulement à aller vite » »TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. veut un apparieur rapide. « Le blocage sert seulement à aller vite, dit-il. Il retire les paires clairement différentes. Il ne peut pas perdre de correspondances. »
Il fait le blocage sur le code postal. Le nombre de paires candidates passe de 1,8 milliard à 89 630. Un modèle attribue ensuite un score à chaque paire candidate très efficacement. Puis TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. compte les clients. Beaucoup de clients qui ont déménagé ont encore deux enregistrements. Tous les modèles que Tomás essaie manquent les mêmes correspondances.
Le modèle n’est pas le problème. Le blocage par code postal a retiré ces paires avant qu’un modèle les voie. Une correspondance manquée au blocage est une correspondance manquée par l’apparieur entier.
Deux nombres, encore une fois
Section intitulée « Deux nombres, encore une fois »Vous avez vu ces deux nombres dans Pourquoi comparer toutes les paires est impossible. L’exhaustivité des paires est la part des vraies paires que le blocage conserve : le rappel du blocage. Aucune étape suivante ne peut avoir un rappel par paire plus élevé. Un modèle peut seulement dire « identique » pour une paire qu’il voit. Le taux de réduction est la part de toutes les paires que le blocage retire : le travail économisé. Un taux de réduction de 0,999 laisse encore 1,8 million de paires de Larkfield; 0,9999 en laisse 180 000.
Un tout petit exemple
Section intitulée « Un tout petit exemple »Revenez aux six enregistrements de Pourquoi comparer toutes les paires est impossible : 15 paires, dont 6 vraies paires.
| Blocage | Candidates | Vraies paires conservées | Exhaustivité des paires | Taux de réduction |
|---|---|---|---|---|
| Code postal | 6 | 3 | 3 / 6 = 0,50 | 1 − 6/15 = 0,60 |
| Clé du nom de famille | 6 | 6 | 6 / 6 = 1,00 | 1 − 6/15 = 0,60 |
| Les deux clés | 9 | 6 | 6 / 6 = 1,00 | 1 − 9/15 = 0,40 |
| Fenêtre de 3, tri par nom | 9 | 5 | 5 / 6 = 0,83 | 1 − 9/15 = 0,40 |
Sur six enregistrements, chaque blocage retire peu de paires. Sur 60 108 enregistrements, les mêmes clés en retirent plus de 99,9 %.
Un troisième nombre est parfois utile : la qualité des paires, soit la part des candidates qui sont de vraies paires. Pour les cinq clés, elle vaut 27 503 ÷ 1 108 591 = 0,025. La plupart des candidates sont encore des personnes différentes. C’est normal : l’étape de comparaison doit les trier.
Explorer chaque blocage
Section intitulée « Explorer chaque blocage »L’explorateur montre tous les blocages de ce module, mesurés sur les enregistrements synthétiques de Larkfield. Chaque point représente un blocage : le nombre de paires candidates par rapport à l’exhaustivité des paires. Le nombre de candidates utilise une échelle logarithmique, où chaque pas multiplie le nombre par dix. Choisissez un blocage pour voir ses nombres exacts.
Explorer
Ce que chaque blocage conserve et perd
Prédisez d’abord : Le code postal seul conserve 84,5 % des vraies paires. Quelles vraies paires perd-il?
- Paires candidates
- 89 630
- Exhaustivité des paires
- 0,845
- Vraies paires perdues
- 4 289
- Taux de réduction
- 0,999950
postcode (même code postal) : 89 630 paires candidates sur 1 806 455 778. Il garde 23 388 des 27 677 vraies paires et en perd 4 289. Vraies paires avec deux codes postaux différents (surtout des clients qui ont déménagé) : postcode en garde 0 sur 4 289.
- Une clé
- Plusieurs clés
- Voisinage trié
| Blocage | Paires candidates | Vraies paires gardées | Exhaustivité des paires | Taux de réduction |
|---|---|---|---|---|
postcode | 89 630 | 23 388 | 0,845 | 0,999950 |
surname | 1 035 498 | 23 489 | 0,849 | 0,999427 |
email | 13 952 | 12 472 | 0,451 | 0,999992 |
phone | 19 873 | 13 678 | 0,494 | 0,999989 |
dob | 8 757 | 6 495 | 0,235 | 0,999995 |
postcode+surname | 1 103 620 | 27 019 | 0,976 | 0,999389 |
keys | 1 108 591 | 27 503 | 0,994 | 0,999386 |
keys-wide | 2 351 382 | 27 546 | 0,995 | 0,998698 |
sorted-name | 540 927 | 15 023 | 0,543 | 0,999701 |
sorted-name-50 | 2 944 067 | 22 144 | 0,800 | 0,998370 |
Description textuelle de l’explorateur
L’explorateur a un bouton pour chaque blocage : postcode, surname, email, phone, dob, postcode+surname, keys, keys-wide, sorted-name et sorted-name-50. Il commence sur postcode. Quatre tuiles montrent les paires candidates, l’exhaustivité des paires, les vraies paires perdues et le taux de réduction. Une phrase décrit le blocage. Pour postcode et keys, elle indique aussi combien des 4 289 vraies paires aux codes postaux différents il conserve. Un graphique représente chaque blocage par un point. Les paires candidates vont de 1 000 à 10 millions sur une échelle logarithmique, et l’exhaustivité des paires de 0,2 à 1. Le blocage choisi est un point foncé plus gros, accompagné de son nom. Un tableau en dessous présente chaque blocage. Code postal : 89 630 candidates, exhaustivité de 0,845, 4 289 vraies paires perdues, et 0 des 4 289 paires de déménagement conservées. Nom de famille : 1 035 498, 0,849. Courriel : 13 952, 0,451. Téléphone : 19 873, 0,494. Date de naissance : 8 757, 0,235. Code postal ou nom de famille : 1 103 620, 0,976. Les cinq clés : 1 108 591, 0,994, 174 perdues, et 4 115 des 4 289 paires de déménagement conservées. Les cinq clés avec une clé du nom de famille plus large : 2 351 382, 0,995. Voisinage trié, fenêtre de 10 : 540 927, 0,543; fenêtre de 50 : 2 944 067, 0,800.
À essayer :
- Choisissez
postcode(code postal). Il perd exactement 4 289 vraies paires. Choisissez ensuitekeys(clés). Lisez la phrase sur les clients qui ont déménagé pour les deux. - Comparez
surname(nom de famille) etpostcode+surname(code postal et nom de famille). Une clé supplémentaire ajoute très peu de candidates et conserve 3 530 vraies paires de plus. - Comparez
sorted-name-50(noms triés, fenêtre de 50) etkeys. Lequel est meilleur pour les deux nombres?
Quelles paires le code postal perd-il?
Section intitulée « Quelles paires le code postal perd-il? »La question de prédiction demandait quelles vraies paires le code postal perd. La réponse est exacte. Le code postal perd 4 289 vraies paires. Les enregistrements de Larkfield ont exactement 4 289 vraies paires dont les deux enregistrements ont des codes postaux différents. La plupart, soit 3 776, sont des paires de clients qui ont déménagé. Un enregistrement a l’ancienne adresse, et l’autre a la nouvelle. Le déménagement est un problème d’exercice que nous avons créé exprès. Les 513 autres paires diffèrent pour une autre raison, comme une faute de frappe dans un code postal. L’enregistrement du magasin de Valérie Tremblay a H6P 3H1, et celui du programme de fidélité a H6P 3H7. Dans cette leçon, nous appelons les 4 289 paires les paires de déménagement, pour faire court.
Les paires perdues ont un point commun, donc nous pouvons réparer le filet à un endroit. Regardez l’une d’elles.
Description textuelle du diagramme
Jacques Beaulieu a un enregistrement de jardinerie, G-009906, et un enregistrement de magasin, S-005041. Le tableau compare leurs cinq clés. Les codes postaux diffèrent : J8Y1L3 et J0C6V5, parce qu’il a déménagé. L’enregistrement de jardinerie n’a pas de courriel, et celui du magasin n’a pas de téléphone. Aucune de ces clés ne peut donc les réunir. Aucun enregistrement n’a de date de naissance. Seule la clé du nom de famille, beau|ja, est identique dans les deux. Le code postal seul ne compare donc jamais ses deux enregistrements, mais les cinq clés ensemble le font.
Jacques est un cas typique. Un client qui déménage change d’adresse et de code postal, et souvent de téléphone. Le nom reste. Les clés qui trouvent les clients qui ont déménagé sont donc les clés de nom.
Compter les paires de déménagement dans le projet
Section intitulée « Compter les paires de déménagement dans le projet »Le projet n’a pas de commande pour cela, alors écrivez un petit script. Créez un fichier movers.py dans le dossier de votre projet :
from larkfield_match import blocking, evaluate, prepared
postcode = prepared.customers().set_index("record_id").postcodetrue = evaluate.true_pairs()moved = true[true.record_id_l.map(postcode) != true.record_id_r.map(postcode)]print(f"{len(moved):,} of {len(true):,} true pairs have two different postcodes")for name in ["postcode", "surname", "keys", "keys-wide"]: kept = moved.merge(blocking.candidates(name), on=["record_id_l", "record_id_r"]) print(f" {name:<10} keeps {len(kept):,} of them")Le script lit les enregistrements préparés et les vraies paires. Il conserve les vraies paires dont les codes postaux diffèrent. Puis il vérifie lesquelles sont candidates pour chaque blocage. blocking.candidates lit les paires que match block a enregistrées, ou les crée la première fois. Exécutez-le :
python movers.py4,289 of 27,677 true pairs have two different postcodes postcode keeps 0 of them surname keeps 3,631 of them keys keeps 4,115 of them keys-wide keeps 4,158 of themLe graphique montre la même mesure pour davantage de blocages :
- Une clé ou des noms triés
- Cinq clés
Description textuelle du graphique
Un graphique à points avec huit lignes, un point par blocage, sur un axe de 0 à 1. Code postal 0,00; date de naissance 0,22; courriel 0,43; téléphone 0,50; noms triés avec une fenêtre de 50 : 0,79; clé du nom de famille 0,85; les cinq clés 0,96; les cinq clés avec la clé du nom de famille plus large 0,97.
Le code postal n’en conserve aucune, par définition. La clé du nom de famille en conserve 85 %. Les cinq clés en conservent 96 %. Chaque clé ajoute quelques paires de déménagement que les autres manquent. Un client avec un surnom peut encore avoir le même téléphone ou courriel.
Ce que les cinq clés perdent encore
Section intitulée « Ce que les cinq clés perdent encore »Les cinq clés perdent 174 vraies paires : 27 677 − 27 503. Et les cinq clés perdent exactement 174 paires de déménagement : 4 289 − 4 115. Donc chaque vraie paire que keys perd a deux codes postaux différents : 156 des 174 appartiennent à des clients qui ont déménagé. Ces paires diffèrent par le code postal, mais aussi par chacune des quatre autres clés. Elles n’ont ni courriel ni téléphone en commun. La date de naissance est vide ou différente. Et la clé du nom de famille diffère : un surnom, une faute de frappe dans les premières lettres ou un nom vide.
Comment en trouver davantage? Deux options, toutes deux mesurées :
| Blocage | Candidates | Vraies paires conservées | Exhaustivité des paires | Paires de déménagement conservées |
|---|---|---|---|---|
keys |
1 108 591 | 27 503 | 0,9937 | 4 115 |
keys+street (ajoute le numéro et le nom de rue) |
1 120 529 | 27 517 | 0,9942 | 4 129 |
keys-wide (clé du nom de famille avec 1 lettre du prénom) |
2 351 382 | 27 546 | 0,9953 | 4 158 |
keys-wide trouve 43 vraies paires de plus, mais crée 2,1 fois plus de candidates. keys+street en trouve 14 de plus, avec 1 % de candidates de plus. Une clé de rue ne peut pas aider la plupart des clients qui ont déménagé : leur rue a aussi changé.
match block --blocking keys-widematch block --blocking keys+streetkeys-wide: 2,351,382 candidate pairs out of 1,806,455,778 possible pairs (11.16 s) pair completeness 0.995 (27,546 of 27,677 true pairs kept); reduction ratio 0.998698keys+street: 1,120,529 candidate pairs out of 1,806,455,778 possible pairs (6.31 s) pair completeness 0.994 (27,517 of 27,677 true pairs kept); reduction ratio 0.999380Choisir selon le coût, pas selon l’impression
Section intitulée « Choisir selon le coût, pas selon l’impression »Que choisir? Demandez-vous ce que chaque option coûte.
- Plus de candidates coûtent du temps de calcul. Dans notre banc d’essai sur les données du cours, l’étape de comparaison du module 4 a pris 2,5 secondes pour les 1 108 591 candidates de
keys. Deux fois plus de candidates prennent environ deux fois plus de temps : quelques secondes de plus. Sur les données de Larkfield, c’est peu coûteux. - Une vraie paire perdue coûte une correspondance manquée. Le cours suppose qu’une correspondance manquée coûte 3 dollars par année : courriels en double et points de fidélité séparés.
À 60 108 enregistrements, keys-wide serait un choix raisonnable. Le projet conserve keys pour une raison : la croissance. Une clé plus large croît beaucoup plus vite avec davantage d’enregistrements, parce que ses blocs sont plus gros. La mise à l’échelle, dans le module 8, montre qu’à 1,1 million d’enregistrements, les cinq clés créent déjà environ 340 millions de paires candidates. Une clé du nom de famille plus large aggraverait beaucoup la situation.
Le plafond du rappel
Section intitulée « Le plafond du rappel »Chaque exécution à partir du module 4 compare seulement les candidates de keys. Sur le jeu de test, keys conserve 5 531 des 5 564 vraies paires : une exhaustivité des paires de 0,9941. Aucun apparieur suivant ne peut donc atteindre un rappel par paire supérieur à 0,9941 sur le jeu de test. Quand un modèle du module 6 manque une vraie paire, vérifiez d’abord si cette paire était candidate.
Quand mesurer le blocage
Section intitulée « Quand mesurer le blocage »- Chaque fois que vous changez une clé, une fenêtre ou un seuil. Mesurez ensemble l’exhaustivité des paires et le taux de réduction.
- Par groupe, pas seulement au total. Une exhaustivité totale de 0,845 cache que le code postal perd toutes les paires de déménagement. Mesurez les groupes importants pour l’entreprise : clients qui ont déménagé, chaque source, chaque région. La commande
match eval --bydu projet le fait pour les exécutions du module 2; le carnet le fait pour le blocage. - Sur tous les enregistrements, avec des vraies paires fiables. Ici, les vrais clients des enregistrements synthétiques sont connus. Sur des données réelles, il faut des paires étiquetées. Or, les paires que le blocage retire sont justement celles qu’un annotateur ne voit jamais. Étiquetez aussi quelques paires choisies au hasard parmi celles que le blocage retire.
Erreur courante
Juger un blocage seulement par son total
Symptôme : Tomás compare le code postal (exhaustivité des paires de 0,845) et la clé du nom de famille (0,849). « C’est pareil, dit-il, alors choisissons le plus rapide. » Il choisit le code postal : 89 630 candidates contre 1 035 498.
Cause : les deux totaux cachent des pertes différentes. Le code postal perd toutes les 4 289 vraies paires aux codes postaux différents : aucune n’est candidate. La plupart sont des clients qui ont déménagé. La clé du nom de famille perd d’autres paires, surtout des noms avec des erreurs dans leurs premières lettres. Elle conserve 3 631 paires de déménagement. Les clients de Larkfield qui ont déménagé ne forment pas un groupe aléatoire. Ce sont des clients dont l’adresse a changé. Ce sont les personnes qui ont le plus besoin d’enregistrements réunis, pour que l’ancienne adresse ne reçoive plus de catalogues.
Solution : mesurez ce que chaque blocage perd par groupe, comme le fait le script ci-dessus. Puis combinez des clés qui perdent des groupes différents. Le code postal et la clé du nom de famille ensemble conservent 0,976 de toutes les vraies paires et 3 631 paires de déménagement.
Conséquence pour le travail en IA : une moyenne peut cacher un groupe pour lequel un système échoue toujours. Une évaluation juste examine les tranches. Apprentissage automatique : du problème à un modèle fiable enseigne la même leçon : une classe d’un classificateur peut échouer malgré une bonne exactitude apparente.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Un blocage produit 180 000 paires candidates à partir des 60 108 enregistrements de Larkfield. Il conserve 22 000 des 27 677 vraies paires. Calculez son exhaustivité des paires et son taux de réduction. Est-il meilleur que le blocage par code postal?
Afficher la réponse
Exhaustivité des paires = 22 000 / 27 677 = 0,795. Taux de réduction = 1 − 180 000 / 1 806 455 778 = 0,999900. Le blocage par code postal conserve 23 388 vraies paires (0,845) avec seulement 89 630 candidats (0,999950). Ce blocage est donc moins bon sur les deux mesures : plus de candidats et moins de vraies paires. Avant de l’écarter, vérifiez quelles vraies paires il conserve. S’il conserve les paires de clients qui ont déménagé que le code postal perd, il peut servir de deuxième clé.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Chaque vraie paire que les cinq clés perdent a deux codes postaux différents. Que doit présenter une telle paire pour que les cinq clés la manquent?
Afficher la réponse
Les deux enregistrements diffèrent pour chaque clé, ou la clé est vide dans l’un des deux. Le code postal diffère, surtout parce que le client a déménagé. Le courriel est différent ou vide : par exemple, un courriel familial dans une liste et aucun courriel dans l’autre. Le téléphone est différent ou vide : un nouveau téléphone après le déménagement, ou aucun téléphone dans l’enregistrement du magasin. La date de naissance est vide ou différente. Et la clé du nom de famille diffère. La cause est un surnom avec des premières lettres différentes, une faute de frappe dans les quatre premières lettres du nom de famille, ou un nom vide. Le carnet (notebook) Jupyter montre une telle paire : Jim Walker (S-000281) et James Walker (S-010340). Leurs codes postaux diffèrent d’un caractère, et leurs courriels diffèrent. L’un n’a pas de téléphone, et aucun des deux n’a de date de naissance. Les clés du nom de famille sont walk|ji et walk|ja.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar demande : « Pourquoi ne pas utiliser keys-wide? Il perd moins de clients. » Donnez-lui une réponse courte et honnête.
Afficher la réponse
keys-wide conserve 43 vraies paires de plus (27 546 contre 27 503), et 43 paires de plus de clients qui ont déménagé. Il produit 2,1 fois plus de paires candidates, ce qui coûte quelques secondes de plus sur les 60 108 enregistrements actuels. Aujourd’hui, c’est donc un choix raisonnable. Mais sa clé du nom de famille produit de plus grands blocs. Le nombre de paires augmente avec le carré de la taille des blocs. Quand Larkfield atteindra un million d’enregistrements, les cinq clés produiront déjà environ 340 millions de candidats. Une clé plus large ralentira beaucoup l’étape de comparaison. Le projet conserve la clé plus étroite et mesure plutôt le coût des paires perdues.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- L’exhaustivité des paires est le rappel du blocage : aucune étape suivante ne peut avoir un rappel par paire supérieur. Le taux de réduction mesure le travail économisé. Mesurez les deux, chaque fois.
- Le code postal conserve 0,845 des vraies paires. Il perd exactement les 4 289 vraies paires avec deux codes postaux différents, surtout des clients qui ont déménagé. Il n’en conserve aucune.
- Les clés de noms retrouvent les clients qui ont déménagé. Les cinq clés conservent 0,9937 de toutes les vraies paires et 4 115 des 4 289 paires de clients qui ont déménagé. Chaque vraie paire qu’elles perdent a deux codes postaux différents.
keys-wideconserve 43 vraies paires de plus avec 2,1 fois plus de candidats. Comparez le coût d’une correspondance manquée au coût des candidats pour choisir, et pensez à la croissance.- Sur le jeu de test,
keysconserve 0,9941 des vraies paires : le plafond du rappel par paire de chaque exécution suivante.
Vous avez maintenant 1 108 591 paires candidates qui conservent presque toutes les vraies paires. Ensuite, le module 4 compare les deux enregistrements de chaque paire, champ par champ. À quel point deux noms, deux adresses ou deux courriels se ressemblent-ils?
Leçon suivante : La similarité de chaînes