Aller au contenu
English

Ce que le blocage fait perdre

  • Leçon 11
  • 35 min
  • Module 3 : Le blocage : ne pas tout comparer

Où nous en sommes

Nous avons maintenant plusieurs façons de créer des paires candidates. Chacune peut perdre de vraies paires. Dans cette leçon, nous mesurons l'exhaustivité des paires et le taux de réduction. Nous choisissons aussi des clés qui trouvent les clients qui ont déménagé.

Ce que vous saurez faire

Mesurez ce qu’un blocage perd, avec l’exhaustivité des paires (pair completeness) et le taux de réduction. Trouvez quelles vraies paires une clé perd. Choisissez des clés qui trouvent aussi les clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield qui ont déménagé.

Carnet JupyterTrouver ce qu'un blocage perd dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter mesure les cinq clés sur les enregistrements de Larkfield. Vous dressez la liste des vraies paires que le code postal perd et trouvez ce qu’elles ont en commun. Vous mesurez ensuite un blocage qui les trouve. Ses cellules de préparation téléchargent les données, donc aucune préparation locale n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers de blocage de ce module. Ou utilisez seulement le carnet.

Une pêcheuse choisit les mailles de son filet. De larges mailles laissent les petits poissons s’échapper. Le filet est léger, et elle trie rapidement sa prise. Des mailles fines retiennent presque tous les poissons. Mais les algues et les pierres alourdissent le filet, et le tri prend toute la journée.

Elle ne peut pas juger le filet seulement par le poids de sa prise. Elle doit aussi savoir quels poissons se sont échappés. Si tous les poissons échappés sont d’une même espèce, le filet a un trou à un endroit. Elle peut réparer cet endroit.

Le blocage est le filet. Les paires candidates sont la prise. Les vraies paires que le blocage retire sont les poissons échappés, et elles ne reviennent jamais.

Le problème : « le blocage sert seulement à aller vite »

Section intitulée « Le problème : « le blocage sert seulement à aller vite » »

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. veut un apparieur rapide. « Le blocage sert seulement à aller vite, dit-il. Il retire les paires clairement différentes. Il ne peut pas perdre de correspondances. »

Il fait le blocage sur le code postal. Le nombre de paires candidates passe de 1,8 milliard à 89 630. Un modèle attribue ensuite un score à chaque paire candidate très efficacement. Puis TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. compte les clients. Beaucoup de clients qui ont déménagé ont encore deux enregistrements. Tous les modèles que Tomás essaie manquent les mêmes correspondances.

Le modèle n’est pas le problème. Le blocage par code postal a retiré ces paires avant qu’un modèle les voie. Une correspondance manquée au blocage est une correspondance manquée par l’apparieur entier.

Vous avez vu ces deux nombres dans Pourquoi comparer toutes les paires est impossible. L’exhaustivité des paires est la part des vraies paires que le blocage conserve : le rappel du blocage. Aucune étape suivante ne peut avoir un rappel par paire plus élevé. Un modèle peut seulement dire « identique » pour une paire qu’il voit. Le taux de réduction est la part de toutes les paires que le blocage retire : le travail économisé. Un taux de réduction de 0,999 laisse encore 1,8 million de paires de Larkfield; 0,9999 en laisse 180 000.

Revenez aux six enregistrements de Pourquoi comparer toutes les paires est impossible : 15 paires, dont 6 vraies paires.

Blocage Candidates Vraies paires conservées Exhaustivité des paires Taux de réduction
Code postal 6 3 3 / 6 = 0,50 1 − 6/15 = 0,60
Clé du nom de famille 6 6 6 / 6 = 1,00 1 − 6/15 = 0,60
Les deux clés 9 6 6 / 6 = 1,00 1 − 9/15 = 0,40
Fenêtre de 3, tri par nom 9 5 5 / 6 = 0,83 1 − 9/15 = 0,40

Sur six enregistrements, chaque blocage retire peu de paires. Sur 60 108 enregistrements, les mêmes clés en retirent plus de 99,9 %.

Un troisième nombre est parfois utile : la qualité des paires, soit la part des candidates qui sont de vraies paires. Pour les cinq clés, elle vaut 27 503 ÷ 1 108 591 = 0,025. La plupart des candidates sont encore des personnes différentes. C’est normal : l’étape de comparaison doit les trier.

L’explorateur montre tous les blocages de ce module, mesurés sur les enregistrements synthétiques de Larkfield. Chaque point représente un blocage : le nombre de paires candidates par rapport à l’exhaustivité des paires. Le nombre de candidates utilise une échelle logarithmique, où chaque pas multiplie le nombre par dix. Choisissez un blocage pour voir ses nombres exacts.

Explorer

Ce que chaque blocage conserve et perd

Paires candidates
89 630
Exhaustivité des paires
0,845
Vraies paires perdues
4 289
Taux de réduction
0,999950

postcode (même code postal) : 89 630 paires candidates sur 1 806 455 778. Il garde 23 388 des 27 677 vraies paires et en perd 4 289. Vraies paires avec deux codes postaux différents (surtout des clients qui ont déménagé) : postcode en garde 0 sur 4 289.

  • Une clé
  • Plusieurs clés
  • Voisinage trié
Les 10 blocages mesurés (enregistrements synthétiques, 27 677 vraies paires)
BlocagePaires candidatesVraies paires gardéesExhaustivité des pairesTaux de réduction
postcode89 63023 3880,8450,999950
surname1 035 49823 4890,8490,999427
email13 95212 4720,4510,999992
phone19 87313 6780,4940,999989
dob8 7576 4950,2350,999995
postcode+surname1 103 62027 0190,9760,999389
keys1 108 59127 5030,9940,999386
keys-wide2 351 38227 5460,9950,998698
sorted-name540 92715 0230,5430,999701
sorted-name-502 944 06722 1440,8000,998370
Paires candidates par rapport à l'exhaustivité des paires pour dix blocages des 60 108 enregistrements clients synthétiques (1 806 455 778 paires possibles, 27 677 vraies paires). Mesures prises sur l'ordinateur portable de référence.
Description textuelle de l’explorateur

L’explorateur a un bouton pour chaque blocage : postcode, surname, email, phone, dob, postcode+surname, keys, keys-wide, sorted-name et sorted-name-50. Il commence sur postcode. Quatre tuiles montrent les paires candidates, l’exhaustivité des paires, les vraies paires perdues et le taux de réduction. Une phrase décrit le blocage. Pour postcode et keys, elle indique aussi combien des 4 289 vraies paires aux codes postaux différents il conserve. Un graphique représente chaque blocage par un point. Les paires candidates vont de 1 000 à 10 millions sur une échelle logarithmique, et l’exhaustivité des paires de 0,2 à 1. Le blocage choisi est un point foncé plus gros, accompagné de son nom. Un tableau en dessous présente chaque blocage. Code postal : 89 630 candidates, exhaustivité de 0,845, 4 289 vraies paires perdues, et 0 des 4 289 paires de déménagement conservées. Nom de famille : 1 035 498, 0,849. Courriel : 13 952, 0,451. Téléphone : 19 873, 0,494. Date de naissance : 8 757, 0,235. Code postal ou nom de famille : 1 103 620, 0,976. Les cinq clés : 1 108 591, 0,994, 174 perdues, et 4 115 des 4 289 paires de déménagement conservées. Les cinq clés avec une clé du nom de famille plus large : 2 351 382, 0,995. Voisinage trié, fenêtre de 10 : 540 927, 0,543; fenêtre de 50 : 2 944 067, 0,800.

À essayer :

  • Choisissez postcode (code postal). Il perd exactement 4 289 vraies paires. Choisissez ensuite keys (clés). Lisez la phrase sur les clients qui ont déménagé pour les deux.
  • Comparez surname (nom de famille) et postcode+surname (code postal et nom de famille). Une clé supplémentaire ajoute très peu de candidates et conserve 3 530 vraies paires de plus.
  • Comparez sorted-name-50 (noms triés, fenêtre de 50) et keys. Lequel est meilleur pour les deux nombres?

La question de prédiction demandait quelles vraies paires le code postal perd. La réponse est exacte. Le code postal perd 4 289 vraies paires. Les enregistrements de Larkfield ont exactement 4 289 vraies paires dont les deux enregistrements ont des codes postaux différents. La plupart, soit 3 776, sont des paires de clients qui ont déménagé. Un enregistrement a l’ancienne adresse, et l’autre a la nouvelle. Le déménagement est un problème d’exercice que nous avons créé exprès. Les 513 autres paires diffèrent pour une autre raison, comme une faute de frappe dans un code postal. L’enregistrement du magasin de Valérie Tremblay a H6P 3H1, et celui du programme de fidélité a H6P 3H7. Dans cette leçon, nous appelons les 4 289 paires les paires de déménagement, pour faire court.

Les paires perdues ont un point commun, donc nous pouvons réparer le filet à un endroit. Regardez l’une d’elles.

Jacques Beaulieu : un client, deux enregistrements. Un tableau avec cinq clés. Code postal : G-009906 (jardinerie) J8Y1L3, S-005041 (magasin) J0C6V5 : différents, aucun bloc. Courriel : vide et jacques.beaulieu@mail.example : un est vide, aucun bloc. Téléphone : 5145550008 et vide : un est vide, aucun bloc. Début du nom de famille : beau|ja et beau|ja : identiques, une paire candidate. Date de naissance : les deux sont vides, aucun bloc. Note : il a déménagé; seule la clé du nom de famille met les deux enregistrements dans un même bloc; le blocage par code postal seul ne les compare jamais; l'union des cinq clés le fait.
Les deux enregistrements synthétiques de Jacques Beaulieu, clé par clé. Seule la clé du nom de famille les met dans un même bloc.
Description textuelle du diagramme

Jacques Beaulieu a un enregistrement de jardinerie, G-009906, et un enregistrement de magasin, S-005041. Le tableau compare leurs cinq clés. Les codes postaux diffèrent : J8Y1L3 et J0C6V5, parce qu’il a déménagé. L’enregistrement de jardinerie n’a pas de courriel, et celui du magasin n’a pas de téléphone. Aucune de ces clés ne peut donc les réunir. Aucun enregistrement n’a de date de naissance. Seule la clé du nom de famille, beau|ja, est identique dans les deux. Le code postal seul ne compare donc jamais ses deux enregistrements, mais les cinq clés ensemble le font.

Jacques est un cas typique. Un client qui déménage change d’adresse et de code postal, et souvent de téléphone. Le nom reste. Les clés qui trouvent les clients qui ont déménagé sont donc les clés de nom.

Le projet n’a pas de commande pour cela, alors écrivez un petit script. Créez un fichier movers.py dans le dossier de votre projet :

from larkfield_match import blocking, evaluate, prepared
postcode = prepared.customers().set_index("record_id").postcode
true = evaluate.true_pairs()
moved = true[true.record_id_l.map(postcode) != true.record_id_r.map(postcode)]
print(f"{len(moved):,} of {len(true):,} true pairs have two different postcodes")
for name in ["postcode", "surname", "keys", "keys-wide"]:
kept = moved.merge(blocking.candidates(name), on=["record_id_l", "record_id_r"])
print(f" {name:<10} keeps {len(kept):,} of them")

Le script lit les enregistrements préparés et les vraies paires. Il conserve les vraies paires dont les codes postaux diffèrent. Puis il vérifie lesquelles sont candidates pour chaque blocage. blocking.candidates lit les paires que match block a enregistrées, ou les crée la première fois. Exécutez-le :

Fenêtre de terminal
python movers.py
4,289 of 27,677 true pairs have two different postcodes
postcode keeps 0 of them
surname keeps 3,631 of them
keys keeps 4,115 of them
keys-wide keeps 4,158 of them

Le graphique montre la même mesure pour davantage de blocages :

  • Une clé ou des noms triés
  • Cinq clés
Les 4 289 vraies paires aux codes postaux différents dans les enregistrements synthétiques (surtout des clients qui ont déménagé), et la part que chaque blocage conserve. Plus large = les cinq clés avec la première lettre du prénom dans la clé du nom de famille.
Description textuelle du graphique

Un graphique à points avec huit lignes, un point par blocage, sur un axe de 0 à 1. Code postal 0,00; date de naissance 0,22; courriel 0,43; téléphone 0,50; noms triés avec une fenêtre de 50 : 0,79; clé du nom de famille 0,85; les cinq clés 0,96; les cinq clés avec la clé du nom de famille plus large 0,97.

Le code postal n’en conserve aucune, par définition. La clé du nom de famille en conserve 85 %. Les cinq clés en conservent 96 %. Chaque clé ajoute quelques paires de déménagement que les autres manquent. Un client avec un surnom peut encore avoir le même téléphone ou courriel.

Les cinq clés perdent 174 vraies paires : 27 677 − 27 503. Et les cinq clés perdent exactement 174 paires de déménagement : 4 289 − 4 115. Donc chaque vraie paire que keys perd a deux codes postaux différents : 156 des 174 appartiennent à des clients qui ont déménagé. Ces paires diffèrent par le code postal, mais aussi par chacune des quatre autres clés. Elles n’ont ni courriel ni téléphone en commun. La date de naissance est vide ou différente. Et la clé du nom de famille diffère : un surnom, une faute de frappe dans les premières lettres ou un nom vide.

Comment en trouver davantage? Deux options, toutes deux mesurées :

Blocage Candidates Vraies paires conservées Exhaustivité des paires Paires de déménagement conservées
keys 1 108 591 27 503 0,9937 4 115
keys+street (ajoute le numéro et le nom de rue) 1 120 529 27 517 0,9942 4 129
keys-wide (clé du nom de famille avec 1 lettre du prénom) 2 351 382 27 546 0,9953 4 158

keys-wide trouve 43 vraies paires de plus, mais crée 2,1 fois plus de candidates. keys+street en trouve 14 de plus, avec 1 % de candidates de plus. Une clé de rue ne peut pas aider la plupart des clients qui ont déménagé : leur rue a aussi changé.

Fenêtre de terminal
match block --blocking keys-wide
match block --blocking keys+street
keys-wide: 2,351,382 candidate pairs out of 1,806,455,778 possible pairs (11.16 s)
pair completeness 0.995 (27,546 of 27,677 true pairs kept); reduction ratio 0.998698
keys+street: 1,120,529 candidate pairs out of 1,806,455,778 possible pairs (6.31 s)
pair completeness 0.994 (27,517 of 27,677 true pairs kept); reduction ratio 0.999380

Que choisir? Demandez-vous ce que chaque option coûte.

  • Plus de candidates coûtent du temps de calcul. Dans notre banc d’essai sur les données du cours, l’étape de comparaison du module 4 a pris 2,5 secondes pour les 1 108 591 candidates de keys. Deux fois plus de candidates prennent environ deux fois plus de temps : quelques secondes de plus. Sur les données de Larkfield, c’est peu coûteux.
  • Une vraie paire perdue coûte une correspondance manquée. Le cours suppose qu’une correspondance manquée coûte 3 dollars par année : courriels en double et points de fidélité séparés.

À 60 108 enregistrements, keys-wide serait un choix raisonnable. Le projet conserve keys pour une raison : la croissance. Une clé plus large croît beaucoup plus vite avec davantage d’enregistrements, parce que ses blocs sont plus gros. La mise à l’échelle, dans le module 8, montre qu’à 1,1 million d’enregistrements, les cinq clés créent déjà environ 340 millions de paires candidates. Une clé du nom de famille plus large aggraverait beaucoup la situation.

Chaque exécution à partir du module 4 compare seulement les candidates de keys. Sur le jeu de test, keys conserve 5 531 des 5 564 vraies paires : une exhaustivité des paires de 0,9941. Aucun apparieur suivant ne peut donc atteindre un rappel par paire supérieur à 0,9941 sur le jeu de test. Quand un modèle du module 6 manque une vraie paire, vérifiez d’abord si cette paire était candidate.

  • Chaque fois que vous changez une clé, une fenêtre ou un seuil. Mesurez ensemble l’exhaustivité des paires et le taux de réduction.
  • Par groupe, pas seulement au total. Une exhaustivité totale de 0,845 cache que le code postal perd toutes les paires de déménagement. Mesurez les groupes importants pour l’entreprise : clients qui ont déménagé, chaque source, chaque région. La commande match eval --by du projet le fait pour les exécutions du module 2; le carnet le fait pour le blocage.
  • Sur tous les enregistrements, avec des vraies paires fiables. Ici, les vrais clients des enregistrements synthétiques sont connus. Sur des données réelles, il faut des paires étiquetées. Or, les paires que le blocage retire sont justement celles qu’un annotateur ne voit jamais. Étiquetez aussi quelques paires choisies au hasard parmi celles que le blocage retire.

Erreur courante

Juger un blocage seulement par son total

Symptôme : Tomás compare le code postal (exhaustivité des paires de 0,845) et la clé du nom de famille (0,849). « C’est pareil, dit-il, alors choisissons le plus rapide. » Il choisit le code postal : 89 630 candidates contre 1 035 498.

Cause : les deux totaux cachent des pertes différentes. Le code postal perd toutes les 4 289 vraies paires aux codes postaux différents : aucune n’est candidate. La plupart sont des clients qui ont déménagé. La clé du nom de famille perd d’autres paires, surtout des noms avec des erreurs dans leurs premières lettres. Elle conserve 3 631 paires de déménagement. Les clients de Larkfield qui ont déménagé ne forment pas un groupe aléatoire. Ce sont des clients dont l’adresse a changé. Ce sont les personnes qui ont le plus besoin d’enregistrements réunis, pour que l’ancienne adresse ne reçoive plus de catalogues.

Solution : mesurez ce que chaque blocage perd par groupe, comme le fait le script ci-dessus. Puis combinez des clés qui perdent des groupes différents. Le code postal et la clé du nom de famille ensemble conservent 0,976 de toutes les vraies paires et 3 631 paires de déménagement.

Conséquence pour le travail en IA : une moyenne peut cacher un groupe pour lequel un système échoue toujours. Une évaluation juste examine les tranches. Apprentissage automatique : du problème à un modèle fiable enseigne la même leçon : une classe d’un classificateur peut échouer malgré une bonne exactitude apparente.

Vérifiez votre compréhension

Un blocage produit 180 000 paires candidates à partir des 60 108 enregistrements de Larkfield. Il conserve 22 000 des 27 677 vraies paires. Calculez son exhaustivité des paires et son taux de réduction. Est-il meilleur que le blocage par code postal?

Afficher la réponse

Exhaustivité des paires = 22 000 / 27 677 = 0,795. Taux de réduction = 1 − 180 000 / 1 806 455 778 = 0,999900. Le blocage par code postal conserve 23 388 vraies paires (0,845) avec seulement 89 630 candidats (0,999950). Ce blocage est donc moins bon sur les deux mesures : plus de candidats et moins de vraies paires. Avant de l’écarter, vérifiez quelles vraies paires il conserve. S’il conserve les paires de clients qui ont déménagé que le code postal perd, il peut servir de deuxième clé.

Vérifiez votre compréhension

Chaque vraie paire que les cinq clés perdent a deux codes postaux différents. Que doit présenter une telle paire pour que les cinq clés la manquent?

Afficher la réponse

Les deux enregistrements diffèrent pour chaque clé, ou la clé est vide dans l’un des deux. Le code postal diffère, surtout parce que le client a déménagé. Le courriel est différent ou vide : par exemple, un courriel familial dans une liste et aucun courriel dans l’autre. Le téléphone est différent ou vide : un nouveau téléphone après le déménagement, ou aucun téléphone dans l’enregistrement du magasin. La date de naissance est vide ou différente. Et la clé du nom de famille diffère. La cause est un surnom avec des premières lettres différentes, une faute de frappe dans les quatre premières lettres du nom de famille, ou un nom vide. Le carnet (notebook) Jupyter montre une telle paire : Jim Walker (S-000281) et James Walker (S-010340). Leurs codes postaux diffèrent d’un caractère, et leurs courriels diffèrent. L’un n’a pas de téléphone, et aucun des deux n’a de date de naissance. Les clés du nom de famille sont walk|ji et walk|ja.

Vérifiez votre compréhension

Omar demande : « Pourquoi ne pas utiliser keys-wide? Il perd moins de clients. » Donnez-lui une réponse courte et honnête.

Afficher la réponse

keys-wide conserve 43 vraies paires de plus (27 546 contre 27 503), et 43 paires de plus de clients qui ont déménagé. Il produit 2,1 fois plus de paires candidates, ce qui coûte quelques secondes de plus sur les 60 108 enregistrements actuels. Aujourd’hui, c’est donc un choix raisonnable. Mais sa clé du nom de famille produit de plus grands blocs. Le nombre de paires augmente avec le carré de la taille des blocs. Quand Larkfield atteindra un million d’enregistrements, les cinq clés produiront déjà environ 340 millions de candidats. Une clé plus large ralentira beaucoup l’étape de comparaison. Le projet conserve la clé plus étroite et mesure plutôt le coût des paires perdues.

Récapitulatif

  • L’exhaustivité des paires est le rappel du blocage : aucune étape suivante ne peut avoir un rappel par paire supérieur. Le taux de réduction mesure le travail économisé. Mesurez les deux, chaque fois.
  • Le code postal conserve 0,845 des vraies paires. Il perd exactement les 4 289 vraies paires avec deux codes postaux différents, surtout des clients qui ont déménagé. Il n’en conserve aucune.
  • Les clés de noms retrouvent les clients qui ont déménagé. Les cinq clés conservent 0,9937 de toutes les vraies paires et 4 115 des 4 289 paires de clients qui ont déménagé. Chaque vraie paire qu’elles perdent a deux codes postaux différents.
  • keys-wide conserve 43 vraies paires de plus avec 2,1 fois plus de candidats. Comparez le coût d’une correspondance manquée au coût des candidats pour choisir, et pensez à la croissance.
  • Sur le jeu de test, keys conserve 0,9941 des vraies paires : le plafond du rappel par paire de chaque exécution suivante.

Vous avez maintenant 1 108 591 paires candidates qui conservent presque toutes les vraies paires. Ensuite, le module 4 compare les deux enregistrements de chaque paire, champ par champ. À quel point deux noms, deux adresses ou deux courriels se ressemblent-ils?

Leçon suivante : La similarité de chaînes