Mesures de groupes
- Leçon 25
- 35 min
- Module 7 : Des paires aux entités
Où nous en sommes
Nos entités ont des fiches de référence. Nous avons mesuré les paires, mais Larkfield compte les clients. Dans cette leçon, nous mesurons les groupes par paire, par groupe exact et avec B-cubed. Nous voyons aussi comment des groupes géants se cachent derrière de bons résultats par paire.
Leçon 25 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Mesures de groupes
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Mesurez les entités, pas seulement les paires. Apprenez trois mesures de groupes : la précision et le rappel par paire intragroupe, par groupe exact et B-cubed. Voyez comment quelques grands groupes cachent de nombreuses paires erronées que les mesures de l’apparieur ne montrent jamais. Découvrez pourquoi un seul nombre ne suffit pas.
Carnet JupyterMesurer les groupes dans un carnet
Le carnet (notebook) Jupyter commence avec six enregistrements de deux personnes et un lien erroné. Vous écrivez le calcul de la précision et du rappel B-cubed. Puis, vous mesurez les groupes des règles du module 2, avec et sans regroupement sûr. Vous comptez aussi où se cachent les paires erronées. Les cellules de préparation téléchargent les données. Aucune configuration locale n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La précision et le rappel par paire, présentés dans Mesurer un apparieur.
- Les composantes connexes et le regroupement sûr, présentés dans Regrouper les paires et Un regroupement plus sûr.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers du module 7. Vous pouvez aussi utiliser seulement le carnet.
Vérifier les groupes de projet
Section intitulée « Vérifier les groupes de projet »Une enseignante demande à un aide de répartir 30 élèves en groupes d’amis pour un projet. Comment vérifie-t-elle son travail?
Elle peut vérifier les paires : « Il dit que Sam et Lee sont amis. Le sont-ils? » Elle vérifie ainsi ses décisions, une par une.
Elle peut vérifier les groupes : « Ce groupe correspond-il exactement à un groupe d’amis? » C’est strict. Un groupe avec un seul élève de trop échoue complètement.
Elle peut demander à chaque élève : « Quelle part de votre groupe sont vos amis? Combien de vos amis sont dans votre groupe? » Elle fait ensuite la moyenne des réponses. Un élève dans un bon groupe dit « tous ». Un élève placé avec des inconnus dit « seulement quelques-uns ».
Chaque vérification voit quelque chose que les autres manquent. L’appariement offre les mêmes trois points de vue.
Le problème : les mesures par paire évaluent l’apparieur, pas les entités
Section intitulée « Le problème : les mesures par paire évaluent l’apparieur, pas les entités »Mesurer un apparieur a présenté ce problème. Ici, nous le mesurons correctement. Depuis le module 2, nous mesurons les paires. Parmi les paires que l’apparieur juge identiques, combien sont de vraies paires? Cela mesure les décisions de l’apparieur. Mais TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield utilise les entités. Et le regroupement ajoute des paires sur lesquelles l’apparieur n’a jamais pris de décision.
Voici un petit exemple. Ann a trois enregistrements : a1, a2, a3. Ben a trois enregistrements : b1, b2, b3. L’apparieur juge 5 paires identiques : a1–a2, a2–a3, b1–b2, b2–b3, a3–b1. Seule la dernière est erronée. Les composantes connexes réunissent les six enregistrements dans un seul groupe.
Description textuelle du diagramme
L’image montre six petits cercles dans un encadré en pointillé : a1, a2 et a3 pour Ann; b1, b2 et b3 pour Ben. Des lignes pleines relient a1 à a2, a2 à a3, b1 à b2 et b2 à b3. Une ligne rouge en pointillé relie a3 à b1 : le seul lien erroné. Quatre encadrés donnent les mesures. Mesures par paire : 4 des 5 paires jugées identiques sont correctes, donc la précision est 0,8. L’apparieur trouve 4 des 6 vraies paires, donc le rappel est 0,667. Paires intragroupes : le groupe contient 6 × 5 ÷ 2 = 15 paires. Parmi elles, 6 sont correctes, donc la précision est 0,4. Les 6 vraies paires sont toutes à l’intérieur, donc le rappel est 1. B-cubed : pour chaque enregistrement, 3 des 6 enregistrements de son groupe représentent la même personne. La précision est donc 0,5. Les 3 enregistrements de sa personne sont dans son groupe, donc le rappel est 1,0. Groupes exacts : le groupe ne correspond pas exactement à une personne, donc 0 sur 1 est correct.
Les paires de l’apparieur semblent bonnes : précision 0,8. Mais le groupe est à moitié erroné. Parmi ses 15 paires, 9 sont erronées. L’apparieur n’a pris une décision que sur l’une d’elles, a3–b1. Les composantes connexes ont ajouté les 8 autres : a1–b1, a1–b2, a2–b3 et le reste. Aucune mesure par paire de l’apparieur ne peut les voir.
L’idée : trois façons de mesurer les groupes
Section intitulée « L’idée : trois façons de mesurer les groupes »Chaque mesure compare les groupes aux vraies entités. Chacune a une précision (« quelle part de ce que nous avons réuni est correcte? »). Chacune a aussi un rappel (« quelle part de ce qui devait être réuni l’a été? »).
Précision et rappel par paire intragroupe
Section intitulée « Précision et rappel par paire intragroupe »Prenez chaque paire d’enregistrements dans un groupe, même les paires que l’apparieur n’a jamais comparées. Comptez-les comme « jugées identiques ». Puis, calculez la précision et le rappel par paire comme avant.
Dans le petit exemple : 15 paires, 6 correctes, donc la précision est 0,4. Les 6 vraies paires sont toutes à l’intérieur, donc le rappel est 1.
Cette mesure se compare facilement aux mesures par paire de l’apparieur. Mais elle compte les grands groupes de nombreuses fois. Un groupe de n enregistrements contient n × (n − 1) ÷ 2 paires. Un groupe de 40 enregistrements contient 780 paires.
Précision et rappel par groupe exact
Section intitulée « Précision et rappel par groupe exact »Un groupe est correct seulement s’il contient exactement les enregistrements d’une vraie entité : pas un de plus ou de moins.
- Précision par groupe exact : parmi les groupes créés, la part qui est exactement correcte.
- Rappel par groupe exact : parmi les vraies entités, la part que nous avons trouvée exactement.
Dans le petit exemple : 0 groupe sur 1 est correct. Cette mesure est stricte et facile à expliquer : « 88 % de nos clients sont exactement corrects ». Mais elle n’accorde aucun crédit à un groupe presque correct.
Précision et rappel B-cubed
Section intitulée « Précision et rappel B-cubed »B-cubed pose deux questions à chaque enregistrement, puis fait la moyenne sur tous les enregistrements :
- précision d’un enregistrement : la part de son groupe qui représente la même entité que lui;
- rappel d’un enregistrement : la part des enregistrements de son entité qui se trouvent dans son groupe.
Dans le petit exemple, chaque enregistrement a une précision de 3 ÷ 6 = 0,5 et un rappel de 3 ÷ 3 = 1,0. La précision B-cubed est donc 0,5 et le rappel est 1. Amit Bagga et Breck Baldwin ont proposé cette mesure en 1998.
B-cubed compte chaque enregistrement une fois. Un grand groupe ne compte pas plus que ses enregistrements. C’est donc le résumé le plus équitable de « à quel point nos clients sont-ils corrects? ». Mais, pour la même raison, il peut cacher un groupe géant parmi des milliers de bons groupes.
Mesurer les entités de Larkfield
Section intitulée « Mesurer les entités de Larkfield »À partir de ce module, match eval affiche les trois mesures pour les deux regroupements. Exécutez-le pour LightGBM. Vous avez fait l’annulation de la dernière leçon. Le regroupement sûr garde donc aussi S-009232 à part :
match eval --run lgbmlgbm on the test split: pair precision 0.918, recall 0.886, F1 0.902 5,375 pairs called the same: 4,932 right, 443 wrong; 632 of 5,564 true pairs missed entities after clustering (all records): 38,514 (true: 37,500) connected components: 38,514 entities, largest 9 records, 75 clusters over 5 records B-cubed precision 0.979, recall 0.967; cluster pairs precision 0.838, recall 0.917; exact clusters precision 0.873, recall 0.913 safe clustering: 38,909 entities, largest 6 records, 11 clusters over 5 records B-cubed precision 0.987, recall 0.965; cluster pairs precision 0.911, recall 0.909; exact clusters precision 0.880, recall 0.923Le regroupement sûr compte ici 38 909 entités, comme match golden après l’annulation. Les deux paires interdites (cannot-link) d’Ivana passent en premier. Le regroupement sûr retire les liens entre S-009232 et les deux autres enregistrements avant toute autre vérification. Le lien correct entre G-000001 et L-010072 reste. Les deux autres enregistrements de Valérie restent donc une seule entité. Les mesures du jeu de test ne changent pas : Valérie est dans les données d’entraînement.
Les mêmes nombres dans un tableau (jeu de test) :
| Mesure | Paires de l’apparieur | Composantes connexes | Regroupement sûr |
|---|---|---|---|
| précision (paires) | 0,918 | 0,838 | 0,911 |
| rappel (paires) | 0,886 | 0,917 | 0,909 |
| précision B-cubed | 0,979 | 0,987 | |
| rappel B-cubed | 0,967 | 0,965 | |
| précision par groupe exact | 0,873 | 0,88 | |
| rappel par groupe exact | 0,913 | 0,923 |
Lisez-le de gauche à droite :
- Le regroupement ajoute des paires erronées. Les paires de l’apparieur ont une précision de 0,918. Les paires dans les composantes connexes ont une précision de 0,838. Le rappel monte de 0,886 à 0,917. La transitivité trouve aussi de vraies paires que l’apparieur a manquées.
- Le regroupement sûr retire la plupart des erreurs ajoutées. La précision par paire intragroupe monte à 0,911, et le rappel baisse un peu, à 0,909.
- Environ neuf clients sur dix sont exactement corrects. La précision par groupe exact est 0,88 avec le regroupement sûr.
Chaque apparieur : les paires, puis les groupes
Section intitulée « Chaque apparieur : les paires, puis les groupes »- Paires de l'apparieur
- Paires intragroupes, composantes connexes
- Paires intragroupes, regroupement sûr
Description textuelle du graphique
Un graphique à points avec trois lignes pour chacun des trois apparieurs. rules : paires de l'apparieur 0,723; paires dans les composantes connexes 0,524; paires dans les groupes sécurisés 0,832. splink : paires de l'apparieur 0,817; paires dans les composantes connexes 0,685; paires dans les groupes sécurisés 0,831. lgbm : paires de l'apparieur 0,918; paires dans les composantes connexes 0,838; paires dans les groupes sécurisés 0,911. Pour chaque apparieur, les composantes connexes baissent la précision, et le regroupement sûr la remonte.
Les règles perdent le plus : de 0,723 à 0,524. Elles créent de nombreux liens, donc de longues chaînes. LightGBM perd le moins, car il crée moins de liens erronés.
Où se cachent les paires erronées
Section intitulée « Où se cachent les paires erronées »Quels groupes contiennent les paires erronées? Nous avons compté les paires dans les composantes connexes de LightGBM qui incluent un enregistrement du jeu de test. Nous les avons réparties selon la taille du groupe.
Description textuelle du graphique
Un graphique à colonnes des paires erronées selon la taille du groupe. Groupes de 2 enregistrements : 42 paires erronées sur 2 460. Groupes de 3 enregistrements : 160 paires erronées sur 2 190. Groupes de 4 enregistrements : 286 paires erronées sur 743. Groupes de 5 enregistrements : 266 paires erronées sur 397. Groupes de 6 enregistrements : 134 paires erronées sur 177. Groupes de 7 enregistrements ou plus : 97 paires erronées sur 118. Les groupes de plus de 5 enregistrements sont mis en évidence : ils contiennent 23,5 % de toutes les paires erronées.
Dans toutes les partitions, seulement 75 groupes ont plus de 5 enregistrements. Ensemble, ils contiennent 493 des 60 108 enregistrements. Pourtant, sur les paires de test, ils contiennent 23,5 % des paires erronées dans les groupes. Le nombre de paires d’un groupe croît avec le carré de sa taille. Quelques grands groupes contiennent donc de nombreuses paires erronées.
Les mesures par paire de l’apparieur n’ont jamais montré cela. Elles comptent seulement les 5 375 paires de test que LightGBM a jugées identiques. Le regroupement a ajouté 710 autres paires, dont 542 sont erronées.
B-cubed peut aussi les cacher
Section intitulée « B-cubed peut aussi les cacher »Regardez maintenant la règle « même téléphone », avec son groupe géant de 40 personnes :
| Règle « même téléphone » | Composantes connexes | Regroupement sûr |
|---|---|---|
| précision B-cubed | 0,941 | 0,969 |
| précision par paire intragroupe | 0,539 | 0,745 |
| plus grand groupe | 40 | 6 |
La précision B-cubed est 0,941 : elle semble bonne. Le groupe géant n’a que 40 enregistrements parmi 60 108. Il change donc à peine une moyenne sur les enregistrements. Mais, pour Larkfield, c’est un faux « client » qui reçoit les commandes, les adresses et les points de fidélité de 40 inconnus.
Chaque mesure cache donc quelque chose. Les mesures par paire cachent les paires que le regroupement ajoute. B-cubed cache quelques groupes géants. Les groupes exacts cachent les groupes presque corrects. Présentez plusieurs mesures, et toujours la taille des plus grands groupes.
Le tableau comparatif, avec les entités
Section intitulée « Le tableau comparatif, avec les entités »Le tableau comparatif du cours reçoit de nouvelles colonnes. Pour chaque exécution : la précision et le rappel par paire de l’apparieur, puis les entités avec le regroupement sûr.
| Exécution | Précision par paire | Rappel par paire | Entités (sécurisé) | Plus grand | Précision B-cubed | Rappel B-cubed | Groupes exacts, précision |
|---|---|---|---|---|---|---|---|
exact-norm | 0,819 | 0,438 | 48 601 | 4 | 0,995 | 0,791 | 0,545 |
rules | 0,723 | 0,87 | 39 877 | 6 | 0,974 | 0,937 | 0,798 |
rule-phone | 0,539 | 0,494 | 47 096 | 6 | 0,969 | 0,8 | 0,533 |
weighted | 0,751 | 0,766 | 40 228 | 6 | 0,962 | 0,918 | 0,737 |
splink | 0,817 | 0,779 | 40 516 | 6 | 0,975 | 0,924 | 0,767 |
lgbm | 0,918 | 0,886 | 38 908 | 6 | 0,987 | 0,965 | 0,88 |
Le vrai nombre est 37 500 entités. LightGBM avec le regroupement sûr offre la meilleure combinaison de précision et de rappel B-cubed. L’ordre des exécutions est presque le même qu’avec le score F1 par paire, mais les écarts diffèrent. Le module 8 exécute la meilleure chaque jour.
Quand utiliser chaque mesure
Section intitulée « Quand utiliser chaque mesure »- Précision et rappel par paire intragroupe : pour comparer aux mesures par paire de l’apparieur et voir ce que le regroupement ajoute ou retire.
- B-cubed : le résumé principal des entités. Chaque enregistrement compte une fois.
- Groupes exacts : un nombre que TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. peut présenter en une phrase : « neuf clients sur dix sont exactement corrects ».
- Les plus grands groupes et les groupes au-dessus d’une limite de taille : toujours. Ils révèlent les erreurs que les moyennes cachent.
- Ce que cela coûte : il faut connaître les vraies entités des enregistrements mesurés. Ici, nos données synthétiques les fournissent. En pratique, étiquetez un échantillon de groupes à la main. Un réviseur peut juger un groupe entier d’un seul regard.
Erreur courante
Le nombre de clients est presque correct, donc l'appariement est correct
Symptôme : les quatre règles du module 2 créent 36 756 entités. Le vrai nombre est 37 500. TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. dit : « Seulement 2 % d’écart. Les règles sont presque parfaites. »
Cause : un décompte additionne les fusions erronées et les scissions erronées, qui s’annulent. Les règles fusionnent des familles entières (trop peu d’entités). Elles manquent aussi les clients qui ont changé de courriel (trop d’entités). Le total est proche, mais de nombreux groupes sont erronés. Avec les composantes connexes, la précision B-cubed des règles est 0,917. Seulement 0,786 de leurs groupes correspondent exactement à un client.
Correction : ne jugez jamais les entités par le décompte seul. Mesurez la précision et le rappel B-cubed et les groupes exacts, puis examinez les plus grands groupes. Présentez le décompte avec ces mesures.
Conséquence pour le travail en IA : un total conforme à la réalité peut cacher des erreurs dans les deux sens. Un classificateur peut prédire le bon nombre de positifs, dont beaucoup sont erronés. Les métriques de classification dans Apprentissage automatique : du problème à un modèle fiable montre pourquoi la précision et le rappel sont nécessaires ensemble.
Votre tâche : corriger les plus grands groupes
Section intitulée « Votre tâche : corriger les plus grands groupes »Voici l’exercice pratique du module 7. Utilisez le projet ou les carnets de ce module.
- Regroupez les paires d’une exécution avec les composantes connexes, par exemple
match cluster --run splink. Notez le nombre d’entités et les trois plus grands groupes. - Examinez chacun des trois plus grands groupes. Utilisez
match showsur ses enregistrements, ou le carnet. Chacun représente-t-il une seule personne? Sinon, pourquoi les enregistrements ont-ils été réunis : une valeur de remplacement, une famille, un lien faible? - Corrigez-les : exécutez le regroupement sûr, ou utilisez
match undosur un enregistrement erroné. - Créez les fiches de référence (golden records) avec
match golden --run <your run>. - Montrez le nombre d’entités avant et après votre correction, avec la précision et le rappel B-cubed de
match eval --run <your run>.
Vérification de fin : montrez le nombre d’entités avant et après la correction, avec la précision et le rappel B-cubed (groupes). Ajoutez une phrase sur chacun des trois plus grands groupes.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Quatre enregistrements : r1 et r2 représentent un client, r3 et r4 un autre. Les groupes sont {r1, r2, r3} et {r4}. Calculez la précision et le rappel B-cubed.
Afficher la réponse
Précision par enregistrement : r1 2 ÷ 3; r2 2 ÷ 3; r3 1 ÷ 3; r4 1 ÷ 1. La moyenne est (0,667 + 0,667 + 0,333 + 1) ÷ 4 = 0,667. Rappel par enregistrement : r1 2 ÷ 2; r2 2 ÷ 2; r3 1 ÷ 2; r4 1 ÷ 2. La moyenne est (1 + 1 + 0,5 + 0,5) ÷ 4 = 0,75. Un enregistrement dans le mauvais groupe fait baisser les deux.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Les paires de LightGBM ont une précision de 0,918, mais les paires dans ses composantes connexes ont une précision de 0,838. D'où viennent les paires erronées supplémentaires?
Afficher la réponse
De la transitivité. Quand le modèle relie A–B et B–C, le groupe contient aussi A–C. Le modèle n’a jamais jugé cette paire identique. Si un lien est erroné, chaque enregistrement d’un côté est apparié à chaque enregistrement de l’autre côté. Le regroupement a ajouté 710 paires incluant un enregistrement de test, dont 542 sont erronées. Le regroupement sûr coupe les liens faibles et ramène la précision à 0,911.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La règle « même téléphone » a une précision B-cubed de 0,941 avec les composantes connexes, et un groupe de 40 personnes différentes. Pourquoi B-cubed ne montre-t-il pas le groupe géant?
Afficher la réponse
B-cubed fait la moyenne sur les enregistrements, et chaque enregistrement compte une fois. Le groupe géant a 40 enregistrements parmi plus de 12 000 enregistrements de test. Même avec une précision de 1 ÷ 40 chacun, ils changent très peu la moyenne. La précision par paire intragroupe compte ses 780 paires erronées. La taille du plus grand groupe le révèle immédiatement. C’est pourquoi vous présentez plusieurs mesures et les plus grands groupes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Les mesures par paire évaluent les décisions de l’apparieur. Le regroupement ajoute des paires sur lesquelles l’apparieur n’a jamais pris de décision.
- Les mesures par paire intragroupe comptent chaque paire dans un groupe. Les mesures par groupe exact comptent les groupes qui correspondent exactement à une entité. B-cubed évalue chaque enregistrement et fait la moyenne.
- Pour LightGBM, le regroupement baisse la précision par paire de 0,918 à 0,838. Le regroupement sûr la ramène à 0,911, avec une précision B-cubed de 0,987 et un rappel de 0,965.
- Les 75 groupes de plus de 5 enregistrements contiennent 23,5 % des paires erronées dans les groupes de LightGBM. B-cubed peut aussi cacher un groupe géant.
- Présentez plusieurs mesures, le décompte et les plus grands groupes. Un décompte proche de la réalité peut cacher des erreurs dans les deux sens.
Le module 7 est terminé : Larkfield a 38 908 entités avec des fiches de référence, des groupes sécurisés et un historique. Ensuite, dans le module 8, de nouveaux enregistrements arrivent chaque jour, et les entités doivent rester stables.
Leçon suivante : De nouveaux enregistrements chaque jour