Aller au contenu
English

Mesures de groupes

  • Leçon 25
  • 35 min
  • Module 7 : Des paires aux entités

Où nous en sommes

Nos entités ont des fiches de référence. Nous avons mesuré les paires, mais Larkfield compte les clients. Dans cette leçon, nous mesurons les groupes par paire, par groupe exact et avec B-cubed. Nous voyons aussi comment des groupes géants se cachent derrière de bons résultats par paire.

Ce que vous saurez faire

Mesurez les entités, pas seulement les paires. Apprenez trois mesures de groupes : la précision et le rappel par paire intragroupe, par groupe exact et B-cubed. Voyez comment quelques grands groupes cachent de nombreuses paires erronées que les mesures de l’apparieur ne montrent jamais. Découvrez pourquoi un seul nombre ne suffit pas.

Carnet JupyterMesurer les groupes dans un carnetColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter commence avec six enregistrements de deux personnes et un lien erroné. Vous écrivez le calcul de la précision et du rappel B-cubed. Puis, vous mesurez les groupes des règles du module 2, avec et sans regroupement sûr. Vous comptez aussi où se cachent les paires erronées. Les cellules de préparation téléchargent les données. Aucune configuration locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers du module 7. Vous pouvez aussi utiliser seulement le carnet.

Une enseignante demande à un aide de répartir 30 élèves en groupes d’amis pour un projet. Comment vérifie-t-elle son travail?

Elle peut vérifier les paires : « Il dit que Sam et Lee sont amis. Le sont-ils? » Elle vérifie ainsi ses décisions, une par une.

Elle peut vérifier les groupes : « Ce groupe correspond-il exactement à un groupe d’amis? » C’est strict. Un groupe avec un seul élève de trop échoue complètement.

Elle peut demander à chaque élève : « Quelle part de votre groupe sont vos amis? Combien de vos amis sont dans votre groupe? » Elle fait ensuite la moyenne des réponses. Un élève dans un bon groupe dit « tous ». Un élève placé avec des inconnus dit « seulement quelques-uns ».

Chaque vérification voit quelque chose que les autres manquent. L’appariement offre les mêmes trois points de vue.

Le problème : les mesures par paire évaluent l’apparieur, pas les entités

Section intitulée « Le problème : les mesures par paire évaluent l’apparieur, pas les entités »

Mesurer un apparieur a présenté ce problème. Ici, nous le mesurons correctement. Depuis le module 2, nous mesurons les paires. Parmi les paires que l’apparieur juge identiques, combien sont de vraies paires? Cela mesure les décisions de l’apparieur. Mais TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield utilise les entités. Et le regroupement ajoute des paires sur lesquelles l’apparieur n’a jamais pris de décision.

Voici un petit exemple. Ann a trois enregistrements : a1, a2, a3. Ben a trois enregistrements : b1, b2, b3. L’apparieur juge 5 paires identiques : a1–a2, a2–a3, b1–b2, b2–b3, a3–b1. Seule la dernière est erronée. Les composantes connexes réunissent les six enregistrements dans un seul groupe.

Six enregistrements, a1 à a3 pour Ann et b1 à b3 pour Ben, dans un seul groupe. Les liens a1–a2, a2–a3, b1–b2 et b2–b3 sont corrects; a3–b1 est erroné. Mesures par paire : 4 des 5 paires jugées identiques sont correctes, précision 0,8, rappel 0,667. Paires intragroupes : 15 paires dans le groupe, 6 correctes, précision 0,4, rappel 1. B-cubed : précision de 3 sur 6 pour chaque enregistrement, moyenne 0,5; rappel de 3 sur 3, moyenne 1. Groupes exacts : 0 sur 1 correct.
Trois façons de mesurer un groupe de six enregistrements de deux personnes, réunis par un lien erroné (exemple construit).
Description textuelle du diagramme

L’image montre six petits cercles dans un encadré en pointillé : a1, a2 et a3 pour Ann; b1, b2 et b3 pour Ben. Des lignes pleines relient a1 à a2, a2 à a3, b1 à b2 et b2 à b3. Une ligne rouge en pointillé relie a3 à b1 : le seul lien erroné. Quatre encadrés donnent les mesures. Mesures par paire : 4 des 5 paires jugées identiques sont correctes, donc la précision est 0,8. L’apparieur trouve 4 des 6 vraies paires, donc le rappel est 0,667. Paires intragroupes : le groupe contient 6 × 5 ÷ 2 = 15 paires. Parmi elles, 6 sont correctes, donc la précision est 0,4. Les 6 vraies paires sont toutes à l’intérieur, donc le rappel est 1. B-cubed : pour chaque enregistrement, 3 des 6 enregistrements de son groupe représentent la même personne. La précision est donc 0,5. Les 3 enregistrements de sa personne sont dans son groupe, donc le rappel est 1,0. Groupes exacts : le groupe ne correspond pas exactement à une personne, donc 0 sur 1 est correct.

Les paires de l’apparieur semblent bonnes : précision 0,8. Mais le groupe est à moitié erroné. Parmi ses 15 paires, 9 sont erronées. L’apparieur n’a pris une décision que sur l’une d’elles, a3–b1. Les composantes connexes ont ajouté les 8 autres : a1–b1, a1–b2, a2–b3 et le reste. Aucune mesure par paire de l’apparieur ne peut les voir.

Chaque mesure compare les groupes aux vraies entités. Chacune a une précision (« quelle part de ce que nous avons réuni est correcte? »). Chacune a aussi un rappel (« quelle part de ce qui devait être réuni l’a été? »).

Prenez chaque paire d’enregistrements dans un groupe, même les paires que l’apparieur n’a jamais comparées. Comptez-les comme « jugées identiques ». Puis, calculez la précision et le rappel par paire comme avant.

Dans le petit exemple : 15 paires, 6 correctes, donc la précision est 0,4. Les 6 vraies paires sont toutes à l’intérieur, donc le rappel est 1.

Cette mesure se compare facilement aux mesures par paire de l’apparieur. Mais elle compte les grands groupes de nombreuses fois. Un groupe de n enregistrements contient n × (n − 1) ÷ 2 paires. Un groupe de 40 enregistrements contient 780 paires.

Un groupe est correct seulement s’il contient exactement les enregistrements d’une vraie entité : pas un de plus ou de moins.

  • Précision par groupe exact : parmi les groupes créés, la part qui est exactement correcte.
  • Rappel par groupe exact : parmi les vraies entités, la part que nous avons trouvée exactement.

Dans le petit exemple : 0 groupe sur 1 est correct. Cette mesure est stricte et facile à expliquer : « 88 % de nos clients sont exactement corrects ». Mais elle n’accorde aucun crédit à un groupe presque correct.

B-cubed pose deux questions à chaque enregistrement, puis fait la moyenne sur tous les enregistrements :

  • précision d’un enregistrement : la part de son groupe qui représente la même entité que lui;
  • rappel d’un enregistrement : la part des enregistrements de son entité qui se trouvent dans son groupe.

Dans le petit exemple, chaque enregistrement a une précision de 3 ÷ 6 = 0,5 et un rappel de 3 ÷ 3 = 1,0. La précision B-cubed est donc 0,5 et le rappel est 1. Amit Bagga et Breck Baldwin ont proposé cette mesure en 1998.

B-cubed compte chaque enregistrement une fois. Un grand groupe ne compte pas plus que ses enregistrements. C’est donc le résumé le plus équitable de « à quel point nos clients sont-ils corrects? ». Mais, pour la même raison, il peut cacher un groupe géant parmi des milliers de bons groupes.

À partir de ce module, match eval affiche les trois mesures pour les deux regroupements. Exécutez-le pour LightGBM. Vous avez fait l’annulation de la dernière leçon. Le regroupement sûr garde donc aussi S-009232 à part :

Fenêtre de terminal
match eval --run lgbm
lgbm on the test split: pair precision 0.918, recall 0.886, F1 0.902
5,375 pairs called the same: 4,932 right, 443 wrong; 632 of 5,564 true pairs missed
entities after clustering (all records): 38,514 (true: 37,500)
connected components: 38,514 entities, largest 9 records, 75 clusters over 5 records
B-cubed precision 0.979, recall 0.967; cluster pairs precision 0.838, recall 0.917; exact clusters precision 0.873, recall 0.913
safe clustering: 38,909 entities, largest 6 records, 11 clusters over 5 records
B-cubed precision 0.987, recall 0.965; cluster pairs precision 0.911, recall 0.909; exact clusters precision 0.880, recall 0.923

Le regroupement sûr compte ici 38 909 entités, comme match golden après l’annulation. Les deux paires interdites (cannot-link) d’Ivana passent en premier. Le regroupement sûr retire les liens entre S-009232 et les deux autres enregistrements avant toute autre vérification. Le lien correct entre G-000001 et L-010072 reste. Les deux autres enregistrements de Valérie restent donc une seule entité. Les mesures du jeu de test ne changent pas : Valérie est dans les données d’entraînement.

Les mêmes nombres dans un tableau (jeu de test) :

Mesure Paires de l’apparieur Composantes connexes Regroupement sûr
précision (paires) 0,918 0,838 0,911
rappel (paires) 0,886 0,917 0,909
précision B-cubed 0,979 0,987
rappel B-cubed 0,967 0,965
précision par groupe exact 0,873 0,88
rappel par groupe exact 0,913 0,923

Lisez-le de gauche à droite :

  • Le regroupement ajoute des paires erronées. Les paires de l’apparieur ont une précision de 0,918. Les paires dans les composantes connexes ont une précision de 0,838. Le rappel monte de 0,886 à 0,917. La transitivité trouve aussi de vraies paires que l’apparieur a manquées.
  • Le regroupement sûr retire la plupart des erreurs ajoutées. La précision par paire intragroupe monte à 0,911, et le rappel baisse un peu, à 0,909.
  • Environ neuf clients sur dix sont exactement corrects. La précision par groupe exact est 0,88 avec le regroupement sûr.
  • Paires de l'apparieur
  • Paires intragroupes, composantes connexes
  • Paires intragroupes, regroupement sûr
Précision par paire des paires de trois apparieurs et des paires dans leurs groupes (composantes connexes et regroupement sûr). Résultats sur le jeu de test des enregistrements synthétiques. Mesurés.
Description textuelle du graphique

Un graphique à points avec trois lignes pour chacun des trois apparieurs. rules : paires de l'apparieur 0,723; paires dans les composantes connexes 0,524; paires dans les groupes sécurisés 0,832. splink : paires de l'apparieur 0,817; paires dans les composantes connexes 0,685; paires dans les groupes sécurisés 0,831. lgbm : paires de l'apparieur 0,918; paires dans les composantes connexes 0,838; paires dans les groupes sécurisés 0,911. Pour chaque apparieur, les composantes connexes baissent la précision, et le regroupement sûr la remonte.

Les règles perdent le plus : de 0,723 à 0,524. Elles créent de nombreux liens, donc de longues chaînes. LightGBM perd le moins, car il crée moins de liens erronés.

Quels groupes contiennent les paires erronées? Nous avons compté les paires dans les composantes connexes de LightGBM qui incluent un enregistrement du jeu de test. Nous les avons réparties selon la taille du groupe.

Paires erronées dans les composantes connexes de LightGBM, selon le nombre d'enregistrements du groupe. Paires incluant un enregistrement du jeu de test des enregistrements synthétiques. Résultats mesurés. Aucun vrai client n'a plus de 5 enregistrements.
Description textuelle du graphique

Un graphique à colonnes des paires erronées selon la taille du groupe. Groupes de 2 enregistrements : 42 paires erronées sur 2 460. Groupes de 3 enregistrements : 160 paires erronées sur 2 190. Groupes de 4 enregistrements : 286 paires erronées sur 743. Groupes de 5 enregistrements : 266 paires erronées sur 397. Groupes de 6 enregistrements : 134 paires erronées sur 177. Groupes de 7 enregistrements ou plus : 97 paires erronées sur 118. Les groupes de plus de 5 enregistrements sont mis en évidence : ils contiennent 23,5 % de toutes les paires erronées.

Dans toutes les partitions, seulement 75 groupes ont plus de 5 enregistrements. Ensemble, ils contiennent 493 des 60 108 enregistrements. Pourtant, sur les paires de test, ils contiennent 23,5 % des paires erronées dans les groupes. Le nombre de paires d’un groupe croît avec le carré de sa taille. Quelques grands groupes contiennent donc de nombreuses paires erronées.

Les mesures par paire de l’apparieur n’ont jamais montré cela. Elles comptent seulement les 5 375 paires de test que LightGBM a jugées identiques. Le regroupement a ajouté 710 autres paires, dont 542 sont erronées.

Regardez maintenant la règle « même téléphone », avec son groupe géant de 40 personnes :

Règle « même téléphone » Composantes connexes Regroupement sûr
précision B-cubed 0,941 0,969
précision par paire intragroupe 0,539 0,745
plus grand groupe 40 6

La précision B-cubed est 0,941 : elle semble bonne. Le groupe géant n’a que 40 enregistrements parmi 60 108. Il change donc à peine une moyenne sur les enregistrements. Mais, pour Larkfield, c’est un faux « client » qui reçoit les commandes, les adresses et les points de fidélité de 40 inconnus.

Chaque mesure cache donc quelque chose. Les mesures par paire cachent les paires que le regroupement ajoute. B-cubed cache quelques groupes géants. Les groupes exacts cachent les groupes presque corrects. Présentez plusieurs mesures, et toujours la taille des plus grands groupes.

Le tableau comparatif du cours reçoit de nouvelles colonnes. Pour chaque exécution : la précision et le rappel par paire de l’apparieur, puis les entités avec le regroupement sûr.

ExécutionPrécision par paireRappel par paireEntités (sécurisé)Plus grandPrécision B-cubedRappel B-cubedGroupes exacts, précision
exact-norm0,8190,43848 60140,9950,7910,545
rules0,7230,8739 87760,9740,9370,798
rule-phone0,5390,49447 09660,9690,80,533
weighted0,7510,76640 22860,9620,9180,737
splink0,8170,77940 51660,9750,9240,767
lgbm0,9180,88638 90860,9870,9650,88

Le vrai nombre est 37 500 entités. LightGBM avec le regroupement sûr offre la meilleure combinaison de précision et de rappel B-cubed. L’ordre des exécutions est presque le même qu’avec le score F1 par paire, mais les écarts diffèrent. Le module 8 exécute la meilleure chaque jour.

  • Précision et rappel par paire intragroupe : pour comparer aux mesures par paire de l’apparieur et voir ce que le regroupement ajoute ou retire.
  • B-cubed : le résumé principal des entités. Chaque enregistrement compte une fois.
  • Groupes exacts : un nombre que TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. peut présenter en une phrase : « neuf clients sur dix sont exactement corrects ».
  • Les plus grands groupes et les groupes au-dessus d’une limite de taille : toujours. Ils révèlent les erreurs que les moyennes cachent.
  • Ce que cela coûte : il faut connaître les vraies entités des enregistrements mesurés. Ici, nos données synthétiques les fournissent. En pratique, étiquetez un échantillon de groupes à la main. Un réviseur peut juger un groupe entier d’un seul regard.

Erreur courante

Le nombre de clients est presque correct, donc l'appariement est correct

Symptôme : les quatre règles du module 2 créent 36 756 entités. Le vrai nombre est 37 500. TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. dit : « Seulement 2 % d’écart. Les règles sont presque parfaites. »

Cause : un décompte additionne les fusions erronées et les scissions erronées, qui s’annulent. Les règles fusionnent des familles entières (trop peu d’entités). Elles manquent aussi les clients qui ont changé de courriel (trop d’entités). Le total est proche, mais de nombreux groupes sont erronés. Avec les composantes connexes, la précision B-cubed des règles est 0,917. Seulement 0,786 de leurs groupes correspondent exactement à un client.

Correction : ne jugez jamais les entités par le décompte seul. Mesurez la précision et le rappel B-cubed et les groupes exacts, puis examinez les plus grands groupes. Présentez le décompte avec ces mesures.

Conséquence pour le travail en IA : un total conforme à la réalité peut cacher des erreurs dans les deux sens. Un classificateur peut prédire le bon nombre de positifs, dont beaucoup sont erronés. Les métriques de classification dans Apprentissage automatique : du problème à un modèle fiable montre pourquoi la précision et le rappel sont nécessaires ensemble.

Voici l’exercice pratique du module 7. Utilisez le projet ou les carnets de ce module.

  1. Regroupez les paires d’une exécution avec les composantes connexes, par exemple match cluster --run splink. Notez le nombre d’entités et les trois plus grands groupes.
  2. Examinez chacun des trois plus grands groupes. Utilisez match show sur ses enregistrements, ou le carnet. Chacun représente-t-il une seule personne? Sinon, pourquoi les enregistrements ont-ils été réunis : une valeur de remplacement, une famille, un lien faible?
  3. Corrigez-les : exécutez le regroupement sûr, ou utilisez match undo sur un enregistrement erroné.
  4. Créez les fiches de référence (golden records) avec match golden --run <your run>.
  5. Montrez le nombre d’entités avant et après votre correction, avec la précision et le rappel B-cubed de match eval --run <your run>.

Vérification de fin : montrez le nombre d’entités avant et après la correction, avec la précision et le rappel B-cubed (groupes). Ajoutez une phrase sur chacun des trois plus grands groupes.

Vérifiez votre compréhension

Quatre enregistrements : r1 et r2 représentent un client, r3 et r4 un autre. Les groupes sont {r1, r2, r3} et {r4}. Calculez la précision et le rappel B-cubed.

Afficher la réponse

Précision par enregistrement : r1 2 ÷ 3; r2 2 ÷ 3; r3 1 ÷ 3; r4 1 ÷ 1. La moyenne est (0,667 + 0,667 + 0,333 + 1) ÷ 4 = 0,667. Rappel par enregistrement : r1 2 ÷ 2; r2 2 ÷ 2; r3 1 ÷ 2; r4 1 ÷ 2. La moyenne est (1 + 1 + 0,5 + 0,5) ÷ 4 = 0,75. Un enregistrement dans le mauvais groupe fait baisser les deux.

Vérifiez votre compréhension

Les paires de LightGBM ont une précision de 0,918, mais les paires dans ses composantes connexes ont une précision de 0,838. D'où viennent les paires erronées supplémentaires?

Afficher la réponse

De la transitivité. Quand le modèle relie A–B et B–C, le groupe contient aussi A–C. Le modèle n’a jamais jugé cette paire identique. Si un lien est erroné, chaque enregistrement d’un côté est apparié à chaque enregistrement de l’autre côté. Le regroupement a ajouté 710 paires incluant un enregistrement de test, dont 542 sont erronées. Le regroupement sûr coupe les liens faibles et ramène la précision à 0,911.

Vérifiez votre compréhension

La règle « même téléphone » a une précision B-cubed de 0,941 avec les composantes connexes, et un groupe de 40 personnes différentes. Pourquoi B-cubed ne montre-t-il pas le groupe géant?

Afficher la réponse

B-cubed fait la moyenne sur les enregistrements, et chaque enregistrement compte une fois. Le groupe géant a 40 enregistrements parmi plus de 12 000 enregistrements de test. Même avec une précision de 1 ÷ 40 chacun, ils changent très peu la moyenne. La précision par paire intragroupe compte ses 780 paires erronées. La taille du plus grand groupe le révèle immédiatement. C’est pourquoi vous présentez plusieurs mesures et les plus grands groupes.

Récapitulatif

  • Les mesures par paire évaluent les décisions de l’apparieur. Le regroupement ajoute des paires sur lesquelles l’apparieur n’a jamais pris de décision.
  • Les mesures par paire intragroupe comptent chaque paire dans un groupe. Les mesures par groupe exact comptent les groupes qui correspondent exactement à une entité. B-cubed évalue chaque enregistrement et fait la moyenne.
  • Pour LightGBM, le regroupement baisse la précision par paire de 0,918 à 0,838. Le regroupement sûr la ramène à 0,911, avec une précision B-cubed de 0,987 et un rappel de 0,965.
  • Les 75 groupes de plus de 5 enregistrements contiennent 23,5 % des paires erronées dans les groupes de LightGBM. B-cubed peut aussi cacher un groupe géant.
  • Présentez plusieurs mesures, le décompte et les plus grands groupes. Un décompte proche de la réalité peut cacher des erreurs dans les deux sens.

Le module 7 est terminé : Larkfield a 38 908 entités avec des fiches de référence, des groupes sécurisés et un historique. Ensuite, dans le module 8, de nouveaux enregistrements arrivent chaque jour, et les entités doivent rester stables.

Leçon suivante : De nouveaux enregistrements chaque jour