Fusions erronées et correspondances manquées
- Leçon 2
- 30 min
- Module 1 : Le problème de l'appariement
Où nous en sommes
Dans la dernière leçon, nous avons vu qu'un client de Larkfield peut figurer dans deux ou trois listes. Une jointure sur le courriel compte encore beaucoup trop de clients. Un apparieur qui joint des enregistrements peut se tromper de deux façons. Dans cette leçon, nous nommons ces erreurs : les fusions erronées et les correspondances manquées. Nous voyons aussi qui paie pour chacune. Retournons d'abord à la clinique.
Leçon 2 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Fusions erronées et correspondances manquées
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Nommez les deux façons dont un apparieur peut se tromper, et attribuez un coût à chacune. Vous pourrez ensuite dire quelle erreur l’entreprise peut accepter davantage, pour chaque utilisation de la liste de clients.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les trois listes de Larkfield, les entités, les enregistrements et les vraies paires, présentés dans Trois listes, un seul client.
- Il est utile de connaître la précision et le rappel, présentés dans Les métriques de classification du cours Apprentissage automatique : du problème à un modèle fiable. Cette leçon les explique de nouveau pour les paires d’enregistrements.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code. Vous calculerez vous-même les mêmes mesures dans Découvrir les enregistrements.
Deux erreurs à la clinique
Section intitulée « Deux erreurs à la clinique »Retournez à la clinique de la dernière leçon. La commis essaie maintenant de mettre de l’ordre dans les dossiers. Elle peut faire deux types d’erreurs.
Elle peut joindre deux dossiers qui appartiennent à deux personnes différentes. Deux frères, Samuel et Nathan, habitent à la même adresse et partagent un téléphone. Leurs dossiers deviennent un seul dossier. Le dossier de Samuel indique maintenant l’allergie et l’analyse sanguine de Nathan. Un médecin le lit et donne le mauvais traitement à Samuel. Quand Samuel demande une copie de son dossier, il voit les données médicales privées de son frère.
Elle peut garder séparés deux dossiers d’une même personne. Le patient reçoit alors deux lettres de rappel, et un examen peut être fait deux fois. Cela coûte du temps et de l’argent, et irrite le patient. Mais personne ne voit les données privées d’une autre personne. Et personne ne reçoit le mauvais traitement à cause de cette erreur.
Les deux sont des erreurs. Mais elles ne sont pas aussi graves. La première fait du tort aux gens et brise la confiance. La seconde gaspille de l’argent. Une commis prudente joint deux dossiers seulement quand elle est assez sûre. C’est toute l’idée de cette leçon.
Deux façons de se tromper
Section intitulée « Deux façons de se tromper »Un apparieur examine une paire d’enregistrements et décide : même entité ou entités différentes. La vérité est aussi l’une ou l’autre. Chaque décision tombe donc dans l’une de quatre cases :
| La vérité : même entité | La vérité : entités différentes | |
|---|---|---|
| L’apparieur dit : même entité | une fusion correcte | une fusion erronée |
| L’apparieur dit : entités différentes | une correspondance manquée | une séparation correcte |
- Une fusion erronée joint deux enregistrements qui appartiennent à des entités différentes. Deux personnes deviennent un seul client.
- Une correspondance manquée garde séparés deux enregistrements de la même entité. Une personne reste deux clients.
Voici les deux erreurs dans les vrais enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. L’apparieur est la jointure sur le courriel de la dernière leçon. Un courriel identique, exactement tel que saisi, signifie le même client.
Description textuelle du diagramme
L’image comporte deux panneaux. À gauche, deux enregistrements de jardinerie : G-001688 est GREEN, SAMUEL, et G-002894 est GREEN, NATHAN. Ils ont le même courriel, thegreens@example.com, le même téléphone et la même adresse sur Kestrel Avenue. Seul l’enregistrement de Nathan contient une date de naissance. La jointure sur le courriel dit « même entité », donc ils deviennent un seul client. La vérité, dans un encadré en pointillés : ce sont deux frères qui partagent un courriel familial et une ligne fixe. À droite, un enregistrement de fidélité, L-000482, indique « Thibault Helene », avec le courriel thibault.helene93@example.net. Un enregistrement du magasin, S-028040, indique « Hélène Thibault », avec Thibault.Helene93@Example.net. Seules les majuscules diffèrent entre les courriels, donc la jointure sur le courriel dit « entités différentes ». En réalité, c’est une seule femme. Son prénom et son nom sont inversés dans la liste de fidélité. Les deux codes postaux diffèrent parce qu’elle a déménagé.
Les frères sont un problème d’exercice que nous avons créé exprès : les données du cours contiennent 80 paires de frères semblables. Hélène est une cliente ordinaire des données, avec des erreurs ordinaires.
Un petit exemple où chaque paire est visible
Section intitulée « Un petit exemple où chaque paire est visible »Prenez seulement ces quatre enregistrements : Samuel (G-001688), Nathan (G-002894), Hélène dans la liste de fidélité (L-000482) et Hélène au magasin (S-028040). Quatre enregistrements forment six paires. La jointure sur le courriel décide pour chaque paire :
| Paire | Même courriel tel que saisi? | L’apparieur dit | La vérité | Résultat |
|---|---|---|---|---|
| Samuel – Nathan | oui | même entité | entités différentes | fusion erronée |
| Hélène (L) – Hélène (S) | non, majuscules différentes | entités différentes | même entité | correspondance manquée |
| Samuel – Hélène (L) | non | entités différentes | entités différentes | séparation correcte |
| Samuel – Hélène (S) | non | entités différentes | entités différentes | séparation correcte |
| Nathan – Hélène (L) | non | entités différentes | entités différentes | séparation correcte |
| Nathan – Hélène (S) | non | entités différentes | entités différentes | séparation correcte |
L’apparieur a donc produit une fusion erronée, une correspondance manquée, quatre séparations correctes et aucune fusion correcte. Quatre décisions sur six sont correctes. Cela semble acceptable, mais il n’a rien fait d’utile. Remarquez d’où viennent les bonnes réponses : la plupart des paires d’enregistrements représentent des personnes différentes. Il est donc facile d’avoir raison en répondant « entités différentes ».
Deux mesures : précision et rappel
Section intitulée « Deux mesures : précision et rappel »Vous connaissez deux mesures du cours d’apprentissage automatique. Ici, elles comptent des paires d’enregistrements :
- La précision par paire est la proportion des paires déclarées « même entité » qui représentent vraiment la même entité. Elle répond à la question : « Quand l’apparieur fusionne, à quelle fréquence a-t-il raison? » Les fusions erronées la diminuent.
- Le rappel par paire est la proportion des vraies paires que l’apparieur trouve. Il répond à la question : « Parmi toutes les paires à fusionner, combien a-t-il fusionnées? » Les correspondances manquées le diminuent.
Dans le petit exemple, l’apparieur a déclaré une paire « même entité », et il avait tort : précision de 0 sur 1. Il y a une vraie paire, et l’apparieur l’a manquée : rappel de 0 sur 1.
Appliquons maintenant la même jointure sur le courriel au jeu de test du cours. Ce sont les 12 041 enregistrements que le cours réserve aux mesures. Ils contiennent 5 564 vraies paires. L’apparieur déclare 2 300 paires « même entité » :
- Parmi elles, 1 879 sont correctes, et 421 sont des fusions erronées. Précision = 1 879 / 2 300 = 0,817.
- Il trouve 1 879 des 5 564 vraies paires, donc il produit 3 685 correspondances manquées. Rappel = 1 879 / 5 564 = 0,338.
Environ une fusion sur cinq est donc erronée, et deux vraies paires sur trois sont manquées. La précision et le rappel s’opposent. Un apparieur strict fusionne peu : peu de fusions erronées, beaucoup de correspondances manquées. Un apparieur permissif fusionne beaucoup : c’est l’inverse. Mesurer un apparieur, dans le module 2, construit ces mesures dans le projet.
Qui paie pour chaque erreur
Section intitulée « Qui paie pour chaque erreur »La précision et le rappel comptent les erreurs. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut savoir ce qu’elles coûtent. Les deux erreurs touchent des personnes différentes.
Une fusion erronée : les données d’une autre personne
Section intitulée « Une fusion erronée : les données d’une autre personne »Quand Samuel et Nathan deviennent un seul client, Larkfield affiche une page de compte avec les commandes et adresses des deux frères. Samuel se connecte et voit ce que son frère a acheté et où l’achat a été livré. Larkfield peut envoyer le colis de Nathan à l’adresse de Samuel. Les courriels de chaque frère vont aussi à l’autre.
C’est un problème de confidentialité, pas seulement un désagrément. Une personne voit les données personnelles d’une autre. L’équipe de soutien doit trouver l’erreur, scinder le compte, présenter des excuses et accorder un crédit. L’équipe des données peut devoir signaler l’incident. Le cours utilise cette hypothèse : une fusion erronée coûte 150 $.
Une correspondance manquée : un peu de gaspillage chaque année
Section intitulée « Une correspondance manquée : un peu de gaspillage chaque année »Quand Hélène reste deux clients, elle reçoit chaque courriel de marketing deux fois, ainsi que deux catalogues. Ses points de fidélité sont répartis entre deux comptes. Le nombre de clients de Larkfield est un peu trop élevé. Cela coûte un peu, et ce coût revient chaque année. L’hypothèse du cours : une correspondance manquée coûte 3 $ par année.
Les deux montants sont des hypothèses du cours, inscrites dans le fichier de données costs.json, et non des prix mesurés. Votre entreprise a ses propres chiffres. Mais le rapport compte : ici, une fusion erronée coûte autant que 50 années d’une correspondance manquée.
Le coût de quatre apparieurs
Section intitulée « Le coût de quatre apparieurs »TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. calcule le coût de quatre apparieurs simples, mesurés sur le jeu de test, et celui de ne rien faire. Trois utilisent des règles qui comparent les valeurs après leur nettoyage, par exemple sans majuscules ni accents. Vous les construirez dans le module 2; ici, seuls leurs résultats comptent :
| Apparieur | Ce qu’il déclare « même entité » | Précision | Rappel | Fusions erronées | Correspondances manquées | Coût la première année |
|---|---|---|---|---|---|---|
| Aucun | aucune paire | – | 0 | 0 | 5 564 | 16 692 $ |
| Strict | même nom et même date de naissance | 1,000 | 0,170 | 0 | 4 618 | 13 854 $ |
| Intermédiaire | même nom et même code postal | 0,921 | 0,621 | 296 | 2 106 | 50 718 $ |
| Courriel | même courriel tel que saisi | 0,817 | 0,338 | 421 | 3 685 | 74 205 $ |
| Permissif | quatre règles : même courriel, ou même téléphone et nom de famille, ou même nom et date de naissance, ou même nom et code postal | 0,723 | 0,870 | 1 853 | 724 | 280 122 $ |
Le coût est : fusions erronées × 150 $ + correspondances manquées × 3 $. Pour la jointure sur le courriel : 421 × 150 = 63 150, et 3 685 × 3 = 11 055, donc 74 205 $.
Description textuelle du graphique
Un graphique à cinq colonnes, en milliers de dollars, sur un axe de 0 à 300. Ne rien faire coûte 16,7 milliers de dollars : seulement des correspondances manquées. La règle stricte, même nom et même date de naissance, coûte 13,9 milliers. La règle intermédiaire, même nom et même code postal, coûte 50,7 milliers. La jointure sur le courriel coûte 74,2 milliers. L’apparieur permissif, qui combine quatre règles, coûte 280,1 milliers de dollars. C’est plus de trois fois le coût de la jointure sur le courriel, même s’il trouve le plus de vraies paires.
Lisez le tableau à partir du bas. L’apparieur permissif a le meilleur rappel : il trouve 87 % des vraies paires. Mais ses 1 853 fusions erronées coûtent 277 950 $, soit presque tout son coût. La règle stricte trouve seulement 17 % des vraies paires, et c’est la moins chère. Elle n’a jamais fusionné deux personnes différentes ici.
TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. est surpris : « Donc le meilleur apparieur, c’est celui qui trouve le moins de paires? » Priya répond : « Avec ces coûts, une fusion erronée coûte cher, donc la précision compte le plus. Mais la règle stricte laisse encore 4 618 vraies paires séparées. Nous voulons un apparieur avec la précision de la règle stricte et un rappel beaucoup plus élevé. C’est ce que le reste du cours construit. »
Pourquoi la plupart des équipes acceptent davantage de correspondances manquées
Section intitulée « Pourquoi la plupart des équipes acceptent davantage de correspondances manquées »Le tableau est un exemple, mais cette tendance est courante. La plupart des équipes acceptent davantage de correspondances manquées que de fusions erronées, pour quatre raisons :
- Une fusion erronée fait du tort à une personne. Quelqu’un voit les données d’une autre personne ou reçoit son colis. Une correspondance manquée gaspille seulement un peu d’argent.
- Une fusion erronée se propage. Une fois deux enregistrements fusionnés, d’autres systèmes utilisent l’enregistrement fusionné. Des courriels sont envoyés, des commandes sont expédiées et des rapports le comptent. Il faut corriger chacun de ces effets.
- Une correspondance manquée peut attendre. Une exécution ultérieure, avec un meilleur apparieur, peut encore trouver la paire. Rien n’a été brisé entre-temps.
- La loi protège les données personnelles. Montrer les données d’une personne à une autre peut constituer un incident à signaler. Le cours Sécurité de l’IA, vie privée et conception responsable aborde ce sujet dans Impact et coût des erreurs.
Les équipes d’appariement ajoutent donc souvent une troisième réponse : incertain. L’apparieur fusionne seulement les paires dont il est très sûr. Il garde séparées les paires dont il est sûr qu’elles représentent des entités différentes. Une personne vérifie les paires entre les deux. Chez Larkfield, cette personne est Ivana, la responsable des données clients. Le cours suppose qu’elle peut vérifier 300 paires par jour, donc les paires incertaines doivent rester peu nombreuses. Les modules 5 et 8 construisent cette étape de révision.
L’erreur la plus grave dépend de l’utilisation
Section intitulée « L’erreur la plus grave dépend de l’utilisation »La même liste de clients sert à plusieurs équipes, qui ne donnent pas le même poids aux erreurs :
| Utilisation | Une fusion erronée signifie | Une correspondance manquée signifie | Généralement plus grave |
|---|---|---|---|
| Courriels de marketing | une personne reçoit le nom d’une autre dans un courriel, ou un frère ou une sœur ne reçoit plus de courriels | le même courriel deux fois, deux catalogues | la fusion erronée, mais les deux sont peu graves |
| Vérifications de fraude | un client honnête est lié à un réseau de fraude et bloqué | un réseau de comptes reste caché | la correspondance manquée, si une personne vérifie chaque alerte avant d’agir |
| Demandes légales, par exemple « supprimez mes données » ou « envoyez-moi mes données » | vous envoyez ou supprimez les données d’une autre personne | vous conservez des données que la personne vous a demandé de supprimer | la fusion erronée; mais une correspondance manquée empêche aussi de respecter la demande |
Pour la fraude, l’équipe veut un rappel élevé : un lien manqué cache le réseau. Cela est sûr seulement parce qu’une personne vérifie chaque alerte avant de bloquer un compte. Pour les demandes légales, les deux erreurs peuvent enfreindre les règles de confidentialité. L’équipe utilise donc son apparieur le plus strict et consulte une personne pour chaque paire incertaine. Il n’y a pas un seul meilleur apparieur. Il y a un meilleur apparieur pour une utilisation et ses coûts.
Erreur courante
Juger un apparieur selon son exactitude
Symptôme : Tomás présente un nouvel apparieur : « Il a raison pour 99,998 % de toutes les paires. » Puis Omar découvre qu’il n’a fusionné personne.
Cause : presque chaque paire d’enregistrements représente deux personnes différentes. Les données du cours contiennent 1 806 455 778 paires possibles et seulement 27 677 vraies paires. Un apparieur qui répond « entités différentes » pour chaque paire a raison pour 99,998 % d’entre elles, et il est inutile. L’exactitude, la proportion de décisions correctes, cache les deux erreurs derrière les paires faciles « entités différentes ». C’est le déséquilibre des classes que vous connaissez du cours d’apprentissage automatique, sous une forme extrême.
Solution : ne présentez jamais l’exactitude pour l’appariement. Présentez la précision et le rappel, avec les nombres correspondants : paires déclarées « même entité », fusions erronées et correspondances manquées. Multipliez ensuite les deux erreurs par leurs coûts pour l’utilisation.
Conséquence pour le travail en IA : une mesure doit compter les erreurs qui comptent. Quand les vraies paires sont rares, l’exactitude récompense un apparieur qui ne fait rien.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pour chaque cas, indiquez s'il s'agit d'une fusion erronée, d'une correspondance manquée ou d'une bonne décision. (a) Deux enregistrements de Valérie Tremblay sont fusionnés. (b) Marc Fortin et Marie Fortin sont fusionnés. (c) Les deux enregistrements de Hélène Thibault restent séparés.
Afficher la réponse
(a) Une bonne fusion : une seule personne, dont les enregistrements sont fusionnés. (b) Une fusion erronée : deux personnes différentes, dont les enregistrements sont fusionnés. La précision baisse et chacune peut voir les données de l’autre. (c) Une correspondance manquée : une seule personne, dont les enregistrements restent séparés. Le rappel baisse et elle reçoit tout en double.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pour les courriels de marketing, les vérifications de fraude et une demande de suppression des données d'un client, quelle erreur est pire? Pourquoi?
Afficher la réponse
- Courriels de marketing : généralement la fusion erronée, car une personne peut recevoir le nom d’une autre ou ne plus recevoir de courriels. Une correspondance manquée envoie seulement le même courriel deux fois. Les deux erreurs sont peu graves.
- Vérifications de fraude : la correspondance manquée, car un réseau de comptes liés reste caché. Une fusion erronée est acceptable uniquement parce qu’une personne vérifie chaque alerte avant de bloquer un compte.
- Demande de suppression : la fusion erronée, car vous supprimeriez les données d’une autre personne ou les enverriez à la mauvaise personne. Mais une correspondance manquée empêche aussi de satisfaire la demande, car certaines données de la personne restent. Utilisez donc l’apparieur le plus strict et demandez l’avis d’une personne pour chaque paire incertaine.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un apparieur déclare 1 000 paires « même entité » dans le jeu de test : 900 sont correctes. Le jeu de test contient 5 564 vraies paires. Calculez sa précision, son rappel et son coût pour la première année avec les coûts du cours. Est-il meilleur que la jointure sur le courriel?
Afficher la réponse
Précision = 900 / 1 000 = 0,900. Rappel = 900 / 5 564 = 0,162. Il produit 100 fusions erronées et 5 564 − 900 = 4 664 correspondances manquées. Coût = 100 × 150 + 4 664 × 3 = 15 000 + 13 992 = 28 992 dollars. La jointure sur le courriel coûte 74 205 dollars. Cet apparieur coûte donc moins cher avec ces coûts, même si son rappel est plus faible. Il reste moins bon que la règle stricte (13 854 dollars), qui ne produit aucune fusion erronée. Avec d’autres coûts, l’ordre pourrait changer.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une fusion erronée fusionne deux entités différentes. Une correspondance manquée garde séparés les enregistrements d’une même entité. La précision par paire baisse avec les fusions erronées; le rappel par paire baisse avec les correspondances manquées.
- La jointure sur le courriel dans le jeu de test a une précision de 0,817 : 421 de ses 2 300 fusions sont erronées. Son rappel est de 0,338 : elle manque 3 685 des 5 564 vraies paires.
- Les coûts supposés du cours : 150 dollars pour une fusion erronée et 3 dollars par année pour une correspondance manquée. Avec ces coûts, l’apparieur permissif coûte 280 122 dollars la première année, et la règle stricte coûte 13 854 dollars.
- La plupart des équipes acceptent davantage de correspondances manquées. Une fusion erronée nuit à une personne, se propage à d’autres systèmes et peut causer un incident de confidentialité. Les paires incertaines sont transférées à une personne.
- L’erreur la plus grave dépend de l’usage : le marketing, la fraude et les demandes légales leur accordent des poids différents. Ne jugez jamais un apparieur selon son exactitude.
Vous pouvez maintenant nommer les deux erreurs, les mesurer et calculer leur coût. Mais jusqu’ici, vous avez seulement lu les résultats d’exécutions faites par quelqu’un d’autre. Ensuite, vous configurerez le projet, ouvrirez vous-même les trois listes et exécuterez la jointure sur le courriel sur votre ordinateur.
Leçon suivante : Découvrir les enregistrements