Aller au contenu
English

Fusions erronées et correspondances manquées

  • Leçon 2
  • 30 min
  • Module 1 : Le problème de l'appariement

Où nous en sommes

Dans la dernière leçon, nous avons vu qu'un client de Larkfield peut figurer dans deux ou trois listes. Une jointure sur le courriel compte encore beaucoup trop de clients. Un apparieur qui joint des enregistrements peut se tromper de deux façons. Dans cette leçon, nous nommons ces erreurs : les fusions erronées et les correspondances manquées. Nous voyons aussi qui paie pour chacune. Retournons d'abord à la clinique.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 2 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Fusions erronées et correspondances manquées

Ce que vous saurez faire

Nommez les deux façons dont un apparieur peut se tromper, et attribuez un coût à chacune. Vous pourrez ensuite dire quelle erreur l’entreprise peut accepter davantage, pour chaque utilisation de la liste de clients.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code. Vous calculerez vous-même les mêmes mesures dans Découvrir les enregistrements.

Retournez à la clinique de la dernière leçon. La commis essaie maintenant de mettre de l’ordre dans les dossiers. Elle peut faire deux types d’erreurs.

Elle peut joindre deux dossiers qui appartiennent à deux personnes différentes. Deux frères, Samuel et Nathan, habitent à la même adresse et partagent un téléphone. Leurs dossiers deviennent un seul dossier. Le dossier de Samuel indique maintenant l’allergie et l’analyse sanguine de Nathan. Un médecin le lit et donne le mauvais traitement à Samuel. Quand Samuel demande une copie de son dossier, il voit les données médicales privées de son frère.

Elle peut garder séparés deux dossiers d’une même personne. Le patient reçoit alors deux lettres de rappel, et un examen peut être fait deux fois. Cela coûte du temps et de l’argent, et irrite le patient. Mais personne ne voit les données privées d’une autre personne. Et personne ne reçoit le mauvais traitement à cause de cette erreur.

Les deux sont des erreurs. Mais elles ne sont pas aussi graves. La première fait du tort aux gens et brise la confiance. La seconde gaspille de l’argent. Une commis prudente joint deux dossiers seulement quand elle est assez sûre. C’est toute l’idée de cette leçon.

Un apparieur examine une paire d’enregistrements et décide : même entité ou entités différentes. La vérité est aussi l’une ou l’autre. Chaque décision tombe donc dans l’une de quatre cases :

La vérité : même entité La vérité : entités différentes
L’apparieur dit : même entité une fusion correcte une fusion erronée
L’apparieur dit : entités différentes une correspondance manquée une séparation correcte
  • Une fusion erronée joint deux enregistrements qui appartiennent à des entités différentes. Deux personnes deviennent un seul client.
  • Une correspondance manquée garde séparés deux enregistrements de la même entité. Une personne reste deux clients.

Voici les deux erreurs dans les vrais enregistrements de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. L’apparieur est la jointure sur le courriel de la dernière leçon. Un courriel identique, exactement tel que saisi, signifie le même client.

Deux panneaux. À gauche, une fusion erronée : deux personnes deviennent une seule. L'enregistrement de jardinerie G-001688, GREEN, SAMUEL, et l'enregistrement G-002894, GREEN, NATHAN, ont le même courriel thegreens@example.com, le même téléphone 9055551835 et la même adresse sur Kestrel Avenue, à Heronvale. L'apparieur compare les courriels tels que saisis et dit « même entité » : un seul client. La vérité, dans un encadré en pointillés : deux frères partagent un courriel familial et une ligne fixe. Chacun peut maintenant voir les commandes et l'adresse de l'autre. À droite, une correspondance manquée : une personne reste deux clients. L'enregistrement de fidélité L-000482, Thibault Helene, contient le courriel thibault.helene93@example.net. L'enregistrement du magasin S-028040, Hélène Thibault, contient le courriel Thibault.Helene93@Example.net. Les majuscules diffèrent entre les courriels, donc l'apparieur dit « entités différentes » : deux clients. La vérité : une seule femme, dont le prénom et le nom sont inversés dans une liste. Elle a deux codes postaux parce qu'elle a déménagé. Elle reçoit chaque courriel deux fois, et ses points sont répartis entre deux comptes.
Une fusion erronée et une correspondance manquée dans les enregistrements synthétiques, toutes deux produites par la jointure sur le courriel. Les frères sont un problème d'exercice que nous avons créé exprès.
Description textuelle du diagramme

L’image comporte deux panneaux. À gauche, deux enregistrements de jardinerie : G-001688 est GREEN, SAMUEL, et G-002894 est GREEN, NATHAN. Ils ont le même courriel, thegreens@example.com, le même téléphone et la même adresse sur Kestrel Avenue. Seul l’enregistrement de Nathan contient une date de naissance. La jointure sur le courriel dit « même entité », donc ils deviennent un seul client. La vérité, dans un encadré en pointillés : ce sont deux frères qui partagent un courriel familial et une ligne fixe. À droite, un enregistrement de fidélité, L-000482, indique « Thibault Helene », avec le courriel thibault.helene93@example.net. Un enregistrement du magasin, S-028040, indique « Hélène Thibault », avec Thibault.Helene93@Example.net. Seules les majuscules diffèrent entre les courriels, donc la jointure sur le courriel dit « entités différentes ». En réalité, c’est une seule femme. Son prénom et son nom sont inversés dans la liste de fidélité. Les deux codes postaux diffèrent parce qu’elle a déménagé.

Les frères sont un problème d’exercice que nous avons créé exprès : les données du cours contiennent 80 paires de frères semblables. Hélène est une cliente ordinaire des données, avec des erreurs ordinaires.

Prenez seulement ces quatre enregistrements : Samuel (G-001688), Nathan (G-002894), Hélène dans la liste de fidélité (L-000482) et Hélène au magasin (S-028040). Quatre enregistrements forment six paires. La jointure sur le courriel décide pour chaque paire :

Paire Même courriel tel que saisi? L’apparieur dit La vérité Résultat
Samuel – Nathan oui même entité entités différentes fusion erronée
Hélène (L) – Hélène (S) non, majuscules différentes entités différentes même entité correspondance manquée
Samuel – Hélène (L) non entités différentes entités différentes séparation correcte
Samuel – Hélène (S) non entités différentes entités différentes séparation correcte
Nathan – Hélène (L) non entités différentes entités différentes séparation correcte
Nathan – Hélène (S) non entités différentes entités différentes séparation correcte

L’apparieur a donc produit une fusion erronée, une correspondance manquée, quatre séparations correctes et aucune fusion correcte. Quatre décisions sur six sont correctes. Cela semble acceptable, mais il n’a rien fait d’utile. Remarquez d’où viennent les bonnes réponses : la plupart des paires d’enregistrements représentent des personnes différentes. Il est donc facile d’avoir raison en répondant « entités différentes ».

Vous connaissez deux mesures du cours d’apprentissage automatique. Ici, elles comptent des paires d’enregistrements :

  • La précision par paire est la proportion des paires déclarées « même entité » qui représentent vraiment la même entité. Elle répond à la question : « Quand l’apparieur fusionne, à quelle fréquence a-t-il raison? » Les fusions erronées la diminuent.
  • Le rappel par paire est la proportion des vraies paires que l’apparieur trouve. Il répond à la question : « Parmi toutes les paires à fusionner, combien a-t-il fusionnées? » Les correspondances manquées le diminuent.

Dans le petit exemple, l’apparieur a déclaré une paire « même entité », et il avait tort : précision de 0 sur 1. Il y a une vraie paire, et l’apparieur l’a manquée : rappel de 0 sur 1.

Appliquons maintenant la même jointure sur le courriel au jeu de test du cours. Ce sont les 12 041 enregistrements que le cours réserve aux mesures. Ils contiennent 5 564 vraies paires. L’apparieur déclare 2 300 paires « même entité » :

  • Parmi elles, 1 879 sont correctes, et 421 sont des fusions erronées. Précision = 1 879 / 2 300 = 0,817.
  • Il trouve 1 879 des 5 564 vraies paires, donc il produit 3 685 correspondances manquées. Rappel = 1 879 / 5 564 = 0,338.

Environ une fusion sur cinq est donc erronée, et deux vraies paires sur trois sont manquées. La précision et le rappel s’opposent. Un apparieur strict fusionne peu : peu de fusions erronées, beaucoup de correspondances manquées. Un apparieur permissif fusionne beaucoup : c’est l’inverse. Mesurer un apparieur, dans le module 2, construit ces mesures dans le projet.

La précision et le rappel comptent les erreurs. TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. veut savoir ce qu’elles coûtent. Les deux erreurs touchent des personnes différentes.

Une fusion erronée : les données d’une autre personne

Section intitulée « Une fusion erronée : les données d’une autre personne »

Quand Samuel et Nathan deviennent un seul client, Larkfield affiche une page de compte avec les commandes et adresses des deux frères. Samuel se connecte et voit ce que son frère a acheté et où l’achat a été livré. Larkfield peut envoyer le colis de Nathan à l’adresse de Samuel. Les courriels de chaque frère vont aussi à l’autre.

C’est un problème de confidentialité, pas seulement un désagrément. Une personne voit les données personnelles d’une autre. L’équipe de soutien doit trouver l’erreur, scinder le compte, présenter des excuses et accorder un crédit. L’équipe des données peut devoir signaler l’incident. Le cours utilise cette hypothèse : une fusion erronée coûte 150 $.

Une correspondance manquée : un peu de gaspillage chaque année

Section intitulée « Une correspondance manquée : un peu de gaspillage chaque année »

Quand Hélène reste deux clients, elle reçoit chaque courriel de marketing deux fois, ainsi que deux catalogues. Ses points de fidélité sont répartis entre deux comptes. Le nombre de clients de Larkfield est un peu trop élevé. Cela coûte un peu, et ce coût revient chaque année. L’hypothèse du cours : une correspondance manquée coûte 3 $ par année.

Les deux montants sont des hypothèses du cours, inscrites dans le fichier de données costs.json, et non des prix mesurés. Votre entreprise a ses propres chiffres. Mais le rapport compte : ici, une fusion erronée coûte autant que 50 années d’une correspondance manquée.

TermePriyaLa scientifique des données de Larkfield. Elle mesure la qualité de l’assistant sur des jeux de test, pas à l’intuition. calcule le coût de quatre apparieurs simples, mesurés sur le jeu de test, et celui de ne rien faire. Trois utilisent des règles qui comparent les valeurs après leur nettoyage, par exemple sans majuscules ni accents. Vous les construirez dans le module 2; ici, seuls leurs résultats comptent :

Apparieur Ce qu’il déclare « même entité » Précision Rappel Fusions erronées Correspondances manquées Coût la première année
Aucun aucune paire – 0 0 5 564 16 692 $
Strict même nom et même date de naissance 1,000 0,170 0 4 618 13 854 $
Intermédiaire même nom et même code postal 0,921 0,621 296 2 106 50 718 $
Courriel même courriel tel que saisi 0,817 0,338 421 3 685 74 205 $
Permissif quatre règles : même courriel, ou même téléphone et nom de famille, ou même nom et date de naissance, ou même nom et code postal 0,723 0,870 1 853 724 280 122 $

Le coût est : fusions erronées × 150 $ + correspondances manquées × 3 $. Pour la jointure sur le courriel : 421 × 150 = 63 150, et 3 685 × 3 = 11 055, donc 74 205 $.

Le coût de chaque apparieur sur le jeu de test la première année : 150 $ par fusion erronée et 3 $ par correspondance manquée par année (deux hypothèses). L'apparieur permissif trouve le plus de vraies paires et coûte le plus cher.
Description textuelle du graphique

Un graphique à cinq colonnes, en milliers de dollars, sur un axe de 0 à 300. Ne rien faire coûte 16,7 milliers de dollars : seulement des correspondances manquées. La règle stricte, même nom et même date de naissance, coûte 13,9 milliers. La règle intermédiaire, même nom et même code postal, coûte 50,7 milliers. La jointure sur le courriel coûte 74,2 milliers. L’apparieur permissif, qui combine quatre règles, coûte 280,1 milliers de dollars. C’est plus de trois fois le coût de la jointure sur le courriel, même s’il trouve le plus de vraies paires.

Lisez le tableau à partir du bas. L’apparieur permissif a le meilleur rappel : il trouve 87 % des vraies paires. Mais ses 1 853 fusions erronées coûtent 277 950 $, soit presque tout son coût. La règle stricte trouve seulement 17 % des vraies paires, et c’est la moins chère. Elle n’a jamais fusionné deux personnes différentes ici.

TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. est surpris : « Donc le meilleur apparieur, c’est celui qui trouve le moins de paires? » Priya répond : « Avec ces coûts, une fusion erronée coûte cher, donc la précision compte le plus. Mais la règle stricte laisse encore 4 618 vraies paires séparées. Nous voulons un apparieur avec la précision de la règle stricte et un rappel beaucoup plus élevé. C’est ce que le reste du cours construit. »

Pourquoi la plupart des équipes acceptent davantage de correspondances manquées

Section intitulée « Pourquoi la plupart des équipes acceptent davantage de correspondances manquées »

Le tableau est un exemple, mais cette tendance est courante. La plupart des équipes acceptent davantage de correspondances manquées que de fusions erronées, pour quatre raisons :

  • Une fusion erronée fait du tort à une personne. Quelqu’un voit les données d’une autre personne ou reçoit son colis. Une correspondance manquée gaspille seulement un peu d’argent.
  • Une fusion erronée se propage. Une fois deux enregistrements fusionnés, d’autres systèmes utilisent l’enregistrement fusionné. Des courriels sont envoyés, des commandes sont expédiées et des rapports le comptent. Il faut corriger chacun de ces effets.
  • Une correspondance manquée peut attendre. Une exécution ultérieure, avec un meilleur apparieur, peut encore trouver la paire. Rien n’a été brisé entre-temps.
  • La loi protège les données personnelles. Montrer les données d’une personne à une autre peut constituer un incident à signaler. Le cours Sécurité de l’IA, vie privée et conception responsable aborde ce sujet dans Impact et coût des erreurs.

Les équipes d’appariement ajoutent donc souvent une troisième réponse : incertain. L’apparieur fusionne seulement les paires dont il est très sûr. Il garde séparées les paires dont il est sûr qu’elles représentent des entités différentes. Une personne vérifie les paires entre les deux. Chez Larkfield, cette personne est Ivana, la responsable des données clients. Le cours suppose qu’elle peut vérifier 300 paires par jour, donc les paires incertaines doivent rester peu nombreuses. Les modules 5 et 8 construisent cette étape de révision.

La même liste de clients sert à plusieurs équipes, qui ne donnent pas le même poids aux erreurs :

Utilisation Une fusion erronée signifie Une correspondance manquée signifie Généralement plus grave
Courriels de marketing une personne reçoit le nom d’une autre dans un courriel, ou un frère ou une sœur ne reçoit plus de courriels le même courriel deux fois, deux catalogues la fusion erronée, mais les deux sont peu graves
Vérifications de fraude un client honnête est lié à un réseau de fraude et bloqué un réseau de comptes reste caché la correspondance manquée, si une personne vérifie chaque alerte avant d’agir
Demandes légales, par exemple « supprimez mes données » ou « envoyez-moi mes données » vous envoyez ou supprimez les données d’une autre personne vous conservez des données que la personne vous a demandé de supprimer la fusion erronée; mais une correspondance manquée empêche aussi de respecter la demande

Pour la fraude, l’équipe veut un rappel élevé : un lien manqué cache le réseau. Cela est sûr seulement parce qu’une personne vérifie chaque alerte avant de bloquer un compte. Pour les demandes légales, les deux erreurs peuvent enfreindre les règles de confidentialité. L’équipe utilise donc son apparieur le plus strict et consulte une personne pour chaque paire incertaine. Il n’y a pas un seul meilleur apparieur. Il y a un meilleur apparieur pour une utilisation et ses coûts.

Erreur courante

Juger un apparieur selon son exactitude

Symptôme : Tomás présente un nouvel apparieur : « Il a raison pour 99,998 % de toutes les paires. » Puis Omar découvre qu’il n’a fusionné personne.

Cause : presque chaque paire d’enregistrements représente deux personnes différentes. Les données du cours contiennent 1 806 455 778 paires possibles et seulement 27 677 vraies paires. Un apparieur qui répond « entités différentes » pour chaque paire a raison pour 99,998 % d’entre elles, et il est inutile. L’exactitude, la proportion de décisions correctes, cache les deux erreurs derrière les paires faciles « entités différentes ». C’est le déséquilibre des classes que vous connaissez du cours d’apprentissage automatique, sous une forme extrême.

Solution : ne présentez jamais l’exactitude pour l’appariement. Présentez la précision et le rappel, avec les nombres correspondants : paires déclarées « même entité », fusions erronées et correspondances manquées. Multipliez ensuite les deux erreurs par leurs coûts pour l’utilisation.

Conséquence pour le travail en IA : une mesure doit compter les erreurs qui comptent. Quand les vraies paires sont rares, l’exactitude récompense un apparieur qui ne fait rien.

Vérifiez votre compréhension

Pour chaque cas, indiquez s'il s'agit d'une fusion erronée, d'une correspondance manquée ou d'une bonne décision. (a) Deux enregistrements de Valérie Tremblay sont fusionnés. (b) Marc Fortin et Marie Fortin sont fusionnés. (c) Les deux enregistrements de Hélène Thibault restent séparés.

Afficher la réponse

(a) Une bonne fusion : une seule personne, dont les enregistrements sont fusionnés. (b) Une fusion erronée : deux personnes différentes, dont les enregistrements sont fusionnés. La précision baisse et chacune peut voir les données de l’autre. (c) Une correspondance manquée : une seule personne, dont les enregistrements restent séparés. Le rappel baisse et elle reçoit tout en double.

Vérifiez votre compréhension

Pour les courriels de marketing, les vérifications de fraude et une demande de suppression des données d'un client, quelle erreur est pire? Pourquoi?

Afficher la réponse
  • Courriels de marketing : généralement la fusion erronée, car une personne peut recevoir le nom d’une autre ou ne plus recevoir de courriels. Une correspondance manquée envoie seulement le même courriel deux fois. Les deux erreurs sont peu graves.
  • Vérifications de fraude : la correspondance manquée, car un réseau de comptes liés reste caché. Une fusion erronée est acceptable uniquement parce qu’une personne vérifie chaque alerte avant de bloquer un compte.
  • Demande de suppression : la fusion erronée, car vous supprimeriez les données d’une autre personne ou les enverriez à la mauvaise personne. Mais une correspondance manquée empêche aussi de satisfaire la demande, car certaines données de la personne restent. Utilisez donc l’apparieur le plus strict et demandez l’avis d’une personne pour chaque paire incertaine.

Vérifiez votre compréhension

Un apparieur déclare 1 000 paires « même entité » dans le jeu de test : 900 sont correctes. Le jeu de test contient 5 564 vraies paires. Calculez sa précision, son rappel et son coût pour la première année avec les coûts du cours. Est-il meilleur que la jointure sur le courriel?

Afficher la réponse

Précision = 900 / 1 000 = 0,900. Rappel = 900 / 5 564 = 0,162. Il produit 100 fusions erronées et 5 564 − 900 = 4 664 correspondances manquées. Coût = 100 × 150 + 4 664 × 3 = 15 000 + 13 992 = 28 992 dollars. La jointure sur le courriel coûte 74 205 dollars. Cet apparieur coûte donc moins cher avec ces coûts, même si son rappel est plus faible. Il reste moins bon que la règle stricte (13 854 dollars), qui ne produit aucune fusion erronée. Avec d’autres coûts, l’ordre pourrait changer.

Récapitulatif

  • Une fusion erronée fusionne deux entités différentes. Une correspondance manquée garde séparés les enregistrements d’une même entité. La précision par paire baisse avec les fusions erronées; le rappel par paire baisse avec les correspondances manquées.
  • La jointure sur le courriel dans le jeu de test a une précision de 0,817 : 421 de ses 2 300 fusions sont erronées. Son rappel est de 0,338 : elle manque 3 685 des 5 564 vraies paires.
  • Les coûts supposés du cours : 150 dollars pour une fusion erronée et 3 dollars par année pour une correspondance manquée. Avec ces coûts, l’apparieur permissif coûte 280 122 dollars la première année, et la règle stricte coûte 13 854 dollars.
  • La plupart des équipes acceptent davantage de correspondances manquées. Une fusion erronée nuit à une personne, se propage à d’autres systèmes et peut causer un incident de confidentialité. Les paires incertaines sont transférées à une personne.
  • L’erreur la plus grave dépend de l’usage : le marketing, la fraude et les demandes légales leur accordent des poids différents. Ne jugez jamais un apparieur selon son exactitude.

Vous pouvez maintenant nommer les deux erreurs, les mesurer et calculer leur coût. Mais jusqu’ici, vous avez seulement lu les résultats d’exécutions faites par quelqu’un d’autre. Ensuite, vous configurerez le projet, ouvrirez vous-même les trois listes et exécuterez la jointure sur le courriel sur votre ordinateur.

Leçon suivante : Découvrir les enregistrements