Aller au contenu
English

De nouveaux enregistrements chaque jour

  • Leçon 26
  • 40 min
  • Module 8 : L'appariement en production

Où nous en sommes

Nous avons apparié tous les enregistrements à la fois. Larkfield reçoit de nouveaux enregistrements chaque jour. Dans cette leçon, nous apparions les nouveaux enregistrements avec les entités existantes et gardons leurs identifiants stables. Nous voyons aussi ce qui arrive quand un nouvel enregistrement relie deux anciennes entités.

Leçon 26 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?De nouveaux enregistrements chaque jour

Ce que vous saurez faire

Appariez les nouveaux enregistrements de chaque jour avec les clients que TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield connaît déjà, sans tout apparier de nouveau. Donnez à chaque entité un identifiant qui ne change pas. Voyez les réussites et les erreurs de l’exécution quotidienne sur une semaine d’enregistrements synthétiques. Découvrez pourquoi un nouvel enregistrement ne doit jamais fusionner deux anciennes entités à lui seul.

Carnet JupyterApparier une journée de nouveaux enregistrements dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet lit les 300 nouveaux enregistrements du jour 1 et les joint aux clients connus par courriel. Vous comptez les jointures, les jointures correctes et les nouveaux enregistrements qui créent une nouvelle entité malgré un client connu. Ses cellules de préparation téléchargent les données. Aucune préparation locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match à la fin du module 7, avec son environnement virtuel actif et un modèle entraîné (match train). Ou utilisez seulement le carnet.

Une bibliothèque possède 60 000 fiches dans son catalogue. Chaque matin, 300 nouveaux livres arrivent. La bibliothécaire ne trie pas tout le catalogue de nouveau. Elle prend chaque nouveau livre et cherche sa fiche.

Parfois, elle la trouve : c’est un deuxième exemplaire d’un livre que la bibliothèque possède déjà. Elle classe le nouvel exemplaire sous la même cote. Parfois, aucune fiche n’existe : le livre est nouveau et reçoit une nouvelle cote. Parfois, elle hésite. Deux fiches se ressemblent. Elle pose donc le livre sur un bureau pour la bibliothécaire en chef.

Une règle compte plus que les autres : une cote ne change jamais. Les lecteurs, les prêts et les rappels l’utilisent tous. Si elle changeait chaque nuit, chaque prêt renverrait au mauvais livre.

Larkfield vit la même situation chaque matin. De nouveaux comptes du magasin et de nouvelles inscriptions au programme de fidélité arrivent chaque jour. Chacun représente un nouveau client ou un client que Larkfield connaît déjà.

Le module 7 a créé des entités à partir des 60 108 enregistrements : 38 908 entités au total. Chacune possède un identifiant comme LK-G-006348. Le plan simple consiste à ajouter les nouveaux enregistrements à l’ensemble et à relancer tout l’apparieur.

Ce plan pose deux problèmes.

Il refait un travail déjà terminé. Chaque nuit, il compare de nouveau plus d’un million de paires candidates déjà comparées la veille. Pour les enregistrements de Larkfield, cela prend moins d’une minute. Mais leur nombre augmente chaque jour. La mise à l’échelle montre à quelle vitesse ce temps augmente.

Les identifiants changent. L’identifiant d’une entité combine LK- et le plus petit identifiant d’enregistrement qu’elle contient. Les nouveaux enregistrements ont des identifiants comme D1-0176. Dans l’ordre alphabétique, D1-… précède G-…, L-… et S-…. Une nouvelle exécution renomme donc chaque entité qu’un nouvel enregistrement rejoint. Si D1-0176 rejoint LK-G-006348, une nouvelle exécution nomme l’entité LK-D1-0176. Les commandes, courriels et demandes de suppression qui renvoient à LK-G-006348 ne renvoient maintenant à rien.

Un apparieur exécuté chaque jour doit faire deux choses : comparer seulement les nouveautés et garder les anciens noms.

L’idée : l’appariement incrémental avec des identifiants stables

Section intitulée « L’idée : l’appariement incrémental avec des identifiants stables »

L’appariement incrémental consiste à apparier seulement les nouveaux enregistrements, avec les enregistrements déjà appariés et entre eux. Chaque entité garde son identifiant pour toujours. Nous appelons cela un identifiant stable.

Pour chaque nouvel enregistrement, l’exécution quotidienne fait quatre choses :

  1. Trouver des candidats. Créez des paires candidates avec les cinq clés de blocage du module 3 : code postal, courriel, téléphone, clé du nom de famille et clé de date de naissance. Chaque paire contient au moins un nouvel enregistrement.
  2. Calculer un score. Comparez chaque paire champ par champ et calculez son score avec le modèle LightGBM du module 6. Étalonnez ensuite le score. Ainsi, 0,3 signifie « environ 3 paires de ce type sur 10 sont de vraies paires ».
  3. Décider. Une paire dont la probabilité atteint 0,9 ou plus constitue un lien. Une paire entre 0,1 et 0,9 va dans la file de révision, une liste de paires à vérifier par une personne. Sous 0,1, rien ne se passe.
  4. Rejoindre ou créer. Un enregistrement avec un lien rejoint l’entité de l’enregistrement lié, et cette entité garde son identifiant. Un enregistrement sans lien crée une nouvelle entité : LK- suivi de son propre identifiant d’enregistrement.

Chaque étape entre dans un fichier d’historique, outputs/history.jsonl. Vous pouvez ainsi retracer et annuler chaque changement.

L'exécution quotidienne. Le jour 1 apporte 300 nouveaux enregistrements. Les paires candidates sont créées pour chaque nouvel enregistrement contre chaque enregistrement connu, avec les cinq clés de blocage. LightGBM calcule le score de chaque paire, et le score est étalonné. Il y a ensuite trois résultats. Une probabilité de 0,9 ou plus : l'enregistrement rejoint cette entité, dont l'identifiant ne change pas; 143 enregistrements au jour 1. Une probabilité de 0,1 à 0,9 : la paire va dans la file de révision; 74 paires au jour 1. Aucun lien : l'enregistrement crée une nouvelle entité nommée LK suivie de son identifiant d'enregistrement; 157 enregistrements au jour 1. Une note : un enregistrement lié à deux entités rejoint la plus forte, et l'autre lien va en révision; 4 enregistrements au jour 1. Un nouvel enregistrement ne fusionne jamais deux anciennes entités à lui seul.
L'exécution quotidienne du projet : candidats, scores, trois résultats possibles. Les nombres correspondent au jour 1 des enregistrements synthétiques.
Description textuelle du diagramme

Le diagramme se lit de haut en bas. L’encadré du haut représente le jour 1 : 300 nouveaux enregistrements. Une flèche mène aux paires candidates : chaque nouvel enregistrement contre chaque enregistrement connu, avec les cinq clés de blocage. L’encadré suivant calcule le score de chaque paire avec LightGBM et étalonne la probabilité. Trois flèches mènent à trois résultats possibles. Vert : probabilité de 0,9 ou plus, l’enregistrement rejoint cette entité et son identifiant ne change pas; 143 enregistrements au jour 1. Jaune : probabilité de 0,1 à 0,9, la paire va dans la file de révision; 74 paires au jour 1. Bleu : aucun lien, une nouvelle entité nommée LK suivie de l’identifiant d’enregistrement; 157 enregistrements au jour 1. Un encadré jaune en dessous indique qu’un enregistrement lié à deux entités rejoint celle dont le lien est le plus fort. L’autre lien va en révision (4 enregistrements au jour 1). Une note indique qu’un nouvel enregistrement ne fusionne jamais deux anciennes entités à lui seul.

Voici quatre nouveaux enregistrements réels du jour 1 et ce que l’exécution quotidienne en a fait. Comme tous les enregistrements de ce cours, ils sont synthétiques.

Nouvel enregistrementEnregistrements connus auxquels il a été comparéCe que l’exécution a faitVraie réponse
D1-0003, Marie Tremblay, (450) 555-4557S-030041, Marie Tremblaya rejoint LK-S-030041correct : le même client
D1-0001, Ahmed Novak, J7P 2A9aucun liena créé LK-D1-0001correct : un nouveau client
D1-0049, Mary Walker, P3Z 1G8, mwalker@post.exampleD1-0047, Mary Walker, P3Z1G8, walker.mary87@post.examplea rejoint LK-D1-0047incorrect : deux femmes avec le même nom au même code postal
D1-0176, Melanie Roy, melanie.roy@example.comdeux entités : LK-G-006348 et LK-S-019824a rejoint LK-G-006348; le deuxième lien est allé en révisionune seule personne dans les trois

Les deux premières lignes représentent les cas habituels. La troisième est une jointure incorrecte, une fusion erronée. Les deux Mary Walker sont arrivées au jour 1. La deuxième a rejoint la nouvelle entité de la première : même nom, même code postal, courriels différents. La quatrième ligne mérite sa propre section.

Regardez le nouvel enregistrement de fidélité de Melanie Roy, D1-0176. Son numéro de téléphone est celui d’un ancien enregistrement de la jardinerie. Son courriel est celui d’un ancien enregistrement du magasin. Mais ces deux anciens enregistrements appartenaient à deux entités différentes. Le module 7 ne les a pas joints : leurs numéros de téléphone et leurs codes postaux diffèrent. L’enregistrement de la jardinerie n’a pas de courriel.

Le nouvel enregistrement de fidélité D1-0176, Melanie Roy, courriel melanie.roy@example.com, téléphone (819) 555-4445, code postal G1R 8V0, date de naissance 13/09/1970. Son lien le plus fort mène à l'entité LK-G-006348 : l'enregistrement de la jardinerie G-006348, ROY, MELANIE, téléphone 8195554445. Son deuxième lien mène à l'entité LK-S-019824 : l'enregistrement du magasin S-019824, Mélanie Roy, courriel melanie.roy@example.com, téléphone (819) 555-4702, code postal G9Y 7M2, date de naissance 1970-09-13. Le nouvel enregistrement rejoint LK-G-006348. Le lien vers LK-S-019824 va dans la file de révision. Les deux anciennes entités restent séparées jusqu'à la décision d'une personne.
Un nouvel enregistrement relie deux anciennes entités. L'exécution suit le lien le plus fort et transmet l'autre à une personne.
Description textuelle du diagramme

En haut se trouve le nouvel enregistrement de fidélité D1-0176 : Melanie Roy, courriel melanie.roy@example.com, téléphone (819) 555-4445, code postal G1R 8V0, date de naissance 13/09/1970. Deux flèches descendent. La flèche de gauche, « lien le plus fort », mène à l’entité verte LK-G-006348. Elle contient l’enregistrement de la jardinerie G-006348, ROY, MELANIE, téléphone 8195554445. La flèche de droite, « deuxième lien », mène à l’entité jaune LK-S-019824. Elle contient l’enregistrement du magasin S-019824, Mélanie Roy, courriel melanie.roy@example.com, téléphone (819) 555-4702. Une note indique : le nouvel enregistrement rejoint LK-G-006348, le lien vers LK-S-019824 va dans la file de révision, et les deux anciennes entités restent séparées jusqu’à la décision d’une personne.

Que devrait faire l’exécution? Si les trois enregistrements représentent une seule personne, les deux anciennes entités devraient fusionner. Ici, la vérité confirme cette situation : une seule Melanie Roy, avec un ancien numéro de téléphone dans un enregistrement.

Mais une famille peut produire le même résultat. Pensez à un fils qui s’inscrit avec le courriel familial et son propre téléphone. Le courriel le relie à l’entité de sa mère. Le téléphone le relie à sa propre ancienne entité. Une fusion réunirait une mère et son fils en un seul client.

L’exécution quotidienne ne peut pas distinguer ces deux situations. Elle suit donc une règle ferme : un nouvel enregistrement ne fusionne jamais deux anciennes entités à lui seul. Il rejoint l’entité de son lien le plus fort. Tous les autres liens vont dans la file de révision, avec la mention « joindrait deux entités ». Une personne décide. Au jour 1, 4 enregistrements étaient dans cette situation. Dans le cas de Melanie Roy, le réviseur a répondu « identique », et les deux entités ont fusionné dans {two.kept}.

Ce module compte quatre leçons. Vous copiez maintenant tous leurs fichiers, et chaque leçon utilise ses propres commandes.

  1. Si vous avez exécuté match reset après le module 7, recréez d’abord les entités. La commande utilise les paires LightGBM enregistrées, ou entraîne le modèle si elles manquent :

    Fenêtre de terminal
    match golden
    38,908 entities from 60,108 records (16,513 with more than one record); 0 with two dates of birth
    Saved outputs/entities.csv and outputs/golden.csv
  2. Dans votre dossier de projet, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez les fichiers de l’instantané end-of-m08. Son fichier requirements.txt ne contient aucun nouveau paquet :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m08
    cp $S/larkfield_match/incremental.py $S/larkfield_match/review.py larkfield_match/
    cp $S/larkfield_match/bench.py $S/larkfield_match/privacy.py larkfield_match/
    cp $S/larkfield_match/runs/private.py larkfield_match/runs/
    cp $S/larkfield_match/commands/daily.py $S/larkfield_match/commands/review.py larkfield_match/commands/
    cp $S/larkfield_match/commands/bench.py $S/larkfield_match/commands/privacy.py larkfield_match/commands/
    cp $S/larkfield_match/commands/forget.py larkfield_match/commands/
    cp $S/tests/test_production.py tests/
    cp $S/requirements.txt $S/README.md .
  3. Exécutez les tests. Le module 8 en ajoute quatre, pour un total de 42 :

    Fenêtre de terminal
    python -m pytest -q
    42 passed in 4.26s
  4. Appariez les nouveaux enregistrements du jour 1 :

    Fenêtre de terminal
    match daily --day 1
    Day 1: 300 new records: 143 joined an existing entity, 157 started a new entity
    74 pairs sent to review; 4 record(s) would join two entities (not merged alone)
    checked against the true customers: 139 right joins, 6 wrong joins, 28 new entities for customers we already knew

    La dernière ligne utilise les vraies réponses, disponibles seulement pour les données synthétiques. Une vraie exécution quotidienne ne peut pas l’afficher.

  5. Regardez la file de révision :

    Fenêtre de terminal
    match review
    Review queue: 74 pairs (unsure 70, would join two entities 4)

La prochaine leçon, La révision humaine, traite cette file, puis exécute les jours 2 à 7. Exécutez le jour 2 seulement après la révision du jour 1, pour obtenir les mêmes sorties que la leçon.

match daily modifie outputs/entities.csv, pas les fiches de référence. Les fiches de référence du module 7 restent inchangées et ne contiennent pas les nouveaux enregistrements. Un vrai système mettrait aussi à jour la fiche de référence de chaque entité qu’un nouvel enregistrement rejoint.

Les données du cours contiennent sept jours de nouveaux enregistrements : 2 101 au total. Le graphique montre la semaine entière. Après chaque jour, le réviseur de la prochaine leçon a traité la file de cette journée.

  • Jointures correctes
  • Nouvelles entités
  • Nouvelles entités pour des clients connus
  • Jointures incorrectes (pointillés)
Ce que l'exécution quotidienne a fait des nouveaux enregistrements de chaque jour, vérifié par rapport aux vrais clients des données synthétiques. Mesuré. Totaux de la semaine : 993 jointures correctes, 20 jointures incorrectes, 1 093 nouvelles entités, dont 159 pour des clients que Larkfield connaissait déjà.
Description textuelle du graphique

Quatre lignes sur les jours 1 à 7. Jointures correctes : 139, 148, 142, 144, 149, 141, 130. Nouvelles entités : 157, 149, 157, 155, 149, 158, 168. Nouvelles entités pour des clients déjà connus : 28, 25, 17, 26, 20, 25, 18. Jointures incorrectes, une ligne pointillée près de zéro : 6, 3, 1, 2, 4, 1, 3. Les lignes sont presque plates : chaque jour ressemble aux autres.

JourNouveaux enregistrementsJointsJointures correctesJointures incorrectesNouvelles entitésClient connu, mais nouvelle entitéÀ réviser
130014313961572874
230015114831492570
330014314211571770
430114614421552669
530015114941492061
630014214111582551
730013213031681876

La vérification compte un enregistrement comme une jointure si son entité contient d’autres enregistrements à la fin de la journée. Elle compte donc aussi un enregistrement qui a créé une entité rejointe plus tard dans la journée par un autre.

Lisez la semaine en trois nombres :

  • 993 jointures correctes et 20 jointures incorrectes. Cela représente 98 jointures correctes sur 100. Avec l’hypothèse du cours de 150 dollars par fusion erronée, les 20 jointures incorrectes coûtent environ 3 000 dollars.
  • 159 correspondances manquées. Ces enregistrements ont créé une nouvelle entité, mais Larkfield connaissait déjà leur client. Ils entraînent des courriels en double, à un coût supposé de 3 dollars par année chacun.
  • 471 paires à réviser, de 51 à 76 par jour. C’est bien moins que la capacité supposée d’Ivana de 300 paires par jour. L’exécution quotidienne lui donne peu de travail. Ce n’était pas le cas de l’accumulation du module 5.

Ouvrez outputs/history.jsonl. Chaque nouvel enregistrement possède une ligne : new (nouveau : il a créé une entité) ou join (jointure : avec l’entité rejointe). Un identifiant d’entité change seulement quand une personne fusionne deux entités en révision. L’identifiant le plus ancien reste alors, l’autre est retiré, et l’historique indique quel identifiant l’a remplacé.

Le cours Recherche et classement : trouver la meilleure correspondance utilise la même idée pour un index de recherche. Il garde l’index à jour sans le reconstruire : voir Garder l’index à jour.

Quand utiliser l’appariement incrémental, et à quel coût

Section intitulée « Quand utiliser l’appariement incrémental, et à quel coût »
  • Utilisez-le quand des enregistrements arrivent constamment et que d’autres systèmes utilisent vos identifiants d’entité : commandes, listes marketing, demandes de suppression.
  • Gardez une exécution complète comme vérification. Une fois par mois, appariez tout de nouveau dans une copie et comparez le résultat aux entités quotidiennes. Les différences montrent la dérive : des erreurs qui s’accumulent jour après jour. L’exécution complète ne fait qu’un rapport. Elle ne remplace jamais les identifiants.
  • Ne fusionnez jamais deux anciennes entités sans une personne. Un nouvel enregistrement peut relier deux personnes, comme le fait souvent un courriel familial.
  • Cela demande moins de temps et plus d’attention. Chaque jour, vous comparez seulement quelques milliers de paires. Mais vous devez conserver le modèle, les seuils et le fichier d’historique. Chaque changement dans ces éléments modifie les résultats du lendemain.
  • Les correspondances manquées s’accumulent. Un enregistrement qui crée une nouvelle entité par erreur reste séparé jusqu’à ce qu’un élément l’amène en révision. Cherchez-les de temps à autre. Par exemple, révisez les nouvelles entités dont la meilleure paire a une probabilité juste sous 0,9.

Erreur courante

Reconstruire les entités à partir de zéro chaque nuit

Symptôme : le premier plan d’TermeAmiraLa développeuse de Larkfield. Elle écrit le code des outils du service d’assistance dans les cours. exécute match golden sur tous les enregistrements chaque nuit, y compris les nouveaux. Le lendemain matin, certains clients de la liste marketing d’TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. ont des identifiants qui n’existent plus. La demande de suppression d’Ivana de la veille renvoie à une entité disparue.

Cause : l’identifiant d’entité provenait du plus petit identifiant d’enregistrement. Les nouveaux enregistrements aux identifiants plus petits renomment les entités. Un groupe qui gagne ou perd un lien peut aussi les renommer. La nouvelle exécution ne connaissait aucun des noms de la veille.

Correction : appariez seulement les nouveaux enregistrements avec les entités existantes et laissez chaque entité garder son identifiant. Quand vous avez besoin d’une exécution complète, donnez à chaque nouveau groupe l’identifiant qu’il avait avant. golden.entity_ids le fait quand il reçoit les entités précédentes. Consignez chaque jointure, fusion et scission dans un fichier d’historique.

Conséquence pour le travail en IA : tout système qui fournit des identifiants à d’autres systèmes a la même responsabilité. Les exemples comprennent les groupes de sujets, les groupes de billets de soutien et les groupes de produits pour la recherche. Les identifiants stables et l’historique font partie du produit.

Vérifiez votre compréhension

Un nouvel enregistrement obtient une probabilité de 0,95 avec un enregistrement de l'entité LK-L-001200, et de 0,92 avec un enregistrement de l'entité LK-S-030001. Que fait l'exécution quotidienne?

Afficher la réponse

Elle joint le nouvel enregistrement à LK-L-001200, l’entité de son lien le plus fort. Le lien vers LK-S-030001 va dans la file de révision, avec la mention « joindrait deux entités ». Les deux anciennes entités restent séparées. Si un réviseur confirme que la paire représente un seul client, les deux entités fusionnent et l’identifiant le plus ancien reste. Si le réviseur répond « différent », la paire entre dans cannot_link.csv et ne fusionne jamais.

Vérifiez votre compréhension

Dans la semaine, 159 nouveaux enregistrements ont créé une nouvelle entité alors que Larkfield connaissait déjà leur client. Que coûtent ces erreurs, et pourquoi sont-elles difficiles à trouver?

Afficher la réponse

Ce sont des correspondances manquées. Avec l’hypothèse du cours de 3 dollars par année chacune, elles coûtent environ 477 dollars par année. Ce coût vient des courriels en double et des points de fidélité répartis entre plusieurs comptes. Elles sont difficiles à trouver parce que rien ne les signale. Une jointure incorrecte peut apparaître quand un client se plaint, mais une correspondance manquée reste silencieuse. Vous les trouvez en mesurant les résultats sur des données étiquetées. Vous pouvez aussi réviser de temps à autre les meilleures paires sous le seuil de lien.

Vérifiez votre compréhension

Pourquoi le projet garde-t-il l'identifiant LK-G-006348 quand le nouvel enregistrement D1-0176 le rejoint, même si D1-0176 vient en premier dans l'ordre alphabétique?

Afficher la réponse

D’autres systèmes utilisent déjà LK-G-006348 : les commandes, courriels et demandes de suppression y renvoient. Si l’identifiant changeait chaque fois qu’un enregistrement rejoignait l’entité, ces liens cesseraient de fonctionner. Une entité garde donc son identifiant pour toujours. Seule une fusion en révision retire un identifiant, et le fichier d’historique indique quel identifiant l’a remplacé.

Récapitulatif

  • L’appariement incrémental compare seulement les nouveaux enregistrements, avec les enregistrements connus et entre eux. Chaque entité garde un identifiant stable.
  • L’exécution quotidienne calcule le score de chaque paire candidate. À 0,9 ou plus, l’enregistrement rejoint l’entité. De 0,1 à 0,9, la paire va dans la file de révision. Sans lien, l’enregistrement crée une nouvelle entité.
  • Un nouvel enregistrement ne fusionne jamais deux anciennes entités à lui seul. Il suit son lien le plus fort, et les autres liens vont en révision.
  • Une semaine de 2 101 enregistrements synthétiques a donné 993 jointures correctes, 20 jointures incorrectes, 159 correspondances manquées et 471 paires à réviser (51 à 76 par jour).
  • Chaque jointure, fusion et scission entre dans un fichier d’historique pour pouvoir retracer et annuler chaque changement.

Ensuite, Ivana traite la file de révision. Nous voyons ce que ses décisions changent dans les entités et le modèle.

Leçon suivante : La révision humaine