Découper en parties
- Leçon 5
- 35 min
- Module 2 : Nettoyer d'abord, puis apparier exactement
Où nous en sommes
La normalisation a rendu les valeurs égales visuellement identiques. Certaines valeurs contiennent plusieurs faits dans une chaîne, comme une adresse complète ou un titre de produit avec un format. Dans cette leçon, nous les analysons en parties, puis décidons quoi faire quand l'analyse échoue.
Leçon 5 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Découper en parties
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Séparez les valeurs contenant plusieurs faits en champs distincts. Un nom devient un prénom et un nom de famille. Une adresse devient un numéro, une rue, un logement, une ville, une province et un code postal. Un titre de produit devient des mots, une taille et un format. Décidez ensuite comment l’apparieur traite un enregistrement dont l’analyse échoue.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter sépare les noms et adresses des jardineries avec pandas et des expressions régulières. Il compte les enregistrements dont l’analyse échoue. Vous écrivez ensuite un analyseur pour le format dans les titres de produits, puis vérifiez votre résultat. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les formes normalisées et le fichier
larkfield_match/normalise.py, présentés dans Normaliser. - Une expression régulière est un court motif qui décrit du texte, comme « une lettre, un chiffre, une lettre ». Le module
rede Python les utilise. Vous n’avez pas à en écrire dans cette leçon : nous expliquons chaque motif en mots.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.
La commis remplit le nouveau formulaire
Section intitulée « La commis remplit le nouveau formulaire »La clinique adopte un nouveau système de classement. Son formulaire a des cases distinctes : prénom, nom de famille, rue, ville, code postal. Les anciennes fiches ont une seule ligne pour toute l’adresse, et le nom sous la forme « NOM DE FAMILLE, Prénom ».
La commis copie chaque ancienne fiche dans le nouveau formulaire. Elle sait que le code postal se trouve à la fin de l’adresse. Elle sait que la partie avant la virgule est le nom de famille. Quand une fiche manque de clarté, elle ne devine pas. Elle la marque et laisse la case vide.
Après ce travail, elle peut comparer une case à la fois : ce code postal avec cet autre code postal. Voilà ce que l’analyse fait pour un apparieur.
Le problème : une chaîne, plusieurs faits
Section intitulée « Le problème : une chaîne, plusieurs faits »Regardez de nouveau les trois listes du module 1. Chacune stocke l’adresse différemment :
shop address '2709 boul. Saint-Joseph app. 27' city 'Saint-Ambroise-des-Monts' province 'QC' postcode 'g6z 3w2'loyalty (no address) postcode 'G6Z3W2'garden address '8983 Fern Lane, Ashbury Falls ON N2L 0V8' (no postcode column)Les jardineries écrivent toute l’adresse dans un seul champ. Le code postal s’y trouve. Une règle comme « même nom et même code postal » exige d’abord d’extraire le code postal de la chaîne. Sans cette extraction, elle ne peut utiliser aucun des 11 943 enregistrements des jardineries.
Les noms présentent le même problème. Les jardineries écrivent GREEN, SAMUEL. La liste de fidélité écrit Samuel Green. Les chaînes complètes green samuel et samuel green sont différentes, même après la normalisation. Pour comparer les noms de famille, l’apparieur a besoin d’un champ distinct pour le nom de famille.
Les titres de produits cachent des nombres. Dans le flux A, Mossway Vinyl Garden Hose, 30 ft, Brown (Pack of 2) contient une marque, une taille, une couleur et un format. Tout est dans une seule chaîne.
L’idée : analyser chaque valeur en parties nommées
Section intitulée « L’idée : analyser chaque valeur en parties nommées »Analyser une valeur consiste à la séparer en parties nommées selon son motif. Le résultat est un ensemble de champs : chacun contient un fait, comme la ville ou le code postal. Après l’analyse, chaque champ est normalisé et comparé séparément.
Un analyseur commence par ce qui est certain. Dans une adresse canadienne, le code postal est à la fin et suit une forme fixe : lettre, chiffre, lettre, chiffre, lettre, chiffre. La province est un code de deux lettres juste avant. L’analyseur lit donc depuis la fin et extrait d’abord les parties les plus certaines.
Un exemple détaillé avec toutes les étapes visibles
Section intitulée « Un exemple détaillé avec toutes les étapes visibles »Le projet réunit les quatre colonnes d’adresse du magasin sur une seule ligne. Le même analyseur lit ensuite toutes les adresses des trois listes. Le diagramme suit la ligne de l’enregistrement S-029535 du magasin.
Description textuelle du diagramme
La ligne est « 2709 boul. Saint-Joseph app. 27, Saint-Ambroise-des-Monts QC g6z 3w2 ». L’étape 1 extrait le code postal à la fin : G6Z3W2. L’étape 2 extrait la province juste avant : QC. L’étape 3 extrait la ville après la dernière virgule : « st ambroise des monts ». L’étape 4 trouve le logement après le mot « app. » : 27. L’étape 5 extrait le numéro d’immeuble au début : 2709. L’étape 6 garde le reste comme rue et le normalise en « blvd st joseph ». Il ne reste rien. L’enregistrement a un numéro, une rue et une ville, donc l’analyseur le marque comme analysé.
L’étape 4 reconnaît plusieurs mots pour un logement : app. (français), apt, apartment, unit, suite, et le signe #. Elle reconnaît aussi la forme 3-12, où 3 est le logement et 12 le numéro d’immeuble. L’étape 6 utilise les règles de rue de la leçon précédente : boul. devient blvd, et Saint devient st.
Noms : la virgule décide
Section intitulée « Noms : la virgule décide »Les noms suivent deux motifs. Avec une virgule, la partie avant celle-ci est le nom de famille : TREMBLAY, MARIE-CLAUDE. Sans virgule, le dernier mot est le nom de famille : Dr. Jean-François Desjardins. Les titres de civilité sont retirés d’abord, comme dans la leçon précédente.
La règle du dernier mot est une supposition, parfois erronée. Un nom de famille de deux mots, comme « Saint Pierre » sans trait d’union, perd son premier mot. Nos données écrivent ces noms avec un trait d’union, donc la supposition fonctionne ici. Vérifiez-la sur d’autres données.
Analyser dans le projet
Section intitulée « Analyser dans le projet »Cette leçon ajoute deux modules et deux commandes au projet. larkfield_match/parse.py contient les analyseurs. larkfield_match/prepared.py normalise et analyse chaque enregistrement dans une seule table, les enregistrements préparés. Les commandes match parse et match normalise montrent le résultat.
-
Copiez les quatre fichiers de l’instantané
end-of-m02:Fenêtre de terminal S=../nextia-learning-labs/C39/snapshots/end-of-m02for f in larkfield_match/parse.py larkfield_match/prepared.py larkfield_match/commands/parse.py larkfield_match/commands/normalise.py; docp "$S/$f" "$f"doneFenêtre de terminal $S = "..\nextia-learning-labs\C39\snapshots\end-of-m02"foreach ($f in 'larkfield_match\parse.py', 'larkfield_match\prepared.py', 'larkfield_match\commands\parse.py', 'larkfield_match\commands\normalise.py') { Copy-Item "$S\$f" $f } -
Analysez une adresse et un nom :
Fenêtre de terminal match parse address "2709 boul. Saint-Joseph app. 27, Saint-Ambroise-des-Monts QC G6Z 3W2"number '2709'street 'blvd st joseph'unit '27'town 'st ambroise des monts'province 'QC'postcode 'G6Z3W2'ok TrueFenêtre de terminal match parse name "TREMBLAY, MARIE-CLAUDE"first 'marie claude'last 'tremblay'ok True -
Affichez un enregistrement complet, tel qu’écrit et préparé. La première exécution prépare les 60 108 enregistrements et les sauvegarde dans
outputs/prepared_customers.pkl. Cela prend quelques secondes (moins de dix sur notre portable); les exécutions suivantes lisent le fichier sauvegardé.Fenêtre de terminal match normalise S-029535As written:first_name 'Jean-François'last_name 'Desjardins'email 'desjardins.jean-francois77@mail.example'phone ''address '2709 boul. Saint-Joseph app. 27'city 'Saint-Ambroise-des-Monts'province 'QC'postcode 'g6z 3w2'date_of_birth ''created '2022-10-15'Prepared:source 'shop'first 'jean francois'last 'desjardins'full 'jean francois desjardins'email 'desjardins.jean-francois77@mail.example'phone ''number '2709'street 'blvd st joseph'unit '27'town 'st ambroise des monts'province 'QC'postcode 'G6Z3W2'dob ''created '2022-10-15'parse_ok True
L’enregistrement préparé a les mêmes colonnes pour toutes les listes. Les valeurs sources restent inchangées dans data/. Essayez match normalise G-000002 : l’enregistrement de jardinerie MARTIN, N. donne le prénom n et le nom de famille martin. Son adresse donne le code postal N2L0V8. Après l’analyse, les 11 943 enregistrements des jardineries ont tous un code postal qu’une règle peut comparer.
Quand l’analyse échoue
Section intitulée « Quand l’analyse échoue »La plupart des enregistrements sont analysés avec succès. Dans nos données synthétiques, la proportion d’analyses réussies est de 1,000 pour le magasin. Elle est de 0,996 pour la fidélité et de 0,996 pour les jardineries. Cela représente 65 enregistrements de fidélité et 46 enregistrements de jardineries, soit 111 au total.
Les 111 échecs ont la même cause : la lettre M. dans le nom. Vous l’avez rencontrée dans le cas d’échec de la leçon précédente.
| Enregistrement | Nom tel qu’écrit | Prénom | Nom de famille | Cause de l’échec |
|---|---|---|---|---|
| L-000315 | M. Pelletier |
(vide) | pelletier |
« M. » est lu comme le titre Monsieur, donc il ne reste aucun prénom |
| G-000256 | BROWN, M. |
(vide) | brown |
« M. » est une initiale ici, mais la règle des titres la retire |
| G-001101 | M., LAVOIE |
lavoie |
(vide) | la liste a inversé les parties, donc la règle de virgule prend « M. » comme nom de famille |
L’analyseur marque ces enregistrements avec parse_ok à False (faux). Il ne s’arrête pas et n’invente aucune valeur. Il garde les champs qu’il a pu remplir. L-000315 conserve son nom de famille, son courriel, son téléphone, son code postal et sa date de naissance. Une règle qui exige le prénom ne peut pas utiliser cet enregistrement. Une règle qui utilise le courriel le peut encore.
Trois façons de traiter un enregistrement dont l’analyse échoue
Section intitulée « Trois façons de traiter un enregistrement dont l’analyse échoue »- Le garder, avec les champs qu’il a. C’est ce que fait le projet. L’enregistrement peut encore correspondre grâce à d’autres champs. C’est peu coûteux et sûr, mais certaines paires peuvent être manquées.
- Le transférer à une personne. Un responsable des données lit les 111 enregistrements et corrige les champs à la main. Chez TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, c’est le travail d’Ivana. C’est précis et lent. Cela fonctionne pour 111 enregistrements, mais pas pour 100 000.
- Améliorer l’analyseur. Par exemple, lire
M.comme une initiale quand un nom de famille suit une virgule. Chaque nouvelle règle exige un test et peut nuire à l’analyse d’autres enregistrements.
Ne supprimez jamais un enregistrement parce que son analyse échoue. Un enregistrement supprimé ne peut correspondre à rien. Toutes ses vraies paires deviennent donc des correspondances manquées, que personne ne voit.
Titres de produits : unités et formats
Section intitulée « Titres de produits : unités et formats »Hana, la responsable du marchandisage, gère les flux fournisseurs. Elle sait que leurs titres cachent deux nombres qui définissent un produit : la taille et le format. Le flux A de Northfield Supply écrit 4 ft. Le flux B de Copperleaf Wholesale écrit 1.2 m pour le même produit. Un analyseur qui trouve la taille peut la convertir en une seule unité pour permettre la comparaison des nombres.
Description textuelle du diagramme
La paire de gauche représente un seul produit. Le flux A écrit « 4 ft » et le flux B écrit « 1.2 m ». L’analyseur convertit les deux en mètres : 1,22 et 1,2. La marque et les mots sont les mêmes, mais les tailles ne sont pas exactement égales. Une règle exacte indique donc une différence. Le module 4 compare les nombres avec une tolérance. La paire de droite représente deux produits : un treillis métallique seul et le même treillis en paquet de 2. La marque, les mots et la taille sont égaux. Seul le champ du format montre la différence.
L’analyseur de titres du projet trouve d’abord le format ((Pack of 2), 2-pack, x2, 2 pk), puis la taille avec son unité. Il convertit les pieds, pouces et centimètres en mètres, les livres en kilogrammes, et les pieds carrés en mètres carrés. Les mots restants sont normalisés, et certaines variantes orthographiques deviennent identiques : gdn devient garden, color devient colour.
match parse title "Mossway Vinyl Garden Hose, 30 ft, Brown (Pack of 2)" size 9.14 size_kind 'length_m' pack 2 words 'mossway vinyl garden hose brown' ok TrueDans nos flux synthétiques, l’analyseur trouve une taille dans 90,5 % des titres du flux A et 90,2 % du flux B. Les autres ne sont pas des échecs : les gants et embouts de boyau n’ont aucune taille dans leur titre. ok vaut False pour eux, mais rien n’est incorrect. Lisez ce que signifie un « échec » avant de le compter.
Erreur courante
Une analyse erronée, pas vide
Symptôme : quelques enregistrements ont une rue étrange, comme old mill blvd larkmere, et aucune ville. Une règle sur la ville ne trouve jamais de correspondance pour eux.
Cause : l’adresse n’a pas de virgule avant la ville :
match parse address "5687 OLD MILL BOULEVARD LARKMERE ON N5C9Y7" number '5687' street 'old mill blvd larkmere' unit '' town '' province 'ON' postcode 'N5C9Y7' ok FalseL’analyseur trouve la ville après la dernière virgule. Sans virgule, il ne peut pas voir où la rue finit et où la ville commence. La ville se retrouve donc dans la rue. Ici, ok vaut False parce que la ville est vide, donc l’enregistrement est marqué. Un analyseur moins bon devinerait une ville, et la valeur erronée aurait l’air réelle.
Correction : la même adresse avec une virgule, 5687 OLD MILL BOULEVARD, LARKMERE ON N5C9Y7, donne la ville larkmere. Si vos données manquent souvent de virgules, ajoutez une règle : une liste de villes connues, lue depuis la fin. Dans nos données, chaque adresse a une virgule, donc le projet n’a pas besoin de cette règle. Testez aussi toute nouvelle règle sur des enregistrements dont l’analyse réussissait déjà.
Conséquence pour le travail en IA : un analyseur peut échouer visiblement (champ vide et marque) ou silencieusement (valeur erronée). Préférez les échecs visibles et comptez-les pour chaque source. Une valeur erronée dans un champ est pire qu’un champ vide, parce que l’apparieur lui fait confiance.
Quand analyser, et à quel coût
Section intitulée « Quand analyser, et à quel coût »Analysez quand un champ contient plusieurs faits importants pour l’appariement : adresses, noms complets, titres de produits et codes de structure connue. Analysez avant de bloquer et de comparer : le module 3 construit des clés de blocage avec le code postal et le nom de famille.
N’analysez pas ce que vous ne comparez pas. Chaque analyseur exige des règles, des tests et de l’entretien. La liste de fidélité n’a aucune adresse de rue, donc il n’y a rien à analyser de ce côté.
Le coût. Un petit analyseur avec des expressions régulières s’exécute rapidement. Le projet prépare les 60 108 enregistrements en moins de dix secondes sur notre portable. Cela fonctionne parce que nos données suivent quelques motifs. Pour les adresses de nombreux pays, il existe de grands analyseurs d’adresses entraînés, comme libpostal. Ils exigent beaucoup plus de mémoire et de configuration, et ce cours n’en utilise pas.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Analysez cette adresse de jardinerie à la main, dans l'ordre de l'analyseur : « 3-12, R. DES ERABLES, STE-ANNE-DES-PRES QC J0L1A0 ». Donnez le code postal, la province, la ville, le logement, le numéro et la rue.
Afficher la réponse
- Code postal à la fin :
J0L1A0. - Province juste avant :
QC. - Ville après la dernière virgule :
ste anne des pres. - Logement : la forme
3-12signifie logement 3 de l’immeuble numéro 12, donc le logement est3. - Numéro :
12. - Rue :
R. DES ERABLESdevientrue des erables.
Le test test_split_address du projet vérifie exactement cette adresse. Vous pouvez exécuter match parse address avec elle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'analyse de 111 enregistrements échoue à cause de « M. » dans le nom. Amira veut les retirer de la tâche d'appariement : « Ils représentent seulement 0,2 % des enregistrements. » Que répondez-vous?
Afficher la réponse
Ne les retirez pas. Un enregistrement retiré ne peut pas correspondre. Toutes ses vraies paires deviennent donc des correspondances manquées, et le nombre de clients reste trop élevé. Ces enregistrements ont encore des champs utiles : L-000315 a un nom de famille, un courriel, un téléphone, un code postal et une date de naissance. Gardez-les avec leurs champs existants et marquez-les avec parse_ok à False. Décidez ensuite. Une personne peut corriger 111 enregistrements en peu de temps. Une nouvelle règle d’analyse peut aussi lire « M. » comme une initiale après une virgule.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Deux titres donnent les mêmes marque, mots et taille, mais les formats 1 et 2. Tomás dit : « C'est le même produit, seule la quantité diffère. Fusionnez-les. » A-t-il raison?
Afficher la réponse
Non. Un article seul et un paquet de 2 sont deux produits. Ils ont des prix, des codes-barres et des stocks différents. S’ils sont fusionnés, un client qui commande un treillis peut recevoir un paquet de deux. La comparaison des prix peut aussi être erronée. Voilà pourquoi l’analyseur garde le format dans un champ distinct, et une règle de produit doit le comparer. Dans nos flux, ces paires sont un exercice que nous avons créé volontairement : 260 articles seuls avec un paquet de 2.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Analyser consiste à séparer une valeur en champs nommés selon son motif. L’analyseur extrait d’abord les parties les plus certaines : dans une adresse, le code postal et la province à la fin.
- Le fichier
prepared.pydu projet normalise et analyse chaque enregistrement pour créer les enregistrements préparés : les mêmes colonnes pour les trois listes. Après l’analyse, les 11 943 enregistrements des jardineries ont tous un code postal. - L’analyse de 111 enregistrements échoue, toujours à cause de « M. » dans le nom. Le projet les garde avec les champs qu’il a pu remplir et les marque avec
parse_okà False. Ne supprimez jamais un enregistrement dont l’analyse échoue. - Les titres de produits cachent une taille et un format. L’analyseur convertit les tailles en une seule unité. Le champ du format distingue un article seul de son paquet de 2.
- Un champ erroné est pire qu’un champ vide. Préférez un analyseur dont les échecs sont visibles.
Chaque enregistrement a maintenant des champs propres : prénom, nom de famille, courriel, téléphone, code postal, date de naissance. Vous les combinez ensuite dans des règles, comme « même téléphone et même nom de famille ». Vous obtenez les résultats de référence de base que toutes les méthodes suivantes devront dépasser.
Leçon suivante : Appariement exact et par règles