Aller au contenu
English

Découper en parties

  • Leçon 5
  • 35 min
  • Module 2 : Nettoyer d'abord, puis apparier exactement

Où nous en sommes

La normalisation a rendu les valeurs égales visuellement identiques. Certaines valeurs contiennent plusieurs faits dans une chaîne, comme une adresse complète ou un titre de produit avec un format. Dans cette leçon, nous les analysons en parties, puis décidons quoi faire quand l'analyse échoue.

Ce que vous saurez faire

Séparez les valeurs contenant plusieurs faits en champs distincts. Un nom devient un prénom et un nom de famille. Une adresse devient un numéro, une rue, un logement, une ville, une province et un code postal. Un titre de produit devient des mots, une taille et un format. Décidez ensuite comment l’apparieur traite un enregistrement dont l’analyse échoue.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter sépare les noms et adresses des jardineries avec pandas et des expressions régulières. Il compte les enregistrements dont l’analyse échoue. Vous écrivez ensuite un analyseur pour le format dans les titres de produits, puis vérifiez votre résultat. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Les formes normalisées et le fichier larkfield_match/normalise.py, présentés dans Normaliser.
  • Une expression régulière est un court motif qui décrit du texte, comme « une lettre, un chiffre, une lettre ». Le module re de Python les utilise. Vous n’avez pas à en écrire dans cette leçon : nous expliquons chaque motif en mots.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.

La clinique adopte un nouveau système de classement. Son formulaire a des cases distinctes : prénom, nom de famille, rue, ville, code postal. Les anciennes fiches ont une seule ligne pour toute l’adresse, et le nom sous la forme « NOM DE FAMILLE, Prénom ».

La commis copie chaque ancienne fiche dans le nouveau formulaire. Elle sait que le code postal se trouve à la fin de l’adresse. Elle sait que la partie avant la virgule est le nom de famille. Quand une fiche manque de clarté, elle ne devine pas. Elle la marque et laisse la case vide.

Après ce travail, elle peut comparer une case à la fois : ce code postal avec cet autre code postal. Voilà ce que l’analyse fait pour un apparieur.

Regardez de nouveau les trois listes du module 1. Chacune stocke l’adresse différemment :

shop address '2709 boul. Saint-Joseph app. 27' city 'Saint-Ambroise-des-Monts' province 'QC' postcode 'g6z 3w2'
loyalty (no address) postcode 'G6Z3W2'
garden address '8983 Fern Lane, Ashbury Falls ON N2L 0V8' (no postcode column)

Les jardineries écrivent toute l’adresse dans un seul champ. Le code postal s’y trouve. Une règle comme « même nom et même code postal » exige d’abord d’extraire le code postal de la chaîne. Sans cette extraction, elle ne peut utiliser aucun des 11 943 enregistrements des jardineries.

Les noms présentent le même problème. Les jardineries écrivent GREEN, SAMUEL. La liste de fidélité écrit Samuel Green. Les chaînes complètes green samuel et samuel green sont différentes, même après la normalisation. Pour comparer les noms de famille, l’apparieur a besoin d’un champ distinct pour le nom de famille.

Les titres de produits cachent des nombres. Dans le flux A, Mossway Vinyl Garden Hose, 30 ft, Brown (Pack of 2) contient une marque, une taille, une couleur et un format. Tout est dans une seule chaîne.

L’idée : analyser chaque valeur en parties nommées

Section intitulée « L’idée : analyser chaque valeur en parties nommées »

Analyser une valeur consiste à la séparer en parties nommées selon son motif. Le résultat est un ensemble de champs : chacun contient un fait, comme la ville ou le code postal. Après l’analyse, chaque champ est normalisé et comparé séparément.

Un analyseur commence par ce qui est certain. Dans une adresse canadienne, le code postal est à la fin et suit une forme fixe : lettre, chiffre, lettre, chiffre, lettre, chiffre. La province est un code de deux lettres juste avant. L’analyseur lit donc depuis la fin et extrait d’abord les parties les plus certaines.

Un exemple détaillé avec toutes les étapes visibles

Section intitulée « Un exemple détaillé avec toutes les étapes visibles »

Le projet réunit les quatre colonnes d’adresse du magasin sur une seule ligne. Le même analyseur lit ensuite toutes les adresses des trois listes. Le diagramme suit la ligne de l’enregistrement S-029535 du magasin.

La ligne 2709 boul. Saint-Joseph app. 27, Saint-Ambroise-des-Monts QC g6z 3w2 passe par six étapes. Chaque rangée montre l'étape, le reste de la ligne et la partie extraite. Étape 1, code postal à la fin : G6Z3W2. Étape 2, province juste avant : QC. Étape 3, ville après la dernière virgule : st ambroise des monts. Étape 4, logement après app., apt, unit ou le signe # : 27. Étape 5, numéro d'immeuble au début : 2709. Étape 6, le reste est la rue, normalisée, avec boul. devenu blvd et Saint devenu st : blvd st joseph. Il ne reste ensuite rien, et parse_ok vaut True.
Une adresse passe dans l'analyseur. Chaque étape extrait une partie, donc le reste de la ligne raccourcit. La dernière colonne contient les champs; chacun est normalisé.
Description textuelle du diagramme

La ligne est « 2709 boul. Saint-Joseph app. 27, Saint-Ambroise-des-Monts QC g6z 3w2 ». L’étape 1 extrait le code postal à la fin : G6Z3W2. L’étape 2 extrait la province juste avant : QC. L’étape 3 extrait la ville après la dernière virgule : « st ambroise des monts ». L’étape 4 trouve le logement après le mot « app. » : 27. L’étape 5 extrait le numéro d’immeuble au début : 2709. L’étape 6 garde le reste comme rue et le normalise en « blvd st joseph ». Il ne reste rien. L’enregistrement a un numéro, une rue et une ville, donc l’analyseur le marque comme analysé.

L’étape 4 reconnaît plusieurs mots pour un logement : app. (français), apt, apartment, unit, suite, et le signe #. Elle reconnaît aussi la forme 3-12, où 3 est le logement et 12 le numéro d’immeuble. L’étape 6 utilise les règles de rue de la leçon précédente : boul. devient blvd, et Saint devient st.

Les noms suivent deux motifs. Avec une virgule, la partie avant celle-ci est le nom de famille : TREMBLAY, MARIE-CLAUDE. Sans virgule, le dernier mot est le nom de famille : Dr. Jean-François Desjardins. Les titres de civilité sont retirés d’abord, comme dans la leçon précédente.

La règle du dernier mot est une supposition, parfois erronée. Un nom de famille de deux mots, comme « Saint Pierre » sans trait d’union, perd son premier mot. Nos données écrivent ces noms avec un trait d’union, donc la supposition fonctionne ici. Vérifiez-la sur d’autres données.

Cette leçon ajoute deux modules et deux commandes au projet. larkfield_match/parse.py contient les analyseurs. larkfield_match/prepared.py normalise et analyse chaque enregistrement dans une seule table, les enregistrements préparés. Les commandes match parse et match normalise montrent le résultat.

  1. Copiez les quatre fichiers de l’instantané end-of-m02 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m02
    for f in larkfield_match/parse.py larkfield_match/prepared.py larkfield_match/commands/parse.py larkfield_match/commands/normalise.py; do
    cp "$S/$f" "$f"
    done
  2. Analysez une adresse et un nom :

    Fenêtre de terminal
    match parse address "2709 boul. Saint-Joseph app. 27, Saint-Ambroise-des-Monts QC G6Z 3W2"
    number '2709'
    street 'blvd st joseph'
    unit '27'
    town 'st ambroise des monts'
    province 'QC'
    postcode 'G6Z3W2'
    ok True
    Fenêtre de terminal
    match parse name "TREMBLAY, MARIE-CLAUDE"
    first 'marie claude'
    last 'tremblay'
    ok True
  3. Affichez un enregistrement complet, tel qu’écrit et préparé. La première exécution prépare les 60 108 enregistrements et les sauvegarde dans outputs/prepared_customers.pkl. Cela prend quelques secondes (moins de dix sur notre portable); les exécutions suivantes lisent le fichier sauvegardé.

    Fenêtre de terminal
    match normalise S-029535
    As written:
    first_name 'Jean-François'
    last_name 'Desjardins'
    email 'desjardins.jean-francois77@mail.example'
    phone ''
    address '2709 boul. Saint-Joseph app. 27'
    city 'Saint-Ambroise-des-Monts'
    province 'QC'
    postcode 'g6z 3w2'
    date_of_birth ''
    created '2022-10-15'
    Prepared:
    source 'shop'
    first 'jean francois'
    last 'desjardins'
    full 'jean francois desjardins'
    email 'desjardins.jean-francois77@mail.example'
    phone ''
    number '2709'
    street 'blvd st joseph'
    unit '27'
    town 'st ambroise des monts'
    province 'QC'
    postcode 'G6Z3W2'
    dob ''
    created '2022-10-15'
    parse_ok True

L’enregistrement préparé a les mêmes colonnes pour toutes les listes. Les valeurs sources restent inchangées dans data/. Essayez match normalise G-000002 : l’enregistrement de jardinerie MARTIN, N. donne le prénom n et le nom de famille martin. Son adresse donne le code postal N2L0V8. Après l’analyse, les 11 943 enregistrements des jardineries ont tous un code postal qu’une règle peut comparer.

La plupart des enregistrements sont analysés avec succès. Dans nos données synthétiques, la proportion d’analyses réussies est de 1,000 pour le magasin. Elle est de 0,996 pour la fidélité et de 0,996 pour les jardineries. Cela représente 65 enregistrements de fidélité et 46 enregistrements de jardineries, soit 111 au total.

Les 111 échecs ont la même cause : la lettre M. dans le nom. Vous l’avez rencontrée dans le cas d’échec de la leçon précédente.

Enregistrement Nom tel qu’écrit Prénom Nom de famille Cause de l’échec
L-000315 M. Pelletier (vide) pelletier « M. » est lu comme le titre Monsieur, donc il ne reste aucun prénom
G-000256 BROWN, M. (vide) brown « M. » est une initiale ici, mais la règle des titres la retire
G-001101 M., LAVOIE lavoie (vide) la liste a inversé les parties, donc la règle de virgule prend « M. » comme nom de famille

L’analyseur marque ces enregistrements avec parse_ok à False (faux). Il ne s’arrête pas et n’invente aucune valeur. Il garde les champs qu’il a pu remplir. L-000315 conserve son nom de famille, son courriel, son téléphone, son code postal et sa date de naissance. Une règle qui exige le prénom ne peut pas utiliser cet enregistrement. Une règle qui utilise le courriel le peut encore.

Trois façons de traiter un enregistrement dont l’analyse échoue

Section intitulée « Trois façons de traiter un enregistrement dont l’analyse échoue »
  1. Le garder, avec les champs qu’il a. C’est ce que fait le projet. L’enregistrement peut encore correspondre grâce à d’autres champs. C’est peu coûteux et sûr, mais certaines paires peuvent être manquées.
  2. Le transférer à une personne. Un responsable des données lit les 111 enregistrements et corrige les champs à la main. Chez TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, c’est le travail d’Ivana. C’est précis et lent. Cela fonctionne pour 111 enregistrements, mais pas pour 100 000.
  3. Améliorer l’analyseur. Par exemple, lire M. comme une initiale quand un nom de famille suit une virgule. Chaque nouvelle règle exige un test et peut nuire à l’analyse d’autres enregistrements.

Ne supprimez jamais un enregistrement parce que son analyse échoue. Un enregistrement supprimé ne peut correspondre à rien. Toutes ses vraies paires deviennent donc des correspondances manquées, que personne ne voit.

Hana, la responsable du marchandisage, gère les flux fournisseurs. Elle sait que leurs titres cachent deux nombres qui définissent un produit : la taille et le format. Le flux A de Northfield Supply écrit 4 ft. Le flux B de Copperleaf Wholesale écrit 1.2 m pour le même produit. Un analyseur qui trouve la taille peut la convertir en une seule unité pour permettre la comparaison des nombres.

Deux panneaux. À gauche, un produit dans deux flux : NF-00001 Hearthside Cedar Raised Garden Bed, 4 ft, Sand, analysé en marque hearthside, mots cedar raised garden bed sand, taille 1,22 m, format 1; CL-01686 raised garden bed 1.2 m cedar sand - Hearthside, analysé en marque hearthside, mots raised garden bed cedar sand, taille 1,2 m, format 1. Une note : mêmes marque et mots, tailles de 1,22 m et 1,2 m, car 4 ft vaut 1,22 m et le flux B écrit 1.2 m; une règle exacte indique une différence; le module 4 compare les nombres avec une tolérance. À droite, deux produits : NF-00845 Larkfield Basics Metal Trellis, 6 ft, Natural, et NF-00127, le même titre avec (Pack of 2). Les deux donnent la marque larkfield basics, les mots metal trellis natural et la taille 1,83 m; les formats sont 1 et 2. Une note : ce sont deux produits avec deux prix; sans le champ du format, un apparieur les fusionnerait.
Deux paires de titres de produits, analysées. À gauche : un produit, avec des tailles en pieds et en mètres. À droite : un treillis seul et son paquet de 2, qui sont deux produits. Les paires de formats sont un exercice que nous avons créé volontairement.
Description textuelle du diagramme

La paire de gauche représente un seul produit. Le flux A écrit « 4 ft » et le flux B écrit « 1.2 m ». L’analyseur convertit les deux en mètres : 1,22 et 1,2. La marque et les mots sont les mêmes, mais les tailles ne sont pas exactement égales. Une règle exacte indique donc une différence. Le module 4 compare les nombres avec une tolérance. La paire de droite représente deux produits : un treillis métallique seul et le même treillis en paquet de 2. La marque, les mots et la taille sont égaux. Seul le champ du format montre la différence.

L’analyseur de titres du projet trouve d’abord le format ((Pack of 2), 2-pack, x2, 2 pk), puis la taille avec son unité. Il convertit les pieds, pouces et centimètres en mètres, les livres en kilogrammes, et les pieds carrés en mètres carrés. Les mots restants sont normalisés, et certaines variantes orthographiques deviennent identiques : gdn devient garden, color devient colour.

Fenêtre de terminal
match parse title "Mossway Vinyl Garden Hose, 30 ft, Brown (Pack of 2)"
size 9.14
size_kind 'length_m'
pack 2
words 'mossway vinyl garden hose brown'
ok True

Dans nos flux synthétiques, l’analyseur trouve une taille dans 90,5 % des titres du flux A et 90,2 % du flux B. Les autres ne sont pas des échecs : les gants et embouts de boyau n’ont aucune taille dans leur titre. ok vaut False pour eux, mais rien n’est incorrect. Lisez ce que signifie un « échec » avant de le compter.

Erreur courante

Une analyse erronée, pas vide

Symptôme : quelques enregistrements ont une rue étrange, comme old mill blvd larkmere, et aucune ville. Une règle sur la ville ne trouve jamais de correspondance pour eux.

Cause : l’adresse n’a pas de virgule avant la ville :

Fenêtre de terminal
match parse address "5687 OLD MILL BOULEVARD LARKMERE ON N5C9Y7"
number '5687'
street 'old mill blvd larkmere'
unit ''
town ''
province 'ON'
postcode 'N5C9Y7'
ok False

L’analyseur trouve la ville après la dernière virgule. Sans virgule, il ne peut pas voir où la rue finit et où la ville commence. La ville se retrouve donc dans la rue. Ici, ok vaut False parce que la ville est vide, donc l’enregistrement est marqué. Un analyseur moins bon devinerait une ville, et la valeur erronée aurait l’air réelle.

Correction : la même adresse avec une virgule, 5687 OLD MILL BOULEVARD, LARKMERE ON N5C9Y7, donne la ville larkmere. Si vos données manquent souvent de virgules, ajoutez une règle : une liste de villes connues, lue depuis la fin. Dans nos données, chaque adresse a une virgule, donc le projet n’a pas besoin de cette règle. Testez aussi toute nouvelle règle sur des enregistrements dont l’analyse réussissait déjà.

Conséquence pour le travail en IA : un analyseur peut échouer visiblement (champ vide et marque) ou silencieusement (valeur erronée). Préférez les échecs visibles et comptez-les pour chaque source. Une valeur erronée dans un champ est pire qu’un champ vide, parce que l’apparieur lui fait confiance.

Analysez quand un champ contient plusieurs faits importants pour l’appariement : adresses, noms complets, titres de produits et codes de structure connue. Analysez avant de bloquer et de comparer : le module 3 construit des clés de blocage avec le code postal et le nom de famille.

N’analysez pas ce que vous ne comparez pas. Chaque analyseur exige des règles, des tests et de l’entretien. La liste de fidélité n’a aucune adresse de rue, donc il n’y a rien à analyser de ce côté.

Le coût. Un petit analyseur avec des expressions régulières s’exécute rapidement. Le projet prépare les 60 108 enregistrements en moins de dix secondes sur notre portable. Cela fonctionne parce que nos données suivent quelques motifs. Pour les adresses de nombreux pays, il existe de grands analyseurs d’adresses entraînés, comme libpostal. Ils exigent beaucoup plus de mémoire et de configuration, et ce cours n’en utilise pas.

Vérifiez votre compréhension

Analysez cette adresse de jardinerie à la main, dans l'ordre de l'analyseur : « 3-12, R. DES ERABLES, STE-ANNE-DES-PRES QC J0L1A0 ». Donnez le code postal, la province, la ville, le logement, le numéro et la rue.

Afficher la réponse
  1. Code postal à la fin : J0L1A0.
  2. Province juste avant : QC.
  3. Ville après la dernière virgule : ste anne des pres.
  4. Logement : la forme 3-12 signifie logement 3 de l’immeuble numéro 12, donc le logement est 3.
  5. Numéro : 12.
  6. Rue : R. DES ERABLES devient rue des erables.

Le test test_split_address du projet vérifie exactement cette adresse. Vous pouvez exécuter match parse address avec elle.

Vérifiez votre compréhension

L'analyse de 111 enregistrements échoue à cause de « M. » dans le nom. Amira veut les retirer de la tâche d'appariement : « Ils représentent seulement 0,2 % des enregistrements. » Que répondez-vous?

Afficher la réponse

Ne les retirez pas. Un enregistrement retiré ne peut pas correspondre. Toutes ses vraies paires deviennent donc des correspondances manquées, et le nombre de clients reste trop élevé. Ces enregistrements ont encore des champs utiles : L-000315 a un nom de famille, un courriel, un téléphone, un code postal et une date de naissance. Gardez-les avec leurs champs existants et marquez-les avec parse_ok à False. Décidez ensuite. Une personne peut corriger 111 enregistrements en peu de temps. Une nouvelle règle d’analyse peut aussi lire « M. » comme une initiale après une virgule.

Vérifiez votre compréhension

Deux titres donnent les mêmes marque, mots et taille, mais les formats 1 et 2. Tomás dit : « C'est le même produit, seule la quantité diffère. Fusionnez-les. » A-t-il raison?

Afficher la réponse

Non. Un article seul et un paquet de 2 sont deux produits. Ils ont des prix, des codes-barres et des stocks différents. S’ils sont fusionnés, un client qui commande un treillis peut recevoir un paquet de deux. La comparaison des prix peut aussi être erronée. Voilà pourquoi l’analyseur garde le format dans un champ distinct, et une règle de produit doit le comparer. Dans nos flux, ces paires sont un exercice que nous avons créé volontairement : 260 articles seuls avec un paquet de 2.

Récapitulatif

  • Analyser consiste à séparer une valeur en champs nommés selon son motif. L’analyseur extrait d’abord les parties les plus certaines : dans une adresse, le code postal et la province à la fin.
  • Le fichier prepared.py du projet normalise et analyse chaque enregistrement pour créer les enregistrements préparés : les mêmes colonnes pour les trois listes. Après l’analyse, les 11 943 enregistrements des jardineries ont tous un code postal.
  • L’analyse de 111 enregistrements échoue, toujours à cause de « M. » dans le nom. Le projet les garde avec les champs qu’il a pu remplir et les marque avec parse_ok à False. Ne supprimez jamais un enregistrement dont l’analyse échoue.
  • Les titres de produits cachent une taille et un format. L’analyseur convertit les tailles en une seule unité. Le champ du format distingue un article seul de son paquet de 2.
  • Un champ erroné est pire qu’un champ vide. Préférez un analyseur dont les échecs sont visibles.

Chaque enregistrement a maintenant des champs propres : prénom, nom de famille, courriel, téléphone, code postal, date de naissance. Vous les combinez ensuite dans des règles, comme « même téléphone et même nom de famille ». Vous obtenez les résultats de référence de base que toutes les méthodes suivantes devront dépasser.

Leçon suivante : Appariement exact et par règles