Aller au contenu
English

Normaliser

  • Leçon 4
  • 35 min
  • Module 2 : Nettoyer d'abord, puis apparier exactement

Où nous en sommes

Nous avons vu une même personne représentée de plusieurs façons : majuscules, accents, titres de civilité et formats de téléphone. La plupart de ces différences ne sont pas réelles. Dans cette leçon, nous normalisons les noms, téléphones, courriels et noms de sociétés pour que les valeurs égales se ressemblent.

Ce que vous saurez faire

Écrivez chaque valeur d’une seule façon standard pour que deux enregistrements de la même personne affichent des valeurs égales. Vous normalisez les noms, courriels, téléphones, codes postaux, dates, villes et noms de sociétés. Vous mesurez ensuite combien cette seule étape améliore la jointure sur le courriel.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter crée des fonctions de normalisation des courriels et des noms avec pandas. Il mesure la jointure sur le courriel avant et après. Vous écrivez ensuite vous-même la fonction pour les numéros de téléphone, puis vérifiez votre résultat. Le carnet télécharge les données, donc aucune configuration locale n’est nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

  • Le projet larkfield-match, configuré dans Découvrir les enregistrements. match check doit se terminer par « Setup check passed. » (vérification de la configuration réussie).
  • La précision par paire et le rappel par paire, présentés dans Fusions erronées et correspondances manquées.
  • Une chaîne est un morceau de texte dans un programme, comme un nom ou un courriel. Des bases en Python suffisent : une fonction qui reçoit une chaîne et retourne une chaîne.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) et Linux s’écrivent de la même façon, mais nous ne les avons pas testées.

Repensez à la clinique du module 1. La commis a deux fiches. L’une indique Dr. Jean-François Desjardins. L’autre indique Jean-François Desjardins. Elle n’hésite pas. « Dr. » est un titre de civilité, pas une partie du nom. Elle lit le même nom sur les deux fiches.

Un ordinateur ne lit pas ainsi. Il compare deux chaînes caractère par caractère. « Dr. Jean-François » et « Jean-François » commencent par des caractères différents, donc ces chaînes sont différentes. Une majuscule, un accent ou un espace de plus suffit.

Avant qu’un ordinateur compare les enregistrements, quelqu’un doit donc supprimer les différences qui ne comptent pas. C’est le sujet de cette leçon.

Le problème : des valeurs égales qui semblent différentes

Section intitulée « Le problème : des valeurs égales qui semblent différentes »

Voici le même client dans les données de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield. L’enregistrement de fidélité L-005618 et celui du magasin S-029535 appartiennent à un seul vrai client. Regardez les deux courriels :

L-005618 loyalty Desjardins.Jean-francois77@Mail.example
S-029535 shop desjardins.jean-francois77@mail.example

C’est la même adresse. Les majuscules ne comptent pas dans les adresses courriel. Mais la jointure sur le courriel du module 1 compare les chaînes exactement, donc elle indique « différent ». Ce client reste deux clients.

Ce cas n’est pas rare. Dans nos enregistrements synthétiques, 50 973 enregistrements ont un courriel. Parmi eux, 6 489 (12,7 %) changent quand nous les écrivons d’une seule façon standard. Il y en a 5 139 avec des majuscules et 1 499 avec des espaces avant ou après l’adresse. Chacun peut causer une correspondance manquée.

La solution consiste à normaliser chaque valeur avant de la comparer. Vous écrivez chaque valeur d’une seule façon standard : sa forme normale. Deux valeurs qui signifient la même chose ont alors la même forme normale. Une comparaison exacte les trouve.

Une forme normale suit des règles simples qui ne changent jamais. Pour un courriel : supprimer les espaces autour et l’écrire en minuscules. Pour un nom : minuscules, sans accents, sans ponctuation, sans titres de civilité. Chaque type de valeur a ses propres règles, car chacun présente des différences qui ne comptent pas.

Le diagramme fait passer le nom de l’enregistrement de fidélité L-005618 par les quatre étapes des règles du projet. Chaque étape change une chose.

Cinq encadrés de haut en bas, reliés par des flèches. Tel qu'écrit : Dr. Jean-François Desjardins. Étape 1, minuscules : dr. jean-françois desjardins. Étape 2, supprimer les accents : dr. jean-francois desjardins. Étape 3, remplacer la ponctuation par des espaces et garder un espace entre les mots : dr jean francois desjardins. Étape 4, supprimer les titres de civilité comme Mr, Mrs, Dr, M. et Mme : jean francois desjardins. Une note indique que l'enregistrement du magasin S-029535 contient Jean-François plus Desjardins. Les mêmes étapes donnent jean francois plus desjardins, donc les deux noms sont maintenant égaux.
Un nom passe par les quatre étapes des règles sur les noms. Le dernier encadré contient la forme normale. L'enregistrement du magasin pour ce même client donne la même forme normale.
Description textuelle du diagramme

Le nom commence sous la forme « Dr. Jean-François Desjardins ». L’étape 1 l’écrit en minuscules : « dr. jean-françois desjardins ». L’étape 2 supprime l’accent : « ç » devient « c ». L’étape 3 remplace le point et le trait d’union par des espaces. Elle garde un espace entre les mots : « dr jean francois desjardins ». L’étape 4 supprime le titre « dr » : « jean francois desjardins ». L’enregistrement du magasin contient « Jean-François » et « Desjardins », et les mêmes étapes donnent les mêmes mots. Les deux noms sont maintenant égaux.

L’étape 2 supprime les accents, mais garde la lettre : « é » devient « e », « ç » devient « c ». La plupart des clients de Larkfield vivent au Québec et en Ontario. Beaucoup de clients ont des noms français. Une liste les écrit avec des accents, une autre sans accents. L’étape 3 aide avec les traits d’union : une liste écrit « Jean-François », une autre « Jean François ».

Chaque type de valeur a besoin de ses propres règles. Le tableau montre les règles du projet, avec de vrais exemples tirés des données.

Valeur Règles Tel qu’écrit Forme normale
Nom minuscules, sans accents, ponctuation remplacée par des espaces, sans titres de civilité Dr. Jean-François Desjardins jean francois desjardins
Courriel sans espaces autour, minuscules; vide sans @ et point Desjardins.Jean-francois77@Mail.example desjardins.jean-francois77@mail.example
Téléphone chiffres seulement; supprimer le 1 initial et le poste; vide s’il ne reste pas 10 chiffres +1 514 555 8296 5145558296
Code postal sans espace ni trait d’union, majuscules; vide si le format n’est pas canadien g6z 3w2 G6Z3W2
Date année-mois-jour 26/07/1960 1960-07-26
Ville comme un nom, et « Sainte » → « ste », « Saint » → « st » SAINTE-ANNE-DES-PRÉS ste anne des pres
Rue comme un nom, avec une seule forme abrégée pour chaque type de rue r. des Hérons rue des herons
Société comme un nom, sans suffixes juridiques comme Inc, Ltd, Ltée Larkfield Ltée larkfield

Deux règles demandent une courte explication :

  • Suffixes juridiques. « Ltée » est l’abréviation française de « limitée », l’équivalent de « Ltd » en anglais. « Larkfield Ltée » et « Larkfield Inc. » désignent la même société, donc nous supprimons le suffixe. Les clients de Larkfield sont des personnes. Cette règle compte donc pour les noms de fournisseurs et les sociétés des études de cas.
  • Valeurs vides. Une règle qui ne peut pas produire de forme normale retourne une chaîne vide. 555-1313 contient seulement 7 chiffres, donc ce n’est pas un numéro de téléphone complet, et la règle retourne une chaîne vide. Une valeur vide ne correspond jamais à rien. C’est plus sûr qu’une mauvaise valeur.

Les trois listes écrivent les téléphones de plusieurs façons. Voici tous les formats dans nos données, avec leur structure (9 représente n’importe quel chiffre) :

Format Exemple Enregistrements
9999999999 5145558296 19 148
999-999-9999 514-555-1313 8 830
(999) 999-9999 (514) 555-1313 8 817
+9 999 999 9999 +1 514 555 8296 3 706
9-999-999-9999 1-418-555-3256 3 655
999.999.9999 519.555.4534 3 588

Après les règles de téléphone, les 47 744 numéros contiennent 10 chiffres, dans un seul format. Un ordinateur peut maintenant les comparer avec ==.

Les noms de villes du Québec commencent souvent par « Saint » ou « Sainte ». Les gens les écrivent de plusieurs façons. Nous avons volontairement fait de Sainte-Anne-des-Prés un exercice : dans nos données, 1 647 enregistrements l’écrivent de 10 façons différentes. Les cinq plus fréquentes sont Sainte-Anne-des-Prés (496 enregistrements), Sainte-Anne-des-Pres (220), Ste-Anne-des-Prés (195), Ste Anne-des-Prés (188) et Sainte Anne des Prés (180). Les autres sont les mêmes en majuscules, avec ou sans accent.

Les règles de ville transforment ces 10 formes en une seule forme normale : ste anne des pres. Les minuscules et la suppression des accents éliminent six différences. Les traits d’union deviennent des espaces. Et « Sainte » devient « ste », la forme abrégée.

Le projet reçoit un nouveau fichier dans cette leçon : larkfield_match/normalise.py. Il contient une fonction pour chaque type de valeur.

  1. Dans votre dossier larkfield-match, avec l’TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif, copiez le fichier depuis l’instantané end-of-m02 :

    Fenêtre de terminal
    cp ../nextia-learning-labs/C39/snapshots/end-of-m02/larkfield_match/normalise.py larkfield_match/
  2. Ouvrez larkfield_match/normalise.py dans VS Code. Trouvez la fonction name. Elle appelle text, qui exécute les étapes 1 à 3, puis supprime les mots de TITLES.

  3. Lancez Python dans le terminal avec python. Tapez ensuite les lignes qui commencent par >>> :

    >>> from larkfield_match import normalise as nz
    >>> nz.name("Dr. Jean-François Desjardins")
    'jean francois desjardins'
    >>> nz.email(" Desjardins.Jean-francois77@Mail.example ")
    'desjardins.jean-francois77@mail.example'
    >>> nz.phone("+1 (514) 555-1313")
    '5145551313'
    >>> nz.phone("555-1313")
    ''
    >>> nz.postcode("g6z 3w2")
    'G6Z3W2'
    >>> nz.date("26/07/1960")
    '1960-07-26'
    >>> nz.town("SAINTE-ANNE-DES-PRÉS")
    'ste anne des pres'
    >>> nz.company("Larkfield Ltée")
    'larkfield'

    Tapez exit() pour quitter Python.

Appliquez maintenant chaque règle aux deux enregistrements de Jean-François Desjardins. Le diagramme montre chaque champ tel que les listes l’ont écrit, puis après normalisation.

Un tableau de cinq lignes : nom, courriel, téléphone, code postal et date de naissance. Moitié gauche, tel qu'écrit : nom Dr. Jean-François Desjardins dans la fidélité L-005618 et Jean-François Desjardins dans le magasin S-029535, différents; courriel Desjardins.Jean-francois77@Mail.example et desjardins.jean-francois77@mail.example, différents; téléphone 514-555-1313 et vide; code postal G6Z3W2 et g6z 3w2, différents; date de naissance 26/07/1960 et vide. Moitié droite, normalisé : nom jean francois desjardins dans les deux, égaux; courriel desjardins.jean-francois77@mail.example dans les deux, égaux; téléphone 5145551313 et vide, l'un est vide; code postal G6Z3W2 dans les deux, égaux; date de naissance 1960-07-26 et vide, l'une est vide.
L'enregistrement de fidélité L-005618 et celui du magasin S-029535, un seul client. Tels qu'écrits, le nom, le courriel et le code postal diffèrent. Après normalisation, ils sont égaux. Le téléphone et la date de naissance sont vides dans l'enregistrement du magasin.
Description textuelle du diagramme

La moitié gauche montre les valeurs telles qu’écrites. Trois champs diffèrent. Le nom contient un titre de civilité dans un enregistrement, et le courriel contient des majuscules dans un enregistrement. Le code postal est en minuscules avec un espace dans l’enregistrement du magasin. La moitié droite montre les formes normales. Le nom, le courriel et le code postal sont maintenant égaux. Le téléphone et la date de naissance restent vides dans l’enregistrement du magasin. La normalisation ne peut pas ajouter une valeur absente.

Trois champs égaux sur cinq. Une jointure exacte sur le courriel trouve maintenant cette paire. Deux valeurs manquantes, c’est normal : la liste du magasin laisse le téléphone vide dans 30 % de ses enregistrements.

La normalisation est utile seulement si elle trouve plus de vraies paires. Mesurez-la donc sur les mêmes paires de test que la jointure sur le courriel du module 1. Le carnet le fait maintenant. Le projet ajoute la même exécution, exact-norm, dans Appariement exact et par règles.

Prédisez d’abord. Normaliser le courriel peut transformer une correspondance manquée en fusion correcte. Cela peut-il aussi créer une fusion erronée?

  • Fusions correctes
  • Fusions erronées
La jointure sur le courriel sur le jeu de test, tel que saisi et après normalisation (enregistrements synthétiques). La normalisation ajoute 559 fusions correctes et 117 fusions erronées.
Description textuelle du graphique

Un diagramme à colonnes avec quatre colonnes. Fusions correctes : 1 879 tel que saisi, 2 438 après normalisation. Fusions erronées : 421 tel que saisi, 538 après normalisation.

Exécution Précision Rappel F1 Clients après regroupement
exact (tel que saisi) 0,817 0,338 0,478 50 367
exact-norm (normalisé) 0,819 0,438 0,571 47 688

Le rappel passe de 0,338 à 0,438 : la normalisation trouve 559 vraies paires de plus. La réponse à la prédiction est oui. Elle ajoute aussi 117 fusions erronées, donc la précision reste presque la même.

D’où viennent les nouvelles fusions erronées? Certaines familles partagent une adresse courriel. Tels que saisis, TheGreens@Example.com et thegreens@example.com ne correspondaient pas, ce qui cachait le problème. Après normalisation, ils correspondent, et deux frères deviennent un seul client. La normalisation ne rend pas l’apparieur négligent. Elle supprime les différences accidentelles, qu’elles soient utiles ou nuisibles. Les frères sont un exercice que nous avons créé volontairement. Le module 5 revient sur leur cas.

Même après normalisation, 3 126 des 5 564 vraies paires restent manquées. Beaucoup de clients ont deux courriels différents, ou aucun courriel dans une liste. Un courriel seul ne peut pas les trouver. C’est pourquoi les prochaines leçons analysent les autres champs et les combinent dans des règles.

Erreur courante

Une règle qui supprime trop

Symptôme : la liste des titres du projet contient « m », car « M. » est le titre français correspondant à « Mr », comme dans M. Pelletier. Mais certains enregistrements ont maintenant un prénom vide. BROWN, M. dans les jardineries devient le nom de famille « brown », sans prénom.

Cause : « M. » a deux sens. C’est le titre français « Monsieur », mais aussi une initiale, comme dans « M. Brown » pour Michael ou Mary Brown. Une règle de normalisation ne peut pas savoir lequel est voulu. La règle supprime « m » comme titre de civilité, donc elle perd aussi l’initiale. Vous retrouverez ces enregistrements dans la prochaine leçon, où ils font échouer l’analyse en parties.

Un deuxième exemple : les règles de ville connaissent « Saint » et « Sainte ». Si quelqu’un tape St-Anne-des-Prés, les règles donnent st anne des pres, pas ste anne des pres. Les règles couvrent seulement les graphies pour lesquelles nous avons écrit des règles.

Solution : gardez les règles simples et vérifiez chaque nouvelle règle sur de vrais enregistrements avant de l’utiliser. Comptez combien de valeurs elle change, puis lisez-en quelques-unes. Gardez toujours la valeur telle qu’écrite à côté de sa forme normale. Une étape suivante pourra ainsi consulter les deux.

Conséquence dans le travail en IA : la normalisation est un ensemble de décisions sur le sens. Une règle trop forte rend deux valeurs différentes égales, ce qui crée une fusion erronée. Une règle trop faible laisse des différences, ce qui crée une correspondance manquée. Mesurez les deux, comme pour tout apparieur.

Faites-le toujours, et en premier. Toutes les méthodes suivantes de ce cours comparent des valeurs normalisées. Cela comprend les mesures de similarité du module 4 et les modèles du module 6. La normalisation ne coûte presque rien : quelques fonctions avec des opérations simples sur les chaînes.

N’écrasez pas la source. Le projet garde les enregistrements sources tels quels et écrit les formes normales dans de nouvelles colonnes. Vous pouvez ainsi expliquer chaque fusion et changer une règle plus tard.

Ce n’est pas un apparieur en soi. La normalisation fait paraître égales les valeurs égales. Elle n’aide pas quand les valeurs diffèrent réellement. Par exemple : une faute de frappe (Gagnoj pour Gagnon), un surnom (Matt pour Matthew) ou une ancienne adresse. Le module 4 traite ces cas avec des mesures de similarité.

Vérifiez votre compréhension

Écrivez la forme normale de chaque valeur selon les règles du projet : « Mme Hélène O'Brien », « (418) 555-3349 », « h9k-1e3 » et « 19/05/2004 ».

Afficher la réponse
  • helene obrien : minuscules, sans accent, sans apostrophe, sans le titre de civilité « mme », sans espaces autour.
  • 4185553349 : seulement les chiffres, 10 chiffres.
  • H9K1E3 : majuscules, sans trait d’union.
  • 2004-05-19 : année, mois, jour.

Vous pouvez vérifier chaque valeur avec nz.name, nz.phone, nz.postcode et nz.date en Python.

Vérifiez votre compréhension

Normaliser le courriel a fait passer le rappel de 0,338 à 0,438, mais la précision est restée autour de 0,82. Pourquoi la précision n'a-t-elle pas augmenté aussi?

Afficher la réponse

La normalisation ajoute des paires. Elle a trouvé 559 fusions correctes de plus et 117 fusions erronées de plus. La plupart des fusions erronées viennent de membres d’une famille qui partagent une adresse courriel. À la saisie, certains de ces courriels familiaux différaient par les majuscules et ne correspondaient donc pas. Après normalisation, ils correspondent. La normalisation supprime donc les différences accidentelles dans les vraies paires comme dans les fausses paires. La précision dépend de la part des fusions correctes parmi toutes les fusions. Cette part est restée presque identique.

Vérifiez votre compréhension

Tomás veut une règle de courriel plus poussée : « Supprimer tous les points et chiffres avant le @. Ainsi, jean.f77@x et jeanf@x sont égaux. » Quel est le risque? Comment décideriez-vous?

Afficher la réponse

La règle rend plus de courriels égaux. Elle peut donc trouver plus de vraies paires. Mais elle rend aussi des personnes différentes égales : marc.roy1@… et marc.roy2@… peuvent désigner deux personnes ayant le même nom. Ces paires deviennent des fusions erronées. Dans notre modèle de coûts, une fusion erronée coûte 150 $, contre 3 $ par année pour une correspondance manquée. Décidez à partir de mesures : exécutez la jointure avec et sans la règle sur les paires de test. Comparez la précision et le rappel, puis examinez un échantillon des nouvelles paires. Gardez la règle seulement si les fusions correctes supplémentaires valent le coût des fusions erronées supplémentaires.

Récapitulatif

  • Un ordinateur compare les chaînes caractère par caractère. Les majuscules, les accents, les espaces et les titres de civilité rendent donc différentes des valeurs égales.
  • Normaliser, c’est écrire chaque valeur d’une façon standard : sa forme normale. Les noms passent en minuscules, sans accents, sans ponctuation et sans titres de civilité. Les téléphones deviennent 10 chiffres, les codes postaux six caractères et les dates suivent l’ordre année-mois-jour.
  • Dans nos enregistrements synthétiques, 6 489 courriels sur 50 973 changent après normalisation. Six formats de téléphone deviennent un seul. Dix façons d’écrire Sainte-Anne-des-Prés deviennent une seule.
  • Normaliser le courriel fait passer le rappel de 0,338 à 0,438. La précision reste autour de 0,82. Cela ajoute 559 fusions correctes et 117 fusions erronées.
  • Gardez la valeur source à côté de la forme normale. Une règle qui supprime trop d’éléments, comme « M. » en tant que titre de civilité, fait perdre de l’information.

Le courriel est maintenant propre. Mais une adresse comme 2709 boul. Saint-Joseph app. 27 reste une longue chaîne contenant un numéro d’immeuble, une rue et un numéro d’appartement. Ensuite, vous découpez ces valeurs en parties pour pouvoir comparer chaque partie séparément.

Leçon suivante : Découper en parties