Aller au contenu
English

Ça se prononce pareil

  • Leçon 13
  • 30 min
  • Module 4 : Comparer les enregistrements : les mesures de similarité

Où nous en sommes

Les mesures de similarité de chaînes comparent les lettres. Certains noms s'écrivent différemment, mais se prononcent de la même façon. Dans cette leçon, nous utilisons Soundex et Metaphone. Nous voyons où ils aident et où ils échouent, par exemple avec les noms français.

Ce que vous saurez faire

Comparez les noms selon leur prononciation. Calculez un code Soundex à la main et comparez-le à Metaphone. Trouvez où les codes phonétiques aident et où ils échouent avec les noms français. Mesurez leur apport pour les paires candidates de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.

Carnet JupyterCalculer des codes phonétiques dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter implémente Soundex à la main, puis vérifie le résultat avec la bibliothèque jellyfish. Il mesure la fréquence d’accord entre Soundex et Metaphone sur les paires étiquetées de Larkfield. Ses cellules de préparation téléchargent les données. Aucune préparation locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers de la dernière leçon. Vous pouvez aussi utiliser seulement le carnet.

Testé sur macOS avec Python 3.12.13.

Une clinique prend des rendez-vous par téléphone. Une patiente donne son nom : « Phillips ». La réceptionniste tape ce qu’elle entend : « Filips ». Le dossier de la patiente, créé deux ans plus tôt à partir d’un formulaire, indique « Phillips ».

Les deux graphies ont peu de lettres aux mêmes positions. Mais toute personne qui les lit à voix haute entend le même nom. La réceptionniste n’a pas fait de faute de frappe. Elle a écrit ce qu’elle entendait.

Les mesures de similarité de chaînes comparent les lettres. Quand l’écriture suit la prononciation, les lettres peuvent être très différentes :

Fenêtre de terminal
match similar Phillips Filips
'phillips' / 'filips'
levenshtein distance 3
levenshtein 0.625
jaro_winkler 0.819
token_set_ratio 0.714
soundex P412 / F412 different
metaphone FLPS / FLPS same

Levenshtein donne 0,625 et Jaro–Winkler, 0,819. Ces scores sont faibles. Un seuil assez bas pour les accepter accepte aussi de nombreuses paires de personnes différentes.

La dernière ligne montre une autre idée. Le code Metaphone des deux graphies est FLPS.

Un code phonétique transforme un nom en code court qui représente sa prononciation, et non son orthographe. Deux noms ayant le même code se prononcent probablement de façon semblable. Nous comparons ensuite les codes pour vérifier leur égalité, comme au module 2.

Les codes phonétiques existent depuis longtemps. Soundex a été inventé il y a environ cent ans. Les États-Unis l’ont utilisé pour indexer leurs enregistrements de recensement. Metaphone est plus récent : il contient beaucoup plus de règles d’orthographe anglaise.

Soundex garde la première lettre. Il transforme chaque consonne suivante en chiffre. Les consonnes aux sons semblables reçoivent le même chiffre : b, f, p et v deviennent toutes 1. Il supprime les voyelles. Le code compte toujours 4 caractères.

Les règles de Soundex : garder la première lettre; b f p v deviennent 1, c g j k q s x z deviennent 2, d t deviennent 3, l devient 4, m n deviennent 5, r devient 6; supprimer les voyelles et h, w; deux chiffres identiques côte à côte comptent une seule fois; garder 4 caractères. Robert : R, o supprimé, b 1, e supprimé, r 6, t 3, code R163. Rupert : R, u supprimé, p 1, e supprimé, r 6, t 3, code R163.
Soundex pour « Robert » et « Rupert ». Les deux reçoivent R163, car b et p partagent le chiffre 1. Ce sont deux noms différents.
Description textuelle du diagramme

Les règles de Soundex, puis les lettres de deux noms avec le chiffre sous chaque lettre. Robert : R est gardé; o est supprimé; b vaut 1; e est supprimé; r vaut 6; t vaut 3. Le code est R163. Rupert : R est gardé; u est supprimé; p vaut 1; e est supprimé; r vaut 6; t vaut 3. Le code est aussi R163.

Soundex donne le même code à « Robert » et « Rupert ». C’est le prix d’un code court : il regroupe des noms dont la prononciation se ressemble un peu. Soundex garde aussi la première lettre, et non le premier son. Ainsi, « Phillips » (P412) et « Filips » (F412) reçoivent des codes différents, malgré leur prononciation identique.

Metaphone connaît mieux l’orthographe anglaise. Voici quelques-unes de ses règles :

  • « ph » se prononce comme « f », donc il écrit F.
  • « th » se prononce comme le début de « thin », donc il écrit 0 (un zéro).
  • Il distingue b et p. « Robert » donne RBRT et « Rupert », RPRT.
  • Il supprime la plupart des voyelles et de nombreuses lettres muettes.

Metaphone donne donc le même code, FLPS, à « Phillips » et « Filips ». Il distingue « Robert » de « Rupert ». Il semble meilleur. Mais ses règles sont anglaises.

Le script de mesure du projet a calculé les codes de onze paires de noms. Certaines contiennent un seul nom écrit de deux façons. D’autres contiennent deux noms différents qui se ressemblent à l’écrit ou à l’oral. Les accents sont supprimés avant le calcul, comme dans le projet.

Onze paires avec leurs codes Soundex et Metaphone, et la justesse de chaque code. Robert / Rupert (deux noms) : Soundex R163 = R163 incorrect; Metaphone RBRT ≠ RPRT correct. Smith / Smyth (un nom) : les deux sont corrects. Thompson / Tomson (un nom) : Soundex T512 ≠ T525 incorrect; Metaphone 0MPSN ≠ TMSN incorrect. Côté / Cote : les deux sont corrects. Gagné / Gagnon (deux noms) : les deux sont corrects. Thériault / Terriault (un nom) : Soundex correct; Metaphone 0RLT ≠ TRLT incorrect. Lévesque / Leveque (un nom) : Soundex correct; Metaphone LFSK ≠ LFK incorrect. Nguyen / Nguyễn, Haddad / Hadad : les deux sont corrects. Beaulieu / Boileau (deux noms) : Soundex B400 = B400 incorrect; Metaphone BL = BL incorrect. Jean / Gene (deux noms) : Soundex correct; Metaphone JN = JN incorrect. Soundex est correct pour 8 paires sur 11, Metaphone pour 6 sur 11.
Onze paires du script de mesure. Vert : le code est correct. Rouge : le code est identique pour deux noms différents, ou différent pour un seul nom. La plupart des cellules rouges concernent des noms français.
Description textuelle du diagramme

Pour chaque paire : s’agit-il d’un seul nom écrit de deux façons, et chaque code est-il correct? Soundex est correct pour 8 paires sur 11 et Metaphone pour 6. Metaphone se trompe sur trois noms français. Il lit le « th » de « Thériault » comme le « th » anglais. Il garde le « s » muet de « Lévesque ». Il donne au prénom français « Jean » le code du nom anglais « Gene ». Les deux méthodes donnent le même code aux noms de famille différents « Beaulieu » et « Boileau ». Les deux échouent pour « Thompson » / « Tomson ».

Les règles de Metaphone décrivent comment les anglophones lisent l’orthographe anglaise. L’orthographe française suit d’autres règles :

  • En français, « th » se prononce comme « t ». Ainsi, « Thériault » et « Terriault » se prononcent de façon semblable, mais Metaphone écrit 0RLT et TRLT.
  • Le français a souvent des lettres muettes. Le « s » de « Lévesque » est muet, donc « Leveque » se prononce de la même façon. Metaphone garde le « s » : LFSK contre LFK.
  • Les voyelles françaises portent une grande partie de la prononciation. « Beaulieu » et « Boileau » se prononcent très différemment. Mais les deux méthodes suppriment les voyelles et ne gardent que « B » et « L ».
  • « Jean » en français commence par un son « zh » doux, et non le « j » de « Gene ». Metaphone ne sait pas que le nom est français.

Les clients de Larkfield vivent surtout au Québec et en Ontario, et beaucoup portent des noms français. Le même problème apparaît avec les noms d’autres langues. Les gens écrivent les noms vietnamiens, arabes ou chinois en lettres latines de plusieurs façons. Une règle anglaise ne connaît pas ces variantes.

Le tableau ci-dessus présente des exemples choisis. Que se passe-t-il sur de vraies paires candidates? Nous avons pris toutes les paires candidates des cinq clés de blocage dont les noms de famille s’écrivent différemment après normalisation. Il y a 150 554 paires de ce type. Pour chaque paire, nous avons vérifié trois éléments : même code Soundex, même code Metaphone, score Jaro–Winkler d’au moins 0,9.

  • Un seul client (vraies paires)
  • Deux personnes
Paires candidates (cinq clés de blocage, toutes les partitions) dont les deux noms de famille s'écrivent différemment, dans nos enregistrements synthétiques : 3 144 paires d'un seul client et 147 410 paires de deux personnes.
Description textuelle du graphique

Un graphique à points de six lignes. Soundex concorde pour 0,465 des paires d’un seul client et pour 0,167 des paires de deux personnes. Metaphone concorde pour 0,358 et 0,125. Un score Jaro–Winkler d’au moins 0,9 couvre 0,637 et 0,395.

Les codes phonétiques détectent moins de la moitié des noms de famille mal écrits d’un seul client. Jaro–Winkler à 0,9 en détecte davantage, mais laisse aussi passer plus de paires de deux personnes.

Pourquoi les codes donnent-ils de si mauvais résultats ici? Regardez les erreurs. Nos enregistrements synthétiques contiennent des fautes de frappe : une lettre manquante, deux lettres inversées, une touche voisine de la bonne. Ce ne sont pas des graphies fondées sur la prononciation. Les paires mal écrites que Metaphone manque le plus souvent sont « smit » / « smith », « ganon » / « gagnon » et « ouelle » / « ouellet ». Une lettre manquante change le code : « smit » donne SMT et « smith », SM0.

Origine du nom de famille Paires d’un seul client Soundex concorde Metaphone concorde Paires de deux personnes Soundex concorde Metaphone concorde
Anglaise 1 403 0,459 0,354 33 038 0,289 0,217
Française 1 276 0,484 0,389 106 473 0,129 0,098

L’origine correspond à la liste de noms du générateur (anglais, français ou autres) qui contient une des deux graphies.

Pour ces fautes de frappe, les codes réussissent à peu près aussi bien avec les noms français qu’avec les noms anglais. La faiblesse observée sur les noms français des onze paires n’apparaît pas ici. Notre générateur ne produit pas de graphies françaises fondées sur la prononciation, comme « Terriault » pour « Thériault ». C’est une limite de nos données synthétiques. De vrais enregistrements saisis à partir d’appels ou de textes manuscrits contiendraient davantage de graphies fondées sur la prononciation. Faites des mesures sur vos propres données avant de vous fier à l’un ou l’autre résultat.

Les codes phonétiques sont déjà dans larkfield_match/similarity.py, que vous avez copié dans la dernière leçon. match similar les affiche sur ses deux dernières lignes :

Fenêtre de terminal
match similar "Thériault" "Terriault"
match similar Beaulieu Boileau
'theriault' / 'terriault'
levenshtein distance 2
levenshtein 0.778
jaro_winkler 0.933
token_set_ratio 0.889
soundex T643 / T643 same
metaphone 0RLT / TRLT different
'beaulieu' / 'boileau'
levenshtein distance 5
levenshtein 0.375
jaro_winkler 0.782
token_set_ratio 0.533
soundex B400 / B400 same
metaphone BL / BL same

Le code supprime d’abord les accents, puis appelle la bibliothèque jellyfish :

def soundex(s):
s = strip_accents(s)
return jellyfish.soundex(s) if s else ""
def metaphone(s):
s = strip_accents(s)
return jellyfish.metaphone(s) if s else ""

Un nom vide reçoit un code vide, jamais un code qui lui est propre. Deux codes vides ne doivent pas compter comme une « même prononciation ». La prochaine leçon traite les valeurs vides comme manquantes.

Dans la prochaine leçon, l’apparieur utilise un champ phonétique : last_sound. Il vaut 1 quand les deux noms de famille ont le même code Metaphone. C’est un petit indice parmi seize.

Quand utiliser les codes phonétiques, et quand les éviter

Section intitulée « Quand utiliser les codes phonétiques, et quand les éviter »
Situation Les codes phonétiques aident-ils? Pourquoi
Noms recueillis au téléphone, à un comptoir ou à partir d’un texte manuscrit oui, comme un indice les gens écrivent ce qu’ils entendent
Noms anglais, variantes orthographiques (« Smith », « Smyth »; « Phillips », « Filips ») oui les codes ont été conçus pour eux
Fautes de frappe (lettre manquante ou inversée) peu une lettre peut changer le code; Jaro–Winkler réussit mieux
Noms français et autres noms non anglais avec prudence les règles anglaises induisent en erreur; testez d’abord vos noms
Blocage (une clé pour les paires candidates) parfois un code crée de gros blocs : de nombreux noms partagent un code court
Seul indice pour une fusion jamais des noms différents partagent des codes (« Beaulieu », « Boileau »)

Le coût est faible : vous calculez un code une fois par enregistrement, et non une fois par paire. Le vrai coût est la fausse concordance. Un code identique pour deux noms différents ajoute un indice en faveur d’une fusion erronée.

Erreur courante

Un code phonétique comme décision

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. ajoute une règle : « même prénom et même code Soundex du nom de famille signifient même client ». Il espère détecter les noms de famille mal écrits. La règle fusionne Jacques Beaulieu avec un Jacques Boileau, et un Robert avec un Rupert.

Cause : un code de 4 caractères a peu de valeurs possibles, donc de nombreux noms différents en partagent un. Parmi les 147 410 paires candidates de deux personnes ayant des noms de famille différents, 0,167 partagent un code Soundex. Cela représente environ 24 617 paires. Et le code manque toujours la plupart des fautes de frappe. Il concorde pour seulement 0,465 des noms de famille mal écrits d’un seul client.

Solution : utilisez un code phonétique comme un champ de comparaison, avec un faible poids, aux côtés de Jaro–Winkler et des autres champs. La prochaine leçon le fait. Vérifiez le code sur vos propres noms, et pour chaque langue, avant de lui donner plus de poids.

Conséquence pour le travail en IA : une règle conçue pour une population peut échouer sur une autre. Soundex a été conçu pour les noms anglais d’un recensement. Testez chaque outil sur les groupes de vos propres données. Présentez les résultats par groupe, comme dans Ce que le blocage fait perdre.

Vérifiez votre compréhension

Soundex donne P412 pour « Phillips » et F412 pour « Filips ». Metaphone donne FLPS pour les deux. Expliquez chaque résultat.

Afficher la réponse

Soundex garde la première lettre telle quelle : « P » et « F ». Ensuite, il code les consonnes suivantes : l → 4, p → 1, s → 2, pour les deux noms. Les codes diffèrent donc seulement par la première lettre, et Soundex les considère comme différents. Metaphone a une règle pour « ph » : il se prononce comme « f », donc il écrit F. Le reste des deux noms donne L, P, S. Les deux codes sont donc FLPS.

Vérifiez votre compréhension

Sur les paires candidates de Larkfield ayant deux graphies différentes du nom de famille, Metaphone concorde pour moins de la moitié des paires d'un seul client. Pourquoi si peu, alors que les codes phonétiques servent à détecter les variantes orthographiques?

Afficher la réponse

La plupart de ces différences sont des fautes de frappe, et non des graphies fondées sur la prononciation. Il s’agit de lettres manquantes, de lettres inversées ou d’une touche voisine de la bonne. Un code phonétique n’est pas conçu pour ces erreurs. Une seule lettre manquante peut changer le code (« smit » SMT contre « smith » SM0). Nos données synthétiques contiennent des fautes de frappe et presque aucune graphie fondée sur la prononciation. Le résultat signifie donc « les codes phonétiques ne détectent pas les fautes de frappe », et non « les codes phonétiques n’aident jamais ».

Vérifiez votre compréhension

Un collègue veut utiliser le code Soundex du nom de famille comme clé de blocage, au lieu de ses 4 premières lettres. À quoi vous attendez-vous pour le nombre de paires candidates et l'exhaustivité des paires? Comment le vérifieriez-vous?

Afficher la réponse

Il y aurait plus de paires candidates, car un code Soundex distingue moins les noms que 4 lettres. Des noms différents comme « Beaulieu » et « Boileau » partagent un bloc. L’exhaustivité des paires (pair completeness) pourrait augmenter un peu pour les graphies fondées sur la prononciation. Elle pourrait aussi augmenter pour certaines fautes de frappe après la première lettre. Mais une faute de frappe dans la première lettre sépare toujours la paire, comme avec la clé de 4 lettres. Vérifiez comme au module 3 : créez les paires candidates, puis mesurez l’exhaustivité des paires et le nombre de paires. La taille des blocs détermine le coût, et non l’idée.

Récapitulatif

  • Un code phonétique représente la prononciation d’un nom. Deux noms ayant le même code se prononcent probablement de façon semblable.
  • Soundex garde la première lettre et 3 chiffres. Les consonnes aux sons semblables partagent un chiffre, donc « Robert » et « Rupert » reçoivent tous deux R163.
  • Metaphone contient plus de règles d’orthographe anglaise (« ph » → F, « th » → 0). Il réussit plus souvent avec les noms anglais. Il se trompe avec des noms français comme « Thériault » / « Terriault ».
  • Sur les paires candidates de Larkfield, les codes concordent pour moins de la moitié des noms de famille mal écrits d’un seul client. Nos erreurs sont des fautes de frappe, et non des graphies fondées sur la prononciation.
  • Utilisez un code phonétique comme un petit indice, jamais comme la décision.

Nous avons maintenant des mesures de similarité et des codes phonétiques, un champ à la fois. Ensuite, nous comparons chaque champ d’une paire et les combinons en un seul score.

Leçon suivante : Comparer champ par champ, puis combiner