Ça se prononce pareil
- Leçon 13
- 30 min
- Module 4 : Comparer les enregistrements : les mesures de similarité
Où nous en sommes
Les mesures de similarité de chaînes comparent les lettres. Certains noms s'écrivent différemment, mais se prononcent de la même façon. Dans cette leçon, nous utilisons Soundex et Metaphone. Nous voyons où ils aident et où ils échouent, par exemple avec les noms français.
Leçon 13 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Ça se prononce pareil
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Comparez les noms selon leur prononciation. Calculez un code Soundex à la main et comparez-le à Metaphone. Trouvez où les codes phonétiques aident et où ils échouent avec les noms français. Mesurez leur apport pour les paires candidates de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.
Carnet JupyterCalculer des codes phonétiques dans un carnet Jupyter
Le carnet (notebook) Jupyter implémente Soundex à la main, puis vérifie le résultat avec la bibliothèque jellyfish. Il mesure la fréquence d’accord entre Soundex et Metaphone sur les paires étiquetées de Larkfield. Ses cellules de préparation téléchargent les données. Aucune préparation locale n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La similarité de chaînes, présentée dans La similarité de chaînes.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers de la dernière leçon. Vous pouvez aussi utiliser seulement le carnet.
Testé sur macOS avec Python 3.12.13.
Un nom au téléphone
Section intitulée « Un nom au téléphone »Une clinique prend des rendez-vous par téléphone. Une patiente donne son nom : « Phillips ». La réceptionniste tape ce qu’elle entend : « Filips ». Le dossier de la patiente, créé deux ans plus tôt à partir d’un formulaire, indique « Phillips ».
Les deux graphies ont peu de lettres aux mêmes positions. Mais toute personne qui les lit à voix haute entend le même nom. La réceptionniste n’a pas fait de faute de frappe. Elle a écrit ce qu’elle entendait.
Le problème : même son, lettres différentes
Section intitulée « Le problème : même son, lettres différentes »Les mesures de similarité de chaînes comparent les lettres. Quand l’écriture suit la prononciation, les lettres peuvent être très différentes :
match similar Phillips Filips'phillips' / 'filips' levenshtein distance 3 levenshtein 0.625 jaro_winkler 0.819 token_set_ratio 0.714 soundex P412 / F412 different metaphone FLPS / FLPS sameLevenshtein donne 0,625 et Jaro–Winkler, 0,819. Ces scores sont faibles. Un seuil assez bas pour les accepter accepte aussi de nombreuses paires de personnes différentes.
La dernière ligne montre une autre idée. Le code Metaphone des deux graphies est FLPS.
L’idée : un code pour la prononciation
Section intitulée « L’idée : un code pour la prononciation »Un code phonétique transforme un nom en code court qui représente sa prononciation, et non son orthographe. Deux noms ayant le même code se prononcent probablement de façon semblable. Nous comparons ensuite les codes pour vérifier leur égalité, comme au module 2.
Les codes phonétiques existent depuis longtemps. Soundex a été inventé il y a environ cent ans. Les États-Unis l’ont utilisé pour indexer leurs enregistrements de recensement. Metaphone est plus récent : il contient beaucoup plus de règles d’orthographe anglaise.
Soundex étape par étape
Section intitulée « Soundex étape par étape »Soundex garde la première lettre. Il transforme chaque consonne suivante en chiffre. Les consonnes aux sons semblables reçoivent le même chiffre : b, f, p et v deviennent toutes 1. Il supprime les voyelles. Le code compte toujours 4 caractères.
Description textuelle du diagramme
Les règles de Soundex, puis les lettres de deux noms avec le chiffre sous chaque lettre. Robert : R est gardé; o est supprimé; b vaut 1; e est supprimé; r vaut 6; t vaut 3. Le code est R163. Rupert : R est gardé; u est supprimé; p vaut 1; e est supprimé; r vaut 6; t vaut 3. Le code est aussi R163.
Soundex donne le même code à « Robert » et « Rupert ». C’est le prix d’un code court : il regroupe des noms dont la prononciation se ressemble un peu. Soundex garde aussi la première lettre, et non le premier son. Ainsi, « Phillips » (P412) et « Filips » (F412) reçoivent des codes différents, malgré leur prononciation identique.
Metaphone : plus de règles d’orthographe
Section intitulée « Metaphone : plus de règles d’orthographe »Metaphone connaît mieux l’orthographe anglaise. Voici quelques-unes de ses règles :
- « ph » se prononce comme « f », donc il écrit
F. - « th » se prononce comme le début de « thin », donc il écrit
0(un zéro). - Il distingue b et p. « Robert » donne
RBRTet « Rupert »,RPRT. - Il supprime la plupart des voyelles et de nombreuses lettres muettes.
Metaphone donne donc le même code, FLPS, à « Phillips » et « Filips ». Il distingue « Robert » de « Rupert ». Il semble meilleur. Mais ses règles sont anglaises.
Onze paires, deux codes
Section intitulée « Onze paires, deux codes »Le script de mesure du projet a calculé les codes de onze paires de noms. Certaines contiennent un seul nom écrit de deux façons. D’autres contiennent deux noms différents qui se ressemblent à l’écrit ou à l’oral. Les accents sont supprimés avant le calcul, comme dans le projet.
Description textuelle du diagramme
Pour chaque paire : s’agit-il d’un seul nom écrit de deux façons, et chaque code est-il correct? Soundex est correct pour 8 paires sur 11 et Metaphone pour 6. Metaphone se trompe sur trois noms français. Il lit le « th » de « Thériault » comme le « th » anglais. Il garde le « s » muet de « Lévesque ». Il donne au prénom français « Jean » le code du nom anglais « Gene ». Les deux méthodes donnent le même code aux noms de famille différents « Beaulieu » et « Boileau ». Les deux échouent pour « Thompson » / « Tomson ».
Pourquoi les noms français leur posent problème
Section intitulée « Pourquoi les noms français leur posent problème »Les règles de Metaphone décrivent comment les anglophones lisent l’orthographe anglaise. L’orthographe française suit d’autres règles :
- En français, « th » se prononce comme « t ». Ainsi, « Thériault » et « Terriault » se prononcent de façon semblable, mais Metaphone écrit
0RLTetTRLT. - Le français a souvent des lettres muettes. Le « s » de « Lévesque » est muet, donc « Leveque » se prononce de la même façon. Metaphone garde le « s » :
LFSKcontreLFK. - Les voyelles françaises portent une grande partie de la prononciation. « Beaulieu » et « Boileau » se prononcent très différemment. Mais les deux méthodes suppriment les voyelles et ne gardent que « B » et « L ».
- « Jean » en français commence par un son « zh » doux, et non le « j » de « Gene ». Metaphone ne sait pas que le nom est français.
Les clients de Larkfield vivent surtout au Québec et en Ontario, et beaucoup portent des noms français. Le même problème apparaît avec les noms d’autres langues. Les gens écrivent les noms vietnamiens, arabes ou chinois en lettres latines de plusieurs façons. Une règle anglaise ne connaît pas ces variantes.
Sur les paires candidates de Larkfield
Section intitulée « Sur les paires candidates de Larkfield »Le tableau ci-dessus présente des exemples choisis. Que se passe-t-il sur de vraies paires candidates? Nous avons pris toutes les paires candidates des cinq clés de blocage dont les noms de famille s’écrivent différemment après normalisation. Il y a 150 554 paires de ce type. Pour chaque paire, nous avons vérifié trois éléments : même code Soundex, même code Metaphone, score Jaro–Winkler d’au moins 0,9.
- Un seul client (vraies paires)
- Deux personnes
Description textuelle du graphique
Un graphique à points de six lignes. Soundex concorde pour 0,465 des paires d’un seul client et pour 0,167 des paires de deux personnes. Metaphone concorde pour 0,358 et 0,125. Un score Jaro–Winkler d’au moins 0,9 couvre 0,637 et 0,395.
Les codes phonétiques détectent moins de la moitié des noms de famille mal écrits d’un seul client. Jaro–Winkler à 0,9 en détecte davantage, mais laisse aussi passer plus de paires de deux personnes.
Pourquoi les codes donnent-ils de si mauvais résultats ici? Regardez les erreurs. Nos enregistrements synthétiques contiennent des fautes de frappe : une lettre manquante, deux lettres inversées, une touche voisine de la bonne. Ce ne sont pas des graphies fondées sur la prononciation. Les paires mal écrites que Metaphone manque le plus souvent sont « smit » / « smith », « ganon » / « gagnon » et « ouelle » / « ouellet ». Une lettre manquante change le code : « smit » donne SMT et « smith », SM0.
| Origine du nom de famille | Paires d’un seul client | Soundex concorde | Metaphone concorde | Paires de deux personnes | Soundex concorde | Metaphone concorde |
|---|---|---|---|---|---|---|
| Anglaise | 1 403 | 0,459 | 0,354 | 33 038 | 0,289 | 0,217 |
| Française | 1 276 | 0,484 | 0,389 | 106 473 | 0,129 | 0,098 |
L’origine correspond à la liste de noms du générateur (anglais, français ou autres) qui contient une des deux graphies.
Pour ces fautes de frappe, les codes réussissent à peu près aussi bien avec les noms français qu’avec les noms anglais. La faiblesse observée sur les noms français des onze paires n’apparaît pas ici. Notre générateur ne produit pas de graphies françaises fondées sur la prononciation, comme « Terriault » pour « Thériault ». C’est une limite de nos données synthétiques. De vrais enregistrements saisis à partir d’appels ou de textes manuscrits contiendraient davantage de graphies fondées sur la prononciation. Faites des mesures sur vos propres données avant de vous fier à l’un ou l’autre résultat.
Utiliser les codes dans le projet
Section intitulée « Utiliser les codes dans le projet »Les codes phonétiques sont déjà dans larkfield_match/similarity.py, que vous avez copié dans la dernière leçon. match similar les affiche sur ses deux dernières lignes :
match similar "Thériault" "Terriault"match similar Beaulieu Boileau'theriault' / 'terriault' levenshtein distance 2 levenshtein 0.778 jaro_winkler 0.933 token_set_ratio 0.889 soundex T643 / T643 same metaphone 0RLT / TRLT different'beaulieu' / 'boileau' levenshtein distance 5 levenshtein 0.375 jaro_winkler 0.782 token_set_ratio 0.533 soundex B400 / B400 same metaphone BL / BL sameLe code supprime d’abord les accents, puis appelle la bibliothèque jellyfish :
def soundex(s): s = strip_accents(s) return jellyfish.soundex(s) if s else ""
def metaphone(s): s = strip_accents(s) return jellyfish.metaphone(s) if s else ""Un nom vide reçoit un code vide, jamais un code qui lui est propre. Deux codes vides ne doivent pas compter comme une « même prononciation ». La prochaine leçon traite les valeurs vides comme manquantes.
Dans la prochaine leçon, l’apparieur utilise un champ phonétique : last_sound. Il vaut 1 quand les deux noms de famille ont le même code Metaphone. C’est un petit indice parmi seize.
Quand utiliser les codes phonétiques, et quand les éviter
Section intitulée « Quand utiliser les codes phonétiques, et quand les éviter »| Situation | Les codes phonétiques aident-ils? | Pourquoi |
|---|---|---|
| Noms recueillis au téléphone, à un comptoir ou à partir d’un texte manuscrit | oui, comme un indice | les gens écrivent ce qu’ils entendent |
| Noms anglais, variantes orthographiques (« Smith », « Smyth »; « Phillips », « Filips ») | oui | les codes ont été conçus pour eux |
| Fautes de frappe (lettre manquante ou inversée) | peu | une lettre peut changer le code; Jaro–Winkler réussit mieux |
| Noms français et autres noms non anglais | avec prudence | les règles anglaises induisent en erreur; testez d’abord vos noms |
| Blocage (une clé pour les paires candidates) | parfois | un code crée de gros blocs : de nombreux noms partagent un code court |
| Seul indice pour une fusion | jamais | des noms différents partagent des codes (« Beaulieu », « Boileau ») |
Le coût est faible : vous calculez un code une fois par enregistrement, et non une fois par paire. Le vrai coût est la fausse concordance. Un code identique pour deux noms différents ajoute un indice en faveur d’une fusion erronée.
Erreur courante
Un code phonétique comme décision
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. ajoute une règle : « même prénom et même code Soundex du nom de famille signifient même client ». Il espère détecter les noms de famille mal écrits. La règle fusionne Jacques Beaulieu avec un Jacques Boileau, et un Robert avec un Rupert.
Cause : un code de 4 caractères a peu de valeurs possibles, donc de nombreux noms différents en partagent un. Parmi les 147 410 paires candidates de deux personnes ayant des noms de famille différents, 0,167 partagent un code Soundex. Cela représente environ 24 617 paires. Et le code manque toujours la plupart des fautes de frappe. Il concorde pour seulement 0,465 des noms de famille mal écrits d’un seul client.
Solution : utilisez un code phonétique comme un champ de comparaison, avec un faible poids, aux côtés de Jaro–Winkler et des autres champs. La prochaine leçon le fait. Vérifiez le code sur vos propres noms, et pour chaque langue, avant de lui donner plus de poids.
Conséquence pour le travail en IA : une règle conçue pour une population peut échouer sur une autre. Soundex a été conçu pour les noms anglais d’un recensement. Testez chaque outil sur les groupes de vos propres données. Présentez les résultats par groupe, comme dans Ce que le blocage fait perdre.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Soundex donne P412 pour « Phillips » et F412 pour « Filips ». Metaphone donne FLPS pour les deux. Expliquez chaque résultat.
Afficher la réponse
Soundex garde la première lettre telle quelle : « P » et « F ». Ensuite, il code les consonnes suivantes : l → 4, p → 1, s → 2, pour les deux noms. Les codes diffèrent donc seulement par la première lettre, et Soundex les considère comme différents. Metaphone a une règle pour « ph » : il se prononce comme « f », donc il écrit F. Le reste des deux noms donne L, P, S. Les deux codes sont donc FLPS.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Sur les paires candidates de Larkfield ayant deux graphies différentes du nom de famille, Metaphone concorde pour moins de la moitié des paires d'un seul client. Pourquoi si peu, alors que les codes phonétiques servent à détecter les variantes orthographiques?
Afficher la réponse
La plupart de ces différences sont des fautes de frappe, et non des graphies fondées sur la prononciation. Il s’agit de lettres manquantes, de lettres inversées ou d’une touche voisine de la bonne. Un code phonétique n’est pas conçu pour ces erreurs. Une seule lettre manquante peut changer le code (« smit » SMT contre « smith » SM0). Nos données synthétiques contiennent des fautes de frappe et presque aucune graphie fondée sur la prononciation. Le résultat signifie donc « les codes phonétiques ne détectent pas les fautes de frappe », et non « les codes phonétiques n’aident jamais ».
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Un collègue veut utiliser le code Soundex du nom de famille comme clé de blocage, au lieu de ses 4 premières lettres. À quoi vous attendez-vous pour le nombre de paires candidates et l'exhaustivité des paires? Comment le vérifieriez-vous?
Afficher la réponse
Il y aurait plus de paires candidates, car un code Soundex distingue moins les noms que 4 lettres. Des noms différents comme « Beaulieu » et « Boileau » partagent un bloc. L’exhaustivité des paires (pair completeness) pourrait augmenter un peu pour les graphies fondées sur la prononciation. Elle pourrait aussi augmenter pour certaines fautes de frappe après la première lettre. Mais une faute de frappe dans la première lettre sépare toujours la paire, comme avec la clé de 4 lettres. Vérifiez comme au module 3 : créez les paires candidates, puis mesurez l’exhaustivité des paires et le nombre de paires. La taille des blocs détermine le coût, et non l’idée.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un code phonétique représente la prononciation d’un nom. Deux noms ayant le même code se prononcent probablement de façon semblable.
- Soundex garde la première lettre et 3 chiffres. Les consonnes aux sons semblables partagent un chiffre, donc « Robert » et « Rupert » reçoivent tous deux R163.
- Metaphone contient plus de règles d’orthographe anglaise (« ph » → F, « th » → 0). Il réussit plus souvent avec les noms anglais. Il se trompe avec des noms français comme « Thériault » / « Terriault ».
- Sur les paires candidates de Larkfield, les codes concordent pour moins de la moitié des noms de famille mal écrits d’un seul client. Nos erreurs sont des fautes de frappe, et non des graphies fondées sur la prononciation.
- Utilisez un code phonétique comme un petit indice, jamais comme la décision.
Nous avons maintenant des mesures de similarité et des codes phonétiques, un champ à la fois. Ensuite, nous comparons chaque champ d’une paire et les combinons en un seul score.
Leçon suivante : Comparer champ par champ, puis combiner