Aller au contenu
English

Des plongements pour les noms, les adresses et les produits

  • Leçon 20
  • 40 min
  • Module 6 : L'appariement appris : classificateurs, plongements et modèles de langage

Où nous en sommes

Nos caractéristiques comparent les lettres et les sons. Un petit modèle de langage peut transformer un enregistrement entier en nombres. Dans cette leçon, nous utilisons les plongements pour trouver des paires et leur attribuer un score. Nous voyons leurs avantages et leurs limites.

Leçon 20 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Des plongements pour les noms, les adresses et les produits

Ce que vous saurez faire

Transformez chaque enregistrement en plongement (embedding) : 384 nombres produits par un petit modèle de langage. Comparez deux enregistrements par le cosinus de leurs plongements. Utilisez les enregistrements les plus proches pour le blocage, et le cosinus comme score. Mesurez les deux usages. Voyez pourquoi les plongements échouent avec les ménages, les tailles et les paquets.

Carnet JupyterComparer les enregistrements par leurs plongements dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter lit les plongements fournis et calcule les cosinus. Il le fait pour deux paires d’exemple, des paires de clients au même code postal et des correspondances de produits. Ensuite, vous calculez le cosinus de chaque article individuel avec son paquet de 2. Le carnet n’exécute pas le modèle. Ses cellules de préparation téléchargent environ 33 Mo. Il ne demande donc aucune préparation locale.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers des deux dernières leçons. Vous pouvez aussi utiliser seulement le carnet.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) ne sont pas testées.

Vous demandez à un commis un « boyau d’arrosage, environ 15 mètres, vert ». L’étiquette sur la tablette indique « Rubber Garden Hose, 50 ft, Green ». Les mots et l’unité sont différents. Un bon commis comprend quand même qu’il s’agit du même type d’article.

Vous demandez maintenant « un paquet de deux de ces boyaux ». Le commis doit aussi remarquer le nombre. Un boyau, ce n’est pas deux boyaux, et le prix diffère.

Un apparieur a besoin des deux compétences. Il doit reconnaître que deux textes disent la même chose et repérer les petits détails qui les distinguent.

Notre vecteur de comparaison compare les lettres (Jaro–Winkler, ratio d’ensembles de mots) et les sons (Metaphone). Certains titres d’un même produit sont écrits de façons très différentes. Voici une vraie correspondance entre les deux flux :

Flux A (Northfield Supply) Flux B (Copperleaf Wholesale)
Hearthside Cedar Raised Garden Bed, 4 ft, Sand raised garden bed 1.2 m cedar sand - Hearthside

Les mots changent d’ordre, la marque passe à la fin et « 4 ft » devient « 1.2 m ». Une mesure des lettres sur le titre entier donne un score plus faible. Un modèle qui comprend les mots pourrait reconnaître un seul produit.

Un plongement est une liste de nombres qu’un modèle produit à partir d’un texte. Le modèle a été entraîné sur beaucoup de textes. Ainsi, les textes de sens semblable obtiennent des listes semblables. Chaque nombre, pris seul, ne signifie rien pour une personne. Ensemble, ils placent le texte en un point dans un espace qui possède de nombreuses directions.

Nous comparons deux plongements avec le cosinus : 1 quand ils pointent dans la même direction, moins quand ils diffèrent. Le cours Recherche et classement : trouver la meilleure correspondance l’explique dans Recherche par le sens.

Les vrais plongements ont 384 nombres. Voici trois plongements inventés de 3 nombres chacun, déjà de longueur 1 :

Texte Plongement
A : « boyau d’arrosage » (0,6, 0,8, 0,0)
B : « boyau arros. » (0,8, 0,6, 0,0)
C : « lampe » (0,0, 0,0, 1,0)

Le cosinus de deux plongements de longueur 1 est la somme des produits de leurs nombres :

  • A et B : 0,6 × 0,8 + 0,8 × 0,6 + 0,0 × 0,0 = 0,48 + 0,48 + 0 = 0,96 : très semblables.
  • A et C : 0,6 × 0,0 + 0,8 × 0,0 + 0,0 × 1,0 = 0 : rien en commun.
De l'enregistrement au plongement, puis au cosinus. Un enregistrement client devient un seul texte : le nom, puis l'adresse, par exemple « val tremblay, 6760 rue des herons st eloi du lac ». Le modèle ibm-granite/granite-embedding-97m-multilingual-r2 transforme le texte en 384 nombres; les 8 premiers sont affichés. Les plongements sont stockés sous forme de nombres sur 8 bits avec un facteur d'échelle par ligne. Deux plongements donnent un cosinus. L'exemple détaillé : (0,6, 0,8, 0) et (0,8, 0,6, 0) donnent 0,96.
Ce que le projet fait avec chaque enregistrement : un texte, 384 nombres, puis un cosinus par paire. Les données du cours contiennent déjà le plongement de chaque enregistrement.
Description textuelle du diagramme

Trois étapes de gauche à droite. D’abord, le texte que le modèle lit : le nom et l’adresse d’un client, ou le titre d’un produit tel qu’écrit dans le flux. Ensuite, le modèle et sa sortie : 384 nombres par enregistrement, dont les 8 premiers sont affichés. Enfin, deux plongements et leur cosinus, avec l’exemple détaillé du tableau ci-dessus.

Nous utilisons ibm-granite/granite-embedding-97m-multilingual-r2, le même petit modèle que le cours Recherche et classement : trouver la meilleure correspondance. Il possède une licence Apache-2.0 (une affirmation du fournisseur, dans sa fiche de modèle). Il produit 384 nombres par texte. Il connaît le français et l’anglais, ce qui convient aux noms et aux villes de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.

Ce que le modèle lit :

  • Un client : le nom, puis l’adresse : numéro, rue et ville. Si l’enregistrement n’a pas d’adresse, le code postal.
  • Un produit : le titre, exactement comme le flux l’a écrit, avec ses tailles et ses paquets.

Sur le processeur de notre portable, il a encodé 553 enregistrements clients par seconde. Cela représente environ 2 minutes pour les 60 108 enregistrements. Vous n’avez pas besoin d’attendre. Les données du cours contiennent le plongement de chaque enregistrement et de chaque produit dans data/embeddings/, soit 23 Mo. Ils sont stockés sous forme de nombres sur 8 bits avec un facteur d’échelle par ligne. Cela représente le quart de la taille normale. Le cosinus change de moins de 0,001.

  1. Pour le blocage. Pour chaque enregistrement, trouvez les enregistrements les plus proches selon le cosinus. Ils deviennent les paires candidates. C’est ainsi que fonctionne la recherche par le sens : l’enregistrement est la requête.
  2. Comme score. Pour chaque paire candidate, le cosinus est un nombre. Déclarez la paire « identique » quand le cosinus dépasse un seuil. Ou ajoutez le cosinus au vecteur de comparaison comme caractéristique supplémentaire pour LightGBM.

Nous essayons les deux usages sur les clients, puis sur les produits.

  1. Copiez les fichiers de cette leçon depuis l’instantané end-of-m06. blocking.py remplace votre fichier : il ajoute le blocage embed-nn. calibrate.py et llm.py appartiennent à la prochaine leçon, mais runs/embedding.py en a besoin :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m06
    cp $S/larkfield_match/embed.py $S/larkfield_match/blocking.py larkfield_match/
    cp $S/larkfield_match/calibrate.py $S/larkfield_match/llm.py larkfield_match/
    cp $S/larkfield_match/runs/embedding.py larkfield_match/runs/
    cp $S/requirements.txt .

    Le nouveau requirements.txt ajoute scikit-learn et LightGBM (vous les avez), ainsi que sentence-transformers et PyTorch. Vous avez besoin des deux derniers seulement pour créer de nouveaux plongements, par exemple pour de nouveaux enregistrements. Ils occupent environ 700 Mo. Cette leçon n’en a pas besoin. Vous pouvez donc les installer plus tard avec python -m pip install -r requirements.txt. Sur Linux, installez d’abord la version pour processeur de PyTorch. Sinon, pip ajoute aussi de gros paquets pour processeur graphique : python -m pip install torch==2.15.0 --index-url https://download.pytorch.org/whl/cpu. Nous n’avons pas testé cela sur Linux.

  2. Créez des paires candidates à partir des plongements : chaque enregistrement avec ses 10 enregistrements les plus proches :

    Fenêtre de terminal
    match block --blocking embed-nn
    embed-nn: 425,396 candidate pairs out of 1,806,455,778 possible pairs (137.32 s)
    pair completeness 0.336 (9,294 of 27,677 true pairs kept); reduction ratio 0.999765

    Cela a pris plus de 2 minutes sur notre portable occupé. Chaque enregistrement est comparé aux 60 108 autres, par segments de 1 000.

  3. Attribuez un score aux paires candidates des cinq clés avec le cosinus seul :

    Fenêtre de terminal
    match eval --run embed
    Ran embed: 8,734 pairs called the same, in 31.1 s
    embed on the test split: pair precision 0.724, recall 0.261, F1 0.384
    2,008 pairs called the same: 1,453 right, 555 wrong; 4,111 of 5,564 true pairs missed
    entities after clustering (all records): 52,292 (true: 37,500)

Les résultats sont faibles. Pour le blocage, les 10 enregistrements les plus proches ne conservent que 0,336 des vraies paires, contre 0,994 pour les cinq clés. Comme score, le cosinus seul atteint un F1 de 0,384. Pourquoi?

Le texte contient le nom et l’adresse. Les personnes d’un même ménage partagent l’adresse et souvent le nom de famille. Leurs textes sont donc presque identiques : « samuel green, 3294 kestrel ave heronvale » et « nathan green, 3294 kestrel ave heronvale ». Leur cosinus est 0,975, presque aussi élevé que celui des deux enregistrements de Valérie (0,984). Le modèle ne sait pas que le prénom est la partie importante.

  • un client
  • deux personnes
Cosinus des paires candidates du jeu de test, dans nos enregistrements synthétiques. Un client : médiane 0,863. Deux personnes : médiane 0,849. Seul un cosinus proche de 1 (le même texte) est un signe clair.
Description textuelle du graphique

Deux courbes pour des cosinus de 0,7 à 1. La courbe de deux personnes monte à partir d’environ 0,75. Elle atteint son sommet entre 0,82 et 0,86 et est presque nulle au-dessus de 0,96. La courbe d’un client a deux parties. Environ 27 % des vraies paires sont à 0,98 ou plus : des enregistrements avec le même texte. Les autres vraies paires se situent entre 0,75 et 0,95, sur la courbe de deux personnes.

Les médianes sont 0,863 pour un client et 0,849 pour deux personnes. Il n’y a presque aucun écart. Environ le quart des vraies paires ont un cosinus de 0,98 ou plus. Leurs deux enregistrements ont le même texte de nom et d’adresse. Le modèle les trouve, et nos règles aussi. Les autres vraies paires ressemblent aux paires de deux personnes à une même adresse. C’est pourquoi embed a une précision de 0,724, mais un rappel de seulement 0,261. Le carnet de cette leçon va un peu plus loin. Parmi les paires au même code postal, deux personnes ont un cosinus TermeMédianeLa valeur du milieu quand on trie les valeurs. La moitié est plus basse, l’autre plus haute. Un seul appel très lent la change peu : c’est un bon temps « habituel ».En savoir plus Mesurer la performance en pratiqueLes LLM : comment ils fonctionnent et comment en choisir un plus élevé (0,909) que deux enregistrements d’un client (0,865). Deux personnes à une même adresse ont souvent exactement le même texte d’adresse. Les enregistrements d’un client l’écrivent souvent de deux façons, ou l’un contient une ancienne adresse.

Le cosinus aide-t-il comme caractéristique supplémentaire, à côté des 16 caractéristiques du vecteur de comparaison? Nous l’avons mesuré avec notre script de mesure, measure/m06_learned.py : LightGBM avec le cosinus comme 17e caractéristique.

Caractéristiques Précision Rappel F1
vecteur de comparaison (16 champs) 0,918 0,886 0,902
vecteur de comparaison + cosinus des plongements 0,942 0,794 0,862

Le F1 baisse de 0,902 à 0,862. La précision augmente un peu, et le rappel baisse beaucoup. Notre interprétation, non mesurée : un cosinus élevé est courant pour des personnes différentes d’un même ménage. La caractéristique ajoute donc plus de bruit que de preuves.

Les flux fournisseurs présentent un autre cas. Les titres de produits des deux flux sont écrits de façons très différentes. Le sens devrait donc aider. Et il permet bien de trouver le produit : les vraies correspondances ont un cosinus médian de 0,952, les autres candidats de 0,890.

Mais l’exécution p-embed, qui attribue les scores, atteint un F1 de seulement 0,383. LightGBM sur le vecteur de comparaison des produits atteint 0,996. Exécutez-la :

Fenêtre de terminal
match eval --run p-embed
Ran p-embed: 2,301 pairs called the same, in 30.9 s
p-embed on the test split: pair precision 0.351, recall 0.421, F1 0.383
678 pairs called the same: 238 right, 440 wrong; 327 of 565 true pairs missed
entities after clustering (all records): 5,952 (true: 5,211)

Comparez-la avec LightGBM sur le vecteur de comparaison des produits, match eval --run p-lgbm :

Ran p-lgbm: 2,748 pairs called the same, in 32.5 s
p-lgbm on the test split: pair precision 0.998, recall 0.995, F1 0.996
563 pairs called the same: 562 right, 1 wrong; 3 of 565 true pairs missed
entities after clustering (all records): 5,213 (true: 5,211)

p-embed déclare à tort 440 paires identiques dans le jeu de test. Parmi elles, 294 diffèrent par la taille. Par exemple, une buse de boyau à 5 modes est comparée à une autre à 10 modes. Et 46 comparent un article individuel à un paquet de 2. Les deux groupes peuvent se chevaucher.

Cosinus de paires d'exemple. Clients : les deux enregistrements de Valérie Tremblay, une seule cliente, 0,984; les frères Samuel et Nathan Green, deux personnes, 0,975. Produits : une vraie correspondance entre les flux, le bac de jardinage surélevé Hearthside, 0,959; un treillis et un râteau comparés à leur paquet de 2, 0,989 et 0,979; une buse de boyau à 10 modes comparée à celles à 5 et à 8 modes, 0,991 et 0,99. Chaque mauvaise paire de produits obtient un score supérieur à celui de la vraie correspondance.
Cosinus de paires d'exemple calculés avec les plongements fournis. Les frères obtiennent presque le même score que les deux enregistrements d'un client. Un paquet de 2 et une buse d'une autre taille obtiennent des scores supérieurs à une vraie correspondance de produits.
Description textuelle du diagramme

Un tableau de paires d’exemple avec leur cosinus. Les paires de clients : les enregistrements de Valérie Tremblay à la jardinerie et au magasin, et ceux des frères. Les paires de produits : une vraie correspondance écrite de deux façons, deux articles individuels comparés à leur paquet de 2, et une buse de boyau de tailles différentes. Une couleur indique si chaque paire représente une entité ou deux.

Pour le modèle, « (Pack of 2) » est un petit changement à la fin d’un long titre. Il en va de même pour « 5-pattern » au lieu de « 10-pattern ». Ces mauvaises paires obtiennent même des scores plus élevés que la vraie correspondance, dont les titres utilisent deux styles. Le sens du titre change à peine, mais le produit change. Le carnet de cette leçon prend les 79 articles individuels du flux A qui ont leur propre paquet de 2. Leur cosinus médian est de 0,989, au-dessus de celui des vraies correspondances (0,952).

  • vraie correspondance
  • un paquet de 2 et un autre produit
  • autres candidats
Cosinus des paires candidates de produits (toutes les partitions). Vraies correspondances : médiane 0,952. Paires candidates d'un paquet de 2 avec un autre produit : 0,888. Autres candidats : 0,89.
Description textuelle du graphique

Trois courbes pour des cosinus de 0,7 à 1. Les vraies correspondances se situent surtout entre 0,92 et 0,98. Les paires avec un paquet de 2 et les autres candidats se situent surtout entre 0,84 et 0,94. Leurs courbes se superposent presque. Les deux chevauchent la partie inférieure des vraies correspondances.

Le vecteur de comparaison des produits possède des champs pour ces détails précis : size_ratio, pack_eq et price_ratio (module 4). C’est pourquoi p-lgbm obtient 0,996, et le cosinus 0,383.

F1 des exécutions avec plongements (vert) comparé à celui des exécutions champ par champ (bleu). Il porte sur nos clients synthétiques (lgbm, embed) et nos produits (noms commençant par p-). Les plongements perdent chaque fois.
Description textuelle du graphique

Cinq points. Clients : lgbm 0,902; lgbm avec le cosinus comme caractéristique 0,862; le cosinus seul 0,384. Produits : p-lgbm 0,996; p-embed 0,383.

Sur nos enregistrements, les plongements n’ont pas aidé. C’est un vrai résultat, pas un échec de la leçon. Dans d’autres données, ils peuvent aider. Nous n’avons pas testé les trois cas ci-dessous dans ce cours. Ce sont les cas où les plongements ont les meilleures chances :

  • Du texte libre qui exprime le même sens avec d’autres mots : descriptions de produits, activités d’entreprises, titres de postes. Nos enregistrements ont plutôt des champs courts et structurés.
  • Des noms dans deux systèmes d’écriture ou deux translittérations, comme un nom en lettres arabes et en lettres latines. Nos noms synthétiques sont tous en lettres latines.
  • Comme blocage de repli pour les enregistrements que toutes les clés manquent, avec les clés, jamais seuls.

Le cours Recherche et classement : trouver la meilleure correspondance a trouvé le même phénomène pour les requêtes. Consultez Où la recherche dense échoue.

Utilisez-les quand Ne les utilisez pas quand Ce que cela coûte
les textes disent la même chose avec d’autres mots la différence est un nombre, une unité, une taille ou un paquet encodage : environ 2 minutes pour 60 108 enregistrements sur un processeur de portable (mesuré)
les noms utilisent différents systèmes d’écriture ou différentes translittérations les personnes partagent la majeure partie du texte (ménages, même adresse) stockage : 384 nombres par enregistrement; 23 Mo pour 68 069 enregistrements sur 8 bits
comme caractéristique, après avoir mesuré leur utilité vous ne les avez pas comparés aux comparaisons de champs sur les mêmes paires de test environ 700 Mo de paquets (PyTorch) pour créer de nouveaux plongements

Erreur courante

Un plongement pour l'enregistrement entier

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. regroupe tous les champs d’un client en un texte : nom, courriel, téléphone, adresse et date de naissance. Il utilise le cosinus de deux enregistrements comme score de correspondance, comme embed le fait avec le nom et l’adresse. Des personnes différentes à une même adresse obtiennent des scores élevés. Un client qui a déménagé obtient un score faible.

Cause : un cosinus mélange tous les champs en un seul nombre. Il ne peut pas dire « l’adresse concorde, mais le prénom et la date de naissance diffèrent ». Il pondère chaque champ selon sa quantité de texte, pas selon les preuves qu’il apporte. L’adresse est le champ le plus long, donc elle décide. Dans notre mesure, le cosinus du nom et de l’adresse seul a atteint un F1 de 0,384.

Correction : comparez champ par champ, comme le fait le vecteur de comparaison. Si vous utilisez les plongements, encodez un seul champ, par exemple un titre de produit ou une activité d’entreprise. Ajoutez son cosinus comme une caractéristique. Vérifiez ensuite sur les paires de validation que cela aide.

Conséquence pour le travail en IA : un plongement est un résumé. Il sert bien à trouver des éléments sur le même sujet. Il est moins bon avec les faits exacts : nombres, dates, tailles et noms. Les systèmes de récupération rencontrent le même problème; consultez le cours RAG : créer une IA qui utilise vos données.

Vérifiez votre compréhension

Les frères Samuel et Nathan Green obtiennent un cosinus aussi élevé que deux enregistrements d'un même client. Expliquez pourquoi, selon ce que le modèle lit.

Afficher la réponse

Le modèle lit le nom et l’adresse comme un seul texte. Les frères partagent le nom de famille, le numéro civique, la rue et la ville. La majeure partie du texte est donc identique. Seul le prénom diffère, et il représente une petite partie du texte. Le modèle ignore que le prénom est le champ qui distingue deux personnes d’un même ménage. Leurs plongements pointent donc presque dans la même direction.

Vérifiez votre compréhension

Les vraies correspondances de produits ont un cosinus médian de 0,952, contre 0,890 pour les autres candidats. Les plongements reconnaissent donc le produit. Pourquoi p-embed n'atteint-il qu'un score F1 de 0,383?

Afficher la réponse

Beaucoup de mauvais candidats appartiennent à la même gamme de produits, mais leur taille, couleur ou format diffère. Leurs titres diffèrent par un nombre ou quelques mots, donc leur cosinus est aussi élevé. Un seuil qui conserve la plupart des vraies correspondances conserve aussi beaucoup de ces candidats. Parmi les 440 correspondances erronées, 294 diffèrent par la taille, et 46 comparent un article seul à un paquet de 2. Le vecteur de comparaison contient des champs pour la taille, le format et le prix. LightGBM atteint donc 0,996 avec ce vecteur.

Vérifiez votre compréhension

L'ajout du cosinus comme 17e caractéristique a fait baisser le score F1 de LightGBM de 0,902 à 0,862. Est-il vrai que « plus de caractéristiques, c'est toujours mieux »? Que devriez-vous faire avant d'ajouter une caractéristique?

Afficher la réponse

Non. Une caractéristique élevée pour beaucoup de non-correspondances (des personnes sans lien à la même adresse) ajoute du bruit. Le modèle peut aussi apprendre un mauvais équilibre avec seulement 3 000 étiquettes. Ici, la précision a légèrement augmenté, mais le rappel est passé de 0,886 à 0,794. Avant de conserver une caractéristique, entraînez le modèle avec et sans elle, puis comparez les résultats sur les paires de validation. Confirmez ensuite une seule fois sur les paires de test.

Récapitulatif

  • Un plongement est une liste de nombres produite par un modèle; des textes semblables donnent des listes semblables. Le cosinus compare deux plongements.
  • Les données du cours comprennent le plongement de chaque enregistrement (384 nombres, 8 bits). Aucune leçon n’exécute donc le modèle.
  • Clients : les ménages partagent la majeure partie du texte. Pour le blocage, les 10 enregistrements les plus proches conservent 0,336 des vraies paires. Comme score, le F1 est de 0,384. Comme caractéristique supplémentaire, le F1 passe de 0,902 à 0,862.
  • Produits : les plongements trouvent la gamme de produits, mais ne distinguent pas les tailles et les formats. Le F1 de p-embed est de 0,383, contre 0,996 pour p-lgbm.
  • Les plongements sont utiles pour le texte libre, les mots différents et les autres systèmes d’écriture. Comparez leurs résultats aux comparaisons de champs avant de les utiliser.

Ensuite, nous essayons un modèle plus grand, uniquement pour les paires les plus difficiles. Ce modèle de langage lit les deux enregistrements et donne une réponse.

Leçon suivante : Un modèle de langage pour les paires incertaines