Aller au contenu
English

Apparier des produits entre deux boutiques

  • Étude de cas 1
  • 120 min
  • Facultative · 1 étude de cas requise pour le certificat

Où nous en sommes

Dans huit modules, nous avons apparié les enregistrements synthétiques de Larkfield. Dans cette étude de cas, nous apparions de vrais produits entre deux boutiques à partir d'un banc d'essai ouvert. Nous comparons plusieurs méthodes et rapportons la précision à rappel fixe et le coût.

Étude de cas 1 sur 3 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Apparier des produits entre deux boutiques

Ce que vous saurez faire

Appariez de vrais produits entre deux boutiques en ligne, des fichiers bruts à une décision utilisable par une équipe. Vous allez normaliser les titres, bloquer, comparer, classifier et mesurer, comme dans le cours. Vous comparerez sept méthodes selon une même mesure. Vous choisirez une conception avec ses seuils, sa zone de révision et son coût.

Étude de casPièce de portfolio

Licence
CC BY 4.0
Durée
Environ 2 h
S’exécute dans
Colab, Kaggle ou VS Code
Compétences utilisées
  • Normaliser les titres et les codes de modèle
  • Blocage avec TF-IDF et des plongements
  • Vecteurs de comparaison
  • Splink et LightGBM
  • Appariement un à un
  • Seuils et zone de révision
  • Coût par 1 000 paires

Les carnets sont en anglais. Colab et Kaggle ouvrent votre propre copie. Pour utiliser VS Code, téléchargez le carnet depuis GitHub. Vous êtes bloqué ? Consultez le carnet de solution.

Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes résultats. Il comprend aussi trois tâches avec des vérifications. Ses cellules de préparation installent les paquets du cours et téléchargent environ 4 Mo de données. Le banc d’essai vient de sa page source; les plongements et les réponses enregistrées viennent des laboratoires du cours. Il ne nécessite ni compte ni clé. Après l’installation, il s’exécute en moins d’une minute.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 120 minutes

Ce que vous devez savoir

Cette étude de cas utilise tout le cours. Ces leçons sont les plus importantes :

Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)

  • Un environnement virtuel avec les paquets du cours du module 6, plus Splink 5.0.0, DuckDB 2.0.0 et pyarrow 26.0.1 du module 5. L’environnement du projet larkfield-match les contient tous. Cette étude de cas ne modifie pas les fichiers du projet.
  • Le carnet, téléchargé à partir du lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de préparation crée un dossier product-matching à côté du carnet. Pour recommencer, supprimez ce dossier.

Testé sur macOS avec Python 3.12.13, dans Jupyter après un démarrage à neuf. Windows et Linux ne sont pas testés.

Vous voulez acheter un téléviseur. Un site de comparaison de prix montre le même modèle dans deux boutiques, à deux prix. Quelqu’un a dû décider que deux offres avec deux titres différents représentent un seul produit.

Leila dirige l’équipe du catalogue d’un petit site de comparaison de prix. Ben est son ingénieur de données. Le site compare les offres de deux boutiques en ligne qui vendaient des appareils électroniques, Abt et Buy. (Leila, Ben et le site sont inventés. Les deux boutiques et leurs titres de produits sont réels.)

Chaque erreur a un prix :

  • Une fausse correspondance présente deux produits différents comme un seul. Le lecteur voit une comparaison erronée, par exemple un étui à côté d’un appareil photo. Leila dit : « Une mauvaise correspondance sur la page nous coûte plus de confiance que dix correspondances manquantes. »
  • Une correspondance manquée cache une comparaison que le site pourrait montrer. Elle coûte un peu de trafic.

Leila fixe donc une règle : les correspondances sont publiées automatiquement seulement si au moins 99 sur 100 sont correctes. Une personne vérifie les paires incertaines.

Vous construirez un apparieur qui lit les listes de produits des deux boutiques. Il place chaque paire candidate dans un de trois groupes : accepter, réviser ou non-correspondance. Vous comparerez sept méthodes sur les mêmes paires, avec les mêmes mesures, puis choisirez une conception. Vous exécuterez ensuite cette conception sur des produits qu’aucune étape n’a vus, puis sur deux autres boutiques, plus difficiles à apparier.

Les compétences viennent de tout le cours, des modules 2 à 8. Une idée est nouvelle ici : l’appariement un à un.

Les données constituent un banc d’essai public : un jeu de données publié par des chercheurs pour tester les méthodes sur le même problème. Il vient du groupe de bases de données de l’Université de Leipzig. Il contient les offres de produits d’Abt (1 081) et de Buy (1 092). Il comprend aussi 1 097 vraies correspondances : des paires d’offres qui représentent le même produit.

Enfin de vraies données. Tous les enregistrements des modules 1 à 8 étaient synthétiques. Ces données sont réelles : les boutiques ont saisi ces titres pour leurs clients. Les chercheurs de Leipzig ont créé la liste des vraies correspondances, pas notre code.

Voici les colonnes utilisées dans l’étude de cas.

Colonne Signification Utilisation
id Le numéro de l’offre dans sa boutique Clé
name Le titre du produit, tel que la boutique l’a écrit Normalisé, comparé, transformé en plongement
description Un texte plus long (souvent vide chez Buy) Recherche de codes de modèle
manufacturer La marque (Buy seulement) Non utilisé : Abt n’a pas cette colonne, donc le premier mot du titre représente la marque
price Le prix, comme $399.00 (souvent vide) Comparé quand les deux offres en ont un
idAbt, idBuy Une vraie correspondance par ligne (le troisième fichier) Étiquettes seulement, jamais une entrée
print("repeated IDs:", int(abt.id.duplicated().sum()), int(buy.id.duplicated().sum()))
print("no price:", f"Abt {(abt.price == '').mean():.0%},", f"Buy {(buy.price == '').mean():.0%}")
print("no description in Buy:", f"{(buy.description == '').mean():.0%}")
print("products with a match:", f"Abt {abt.id.isin(matches.id_a).sum()} of {len(abt)},",
f"Buy {buy.id.isin(matches.id_b).sum()} of {len(buy)}")
print("products with two or more matches:", f"Abt {(matches.id_a.value_counts() > 1).sum()},",
f"Buy {(matches.id_b.value_counts() > 1).sum()}")

Le résultat :

repeated IDs: 0 0
no price: Abt 61%, Buy 46%
no description in Buy: 40%
products with a match: Abt 1081 of 1081, Buy 1092 of 1092
products with two or more matches: Abt 16, Buy 5

Ce que cela nous apprend. Les prix manquent souvent. Le prix ne peut donc fournir qu’un indice faible. Et chaque produit a un partenaire dans l’autre boutique, le fait le plus important de ce banc d’essai. En pratique, une boutique vend beaucoup de produits que l’autre n’a pas.

Quatre vraies correspondances :

Sony Black 9 Megapixel Cyber-Shot Digital Camera - DSCH50B | Sony Cyber-shot DSC-H50 Digital Camera - Black - DSCH50B
Panasonic 2-Line Integrated Telephone System - KXTS208W | Panasonic KX-TS208W Corded Phone
Speck SeeThru Clear Hard Shell Case For 15' MacBook - MB15CLRSEEV2 | Speck Products SeeThru Case for Apple 15' MacBook Pro - MB15-CLR-SEE-V2
VMware Fusion 2 For Mac - VMFM20BX2 | VMware Fusion 2 - VMFM20BX2

Ce que cela nous apprend. Abt termine presque tous les titres par le numéro de modèle. Buy l’écrit avec des traits d’union (KX-TS208W), ailleurs dans le titre, ou l’omet. Les autres mots diffèrent aussi.

  • L’unité est une paire : une offre Abt et une offre Buy. La cible est « même produit ou non », d’après la liste de Leipzig.
  • La partition place chaque produit dans les données d’entraînement (50 %), de validation (25 %) ou de test (25 %), par groupe. Les produits liés par de vraies correspondances restent dans une seule partition. Ainsi, aucune réponse ne passe de l’entraînement au test. Une paire appartient à la partition de son produit Abt. Le jeu de test contient 277 vraies correspondances. La partition, ses proportions et sa graine (39) sont nos choix.
  • Les mesures. Chaque méthode est mesurée sur le jeu de test, avec un seuil choisi sur les données de validation. Nous rapportons la précision par paire, le rappel et le F1, comme dans Mesurer un apparieur. La règle de Leila exige une deuxième mesure : la précision à rappel fixe. Nous prenons le seuil qui trouve 80 % des correspondances de validation, puis rapportons la précision de ce seuil sur le test. Une règle qui ne peut pas atteindre un rappel de 80 % n’obtient aucune valeur.
  • Les étiquettes sont celles de Leipzig. Nous n’avons créé aucune étiquette. La règle des 99 %, le temps du réviseur et les prix sont nos hypothèses.

L’apparieur le plus simple dit « même produit quand les noms sont identiques ». Sur le jeu de test, il trouve 1 vraie correspondance sur 277. Les boutiques n’écrivent presque jamais un titre de la même façon.

Nous normalisons donc les titres d’abord, comme dans Normaliser. Les titres normalisés sont en minuscules, sans accents ni signes. Le symbole de pouce 42' devient 42 in, et aucun trait d’union ni barre oblique ne reste dans un mot. Ensuite, une petite fonction garde les mots qui ressemblent à des codes de modèle. Ils doivent avoir au moins 4 caractères, avec des lettres et des chiffres.

Un téléviseur Panasonic dans deux boutiques. Abt : Panasonic VIERA 42' Plasma Flat Panel HDTV In Black - TH42PX80U. Buy : Panasonic Viera TH-42PX80U 42' Plasma TV. Après normalisation : panasonic viera 42 in plasma flat panel hdtv in black th42px80u, et panasonic viera th42px80u 42 in plasma tv. Le code de modèle est th42px80u dans les deux titres, donc les codes sont identiques.
La normalisation rend le numéro de modèle identique dans les deux boutiques, même si la longueur et l'ordre des titres diffèrent encore.
Description textuelle du diagramme

Deux colonnes, Abt et Buy, et trois lignes. Ligne 1 : le titre tel que chaque boutique l’a écrit. Ligne 2 : le titre après normalise(). Ligne 3 : les codes de modèle trouvés par model_codes(). En bas, un encadré vert indique que les codes sont identiques : th42px80u.

Les titres normalisés identiques trouvent 4 correspondances : encore presque rien. Une règle sur les codes fonctionne beaucoup mieux :

same model code: {'precision': 0.954, 'recall': 0.675, 'f1': 0.791, 'called': 196, 'right': 187, 'true': 277}

Ce que cela nous apprend. Quand deux titres partagent un code de modèle, ils représentent le même produit 95 fois sur 100. Mais un tiers des vraies correspondances n’ont aucun code commun. Certains titres Buy n’en ont pas (« LG 5.0 cu.ft. Freestanding Gas Range »). D’autres utilisent un code plus court (« JFS516 » pour « JFS516NA »).

Erreur courante

Une taille qui ressemble à un numéro de modèle

Symptôme : la première version de la règle des codes de Ben avait une précision de 0,519 : une décision sur deux était erronée.

Cause : sa fonction gardait chaque mot contenant des lettres et des chiffres. Les « codes » les plus courants chez Abt étaient 1080p (28 produits), 60gb et 16gb. Ce sont une résolution d’écran et des tailles, communes à de nombreux produits différents. Chaque téléviseur 1080p « correspondait » donc à tous les autres produits 1080p.

Correction : refuser les mots composés d’un nombre suivi d’une unité (in, gb, p, hz et d’autres). La précision est montée à 0,954.

Conséquence pour le travail en IA : avant de vous fier à une clé, examinez ses valeurs les plus courantes, comme dans Ce que le blocage fait perdre. Une seule valeur courante peut relier des milliers de paires. Au module 7, le numéro de téléphone d’une jardinerie reliait 40 personnes différentes.

Les deux boutiques produisent 1 081 × 1 092 = 1 180 452 paires. Un vrai catalogue contient un million de produits. Nous appliquons donc un blocage, comme au module 3, pour garder seulement les paires candidates.

La règle des codes est un blocage précis, mais elle garde seulement 66 % des vraies correspondances. Deux autres blocages trouvent des titres similaires, plutôt qu’identiques :

  • Les 5 meilleurs avec TF-IDF. Imaginez un bibliothécaire qui cherche un livre par ses mots rares : « Acoustimass » en dit plus que « speaker ». TF-IDF fait la même chose. Il découpe chaque titre en fragments de 3 à 5 lettres. Il donne plus de poids à un fragment présent dans peu de titres. Deux titres partageant des fragments rares obtiennent une similarité TF-IDF élevée, entre 0 et 1. Pour chaque produit, nous gardons les 5 produits les plus similaires de l’autre boutique, dans les deux sens. Le cours Recherche et classement : trouver la meilleure correspondance classe les documents selon la même idée : voir BM25.
  • Les 5 meilleurs avec les plongements. Même principe, avec le cosinus des plongements des titres, issus du modèle Granite du cours. Voir Des plongements pour les noms, les adresses et les produits. Les plongements accompagnent le carnet, qui n’exécute donc pas le modèle.
candidates true kept pair completeness reduction ratio
same model code 770.0 729.0 0.6645 0.99935
TF-IDF top 5 7308.0 1077.0 0.9818 0.99381
embeddings top 5 7374.0 1077.0 0.9818 0.99375
all three together 10205.0 1087.0 0.9909 0.99136

Ce que cela nous apprend. TF-IDF et les plongements gardent la même proportion de vraies correspondances, mais pas les mêmes correspondances. Avec les codes, ils gardent 1 087 correspondances sur 1 097, pour 10 205 candidats : moins de 1 % de toutes les paires. Dans le carnet, vous essayez 3 voisins plutôt que 5 : 5 919 candidats, et 6 vraies correspondances perdues de plus.

Chaque paire candidate reçoit neuf similarités, comme dans Comparer champ par champ, puis combiner :

  • deux similarités de chaînes des titres (token set ratio, rapport entre ensembles de mots, et Jaro–Winkler), et la similarité TF-IDF;
  • « même code », la meilleure similarité entre deux codes, et « le code Abt apparaît dans le titre ou la description Buy »;
  • la proportion de nombres communs aux deux titres, le rapport des prix et le cosinus des plongements.

Une valeur manquante (aucun code, aucun prix) reste manquante.

Chaque méthode ci-dessous voit les mêmes 10 205 candidats et est mesurée sur les mêmes 277 correspondances de test.

  • Règles : le titre exact et le même code de modèle.
  • Un seul score : la similarité TF-IDF ou le cosinus des plongements, avec le seuil donnant le meilleur F1 sur la validation.
  • Splink sans étiquettes, comme au module 5. Il compare les mots du titre, le premier mot (la marque) et les codes. Il apprend ses poids par maximisation de l’espérance.
  • Régression logistique et LightGBM sur le vecteur de comparaison, comme dans Un classificateur de paires supervisé. Ils apprennent à partir des 5 097 paires candidates des données d’entraînement (539 vraies).
F1 de chaque méthode sur les mêmes paires candidates d'Abt–Buy. Les classificateurs gagnent, et l'appariement un à un (dernière ligne) apporte le plus.
Description textuelle du graphique

Neuf points, un par méthode, sur une échelle de 0 à 1. Titre exact 0,028; règle du même code de modèle 0,791; plongements seuls 0,579; TF-IDF seul 0,707; Splink sans étiquettes 0,765; régression logistique 0,862; LightGBM 0,869; LightGBM avec le cosinus des plongements 0,88; LightGBM avec l’appariement un à un 0,924.

Ce que cela nous apprend. Les classificateurs gagnent clairement : F1 de LightGBM 0,869, régression logistique 0,862. La règle des codes (0,791) bat Splink sans étiquettes (0,765). Le cosinus des plongements seul est le score le plus faible (0,579) et ajoute peu à LightGBM (0,880). LightGBM attribue 55 % de son gain à un seul champ : le code Abt trouvé dans le texte Buy.

Environ 67 % des vraies paires candidates partagent un code de modèle. La probabilité m de « partager un code » devrait donc être d’environ 0,67. C’est la proportion de vraies correspondances qui s’accordent sur ce champ. Splink a appris 0,048.

La maximisation de l’espérance cherche deux groupes de paires, sans savoir quel groupe nous visons. Notre interprétation, non mesurée : elle a probablement trouvé des paires d’une même marque et d’une même gamme de produits. Elles partagent beaucoup de mots, mais rarement un code. Le module 5 présentait le même genre de problème avec la date de naissance. Dans les titres de produits, les indices se trouvent dans du texte libre, et les étiquettes aident beaucoup.

Précision sur le jeu de test, au seuil ayant atteint un rappel de 0,8 sur la validation. Seuls les classificateurs approchent le 0,99 de Leila, et seul l'appariement un à un dépasse 0,98.
Description textuelle du graphique

Sept points. TF-IDF seul 0,535; plongements seuls 0,378; Splink sans étiquettes 0,326; régression logistique 0,884; LightGBM 0,906; LightGBM avec le cosinus 0,92; LightGBM avec l’appariement un à un 0,983. Les deux règles n’ont aucune valeur : elles ne peuvent pas atteindre un rappel de 0,8.

À un rappel de 0,8, environ 1 correspondance de LightGBM sur 10 est erronée (0,906). Leila en exige 99 correctes sur 100. L’idée suivante comble une grande partie de cet écart.

Dans un cours de danse, chaque personne danse avec un partenaire. L’appariement de produits est semblable. Une offre d’un magasin correspond au même produit qu’au plus une offre de l’autre magasin. (Dans ce banc d’essai, quelques produits ont deux correspondances, car un magasin a inscrit le même produit deux fois.)

Le classificateur attribue un score à chaque paire séparément. Il peut donc donner 0,7 à « appareil photo et étui », et 0,9 à « appareil photo et appareil photo ». Il ne sait pas que l’appareil photo a déjà un meilleur partenaire.

L’appariement un à un garde une paire seulement si elle est la meilleure paire pour chacun de ses deux produits. Il élimine toutes les autres paires. Les paires sont les arêtes d’un graphe, comme dans Regrouper les paires. Ici, chaque produit ne peut toutefois garder qu’une arête.

Deux produits dans le magasin A (A1, A2) et deux dans le magasin B (B1, B2). Scores : A1–B1 0,90, A1–B2 0,60, A2–B1 0,70, A2–B2 0,40. A1–B1 est la meilleure paire pour A1 et pour B1, donc elle est conservée. A1–B2 et A2–B2 sont éliminées parce que A1 et A2 ont de meilleures paires. A2–B1 est éliminée parce que B1 a une meilleure paire. A2 et B2 n'ont aucun partenaire.
L'appariement un à un dans un petit exemple : seule A1–B1 reste. Une mauvaise paire avec un score élevé peut aussi priver un produit de son partenaire. Cette étape exige donc de bons scores.
Description textuelle du diagramme

Quatre encadrés : A1 et A2 à gauche, B1 et B2 à droite, et quatre lignes avec leurs scores. La ligne A1–B1 (0,90) est épaisse et verte : conservée. Les trois autres lignes sont en pointillés : éliminées. Une note indique chaque paire et la raison.

Sur les vrais candidats, l’appariement un à un garde 1 030 des 10 205 paires. Le score F1 de LightGBM passe de 0,869 à 0,924, et sa précision de 0,930 à 0,976. Sa précision à un rappel de 0,8 passe de 0,906 à 0,983. Pour la régression logistique (la tâche du carnet), le score F1 atteint 0,915.

Quand l’utiliser : quand chaque entité peut apparaître au plus une fois dans chaque liste, comme deux catalogues de magasins ou deux registres. Quand ne pas l’utiliser : dans une seule liste avec des doublons, comme les clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield avec jusqu’à 5 enregistrements chacun. Ni quand beaucoup de produits n’ont aucun partenaire. Une mauvaise paire avec un score faible peut alors être « la meilleure » pour deux produits. Gardez aussi un seuil.

Décider : accepter, réviser ou aucune correspondance

Section intitulée « Décider : accepter, réviser ou aucune correspondance »

Comme dans La révision humaine, nous divisons les scores en trois zones. Sur la partition de validation, nous avons essayé trois seuils inférieurs et trois seuils supérieurs. Voici six des neuf lignes :

accepted accepted right precision accepted to review true in review recall if reviews are right
lower upper
0.01 0.50 221.0 213.0 0.964 25.0 21.0 0.854
0.80 201.0 200.0 0.995 45.0 34.0 0.854
0.95 182.0 181.0 0.995 64.0 53.0 0.854
0.05 0.50 221.0 213.0 0.964 20.0 17.0 0.839
0.80 201.0 200.0 0.995 40.0 30.0 0.839
0.95 182.0 181.0 0.995 59.0 49.0 0.839

Le plus bas seuil supérieur qui respecte les 99 % de Leila est 0,8. Pour le seuil inférieur, nous prenons 0,01. Comparé à 0,05, il ajoute 5 paires à réviser, dont 4 sont de vraies correspondances. Sur le jeu de test, utilisé une seule fois :

accepted accepted right precision accepted to review true in review recall if reviews are right
validation 201.0 200.0 0.995 45.0 34.0 0.854
test 218.0 216.0 0.991 31.0 27.0 0.877

Ce que cela nous apprend. Sur le test, 216 des 218 correspondances automatiques sont correctes. Parmi les 31 paires à réviser, 27 sont vraies. Si la personne les juge toutes correctement, le site affiche 87,7 % des vraies correspondances.

Où vont les 34 autres vraies correspondances? Le blocage en perd 1. L’appariement un à un en élimine 7 parce que l’autre vrai partenaire du produit a gagné. Il en élimine 23 parce qu’une mauvaise paire a gagné. Enfin, 3 ont un score inférieur à 0,01.

La conception choisie. Normaliser; bloquer avec le même code, les 5 premiers de TF-IDF et les 5 premiers des plongements (10 205 paires sur 1 180 452, 1 087 vraies sur 1 097 conservées); comparer 9 similarités; classifier avec LightGBM; apparier un à un. Puis trois zones sur le jeu de test : score de 0,8 ou plus, accepter, 218 paires, 216 correctes; de 0,01 à 0,8, une personne révise, 31 paires, 27 vraies; sous 0,01, aucune correspondance.
La conception recommandée par l'étude de cas, avec les décomptes du jeu de test.
Description textuelle du diagramme

Cinq étapes de gauche à droite, chacune avec son nombre principal : normaliser, bloquer, comparer, classifier, apparier un à un. Sous la dernière étape, trois encadrés pour les zones : accepter, réviser et aucune correspondance, chacun avec son décompte de paires.

Un modèle de langage pour la zone de révision (réponses enregistrées)

Section intitulée « Un modèle de langage pour la zone de révision (réponses enregistrées) »

Comme dans Un modèle de langage pour les paires incertaines, nous avons interrogé un petit modèle conversationnel (Azure Termechat-smallLe nom que le code de Larkfield donne à un petit modèle hébergé peu coûteux : gpt-6-luna sur Azure. Le code utilise ce nom, donc le modèle peut changer sans modifier le code.En savoir plus Ce qu'est une API de LLMCréer des applications fiables avec les API de LLM). Il a évalué chaque paire de validation et de test dans la zone. Nous l’avons interrogé une fois et avons enregistré ses réponses. Le modèle a lu les deux titres, les 300 premiers caractères de chaque description et les prix. Voici ses réponses enregistrées pour les 76 paires de la zone :

Le modèle a dit Vraie correspondance Non-correspondance
identique 49 0
différent 3 5
incertain 9 10

Ce que cela nous apprend. Quand le modèle a dit « identique », il avait raison 49 fois sur 49. Pour les titres vagues de Buy, il a dit « incertain » : « Offer B does not specify the model or colour » (l’offre B ne précise ni le modèle ni la couleur). Il a aussi repéré une variante de couleur, à raison : « A is white (WH) and B is black (BF) » (A est blanc et B est noir).

Une de ses « erreurs » mérite notre attention. Pour « Canon 2GB SD Secure Digital Card - 3505B001 » et « Simpletech 2GB SD Card - 3505B001AA », le modèle a dit « différent ». Sa raison : « Offer A is branded Canon, while Offer B is branded Simpletech » (l’offre A est de marque Canon, l’offre B de marque Simpletech). Le banc d’essai dit « identique », car le numéro de pièce est le même. Une personne pourrait être d’accord avec le modèle. Les étiquettes d’un banc d’essai peuvent aussi être fausses.

49 sur 49, c’est un petit échantillon : le vrai taux d’erreur pourrait encore être d’environ 6 %. (Règle approximative pour zéro erreur : 3 divisé par le nombre de réponses.) Le modèle ne peut donc pas encore remplacer la personne. Il peut trier la file : ses paires « identiques » en premier, avec sa raison affichée pour le réviseur.

Les prix sont des hypothèses du tableau des prix du cours; vérifiez les pages actuelles des fournisseurs.

  • Un serveur CPU coûte 0,17 $ US par heure.
  • Le modèle conversationnel coûte 0,10 $ US par million de jetons d’entrée et 0,50 $ US par million de jetons de sortie.
  • Un réviseur prend 1,2 minute par paire et coûte 40 $ US par heure.
Étape Mesure Coût (hypothèse × mesure)
Comparer et classifier sur un CPU moins de 0,5 s pour 10 205 paires moins de 0,000002 $ US par 1 000 paires candidates
Modèle de langage, paires de la zone seulement 252 jetons en entrée, 139 en sortie; médiane de 1,96 s par paire 0,095 $ US par 1 000 paires lues; seulement 1,5 % des candidats sont dans la zone
Une personne révise la zone 115 paires par 1 000 produits Abt 2,3 h, environ 92 $ US par 1 000 produits

Ce que cela nous apprend. L’ordinateur coûte presque rien; la personne représente le coût. Le modèle de langage coûte environ un cent par 100 paires de la zone. Il est donc rentable s’il fait gagner quelques secondes par paire au réviseur. L’enregistrement complet a coûté 0,016 $ US : 186 paires, avec une marge autour de la zone et 20 paires certaines comme contrôle.

Une conception doit fonctionner sur des produits qu’elle n’a jamais vus. La fonction match_shops() du carnet exécute chaque étape, de la normalisation aux zones. Nous l’exécutons sur les 270 produits Abt du jeu de test, comme s’ils étaient nouveaux, contre tout Buy :

270 new products, 0.3 s: {'accept': 220, 'review': 47}
count true
decision
accept 220 216
review 47 30

Ce que cela nous apprend. La précision est de 0,982, un peu sous les 0,991 de l’évaluation, et la file de révision est plus longue. La raison est l’appariement un à un. Un produit Buy choisit maintenant seulement parmi les 270 nouveaux produits. Un nouveau produit moins bon peut donc devenir sa « meilleure » paire. Au quotidien, appariez les nouveaux produits avec tout le catalogue, y compris les produits qui ont déjà un partenaire. De nouveaux enregistrements chaque jour montre comment faire.

La page de Leipzig propose un deuxième banc d’essai de produits : Amazon (1 363 offres) contre le service de magasinage de Google (3 226). Il contient 1 300 vraies correspondances, surtout des logiciels. Ici, chaque produit n’a pas un partenaire : seulement 1 291 des 3 226 offres Google en ont un. Dans la dernière tâche du carnet, vous exécutez toute la conception sur ces données avec un seul appel. Voici le résultat sur son jeu de test :

{'blocking': {'candidates': 28776, 'true kept': 1289, 'pair completeness': 0.9915, ...},
'threshold': 0.05, 'test': {'precision': 0.683, 'recall': 0.59, 'f1': 0.633, ...}}
Le même type de méthode sur quatre problèmes : les produits et clients synthétiques de Larkfield (du module 6), et les deux vrais bancs d'essai.
Description textuelle du graphique

Quatre points. Produits Larkfield, synthétiques, p-lgbm : 0,996. Abt–Buy, LightGBM avec appariement un à un : 0,924. Clients Larkfield, synthétiques, lgbm : 0,902. Amazon–Google avec la même conception : 0,633.

Ce que cela nous apprend. Le blocage fonctionne encore (99 % des vraies correspondances conservées), mais le score F1 tombe à 0,633. Les titres de logiciels contiennent peu de numéros de modèle. Beaucoup d’offres ne diffèrent que par une année ou une édition. Par exemple, la conception a apparié « peachtree by sage premium accounting for nonprofits 2007 » avec l’édition 2008. La plupart des offres n’ont aucun partenaire, donc l’appariement un à un peut en garder un mauvais. Certaines « fausses correspondances » semblent correctes à une personne, comme deux licences Red Hat avec le même numéro de pièce rl296aa. Nous les avons comptées comme des erreurs, selon le banc d’essai. Une bonne prochaine étape serait un champ de version et d’édition, extrait du titre. Le module 2 faisait de même pour les tailles et les formats.

Comparaison avec Larkfield. Sur les flux fournisseurs synthétiques de Larkfield, LightGBM a atteint un score F1 de 0,996. Notre générateur écrivait les tailles et les formats de quelques façons connues. Les vrais magasins sont moins ordonnés. Abt–Buy est plus difficile que nos flux, et Amazon–Google est plus difficile que nos clients synthétiques.

Ben écrit à Leila dans ses mots à elle :

  • Utilisez la conception ci-dessus. Appariez automatiquement quand le score est de 0,8 ou plus.
  • Révisez la zone de 0,01 à 0,8 : environ 2,3 h par 1 000 produits, surtout de vraies correspondances au titre vague.
  • Utilisez le modèle de langage pour trier la file, pas pour décider. Montrez sa raison au réviseur et mesurez-le de nouveau après quelques centaines de révisions.
  • Appariez les nouveaux produits avec tout le catalogue, jamais seulement entre eux.
  • Demandez aux magasins des numéros de modèle ou des codes-barres. Un code-barres commun rendrait la majeure partie de ce travail inutile.

Ce qu’il ne faut pas faire :

  • N’utilisez pas le seuil de 0,8 pour une autre paire de magasins sans nouvelles étiquettes et nouvelle validation.
  • Ne présentez pas une correspondance comme certaine. Affichez « comparer les offres » et laissez les lecteurs signaler une mauvaise correspondance.
  • Chaque produit a un partenaire ici. Cela donne une meilleure impression de l’appariement un à un que dans un vrai contexte. Dans un vrai catalogue, mesurez d’abord la part des produits sans partenaire.
  • Ancien et petit. Les fichiers datent de 2010 : deux magasins d’électronique, avec environ 1 000 produits chacun.
  • Les étiquettes peuvent être fausses. La paire Canon et Simpletech montre que la vérité d’un banc d’essai est le jugement de quelqu’un.
  • Le jeu de test est petit. Une erreur change la précision d’environ 0,4 point; ne vous attardez donc pas à la troisième décimale.
  • Les réponses enregistrées viennent d’un seul modèle, interrogé une fois. Une nouvelle version du modèle ou une nouvelle exécution donne d’autres réponses.
  • Les prix sont des hypothèses. Vérifiez les pages actuelles des fournisseurs.
  • Citez la source. CC BY 4.0 exige l’attribution de l’encadré ci-dessus partout où vous utilisez ou partagez les données.
  • Les marques sont réelles. Cette étude de cas ne porte aucun jugement sur un magasin ou une marque. Une mauvaise correspondance sur une page publique peut donner une fausse idée du prix d’un magasin. C’est pourquoi la règle de Leila est stricte et les lecteurs peuvent signaler des erreurs.
  • Aucune donnée personnelle. Il s’agit uniquement d’offres de produits. Sur des enregistrements clients, ces méthodes exigent les précautions décrites dans Confidentialité et appariement.
  • Un modèle de langage voit le texte que vous envoyez. Ici, c’était du texte public sur des produits. N’envoyez jamais d’enregistrements clients à un service de modèles sans l’entente appropriée.

Cette étude de cas montre que vous pouvez passer d’enregistrements réels et désordonnés à une décision. Appropriez-vous le projet avec un changement : ajoutez un champ de version pour Amazon–Google, un seuil pour les produits sans partenaire, ou essayez un autre banc d’essai ouvert.

Quoi mettre dans le dépôt :

  • README.md (modèle ci-dessous).
  • Le carnet, exécuté du début à la fin, avec ses sorties.
  • Le tableau comparatif en CSV : chaque méthode, son seuil, sa précision, son rappel, son score F1 et sa précision à un rappel de 0,8.
  • DECISION.md : les seuils, la zone de révision, sa taille et son coût, ainsi que les hypothèses.
  • La source et la licence des données, avec le texte d’attribution. CC BY 4.0 permet de partager les données avec attribution, mais un lien et les sommes de contrôle suffisent.

Un modèle de README :

# Matching products between two online shops
## Problem
A price-comparison site must decide which offers in two shops are the same product.
Matches go live automatically only when 99 in 100 are right; a person checks the rest.
## Data and licence
Abt-Buy benchmark, University of Leipzig (Köpcke, Thor and Rahm, PVLDB 2010), CC BY 4.0,
https://dbs.uni-leipzig.de/research/projects/benchmark-datasets-for-entity-resolution.
1,081 + 1,092 offers, 1,097 true matches. Split 50/25/25 by group of products.
## Approach
Normalised titles and model codes; blocking with the same code, TF-IDF top 5 and
embeddings top 5 (pair completeness 0.991, 10,205 of 1.18 million pairs); a comparison
vector of 9 similarities; seven methods compared; LightGBM with one-to-one matching.
## Results (test split)
F1 0.924 (exact names 0.007, code rule 0.791, Splink without labels 0.765).
Accept >= 0.8: 218 matches, 216 right. Review 0.01-0.8: 31 pairs.
## Limits
Every product has a partner in this benchmark; old data, one category. On the harder
Amazon-Google benchmark, the same design reached only F1 0.633.

Comment le décrire en entrevue, en deux phrases : « J’ai apparié de vrais produits entre deux magasins et comparé sept méthodes sur un même jeu de test; LightGBM avec appariement un à un a atteint un score F1 de 0,92 et une précision de 99 % sur les correspondances automatiques. Sur un banc d’essai de logiciels plus difficile, la même conception est tombée à 0,63, car les versions et éditions nécessitent leur propre champ. »

Pour aller plus loin :

  • Extrayez l’édition et l’année des titres de logiciels, ajoutez-les au vecteur de comparaison et exécutez Amazon–Google de nouveau.
  • Remplacez « la meilleure pour les deux » par une affectation optimale (scipy.optimize.linear_sum_assignment), et comparez.
  • Interrogez un modèle conversationnel sur les 31 paires de test à réviser avec votre propre clé. Comparez ses réponses aux réponses enregistrées.

Vérifiez votre compréhension

La règle des codes a une précision de 0,954, mais un rappel de seulement 0,675. Donnez deux raisons pour lesquelles une vraie correspondance peut n'avoir aucun code de modèle commun, à partir des titres de cette étude de cas.

Afficher la réponse

D’abord, certains titres Buy n’ont aucun code de modèle, par exemple « LG 5.0 cu.ft. Freestanding Gas Range ». Ensuite, un magasin peut écrire une forme plus courte ou différente du code : « JFS516 » contre « JFS516NA », ou « PMCII » contre « PMC2 ». L’égalité exacte des codes manque les deux cas. C’est pourquoi le vecteur de comparaison contient aussi la meilleure similarité entre deux codes et « le code Abt apparaît dans le texte Buy ».

Vérifiez votre compréhension

L'appariement un à un a fait passer la précision de LightGBM de 0,930 à 0,976 sur Abt–Buy. Vous attendriez-vous au même gain sur les enregistrements clients de Larkfield? Expliquez.

Afficher la réponse

Non. L’appariement un à un suppose que chaque entité apparaît au plus une fois dans chaque liste. Les clients de Larkfield ont jusqu’à 5 enregistrements par personne, souvent dans la même source. Une personne peut donc avoir besoin de plusieurs partenaires. L’appariement un à un éliminerait de vraies paires. Il aide aussi davantage quand chaque produit a un partenaire, comme dans ce banc d’essai. Dans les listes où beaucoup d’enregistrements n’ont aucun partenaire, gardez aussi un seuil.

Vérifiez votre compréhension

Le modèle de langage enregistré a dit « identique » pour 49 paires de la zone et avait raison chaque fois. Leila demande : « Peut-on le laisser accepter les paires de la zone sans une personne? » Que répondez-vous?

Afficher la réponse

Pas encore. 49 réponses, c’est un petit échantillon : le vrai taux d’erreur pourrait encore être de plusieurs pour cent. La règle de Leila permet 1 erreur sur 100. Les réponses viennent aussi d’une seule version du modèle, enregistrées une fois. Utilisez le modèle pour trier la file et afficher sa raison. Continuez à comparer ses réponses aux décisions des réviseurs. S’il reste correct sur quelques centaines de paires supplémentaires, l’équipe pourra réexaminer la décision.

Récapitulatif

  • Sur de vraies données de produits, les noms exacts ont trouvé 1 des 277 correspondances de test. Les codes de modèle normalisés étaient précis (0,954), mais n’en trouvaient que deux tiers.
  • Trois blocages combinés (codes, les 5 premiers de TF-IDF, les 5 premiers des plongements) ont gardé 99,1 % des vraies correspondances avec moins de 1 % des paires.
  • LightGBM sur le vecteur de comparaison (score F1 de 0,869) a battu les règles, Splink sans étiquettes (0,765) et les plongements (0,579). Splink a appris un mauvais poids pour les codes.
  • L’appariement un à un a fait monter le score F1 à 0,924, car chaque produit a au plus un partenaire.
  • La décision : accepter à 0,8 ou plus (216 sur 218 correctes sur le test). Réviser de 0,01 à 0,8 : environ 115 paires par 1 000 produits. Laisser le modèle de langage trier la file, pas décider.

Ensuite, de vraies notices bibliographiques : titres, listes d’auteurs et lieux de publication provenant de deux sources.

Leçon suivante : Relier des notices bibliographiques