Apparier des produits entre deux boutiques
- Étude de cas 1
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
Dans huit modules, nous avons apparié les enregistrements synthétiques de Larkfield. Dans cette étude de cas, nous apparions de vrais produits entre deux boutiques à partir d'un banc d'essai ouvert. Nous comparons plusieurs méthodes et rapportons la précision à rappel fixe et le coût.
Étude de cas 1 sur 3 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Apparier des produits entre deux boutiques
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Appariez de vrais produits entre deux boutiques en ligne, des fichiers bruts à une décision utilisable par une équipe. Vous allez normaliser les titres, bloquer, comparer, classifier et mesurer, comme dans le cours. Vous comparerez sept méthodes selon une même mesure. Vous choisirez une conception avec ses seuils, sa zone de révision et son coût.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes résultats. Il comprend aussi trois tâches avec des vérifications. Ses cellules de préparation installent les paquets du cours et téléchargent environ 4 Mo de données. Le banc d’essai vient de sa page source; les plongements et les réponses enregistrées viennent des laboratoires du cours. Il ne nécessite ni compte ni clé. Après l’installation, il s’exécute en moins d’une minute.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours. Ces leçons sont les plus importantes :
- La normalisation du texte et l’analyse des titres de produits, dans Normaliser et Découper en parties.
- La précision par paire, le rappel et le F1, dans Mesurer un apparieur.
- L’exhaustivité des paires (pair completeness) et le taux de réduction, dans Ce que le blocage fait perdre.
- Le vecteur de comparaison, dans Comparer champ par champ, puis combiner.
- Splink sans étiquettes, dans Apprendre les poids sans étiquettes.
- Le classificateur de paires, les plongements et la zone d’incertitude, dans Un classificateur de paires supervisé, Des plongements pour les noms, les adresses et les produits et Un modèle de langage pour les paires incertaines.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)
- Un environnement virtuel avec les paquets du cours du module 6, plus Splink 5.0.0, DuckDB 2.0.0 et pyarrow 26.0.1 du module 5. L’environnement du projet
larkfield-matchles contient tous. Cette étude de cas ne modifie pas les fichiers du projet. - Le carnet, téléchargé à partir du lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de préparation crée un dossier
product-matchingà côté du carnet. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12.13, dans Jupyter après un démarrage à neuf. Windows et Linux ne sont pas testés.
La situation
Section intitulée « La situation »Vous voulez acheter un téléviseur. Un site de comparaison de prix montre le même modèle dans deux boutiques, à deux prix. Quelqu’un a dû décider que deux offres avec deux titres différents représentent un seul produit.
Leila dirige l’équipe du catalogue d’un petit site de comparaison de prix. Ben est son ingénieur de données. Le site compare les offres de deux boutiques en ligne qui vendaient des appareils électroniques, Abt et Buy. (Leila, Ben et le site sont inventés. Les deux boutiques et leurs titres de produits sont réels.)
Chaque erreur a un prix :
- Une fausse correspondance présente deux produits différents comme un seul. Le lecteur voit une comparaison erronée, par exemple un étui à côté d’un appareil photo. Leila dit : « Une mauvaise correspondance sur la page nous coûte plus de confiance que dix correspondances manquantes. »
- Une correspondance manquée cache une comparaison que le site pourrait montrer. Elle coûte un peu de trafic.
Leila fixe donc une règle : les correspondances sont publiées automatiquement seulement si au moins 99 sur 100 sont correctes. Une personne vérifie les paires incertaines.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous construirez un apparieur qui lit les listes de produits des deux boutiques. Il place chaque paire candidate dans un de trois groupes : accepter, réviser ou non-correspondance. Vous comparerez sept méthodes sur les mêmes paires, avec les mêmes mesures, puis choisirez une conception. Vous exécuterez ensuite cette conception sur des produits qu’aucune étape n’a vus, puis sur deux autres boutiques, plus difficiles à apparier.
Les compétences viennent de tout le cours, des modules 2 à 8. Une idée est nouvelle ici : l’appariement un à un.
Les données
Section intitulée « Les données »Les données constituent un banc d’essai public : un jeu de données publié par des chercheurs pour tester les méthodes sur le même problème. Il vient du groupe de bases de données de l’Université de Leipzig. Il contient les offres de produits d’Abt (1 081) et de Buy (1 092). Il comprend aussi 1 097 vraies correspondances : des paires d’offres qui représentent le même produit.
Enfin de vraies données. Tous les enregistrements des modules 1 à 8 étaient synthétiques. Ces données sont réelles : les boutiques ont saisi ces titres pour leurs clients. Les chercheurs de Leipzig ont créé la liste des vraies correspondances, pas notre code.
Le dictionnaire de données
Section intitulée « Le dictionnaire de données »Voici les colonnes utilisées dans l’étude de cas.
| Colonne | Signification | Utilisation |
|---|---|---|
id |
Le numéro de l’offre dans sa boutique | Clé |
name |
Le titre du produit, tel que la boutique l’a écrit | Normalisé, comparé, transformé en plongement |
description |
Un texte plus long (souvent vide chez Buy) | Recherche de codes de modèle |
manufacturer |
La marque (Buy seulement) | Non utilisé : Abt n’a pas cette colonne, donc le premier mot du titre représente la marque |
price |
Le prix, comme $399.00 (souvent vide) |
Comparé quand les deux offres en ont un |
idAbt, idBuy |
Une vraie correspondance par ligne (le troisième fichier) | Étiquettes seulement, jamais une entrée |
Premières vérifications
Section intitulée « Premières vérifications »print("repeated IDs:", int(abt.id.duplicated().sum()), int(buy.id.duplicated().sum()))print("no price:", f"Abt {(abt.price == '').mean():.0%},", f"Buy {(buy.price == '').mean():.0%}")print("no description in Buy:", f"{(buy.description == '').mean():.0%}")print("products with a match:", f"Abt {abt.id.isin(matches.id_a).sum()} of {len(abt)},", f"Buy {buy.id.isin(matches.id_b).sum()} of {len(buy)}")print("products with two or more matches:", f"Abt {(matches.id_a.value_counts() > 1).sum()},", f"Buy {(matches.id_b.value_counts() > 1).sum()}")Le résultat :
repeated IDs: 0 0no price: Abt 61%, Buy 46%no description in Buy: 40%products with a match: Abt 1081 of 1081, Buy 1092 of 1092products with two or more matches: Abt 16, Buy 5Ce que cela nous apprend. Les prix manquent souvent. Le prix ne peut donc fournir qu’un indice faible. Et chaque produit a un partenaire dans l’autre boutique, le fait le plus important de ce banc d’essai. En pratique, une boutique vend beaucoup de produits que l’autre n’a pas.
Quatre vraies correspondances :
Sony Black 9 Megapixel Cyber-Shot Digital Camera - DSCH50B | Sony Cyber-shot DSC-H50 Digital Camera - Black - DSCH50BPanasonic 2-Line Integrated Telephone System - KXTS208W | Panasonic KX-TS208W Corded PhoneSpeck SeeThru Clear Hard Shell Case For 15' MacBook - MB15CLRSEEV2 | Speck Products SeeThru Case for Apple 15' MacBook Pro - MB15-CLR-SEE-V2VMware Fusion 2 For Mac - VMFM20BX2 | VMware Fusion 2 - VMFM20BX2Ce que cela nous apprend. Abt termine presque tous les titres par le numéro de modèle. Buy l’écrit avec des traits d’union (KX-TS208W), ailleurs dans le titre, ou l’omet. Les autres mots diffèrent aussi.
Définir le problème
Section intitulée « Définir le problème »- L’unité est une paire : une offre Abt et une offre Buy. La cible est « même produit ou non », d’après la liste de Leipzig.
- La partition place chaque produit dans les données d’entraînement (50 %), de validation (25 %) ou de test (25 %), par groupe. Les produits liés par de vraies correspondances restent dans une seule partition. Ainsi, aucune réponse ne passe de l’entraînement au test. Une paire appartient à la partition de son produit Abt. Le jeu de test contient 277 vraies correspondances. La partition, ses proportions et sa graine (39) sont nos choix.
- Les mesures. Chaque méthode est mesurée sur le jeu de test, avec un seuil choisi sur les données de validation. Nous rapportons la précision par paire, le rappel et le F1, comme dans Mesurer un apparieur. La règle de Leila exige une deuxième mesure : la précision à rappel fixe. Nous prenons le seuil qui trouve 80 % des correspondances de validation, puis rapportons la précision de ce seuil sur le test. Une règle qui ne peut pas atteindre un rappel de 80 % n’obtient aucune valeur.
- Les étiquettes sont celles de Leipzig. Nous n’avons créé aucune étiquette. La règle des 99 %, le temps du réviseur et les prix sont nos hypothèses.
Normaliser : un produit, deux titres
Section intitulée « Normaliser : un produit, deux titres »L’apparieur le plus simple dit « même produit quand les noms sont identiques ». Sur le jeu de test, il trouve 1 vraie correspondance sur 277. Les boutiques n’écrivent presque jamais un titre de la même façon.
Nous normalisons donc les titres d’abord, comme dans Normaliser. Les titres normalisés sont en minuscules, sans accents ni signes. Le symbole de pouce 42' devient 42 in, et aucun trait d’union ni barre oblique ne reste dans un mot. Ensuite, une petite fonction garde les mots qui ressemblent à des codes de modèle. Ils doivent avoir au moins 4 caractères, avec des lettres et des chiffres.
Description textuelle du diagramme
Deux colonnes, Abt et Buy, et trois lignes. Ligne 1 : le titre tel que chaque boutique l’a écrit. Ligne 2 : le titre après normalise(). Ligne 3 : les codes de modèle trouvés par model_codes(). En bas, un encadré vert indique que les codes sont identiques : th42px80u.
Les titres normalisés identiques trouvent 4 correspondances : encore presque rien. Une règle sur les codes fonctionne beaucoup mieux :
same model code: {'precision': 0.954, 'recall': 0.675, 'f1': 0.791, 'called': 196, 'right': 187, 'true': 277}Ce que cela nous apprend. Quand deux titres partagent un code de modèle, ils représentent le même produit 95 fois sur 100. Mais un tiers des vraies correspondances n’ont aucun code commun. Certains titres Buy n’en ont pas (« LG 5.0 cu.ft. Freestanding Gas Range »). D’autres utilisent un code plus court (« JFS516 » pour « JFS516NA »).
Erreur courante
Une taille qui ressemble à un numéro de modèle
Symptôme : la première version de la règle des codes de Ben avait une précision de 0,519 : une décision sur deux était erronée.
Cause : sa fonction gardait chaque mot contenant des lettres et des chiffres. Les « codes » les plus courants chez Abt étaient 1080p (28 produits), 60gb et 16gb. Ce sont une résolution d’écran et des tailles, communes à de nombreux produits différents. Chaque téléviseur 1080p « correspondait » donc à tous les autres produits 1080p.
Correction : refuser les mots composés d’un nombre suivi d’une unité (in, gb, p, hz et d’autres). La précision est montée à 0,954.
Conséquence pour le travail en IA : avant de vous fier à une clé, examinez ses valeurs les plus courantes, comme dans Ce que le blocage fait perdre. Une seule valeur courante peut relier des milliers de paires. Au module 7, le numéro de téléphone d’une jardinerie reliait 40 personnes différentes.
Les deux boutiques produisent 1 081 × 1 092 = 1 180 452 paires. Un vrai catalogue contient un million de produits. Nous appliquons donc un blocage, comme au module 3, pour garder seulement les paires candidates.
La règle des codes est un blocage précis, mais elle garde seulement 66 % des vraies correspondances. Deux autres blocages trouvent des titres similaires, plutôt qu’identiques :
- Les 5 meilleurs avec TF-IDF. Imaginez un bibliothécaire qui cherche un livre par ses mots rares : « Acoustimass » en dit plus que « speaker ». TF-IDF fait la même chose. Il découpe chaque titre en fragments de 3 à 5 lettres. Il donne plus de poids à un fragment présent dans peu de titres. Deux titres partageant des fragments rares obtiennent une similarité TF-IDF élevée, entre 0 et 1. Pour chaque produit, nous gardons les 5 produits les plus similaires de l’autre boutique, dans les deux sens. Le cours Recherche et classement : trouver la meilleure correspondance classe les documents selon la même idée : voir BM25.
- Les 5 meilleurs avec les plongements. Même principe, avec le cosinus des plongements des titres, issus du modèle Granite du cours. Voir Des plongements pour les noms, les adresses et les produits. Les plongements accompagnent le carnet, qui n’exécute donc pas le modèle.
candidates true kept pair completeness reduction ratiosame model code 770.0 729.0 0.6645 0.99935TF-IDF top 5 7308.0 1077.0 0.9818 0.99381embeddings top 5 7374.0 1077.0 0.9818 0.99375all three together 10205.0 1087.0 0.9909 0.99136Ce que cela nous apprend. TF-IDF et les plongements gardent la même proportion de vraies correspondances, mais pas les mêmes correspondances. Avec les codes, ils gardent 1 087 correspondances sur 1 097, pour 10 205 candidats : moins de 1 % de toutes les paires. Dans le carnet, vous essayez 3 voisins plutôt que 5 : 5 919 candidats, et 6 vraies correspondances perdues de plus.
Comparer et classifier
Section intitulée « Comparer et classifier »Le vecteur de comparaison
Section intitulée « Le vecteur de comparaison »Chaque paire candidate reçoit neuf similarités, comme dans Comparer champ par champ, puis combiner :
- deux similarités de chaînes des titres (token set ratio, rapport entre ensembles de mots, et Jaro–Winkler), et la similarité TF-IDF;
- « même code », la meilleure similarité entre deux codes, et « le code Abt apparaît dans le titre ou la description Buy »;
- la proportion de nombres communs aux deux titres, le rapport des prix et le cosinus des plongements.
Une valeur manquante (aucun code, aucun prix) reste manquante.
Sept méthodes sur les mêmes paires
Section intitulée « Sept méthodes sur les mêmes paires »Chaque méthode ci-dessous voit les mêmes 10 205 candidats et est mesurée sur les mêmes 277 correspondances de test.
- Règles : le titre exact et le même code de modèle.
- Un seul score : la similarité TF-IDF ou le cosinus des plongements, avec le seuil donnant le meilleur F1 sur la validation.
- Splink sans étiquettes, comme au module 5. Il compare les mots du titre, le premier mot (la marque) et les codes. Il apprend ses poids par maximisation de l’espérance.
- Régression logistique et LightGBM sur le vecteur de comparaison, comme dans Un classificateur de paires supervisé. Ils apprennent à partir des 5 097 paires candidates des données d’entraînement (539 vraies).
Description textuelle du graphique
Neuf points, un par méthode, sur une échelle de 0 à 1. Titre exact 0,028; règle du même code de modèle 0,791; plongements seuls 0,579; TF-IDF seul 0,707; Splink sans étiquettes 0,765; régression logistique 0,862; LightGBM 0,869; LightGBM avec le cosinus des plongements 0,88; LightGBM avec l’appariement un à un 0,924.
Ce que cela nous apprend. Les classificateurs gagnent clairement : F1 de LightGBM 0,869, régression logistique 0,862. La règle des codes (0,791) bat Splink sans étiquettes (0,765). Le cosinus des plongements seul est le score le plus faible (0,579) et ajoute peu à LightGBM (0,880). LightGBM attribue 55 % de son gain à un seul champ : le code Abt trouvé dans le texte Buy.
Pourquoi Splink sans étiquettes est faible ici
Section intitulée « Pourquoi Splink sans étiquettes est faible ici »Environ 67 % des vraies paires candidates partagent un code de modèle. La probabilité m de « partager un code » devrait donc être d’environ 0,67. C’est la proportion de vraies correspondances qui s’accordent sur ce champ. Splink a appris 0,048.
La maximisation de l’espérance cherche deux groupes de paires, sans savoir quel groupe nous visons. Notre interprétation, non mesurée : elle a probablement trouvé des paires d’une même marque et d’une même gamme de produits. Elles partagent beaucoup de mots, mais rarement un code. Le module 5 présentait le même genre de problème avec la date de naissance. Dans les titres de produits, les indices se trouvent dans du texte libre, et les étiquettes aident beaucoup.
La mesure dont Leila a besoin
Section intitulée « La mesure dont Leila a besoin »Description textuelle du graphique
Sept points. TF-IDF seul 0,535; plongements seuls 0,378; Splink sans étiquettes 0,326; régression logistique 0,884; LightGBM 0,906; LightGBM avec le cosinus 0,92; LightGBM avec l’appariement un à un 0,983. Les deux règles n’ont aucune valeur : elles ne peuvent pas atteindre un rappel de 0,8.
À un rappel de 0,8, environ 1 correspondance de LightGBM sur 10 est erronée (0,906). Leila en exige 99 correctes sur 100. L’idée suivante comble une grande partie de cet écart.
Un produit, un partenaire
Section intitulée « Un produit, un partenaire »Partenaires de danse
Section intitulée « Partenaires de danse »Dans un cours de danse, chaque personne danse avec un partenaire. L’appariement de produits est semblable. Une offre d’un magasin correspond au même produit qu’au plus une offre de l’autre magasin. (Dans ce banc d’essai, quelques produits ont deux correspondances, car un magasin a inscrit le même produit deux fois.)
Le problème
Section intitulée « Le problème »Le classificateur attribue un score à chaque paire séparément. Il peut donc donner 0,7 à « appareil photo et étui », et 0,9 à « appareil photo et appareil photo ». Il ne sait pas que l’appareil photo a déjà un meilleur partenaire.
L’idée : l’appariement un à un
Section intitulée « L’idée : l’appariement un à un »L’appariement un à un garde une paire seulement si elle est la meilleure paire pour chacun de ses deux produits. Il élimine toutes les autres paires. Les paires sont les arêtes d’un graphe, comme dans Regrouper les paires. Ici, chaque produit ne peut toutefois garder qu’une arête.
Description textuelle du diagramme
Quatre encadrés : A1 et A2 à gauche, B1 et B2 à droite, et quatre lignes avec leurs scores. La ligne A1–B1 (0,90) est épaisse et verte : conservée. Les trois autres lignes sont en pointillés : éliminées. Une note indique chaque paire et la raison.
Sur les vrais candidats, l’appariement un à un garde 1 030 des 10 205 paires. Le score F1 de LightGBM passe de 0,869 à 0,924, et sa précision de 0,930 à 0,976. Sa précision à un rappel de 0,8 passe de 0,906 à 0,983. Pour la régression logistique (la tâche du carnet), le score F1 atteint 0,915.
Quand l’utiliser : quand chaque entité peut apparaître au plus une fois dans chaque liste, comme deux catalogues de magasins ou deux registres. Quand ne pas l’utiliser : dans une seule liste avec des doublons, comme les clients de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield avec jusqu’à 5 enregistrements chacun. Ni quand beaucoup de produits n’ont aucun partenaire. Une mauvaise paire avec un score faible peut alors être « la meilleure » pour deux produits. Gardez aussi un seuil.
Décider : accepter, réviser ou aucune correspondance
Section intitulée « Décider : accepter, réviser ou aucune correspondance »Les zones
Section intitulée « Les zones »Comme dans La révision humaine, nous divisons les scores en trois zones. Sur la partition de validation, nous avons essayé trois seuils inférieurs et trois seuils supérieurs. Voici six des neuf lignes :
accepted accepted right precision accepted to review true in review recall if reviews are rightlower upper0.01 0.50 221.0 213.0 0.964 25.0 21.0 0.854 0.80 201.0 200.0 0.995 45.0 34.0 0.854 0.95 182.0 181.0 0.995 64.0 53.0 0.8540.05 0.50 221.0 213.0 0.964 20.0 17.0 0.839 0.80 201.0 200.0 0.995 40.0 30.0 0.839 0.95 182.0 181.0 0.995 59.0 49.0 0.839Le plus bas seuil supérieur qui respecte les 99 % de Leila est 0,8. Pour le seuil inférieur, nous prenons 0,01. Comparé à 0,05, il ajoute 5 paires à réviser, dont 4 sont de vraies correspondances. Sur le jeu de test, utilisé une seule fois :
accepted accepted right precision accepted to review true in review recall if reviews are rightvalidation 201.0 200.0 0.995 45.0 34.0 0.854test 218.0 216.0 0.991 31.0 27.0 0.877Ce que cela nous apprend. Sur le test, 216 des 218 correspondances automatiques sont correctes. Parmi les 31 paires à réviser, 27 sont vraies. Si la personne les juge toutes correctement, le site affiche 87,7 % des vraies correspondances.
Où vont les 34 autres vraies correspondances? Le blocage en perd 1. L’appariement un à un en élimine 7 parce que l’autre vrai partenaire du produit a gagné. Il en élimine 23 parce qu’une mauvaise paire a gagné. Enfin, 3 ont un score inférieur à 0,01.
Description textuelle du diagramme
Cinq étapes de gauche à droite, chacune avec son nombre principal : normaliser, bloquer, comparer, classifier, apparier un à un. Sous la dernière étape, trois encadrés pour les zones : accepter, réviser et aucune correspondance, chacun avec son décompte de paires.
Un modèle de langage pour la zone de révision (réponses enregistrées)
Section intitulée « Un modèle de langage pour la zone de révision (réponses enregistrées) »Comme dans Un modèle de langage pour les paires incertaines, nous avons interrogé un petit modèle conversationnel (Azure Termechat-smallLe nom que le code de Larkfield donne à un petit modèle hébergé peu coûteux : gpt-6-luna sur Azure. Le code utilise ce nom, donc le modèle peut changer sans modifier le code.En savoir plus Ce qu'est une API de LLMCréer des applications fiables avec les API de LLM). Il a évalué chaque paire de validation et de test dans la zone. Nous l’avons interrogé une fois et avons enregistré ses réponses. Le modèle a lu les deux titres, les 300 premiers caractères de chaque description et les prix. Voici ses réponses enregistrées pour les 76 paires de la zone :
| Le modèle a dit | Vraie correspondance | Non-correspondance |
|---|---|---|
| identique | 49 | 0 |
| différent | 3 | 5 |
| incertain | 9 | 10 |
Ce que cela nous apprend. Quand le modèle a dit « identique », il avait raison 49 fois sur 49. Pour les titres vagues de Buy, il a dit « incertain » : « Offer B does not specify the model or colour » (l’offre B ne précise ni le modèle ni la couleur). Il a aussi repéré une variante de couleur, à raison : « A is white (WH) and B is black (BF) » (A est blanc et B est noir).
Une de ses « erreurs » mérite notre attention. Pour « Canon 2GB SD Secure Digital Card - 3505B001 » et « Simpletech 2GB SD Card - 3505B001AA », le modèle a dit « différent ». Sa raison : « Offer A is branded Canon, while Offer B is branded Simpletech » (l’offre A est de marque Canon, l’offre B de marque Simpletech). Le banc d’essai dit « identique », car le numéro de pièce est le même. Une personne pourrait être d’accord avec le modèle. Les étiquettes d’un banc d’essai peuvent aussi être fausses.
49 sur 49, c’est un petit échantillon : le vrai taux d’erreur pourrait encore être d’environ 6 %. (Règle approximative pour zéro erreur : 3 divisé par le nombre de réponses.) Le modèle ne peut donc pas encore remplacer la personne. Il peut trier la file : ses paires « identiques » en premier, avec sa raison affichée pour le réviseur.
Les coûts
Section intitulée « Les coûts »Les prix sont des hypothèses du tableau des prix du cours; vérifiez les pages actuelles des fournisseurs.
- Un serveur CPU coûte 0,17 $ US par heure.
- Le modèle conversationnel coûte 0,10 $ US par million de jetons d’entrée et 0,50 $ US par million de jetons de sortie.
- Un réviseur prend 1,2 minute par paire et coûte 40 $ US par heure.
| Étape | Mesure | Coût (hypothèse × mesure) |
|---|---|---|
| Comparer et classifier sur un CPU | moins de 0,5 s pour 10 205 paires | moins de 0,000002 $ US par 1 000 paires candidates |
| Modèle de langage, paires de la zone seulement | 252 jetons en entrée, 139 en sortie; médiane de 1,96 s par paire | 0,095 $ US par 1 000 paires lues; seulement 1,5 % des candidats sont dans la zone |
| Une personne révise la zone | 115 paires par 1 000 produits Abt | 2,3 h, environ 92 $ US par 1 000 produits |
Ce que cela nous apprend. L’ordinateur coûte presque rien; la personne représente le coût. Le modèle de langage coûte environ un cent par 100 paires de la zone. Il est donc rentable s’il fait gagner quelques secondes par paire au réviseur. L’enregistrement complet a coûté 0,016 $ US : 186 paires, avec une marge autour de la zone et 20 paires certaines comme contrôle.
La conception sur de nouvelles entrées
Section intitulée « La conception sur de nouvelles entrées »Une conception doit fonctionner sur des produits qu’elle n’a jamais vus. La fonction match_shops() du carnet exécute chaque étape, de la normalisation aux zones. Nous l’exécutons sur les 270 produits Abt du jeu de test, comme s’ils étaient nouveaux, contre tout Buy :
270 new products, 0.3 s: {'accept': 220, 'review': 47} count truedecisionaccept 220 216review 47 30Ce que cela nous apprend. La précision est de 0,982, un peu sous les 0,991 de l’évaluation, et la file de révision est plus longue. La raison est l’appariement un à un. Un produit Buy choisit maintenant seulement parmi les 270 nouveaux produits. Un nouveau produit moins bon peut donc devenir sa « meilleure » paire. Au quotidien, appariez les nouveaux produits avec tout le catalogue, y compris les produits qui ont déjà un partenaire. De nouveaux enregistrements chaque jour montre comment faire.
La paire de magasins plus difficile
Section intitulée « La paire de magasins plus difficile »La page de Leipzig propose un deuxième banc d’essai de produits : Amazon (1 363 offres) contre le service de magasinage de Google (3 226). Il contient 1 300 vraies correspondances, surtout des logiciels. Ici, chaque produit n’a pas un partenaire : seulement 1 291 des 3 226 offres Google en ont un. Dans la dernière tâche du carnet, vous exécutez toute la conception sur ces données avec un seul appel. Voici le résultat sur son jeu de test :
{'blocking': {'candidates': 28776, 'true kept': 1289, 'pair completeness': 0.9915, ...}, 'threshold': 0.05, 'test': {'precision': 0.683, 'recall': 0.59, 'f1': 0.633, ...}}Description textuelle du graphique
Quatre points. Produits Larkfield, synthétiques, p-lgbm : 0,996. Abt–Buy, LightGBM avec appariement un à un : 0,924. Clients Larkfield, synthétiques, lgbm : 0,902. Amazon–Google avec la même conception : 0,633.
Ce que cela nous apprend. Le blocage fonctionne encore (99 % des vraies correspondances conservées), mais le score F1 tombe à 0,633. Les titres de logiciels contiennent peu de numéros de modèle. Beaucoup d’offres ne diffèrent que par une année ou une édition. Par exemple, la conception a apparié « peachtree by sage premium accounting for nonprofits 2007 » avec l’édition 2008. La plupart des offres n’ont aucun partenaire, donc l’appariement un à un peut en garder un mauvais. Certaines « fausses correspondances » semblent correctes à une personne, comme deux licences Red Hat avec le même numéro de pièce rl296aa. Nous les avons comptées comme des erreurs, selon le banc d’essai. Une bonne prochaine étape serait un champ de version et d’édition, extrait du titre. Le module 2 faisait de même pour les tailles et les formats.
Comparaison avec Larkfield. Sur les flux fournisseurs synthétiques de Larkfield, LightGBM a atteint un score F1 de 0,996. Notre générateur écrivait les tailles et les formats de quelques façons connues. Les vrais magasins sont moins ordonnés. Abt–Buy est plus difficile que nos flux, et Amazon–Google est plus difficile que nos clients synthétiques.
Recommandation
Section intitulée « Recommandation »Ben écrit à Leila dans ses mots à elle :
- Utilisez la conception ci-dessus. Appariez automatiquement quand le score est de 0,8 ou plus.
- Révisez la zone de 0,01 à 0,8 : environ 2,3 h par 1 000 produits, surtout de vraies correspondances au titre vague.
- Utilisez le modèle de langage pour trier la file, pas pour décider. Montrez sa raison au réviseur et mesurez-le de nouveau après quelques centaines de révisions.
- Appariez les nouveaux produits avec tout le catalogue, jamais seulement entre eux.
- Demandez aux magasins des numéros de modèle ou des codes-barres. Un code-barres commun rendrait la majeure partie de ce travail inutile.
Ce qu’il ne faut pas faire :
- N’utilisez pas le seuil de 0,8 pour une autre paire de magasins sans nouvelles étiquettes et nouvelle validation.
- Ne présentez pas une correspondance comme certaine. Affichez « comparer les offres » et laissez les lecteurs signaler une mauvaise correspondance.
Constats et limites
Section intitulée « Constats et limites »- Chaque produit a un partenaire ici. Cela donne une meilleure impression de l’appariement un à un que dans un vrai contexte. Dans un vrai catalogue, mesurez d’abord la part des produits sans partenaire.
- Ancien et petit. Les fichiers datent de 2010 : deux magasins d’électronique, avec environ 1 000 produits chacun.
- Les étiquettes peuvent être fausses. La paire Canon et Simpletech montre que la vérité d’un banc d’essai est le jugement de quelqu’un.
- Le jeu de test est petit. Une erreur change la précision d’environ 0,4 point; ne vous attardez donc pas à la troisième décimale.
- Les réponses enregistrées viennent d’un seul modèle, interrogé une fois. Une nouvelle version du modèle ou une nouvelle exécution donne d’autres réponses.
- Les prix sont des hypothèses. Vérifiez les pages actuelles des fournisseurs.
Utilisation responsable
Section intitulée « Utilisation responsable »- Citez la source. CC BY 4.0 exige l’attribution de l’encadré ci-dessus partout où vous utilisez ou partagez les données.
- Les marques sont réelles. Cette étude de cas ne porte aucun jugement sur un magasin ou une marque. Une mauvaise correspondance sur une page publique peut donner une fausse idée du prix d’un magasin. C’est pourquoi la règle de Leila est stricte et les lecteurs peuvent signaler des erreurs.
- Aucune donnée personnelle. Il s’agit uniquement d’offres de produits. Sur des enregistrements clients, ces méthodes exigent les précautions décrites dans Confidentialité et appariement.
- Un modèle de langage voit le texte que vous envoyez. Ici, c’était du texte public sur des produits. N’envoyez jamais d’enregistrements clients à un service de modèles sans l’entente appropriée.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre que vous pouvez passer d’enregistrements réels et désordonnés à une décision. Appropriez-vous le projet avec un changement : ajoutez un champ de version pour Amazon–Google, un seuil pour les produits sans partenaire, ou essayez un autre banc d’essai ouvert.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
- Le tableau comparatif en CSV : chaque méthode, son seuil, sa précision, son rappel, son score F1 et sa précision à un rappel de 0,8.
DECISION.md: les seuils, la zone de révision, sa taille et son coût, ainsi que les hypothèses.- La source et la licence des données, avec le texte d’attribution. CC BY 4.0 permet de partager les données avec attribution, mais un lien et les sommes de contrôle suffisent.
Un modèle de README :
# Matching products between two online shops
## ProblemA price-comparison site must decide which offers in two shops are the same product.Matches go live automatically only when 99 in 100 are right; a person checks the rest.
## Data and licenceAbt-Buy benchmark, University of Leipzig (Köpcke, Thor and Rahm, PVLDB 2010), CC BY 4.0,https://dbs.uni-leipzig.de/research/projects/benchmark-datasets-for-entity-resolution.1,081 + 1,092 offers, 1,097 true matches. Split 50/25/25 by group of products.
## ApproachNormalised titles and model codes; blocking with the same code, TF-IDF top 5 andembeddings top 5 (pair completeness 0.991, 10,205 of 1.18 million pairs); a comparisonvector of 9 similarities; seven methods compared; LightGBM with one-to-one matching.
## Results (test split)F1 0.924 (exact names 0.007, code rule 0.791, Splink without labels 0.765).Accept >= 0.8: 218 matches, 216 right. Review 0.01-0.8: 31 pairs.
## LimitsEvery product has a partner in this benchmark; old data, one category. On the harderAmazon-Google benchmark, the same design reached only F1 0.633.Comment le décrire en entrevue, en deux phrases : « J’ai apparié de vrais produits entre deux magasins et comparé sept méthodes sur un même jeu de test; LightGBM avec appariement un à un a atteint un score F1 de 0,92 et une précision de 99 % sur les correspondances automatiques. Sur un banc d’essai de logiciels plus difficile, la même conception est tombée à 0,63, car les versions et éditions nécessitent leur propre champ. »
Pour aller plus loin :
- Extrayez l’édition et l’année des titres de logiciels, ajoutez-les au vecteur de comparaison et exécutez Amazon–Google de nouveau.
- Remplacez « la meilleure pour les deux » par une affectation optimale (
scipy.optimize.linear_sum_assignment), et comparez. - Interrogez un modèle conversationnel sur les 31 paires de test à réviser avec votre propre clé. Comparez ses réponses aux réponses enregistrées.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La règle des codes a une précision de 0,954, mais un rappel de seulement 0,675. Donnez deux raisons pour lesquelles une vraie correspondance peut n'avoir aucun code de modèle commun, à partir des titres de cette étude de cas.
Afficher la réponse
D’abord, certains titres Buy n’ont aucun code de modèle, par exemple « LG 5.0 cu.ft. Freestanding Gas Range ». Ensuite, un magasin peut écrire une forme plus courte ou différente du code : « JFS516 » contre « JFS516NA », ou « PMCII » contre « PMC2 ». L’égalité exacte des codes manque les deux cas. C’est pourquoi le vecteur de comparaison contient aussi la meilleure similarité entre deux codes et « le code Abt apparaît dans le texte Buy ».
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'appariement un à un a fait passer la précision de LightGBM de 0,930 à 0,976 sur Abt–Buy. Vous attendriez-vous au même gain sur les enregistrements clients de Larkfield? Expliquez.
Afficher la réponse
Non. L’appariement un à un suppose que chaque entité apparaît au plus une fois dans chaque liste. Les clients de Larkfield ont jusqu’à 5 enregistrements par personne, souvent dans la même source. Une personne peut donc avoir besoin de plusieurs partenaires. L’appariement un à un éliminerait de vraies paires. Il aide aussi davantage quand chaque produit a un partenaire, comme dans ce banc d’essai. Dans les listes où beaucoup d’enregistrements n’ont aucun partenaire, gardez aussi un seuil.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le modèle de langage enregistré a dit « identique » pour 49 paires de la zone et avait raison chaque fois. Leila demande : « Peut-on le laisser accepter les paires de la zone sans une personne? » Que répondez-vous?
Afficher la réponse
Pas encore. 49 réponses, c’est un petit échantillon : le vrai taux d’erreur pourrait encore être de plusieurs pour cent. La règle de Leila permet 1 erreur sur 100. Les réponses viennent aussi d’une seule version du modèle, enregistrées une fois. Utilisez le modèle pour trier la file et afficher sa raison. Continuez à comparer ses réponses aux décisions des réviseurs. S’il reste correct sur quelques centaines de paires supplémentaires, l’équipe pourra réexaminer la décision.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Sur de vraies données de produits, les noms exacts ont trouvé 1 des 277 correspondances de test. Les codes de modèle normalisés étaient précis (0,954), mais n’en trouvaient que deux tiers.
- Trois blocages combinés (codes, les 5 premiers de TF-IDF, les 5 premiers des plongements) ont gardé 99,1 % des vraies correspondances avec moins de 1 % des paires.
- LightGBM sur le vecteur de comparaison (score F1 de 0,869) a battu les règles, Splink sans étiquettes (0,765) et les plongements (0,579). Splink a appris un mauvais poids pour les codes.
- L’appariement un à un a fait monter le score F1 à 0,924, car chaque produit a au plus un partenaire.
- La décision : accepter à 0,8 ou plus (216 sur 218 correctes sur le test). Réviser de 0,01 à 0,8 : environ 115 paires par 1 000 produits. Laisser le modèle de langage trier la file, pas décider.
Ensuite, de vraies notices bibliographiques : titres, listes d’auteurs et lieux de publication provenant de deux sources.
Leçon suivante : Relier des notices bibliographiques