Relier des notices bibliographiques
- Étude de cas 2
- 120 min
- Facultative · 1 étude de cas requise pour le certificat
Où nous en sommes
En huit modules, nous avons apparié des clients et des produits. Dans cette étude de cas, nous apparions de vraies notices bibliographiques de deux sources ouvertes. Nous comparons Splink à un classificateur de paires et étudions les erreurs de titres et de listes d'auteurs.
Étude de cas 2 sur 3 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Relier des notices bibliographiques
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Appariez de vraies notices bibliographiques de deux bibliothèques, des fichiers bruts à une décision utilisable par un bureau de recherche. Vous normaliserez les titres, les auteurs et les lieux de publication. Vous ferez le blocage, la comparaison, la classification et les mesures, comme dans le cours. Vous comparerez les règles, Splink et deux classificateurs avec une même mesure. Ensuite, vous étudierez chaque erreur, corrigerez la principale et choisirez une conception avec ses seuils et sa zone de révision.
Le carnet (notebook) Jupyter exécute chaque étape de cette page, avec le même code et les mêmes sorties. Il ajoute trois tâches avec des vérifications. Ses cellules de configuration installent les paquets du cours et téléchargent environ 2 Mo de données. Le banc d’essai vient de sa page source; les plongements viennent des laboratoires du cours. Aucun compte ni aucune clé ne sont nécessaires. Après l’installation, l’exécution prend moins d’une minute.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
Cette étude de cas utilise tout le cours et suit le modèle d’Apparier des produits entre deux boutiques. Ces leçons sont les plus importantes :
- La normalisation du texte, dans Normaliser.
- La précision par paire, le rappel par paire et le F1, dans Mesurer un apparieur.
- L’exhaustivité des paires et le taux de réduction, dans Ce que le blocage fait perdre.
- Le vecteur de comparaison, dans Comparer champ par champ, puis combiner.
- Splink sans étiquettes, dans Apprendre les poids sans étiquettes.
- Le classificateur de paires, dans Un classificateur de paires supervisé, et la zone de révision, dans La révision humaine.
Ce qu’il vous faut sur votre ordinateur (seulement pour l’exécution locale; le carnet n’en a pas besoin)
- Un environnement virtuel avec les paquets du cours du module 6, plus Splink 5.0.0, DuckDB 2.0.0 et pyarrow 26.0.1 du module 5. L’environnement du projet
larkfield-matchles contient tous. Cette étude de cas ne modifie pas les fichiers du projet. - Le carnet, téléchargé à partir du lien ci-dessus, dans VS Code ou JupyterLab. Sa cellule de configuration crée un dossier
bibliographic-recordsà côté du carnet. Pour recommencer, supprimez ce dossier.
Testé sur macOS avec Python 3.12.13, dans Jupyter après un nouveau démarrage. Windows et Linux n’ont pas été testés.
La situation
Section intitulée « La situation »Une bibliothèque peut avoir deux fois le même livre : une fiche de l’ancien catalogue, une autre d’une liste de dons. Les fiches sont différentes. L’une indique « 2nd ed. », l’autre écrit le prénom de l’auteur au complet. Une bibliothécaire décide qu’il s’agit d’un seul livre.
Ruth dirige l’équipe d’information sur la recherche d’une université. Daniel est son analyste de données. Chaque année, l’équipe dresse la liste de tous les articles publiés par les informaticiens de l’université. Elle prend les notices de deux bibliothèques publiques : DBLP, un index gratuit d’articles en informatique, et ACM Digital Library. Beaucoup d’articles figurent dans les deux. (Ruth, Daniel et l’université sont inventés. Les deux bibliothèques et leurs notices sont réelles.)
Chaque erreur a un coût :
- Une correspondance erronée réunit deux articles différents. Un article disparaît du rapport, et un chercheur se plaint.
- Une correspondance manquée compte un article deux fois. Le total du rapport est trop élevé, et un réviseur pourrait le remarquer.
Ruth dit : « Un article manquant, c’est la pire erreur. Les gens le remarquent tout de suite. » Elle fixe donc une règle : les correspondances entrent automatiquement dans le rapport seulement si au moins 995 sur 1 000 sont correctes. Une personne vérifie les paires incertaines.
Ce que vous allez construire
Section intitulée « Ce que vous allez construire »Vous construirez un apparieur qui lit les deux bibliothèques. Il place chaque paire candidate dans l’un de trois groupes : accepter, réviser ou aucune correspondance. Vous comparerez dix méthodes sur les mêmes paires avec les mêmes mesures. Vous examinerez chaque erreur et choisirez une conception. Ensuite, vous l’exécuterez sur des notices qu’aucune étape n’a vues.
Ce qui diffère de la première étude de cas. Ces notices sont beaucoup plus propres que les titres de produits. Elles ont des champs distincts : titre, auteurs, lieu de publication et année. Une règle simple peut donc déjà bien fonctionner. La question intéressante est : où échoue-t-elle encore, et pourquoi?
Les données
Section intitulée « Les données »Les données forment un banc d’essai public du groupe de bases de données de l’Université de Leipzig. C’est la même source que les magasins de la première étude de cas. Il contient 2 616 notices DBLP et 2 294 notices ACM d’articles de cinq conférences et revues sur les bases de données, de 1994 à 2003. Un troisième fichier liste 2 224 vraies correspondances : des paires de notices du même article. (La page source indique 2 614 notices DBLP; le fichier contient 2 616 lignes.)
Le dictionnaire de données
Section intitulée « Le dictionnaire de données »| Colonne | Signification | Utilisation |
|---|---|---|
id |
La clé de la notice dans sa bibliothèque (conf/sigmod/FranklinJK96 dans DBLP, un nombre dans ACM) |
Clé |
title |
Le titre, tel que la bibliothèque l’a écrit | Normalisé, comparé, converti en plongement |
authors |
Les noms des auteurs, séparés par des virgules | Noms de famille comparés |
venue |
La conférence ou la revue | Associée à une clé unique |
year |
L’année de publication | Comparée |
idDBLP, idACM |
Une vraie correspondance par ligne (le troisième fichier) | Étiquettes seulement, jamais une entrée |
Premières vérifications
Section intitulée « Premières vérifications »print("records with a match:", f"DBLP {dblp.id.isin(matches.id_a).sum()} of {len(dblp)},", f"ACM {acm.id.isin(matches.id_b).sum()} of {len(acm)}")print("true matches with the same year:", f"{(pairs_true.year_a == pairs_true.year_b).mean():.0%}")print("true matches with the same title, as written:", f"{(pairs_true.title_a == pairs_true.title_b).mean():.0%}")print("true matches with the same author list, as written:", f"{(pairs_true.authors_a == pairs_true.authors_b).mean():.0%}")La sortie de la cellule du carnet, qui compte aussi les identifiants répétés et les listes d’auteurs vides :
repeated IDs: 0 0no authors: DBLP 0, ACM 14records with a match: DBLP 2224 of 2616, ACM 2224 of 2294records with two or more matches: DBLP 0, ACM 0true matches with the same year: 100%true matches with the same title, as written: 41%true matches with the same author list, as written: 28%Ce que cela nous apprend. L’année concorde toujours, mais les titres et les listes d’auteurs, tels qu’ils sont écrits, diffèrent souvent. Et toutes les notices n’ont pas de partenaire : 392 notices DBLP et 70 notices ACM n’en ont aucun. Dans la première étude de cas, chaque produit en avait un.
Un article dans deux bibliothèques
Section intitulée « Un article dans deux bibliothèques »Description textuelle du diagramme
Quatre colonnes : DBLP et ACM tels qu’ils sont écrits, puis DBLP et ACM après normalisation. Quatre lignes : titre, auteurs, lieu de publication et année. Les cellules après normalisation sont vertes, car les deux notices concordent dans chaque champ.
Ces différences sont typiques de ces données :
- Majuscules et signes. « Tradeoffs » contre « tradeoffs »,
PESTO :(avec une espace) contrePESTO:(sans espace). - Ordre des auteurs. DBLP et ACM listent souvent les mêmes auteurs dans un ordre différent.
- Codes HTML. ACM écrit des lettres comme ö sous la forme
ö. DBLP écrit « Þór », ACMThór. - Noms des lieux de publication. DBLP écrit « SIGMOD Conference », ACM « International Conference on Management of Data ». Dans ces données, chaque lieu de publication DBLP correspond à exactement un lieu de publication ACM.
- Fautes de frappe. Quelques titres ACM en ont une : « tumble » pour « tunable », « databates » pour « databases ».
Définir le problème
Section intitulée « Définir le problème »- L’unité est une paire : une notice DBLP et une notice ACM. La cible est « même article ou non », selon la liste de Leipzig.
- La partition place chaque notice dans les données d’entraînement (50 %), de validation (25 %) ou de test (25 %). Elle le fait par groupe, comme dans la première étude de cas. Une paire appartient à la partition de sa notice DBLP. Le jeu de test contient 549 vraies correspondances. Nous avons choisi la partition, ses proportions et sa graine (39).
- Les mesures. Nous mesurons chaque méthode sur le jeu de test, avec un seuil choisi sur les données de validation. Nous rapportons la précision par paire, le rappel par paire et le F1, comme dans Mesurer un apparieur. La règle de Ruth exige une deuxième mesure : la précision à un rappel de 0,95. Nous prenons le seuil qui trouve 95 % des correspondances de validation. Nous rapportons ensuite la précision à ce seuil sur le jeu de test.
- Les étiquettes viennent de Leipzig. Nous n’avons créé aucune étiquette. La règle de 995 sur 1 000, le temps du réviseur et les coûts sont nos hypothèses.
Normaliser, puis appliquer une règle
Section intitulée « Normaliser, puis appliquer une règle »Le titre exact, tel qu’il est écrit, trouve 230 des 549 correspondances de test (précision 0,909, rappel 0,419). Nous normalisons donc d’abord, comme dans Normaliser :
normalise()décode les codes HTML, passe en minuscules et supprime les accents, les signes et les apostrophes. La fonction joint aussi les mots avec trait d’union (« Client-Server » devient « clientserver »).surnames()garde le dernier mot du nom de chaque auteur.VENUE_KEYS, une petite table écrite à la main, associe les deux noms d’un lieu de publication à une clé, commesigmod.
Puis deux règles :
same normalised title: {'precision': 0.853, 'recall': 0.896, 'f1': 0.874, 'called': 577, 'right': 492, 'true': 549}same normalised title, year, venue: {'precision': 0.972, 'recall': 0.896, 'f1': 0.933, 'called': 506, 'right': 492, 'true': 549}Ce que cela nous apprend. Sur des notices propres, une seule règle atteint déjà un F1 de 0,933. L’année et le lieu de publication éliminent la plupart des correspondances erronées du titre seul. Sur les produits, la meilleure règle atteignait 0,791.
Erreur courante
Un titre partagé par de nombreux articles
Symptôme : la règle « même titre normalisé » a créé 255 correspondances erronées dans l’ensemble des données.
Cause : certains titres ne désignent pas un seul article. Ce sont les noms de rubriques régulières. Les titres les plus courants dans DBLP sont « Editor’s notes » (30 notices), « Reminiscences on influential papers » (19), « Chair’s message » (18) et « Book review column » (7). Chacun de ces titres relie chaque notice d’une bibliothèque à chaque notice de l’autre. Ces quatre titres ont créé 169 des 255 correspondances erronées.
Correction : ajoutez l’année et le lieu de publication à la règle. Cela élimine la plupart de ces erreurs, mais pas toutes. Une revue peut avoir plusieurs rubriques du même titre dans une année.
Conséquence pour le travail en IA : avant de faire confiance à une clé, examinez ses valeurs les plus courantes. C’est ce que montre Ce que le blocage fait perdre. Dans la première étude de cas, une taille d’écran (1080p) ressemblait à un numéro de modèle. Ici, un nom de rubrique ressemble à un titre d’article.
Les deux bibliothèques donnent 2 616 × 2 294 = 6 001 104 paires. Nous comparons trois blocages :
candidates true kept pair completeness reduction ratiosame year and venue 157871.0 2224.0 1.0000 0.97369TF-IDF top 5 17638.0 2219.0 0.9978 0.99706embeddings top 5 17860.0 2215.0 0.9960 0.99702TF-IDF and embeddings 28561.0 2221.0 0.9987 0.99524- Même année et même lieu de publication garde toutes les vraies correspondances, seulement parce que ces données sont propres. Une prépublication et sa version dans une revue ont des années et des lieux de publication différents.
- Les 5 premiers voisins TF-IDF et les 5 premiers voisins par plongement gardent les 5 titres les plus similaires de l’autre bibliothèque pour chaque notice. Cela se fait dans les deux sens, comme dans la première étude de cas. TF-IDF compare de courts fragments de 3 à 5 lettres et donne plus de poids aux fragments rares. Le cours Recherche et classement : trouver la meilleure correspondance utilise la même idée : voir BM25.
Ce que cela nous apprend. TF-IDF et les plongements ensemble gardent 2 221 des 2 224 vraies correspondances avec 28 561 candidats. C’est environ un cinquième du blocage par année et lieu de publication. Nous les utilisons. Dans le carnet, un voisin au lieu de cinq donne 3 117 candidats et garde encore 99,1 % des vraies correspondances.
Comparer et classer
Section intitulée « Comparer et classer »Le vecteur de comparaison
Section intitulée « Le vecteur de comparaison »Chaque paire candidate reçoit huit mesures de similarité, comme dans Comparer champ par champ, puis combiner. Un test ajoute le cosinus des plongements :
- Titre : ratio des ensembles de mots (token set ratio), Jaro-Winkler et similarité TF-IDF.
- Auteurs : la proportion de noms de famille partagés (Jaccard) et le ratio des mots triés (token sort ratio) des deux chaînes d’auteurs. Ce dernier ignore l’ordre. Nous ajoutons aussi la différence du nombre d’auteurs.
- Année et lieu de publication : la différence entre les années et « même clé de lieu de publication ».
Une liste d’auteurs vide (14 notices ACM) reste une valeur manquante.
Dix méthodes sur les mêmes paires
Section intitulée « Dix méthodes sur les mêmes paires »Chaque méthode voit les mêmes 28 561 candidats et est mesurée sur les mêmes 549 correspondances de test. (Les résultats des règles diffèrent donc un peu des nombres ci-dessus, calculés sur toutes les paires.)
- Règles : le titre exact, le titre normalisé et le titre avec l’année et le lieu de publication.
- Un seul score : la similarité TF-IDF ou le cosinus des plongements.
- Splink sans étiquettes, comme dans Apprendre les poids sans étiquettes. Il compare le titre (niveaux Jaro-Winkler), les noms de famille partagés, l’année et le lieu de publication.
- Régression logistique et LightGBM sur le vecteur de comparaison, comme dans Un classificateur de paires supervisé. Ils apprennent à partir des 14 420 paires candidates des données d’entraînement (1 116 vraies).
- LightGBM + nombre d’occurrences du titre : la correction trouvée par l’analyse des erreurs ci-dessous.
Description textuelle du graphique
Dix points, un par méthode, sur une échelle de 0,5 à 1. Titre exact tel qu’il est écrit 0,574; règle du même titre 0,876; règle du même titre, de la même année et du même lieu de publication 0,933; TF-IDF seul 0,904; plongements seuls 0,915; Splink sans étiquettes 0,957; régression logistique 0,96; LightGBM 0,981; LightGBM avec le cosinus des plongements 0,985; LightGBM avec le nombre d’occurrences du titre 0,99.
Ce que cela nous apprend. Chaque méthode apprise dépasse la meilleure règle (0,933). Splink sans étiquettes atteint 0,957, près de la régression logistique (0,960). LightGBM atteint 0,981. Les plongements seuls (0,915) dépassent TF-IDF seul (0,904). Comme caractéristique supplémentaire, ils apportent peu (0,985).
Pourquoi Splink fonctionne bien ici
Section intitulée « Pourquoi Splink fonctionne bien ici »Dans la première étude de cas, Splink a appris une probabilité m beaucoup trop faible pour les codes de modèles. Elle était de 0,048 au lieu d’environ 0,67. Ici, ses valeurs sont cohérentes :
field level m u title Exact match on title 0.8526 0.0004 year Exact match on year 0.9298 0.1033 venue Exact match on venue 0.9801 0.2888La probabilité m est la proportion de vraies correspondances qui concordent sur un champ. La probabilité u est la proportion d’autres paires qui concordent par hasard. Environ 85 % des vraies correspondances ont le même titre normalisé, donc m = 0,85 est correct. La probabilité m de l’année (0,93) est un peu faible. Dans ces données, toutes les vraies correspondances ont la même année, donc la bonne valeur est 1,0.
Avec des champs propres et distincts, les deux groupes trouvés par l’algorithme d’espérance-maximisation sont « même article » et « articles différents ». Splink sans étiquettes est un bon premier apparieur quand les champs sont propres et distincts.
La mesure dont Ruth a besoin
Section intitulée « La mesure dont Ruth a besoin »| Méthode | Précision sur le jeu de test à un rappel de 0,95 |
|---|---|
| TF-IDF seul | 0,846 |
| plongements seuls | 0,89 |
| Splink, sans étiquettes | 0,971 |
| régression logistique | 0,985 |
| LightGBM | 0,981 |
| LightGBM + nombre d’occurrences du titre | 1 |
À un rappel de 0,95, environ 2 correspondances de LightGBM sur 100 sont erronées (0,981). Ruth exige 995 sur 1 000. Les règles ne peuvent pas atteindre un rappel de 0,95. Pour combler l’écart, nous devons savoir quelles paires sont erronées.
Analyse des erreurs
Section intitulée « Analyse des erreurs »De quoi s’agit-il?
Section intitulée « De quoi s’agit-il? »Une médecin ne s’arrête pas à « 80 % de mes patients vont mieux ». Elle examine les autres patients un par un et cherche pourquoi. L’analyse des erreurs fait la même chose pour un apparieur. Vous prenez chaque mauvaise décision dans les données de validation ou le jeu de test. Vous attribuez à chacune une raison visible dans les enregistrements. Ensuite, vous comptez les raisons. Le plus grand groupe vous indique quoi corriger en premier.
Les erreurs de LightGBM
Section intitulée « Les erreurs de LightGBM »La fonction reason() du carnet attribue une raison à chaque erreur. Elle les vérifie dans cet ordre :
- un titre partagé par plus de deux enregistrements;
- un faux lien pour un enregistrement DBLP sans partenaire;
- des titres différents (ratio des ensembles de mots inférieur à 0,9);
- des listes d’auteurs différentes (moins de la moitié des noms de famille en commun).
Dans le jeu de test, au seuil donnant le meilleur F1 de LightGBM, le blocage a perdu 1 vrai lien. Les autres erreurs :
| Raison | Faux liens | Liens manqués |
|---|---|---|
| Un titre partagé par plusieurs articles | 11 | 0 |
| Aucun partenaire dans ACM | 2 | 0 |
| Le titre diffère | 1 | 1 |
| Les listes d’auteurs diffèrent | 1 | 2 |
| Autre | 1 | 1 |
Ce que cela nous apprend. 11 des 16 faux liens viennent de titres partagés par plusieurs articles, le problème du cas d’échec. Les autres erreurs sont peu nombreuses et variées, par exemple :
- Une partie d’une série. DBLP contient deux fois « Database Tuning : Principles, Experiments, and Troubleshooting Techniques » : dans VLDB 2002 et dans SIGMOD 2002 avec « (part II) ». ACM contient « (part I) ». Le modèle a lié les deux enregistrements DBLP à la partie I.
- Une table ronde. DBLP donne un seul auteur pour « Index Research : Forest or Trees? (Panel Abstract) ». ACM donne six participants et écrit « (panel session) ». Le modèle a manqué ce lien.
Pourquoi les titres courants trompent le modèle
Section intitulée « Pourquoi les titres courants trompent le modèle »Description textuelle du diagramme
Trois enregistrements DBLP à gauche, deux enregistrements ACM à droite, reliés par six lignes. Deux lignes épaisses et vertes représentent les vrais liens. Les quatre autres sont en pointillé. Une note indique qu’aucun champ ne distingue les paires.
« Reminiscences on influential papers » est une chronique de SIGMOD Record. En 2001, DBLP donne le responsable de la chronique (Kenneth A. Ross) et les collaborateurs; ACM donne seulement le responsable.
LightGBM attribue 91 % de son gain de séparation aux trois similarités de titres, et moins de 2 % aux auteurs. Le modèle ne peut pas savoir que, pour ces quelques titres, le titre ne fournit aucune information utile.
La correction : indiquer au modèle à quel point le titre est courant
Section intitulée « La correction : indiquer au modèle à quel point le titre est courant »Nous ajoutons un champ, title_shared : le nombre d’enregistrements ayant le même titre normalisé dans les deux bibliothèques. Trois enregistrements DBLP sur quatre ont un titre partagé par exactement 2 enregistrements, un dans chaque bibliothèque. 134 enregistrements DBLP ont un titre partagé par plus de 2 enregistrements. Le modèle peut maintenant apprendre : « un titre courant est un indice faible; examinez les autres champs ».
LightGBM + how common the title is: {'precision': 1.0, 'recall': 0.98, 'f1': 0.99, 'called': 538, 'right': 538, 'true': 549, ...}kind missed matcha title that many papers share 12other 1the author lists differ 1the title differs 1Ce que cela nous apprend. Il ne reste aucun faux lien dans le jeu de test : F1 0,990. Le modèle manque maintenant 12 liens avec un titre courant au lieu de créer de faux liens. Pour Ruth, un lien manqué coûte moins cher. Avec la régression logistique, le même champ donne 0,988 (la tâche du carnet).
Une règle peut-elle faire la même chose? Dans la tâche du carnet, vous gardez seulement les paires de la règle qui partagent au moins un nom de famille. Le F1 reste à 0,932, car le responsable de la chronique figure dans chaque enregistrement. Aucune règle sur ces quatre champs ne peut distinguer deux numéros d’une même chronique. Seul le numéro de parution le pourrait, mais aucune bibliothèque ne le fournit.
Un enregistrement, un partenaire
Section intitulée « Un enregistrement, un partenaire »Dans la première étude de cas : un article figure au plus une fois dans chaque bibliothèque. L’appariement un à un garde une paire seulement si elle est la meilleure paire pour chacun de ses deux enregistrements. Il fait passer le premier LightGBM de 0,981 à 0,985. Après la correction, il ne change rien (0,990), mais nous le gardons comme protection peu coûteuse. Comme plusieurs enregistrements n’ont aucun partenaire, il fonctionne toujours avec un seuil.
Décider : accepter, réviser ou ne pas créer de lien
Section intitulée « Décider : accepter, réviser ou ne pas créer de lien »Les zones
Section intitulée « Les zones »Comme dans La révision humaine, nous divisons le score en trois zones. Sur les données de validation, nous avons essayé trois seuils inférieurs et trois seuils supérieurs. Le seuil inférieur ne change rien dans ce tableau : 0,01, 0,05 et 0,2 donnent les mêmes lignes. Nous montrons donc les lignes pour 0,05 :
accepted accepted right precision accepted to review true in review recall if reviews are rightlower upper0.05 0.50 556.0 555.0 0.9982 1.0 0.0 0.9946 0.80 556.0 555.0 0.9982 1.0 0.0 0.9946 0.95 549.0 549.0 1.0000 8.0 6.0 0.9946Le plus bas seuil supérieur qui respecte la règle de Ruth (0,995) est 0,5. Pour le seuil inférieur, nous prenons 0,05. Sur le jeu de test, utilisé une seule fois :
accepted accepted right precision accepted to review true in review recall if reviews are rightvalidation 556.0 555.0 0.9982 1.0 0.0 0.9946test 539.0 539.0 1.0000 10.0 3.0 0.9872Ce que cela nous apprend. Sur le jeu de test, les 539 liens automatiques sont tous corrects. 10 paires sont transférées à une personne, et 3 sont de vrais liens. Si la personne les évalue toutes correctement, le rapport contient 98,7 % des vrais liens.
Zéro erreur sur 539 ne constitue pas une preuve. Le vrai taux d’erreur pourrait encore être d’environ 0,6 %. Une règle approximative pour zéro erreur : 3 divisé par le nombre de liens. La règle de Ruth permet 0,5 %. L’équipe doit donc continuer à vérifier un échantillon.
Description textuelle du diagramme
Cinq étapes de gauche à droite, chacune avec son nombre principal : normaliser, bloquer, comparer, classifier, apparier un à un. Sous la dernière étape, trois encadrés pour les zones : accepter, réviser et aucun lien, chacun avec son décompte de paires.
Les coûts
Section intitulée « Les coûts »Les prix sont des hypothèses tirées du tableau des prix du cours; vérifiez les pages actuelles des fournisseurs.
| Étape | Mesure | Coût (hypothèse × mesure) |
|---|---|---|
| Comparer et classifier sur un processeur (0,17 $ US par heure) | 0,6 s pour 28 561 paires | environ 0,000001 $ US par 1 000 paires candidates |
| Une personne révise la zone (1,2 minute par paire, 40 $ US par heure) | 15 paires par 1 000 enregistrements DBLP | 0,31 heure, environ 12 $ US par 1 000 enregistrements |
Ce que cela nous apprend. La file de révision est petite : environ 15 paires pour 1 000 enregistrements, contre 115 pour 1 000 produits dans la première étude de cas. Nous n’avons utilisé aucun modèle de langage : la zone est petite. La plupart de ses paires ont le même texte dans tous les champs. Un modèle ne pourrait donc pas les départager non plus.
La conception appliquée à de nouvelles données
Section intitulée « La conception appliquée à de nouvelles données »La fonction link_records() du carnet exécute toutes les étapes, du blocage aux zones. Nous l’exécutons sur les 654 enregistrements DBLP du jeu de test, comme s’ils étaient nouveaux, contre tout ACM :
654 new records, 0.5 s: {'accept': 539, 'review': 11} count truedecisionaccept 539 539review 11 3Ce que cela nous apprend. Les liens automatiques sont les mêmes que dans l’évaluation. La file de révision contient une paire de plus. Un enregistrement ACM choisit maintenant ses 5 meilleurs partenaires uniquement parmi les 654 nouveaux enregistrements.
La file de révision est la sortie la plus utile. La voici, abrégée :
score same DBLP ACM 0.365 True Book review column Book review column 0.365 True Book Review Column Book review column 0.365 False Book Review Column Book review column ... (7 more "Book Review Column" pairs, 1 true) 0.085 False Database Tuning: Principles, Experiments, and Troubleshooting Techniques Database tuning: principles, experiments, and troubleshooting techniques (part I)Ce que cela nous apprend. 10 des 11 paires concernent une même chronique, « Book Review Column », avec le même auteur, la même revue et la même année. Les enregistrements sont identiques dans tous les champs. Les scores sont donc égaux, et l’appariement un à un les garde tous. Une personne doit consulter le numéro de parution ou les pages sur la page Web de la bibliothèque. Un modèle peut seulement utiliser les champs qu’il reçoit.
Comparaison avec la première étude de cas et Larkfield
Section intitulée « Comparaison avec la première étude de cas et Larkfield »Description textuelle du graphique
Cinq points. Produits TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield, synthétiques, p-lgbm : 0,996. DBLP–ACM, la conception choisie : 0,99. Abt–Buy, LightGBM avec appariement un à un : 0,924. Clients Larkfield, synthétiques, lgbm : 0,902. Amazon–Google avec la conception de la première étude de cas : 0,633.
Ce que cela nous apprend. DBLP–ACM est le problème réel le plus facile du cours, proche des flux fournisseurs synthétiques de Larkfield. Les champs sont séparés et propres, et les bibliothèques entretiennent leurs enregistrements. Sur les clients de Larkfield, LightGBM a atteint 0,902, car des personnes partagent un foyer, une adresse et un nom de famille. Les titres de produits en texte libre d’Amazon–Google étaient encore plus difficiles.
Recommandation
Section intitulée « Recommandation »Daniel écrit à Ruth dans ses mots à elle :
- Utilisez la conception ci-dessus. Créez un lien automatiquement quand le score est de 0,5 ou plus.
- Révisez la zone de 0,05 à 0,5 : moins de 20 minutes par 1 000 enregistrements DBLP, surtout des chroniques régulières.
- Pour les chroniques, ouvrez la page de l’enregistrement et comparez le numéro de parution ou les pages. Mieux encore : demandez aux deux bibliothèques le DOI (l’identifiant permanent de l’article) ou le numéro de parution. Ajoutez-le comme champ.
- Vérifiez un échantillon de liens automatiques chaque année, par exemple 200.
- Comptez les enregistrements sans partenaire. 292 des 392 enregistrements DBLP sans partenaire datent de 2002 et 2003. Avant de signaler un article comme « seulement dans DBLP », vérifiez qu’ACM ne l’a vraiment pas.
Ce qu’il ne faut pas faire :
- N’utilisez pas ces seuils pour d’autres bibliothèques sans nouvelles étiquettes et nouvelle validation. Un serveur de prépublications contient des enregistrements beaucoup moins propres.
- Ne vous fiez pas au titre seul. C’était le meilleur indice, mais aussi la cause de la plupart des faux liens.
Constats et limites
Section intitulée « Constats et limites »- Des données propres changent la question. Pour les produits, c’était « quelle méthode fonctionne, tout simplement? ». Ici, c’est « quelles sont les quelques paires qu’elle évalue mal? ». L’analyse des erreurs compte plus que le choix du modèle.
- Les règles ont bien fonctionné, mais pas assez. Aucune règle sur ces champs n’a atteint les 995 sur 1 000 exigés par Ruth.
- Splink sans étiquettes était bon ici, mais faible sur les titres de produits en texte libre.
- Des données anciennes et limitées. Les enregistrements concernent des articles sur les bases de données de cinq lieux de publication, de 1994 à 2003. Les enregistrements actuels ont des DOI, ce qui rendrait la majeure partie de ce travail inutile.
- Le jeu de test est petit. Il contient 549 vrais liens. Une erreur change la précision d’environ 0,2 point.
- Les étiquettes peuvent être fausses. Des personnes ont créé les liens de Leipzig. Certaines paires de chroniques peuvent être erronées dans le banc d’essai lui-même.
- Les prix sont des hypothèses. Vérifiez les pages actuelles des fournisseurs.
Utilisation responsable
Section intitulée « Utilisation responsable »- Mentionnez la source. CC BY 4.0 exige l’attribution dans l’encadré ci-dessus partout où vous utilisez ou partagez les données.
- Les auteurs sont de vraies personnes. Leurs noms figurent dans les enregistrements parce qu’ils ont publié les articles. Cette étude de cas lie des articles, pas des personnes, et ne dit rien sur une personne. Lier des auteurs, c’est-à-dire décider que deux noms désignent une personne, est une autre tâche. Elle exige les précautions de Confidentialité et appariement : un faux lien entre auteurs attribue à une personne le travail d’une autre.
- Un rapport peut avoir un effet sur les carrières. Un article manquant dans un rapport universitaire peut nuire à un chercheur. Voilà pourquoi la règle de Ruth est stricte, et pourquoi les chercheurs devraient pouvoir vérifier et corriger leur liste.
Faites-en un projet de portfolio
Section intitulée « Faites-en un projet de portfolio »Cette étude de cas montre que vous pouvez trouver la cause des erreurs sur de vrais enregistrements et la corriger.
Une extension plus grande, avec deux sources CC0. Prenez une tranche de dblp, par exemple une conférence sur cinq ans. Ses données sont sous CC0; consultez le blogue dblp. Trouvez les mêmes articles dans OpenAlex (CC0) avec son API gratuite. Plusieurs enregistrements des deux sources ont un DOI. Cachez-le à votre apparieur. Créez les liens à partir du titre, des auteurs, du lieu de publication et de l’année. Utilisez le DOI comme vérité terrain. Gardez une petite tranche (quelques milliers d’enregistrements), et notez la date et la requête.
Quoi mettre dans le dépôt :
README.md(modèle ci-dessous).- Le carnet, exécuté du début à la fin, avec ses sorties.
- Le tableau comparatif en CSV : chaque méthode, son seuil, sa précision, son rappel, son F1 et sa précision au rappel de 0,95.
- Le tableau des erreurs avant et après votre correction, avec un exemple par raison.
DECISION.md: les seuils, la zone de révision, sa taille et son coût, ainsi que les hypothèses.- La source et la licence des données, avec le texte d’attribution.
Un modèle de README :
# Linking bibliographic records from two libraries
## ProblemA research office lists every paper of its researchers from DBLP and the ACM Digital Library.Links go into the report automatically only when 995 in 1,000 are right; a person checks the rest.
## Data and licenceDBLP-ACM benchmark, University of Leipzig (Köpcke, Thor and Rahm, PVLDB 2010), CC BY 4.0,https://dbs.uni-leipzig.de/research/projects/benchmark-datasets-for-entity-resolution.2,616 + 2,294 records, 2,224 true links. Split 50/25/25 by group of records.
## ApproachNormalised titles, surnames and venue keys; blocking with TF-IDF top 5 and embeddings top 5(pair completeness 0.999, 28,561 of 6 million pairs); 10 methods compared; error analysis;one new field (how many records share the title); LightGBM with one-to-one matching.
## Results (test split)F1 0.990 (rule title + year + venue 0.933, Splink without labels 0.957, LightGBM 0.981).Accept >= 0.5: 539 links, 539 right. Review 0.05-0.5: 10 pairs.
## LimitsOld, clean records from five venues. Regular columns with the same title, author, venue andyear cannot be told apart without the issue number.Comment le décrire en entrevue, en deux phrases : « J’ai lié de vraies notices bibliographiques de deux bibliothèques, et l’analyse des erreurs a montré que la plupart des faux liens venaient de titres partagés par plusieurs articles. Un nouveau champ, la fréquence du titre, a éliminé tous les faux liens du jeu de test; la file de révision contient les enregistrements qu’aucun champ ne permet de distinguer. »
Allez plus loin :
- Exécutez la même conception sur DBLP–Scholar, depuis la même page de Leipzig (CC BY 4.0) : 64 263 enregistrements Google Scholar, beaucoup moins propres. Vous aurez besoin d’un blocage plus restrictif.
- Ajoutez un champ pour les mots comme « panel », « tutorial », « demonstration » ou « part I ». Examinez de nouveau le tableau des erreurs.
- Remplacez « la meilleure paire pour les deux » par une affectation optimale (
scipy.optimize.linear_sum_assignment), et comparez.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
La règle « même titre normalisé, même année et même lieu de publication » a atteint un F1 de 0,933 ici. La meilleure règle sur Abt–Buy n'a atteint que 0,791. Donnez deux raisons tirées des données.
Afficher la réponse
Premièrement, les notices bibliographiques ont des champs séparés et propres. L’année concorde toujours pour un vrai lien, et les lieux de publication correspondent un à un. La règle peut donc vérifier trois champs indépendants. Les données de produits avaient un seul titre en texte libre. L’indice, le code du modèle, y était écrit de plusieurs façons. Deuxièmement, les bibliothèques entretiennent leurs titres : après normalisation, environ 90 % des liens du jeu de test ont le même titre. Les magasins écrivent les titres pour les clients, dans leurs propres mots. Les titres identiques étaient donc rares.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Splink sans étiquettes a appris une probabilité m de 0,85 pour « correspondance exacte du titre » ici. Sur les produits, elle était de 0,048 pour « code de modèle en commun ». Pourquoi la maximisation de l'espérance a-t-elle bien fonctionné ici?
Afficher la réponse
La maximisation de l’espérance cherche deux groupes de paires qui expliquent le mieux les concordances. Ici, les champs sont propres et séparés. Les vrais liens concordent sur presque tous les champs : titre, année, lieu de publication et noms de famille. Les autres paires concordent rarement. Les deux groupes trouvés sont donc « même article » et « articles différents ». Sur les produits, les indices étaient mélangés dans du texte libre. Notre interprétation dans la première étude de cas : les paires d’une même marque et gamme formaient probablement un autre groupe. Elles partageaient plusieurs mots, et EM a trouvé ce groupe à la place.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Après la correction, la file de révision contenait 10 paires « Book Review Column » avec le même score. Daniel dit : « Entraînez un meilleur modèle. » Que répondez-vous?
Afficher la réponse
Un meilleur modèle n’aidera pas. Les enregistrements sont identiques dans tous les champs reçus par le modèle : titre, auteur, lieu de publication et année. Aucun modèle ne peut les distinguer avec ces champs. La correction exige plus d’indices : le numéro de parution, les pages ou le DOI. Jusqu’à ce qu’une bibliothèque les fournisse, une personne évalue ces paires à partir de la page Web de l’enregistrement. L’analyse des erreurs vous indique quand le problème vient des données, pas du modèle.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Sur des notices bibliographiques propres, une règle (titre normalisé, année et lieu de publication) a déjà atteint un F1 de 0,933, sans entraînement.
- Splink sans étiquettes a atteint 0,957, car les champs sont propres et séparés. LightGBM a atteint 0,981.
- L’analyse des erreurs a montré que 11 des 16 faux liens de LightGBM venaient de titres partagés par plusieurs articles.
- Un nouveau champ, la fréquence du titre, a éliminé tous les faux liens du jeu de test (F1 de 0,990, précision de 1,0).
- La décision : accepter à 0,5 ou plus (539 sur 539 corrects sur le jeu de test). Réviser de 0,05 à 0,5 : environ 15 paires par 1 000 enregistrements. Les chroniques régulières nécessitent un champ que les bibliothèques ne fournissent pas.
Ensuite, les personnes et les entreprises : des doublons dans une seule liste, et des entreprises liées à un registre ouvert.
Leçon suivante : Trouver des personnes et des entreprises en double