Un classificateur de paires supervisé
- Leçon 18
- 40 min
- Module 6 : L'appariement appris : classificateurs, plongements et modèles de langage
Où nous en sommes
Splink a appris ses poids sans étiquettes. Les réviseurs de Larkfield ont maintenant étiqueté certaines paires. Dans cette leçon, nous entraînons un classificateur de paires sur des vecteurs de comparaison. Nous traitons aussi le fort déséquilibre des classes de paires.
Leçon 18 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?Un classificateur de paires supervisé
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Entraînez un modèle qui lit le vecteur de comparaison d’une paire et estime si les deux enregistrements représentent un seul client. Entraînez-le sur des paires étiquetées : d’abord la régression logistique, puis l’amplification de gradient avec LightGBM. Traitez le déséquilibre des classes de paires : choisissez le seuil sur les paires de validation, jamais à 0,5. Ajoutez les deux modèles au tableau comparatif.
Carnet JupyterEntraîner un classificateur de paires dans un carnet Jupyter
Le carnet (notebook) Jupyter transforme les 3 000 paires étiquetées en six caractéristiques chacune. Il entraîne la régression logistique et vous demande d’entraîner LightGBM. Il mesure ensuite les deux modèles au seuil de 0,5 sur les paires candidates. Vous voyez ainsi l’effet du déséquilibre des classes. Ses cellules de préparation téléchargent les données. Aucune préparation locale n’est donc nécessaire.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Le vecteur de comparaison de 16 champs, présenté dans Comparer champ par champ, puis combiner.
- Les poids de correspondance, Splink et la zone de révision, présentés dans Apprendre les poids sans étiquettes et Des poids à une décision.
- Ce qu’est un classificateur, présenté dans Comprendre la classification du cours d’apprentissage automatique.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers du module 5. Vous pouvez aussi utiliser uniquement le carnet. - Environ 150 Mo d’espace disque libre pour deux nouveaux paquets.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été testées.
Une nouvelle commis apprend à partir des anciennes décisions
Section intitulée « Une nouvelle commis apprend à partir des anciennes décisions »Une clinique embauche une nouvelle commis. Son travail : décider si un nouveau formulaire appartient à un patient qui figure déjà dans les dossiers.
Personne ne lui donne de guide de règles. Une commis expérimentée lui montre plutôt une boîte d’anciennes décisions. Chaque fiche contient deux formulaires et un mot : « identique » ou « différent ». La nouvelle commis lit des centaines de fiches. Elle remarque bientôt des régularités qu’aucun guide ne décrit. « Même nom de famille, même adresse, prénom différent : généralement un frère ou une sœur. » « Même nom, nouvelle adresse, même date de naissance : généralement un patient qui a déménagé. »
C’est l’apprentissage supervisé. Un modèle apprend à partir d’exemples auxquels une personne a déjà répondu. Les réponses sont des étiquettes.
Le problème : nos poids n’apprennent pas à partir des réponses
Section intitulée « Le problème : nos poids n’apprennent pas à partir des réponses »Jusqu’ici, chaque méthode a choisi ses poids sans consulter les vraies réponses :
- Le score avec des poids choisis à la main du module 4 utilisait nos estimations.
- Splink, au module 5, a estimé ses poids à partir des seules données, sans étiquettes.
Splink pondère chaque champ séparément et additionne les poids. Il ne peut pas apprendre que les combinaisons comptent. Les frères Samuel et Nathan Green illustrent le problème. Ils partagent un nom de famille, un courriel, une ligne fixe, un code postal, une rue et une ville. Chaque accord ajoute du poids. Splink leur donne un poids de correspondance de 37,9 et une probabilité de 1,0. Ce sont deux personnes.
TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield possède maintenant 3 000 paires étiquetées. Un réviseur a indiqué « identique » ou « différent » pour chacune. Dans nos données synthétiques, les étiquettes viennent des vrais clients. Dans le travail réel de Larkfield, elles viendraient de la file de révision d’Ivana. Un modèle peut-il apprendre à partir de ces étiquettes?
L’idée : un classificateur de paires
Section intitulée « L’idée : un classificateur de paires »Un classificateur est un modèle qui place chaque entrée dans une classe parmi quelques classes possibles. Un classificateur de paires lit une paire candidate et la place dans une des deux classes : « identique » ou « différent ».
- L’entrée est le vecteur de comparaison de la paire : les 16 nombres du module 4. En apprentissage automatique, ces entrées s’appellent des caractéristiques.
- La sortie est un nombre de 0 à 1 : la probabilité estimée que la paire représente un seul client. Une paire dont le score atteint ou dépasse un seuil est dite « identique ».
- Les données d’entraînement sont les paires étiquetées : 3 000 vecteurs, chacun avec sa réponse.
Nous essayons deux types de classificateurs. Le cours Apprentissage automatique : du problème à un modèle fiable explique les deux en détail.
- La régression logistique donne un poids à chaque caractéristique, additionne les caractéristiques pondérées, puis transforme la somme en nombre de 0 à 1. Elle ressemble au score avec des poids choisis à la main, mais elle apprend les poids à partir des étiquettes.
- L’amplification de gradient (gradient boosting) construit de nombreux petits arbres de décision, les uns après les autres. Un arbre de décision pose des questions qui demandent une réponse oui ou non. « La similarité des prénoms est-elle inférieure à 0,8? » « Le téléphone est-il identique? » Chaque nouvel arbre corrige les erreurs des arbres précédents. Il peut apprendre des combinaisons, comme « même ménage, prénom différent ». Nous utilisons la bibliothèque LightGBM. Le cours d’apprentissage automatique explique les arbres dans Les arbres de décision et l’amplification dans Les méthodes d’ensemble.
Le schéma montre les deux modèles sur nos deux paires d’exemple.
Description textuelle du diagramme
À gauche, les cinq champs les plus importants pour les deux paires : prénom, nom complet, courriel, téléphone et code postal. Au milieu, les deux modèles, chacun entraîné sur les 3 000 paires étiquetées. À droite, le score de chaque modèle, son seuil choisi sur les paires de validation et sa décision. Les deux modèles déclarent la paire de Valérie identique. La régression logistique déclare les frères identiques, et LightGBM les déclare différents. Splink et le score avec des poids choisis à la main déclaraient les frères identiques.
Regardez les frères. La régression logistique leur donne 0,9784, juste au-dessus de son seuil de 0,9685 : une fusion erronée, mais de peu. Elle additionne les indices comme Splink, avec de meilleurs poids. Les sept champs du ménage qui concordent l’emportent donc encore.
LightGBM leur donne 0,9646, sous son seuil. Ses paires étiquetées « différent » partagent souvent un nom de famille, mais ont des prénoms différents. Ses arbres ont appris une combinaison : quand les autres champs concordent, mais pas le prénom, la paire représente généralement deux personnes.
Le déséquilibre des classes de paires
Section intitulée « Le déséquilibre des classes de paires »Avant l’entraînement, regardez les classes. La plupart des paires candidates ne représentent pas le même client.
- Parmi les 1 108 591 paires candidates des cinq clés de blocage, 27 503 sont de vraies paires. C’est environ 1 sur 40.
- Parmi les 3 000 paires étiquetées, 1 050 sont de vraies paires. C’est 35 %, soit environ 1 sur 3.
Quand une classe est beaucoup plus rare que l’autre, on parle de déséquilibre des classes.
Description textuelle du diagramme
La rangée du haut contient 40 carrés, dont un carré coloré : les paires candidates. Environ une paire sur 40 représente le même client. La rangée du bas contient 20 carrés, dont 7 carrés colorés : les paires étiquetées. Parmi elles, 35 % représentent le même client. Les paires étiquetées ont été choisies délibérément : 1 500 avec le même nom de famille et la même région, 1 050 vraies paires et 450 paires aléatoires.
Pourquoi les étiquettes sont-elles si différentes? Parce que les paires ont été choisies délibérément. Des paires candidates aléatoires donneraient à une réviseuse environ une vraie paire sur 40 : une perte de temps. Le jeu étiqueté contient donc 1 500 paires avec le même nom de famille et la même région (paires difficiles). Il contient aussi 1 050 vraies paires et 450 paires aléatoires. Toutes proviennent uniquement des clients d’entraînement.
Ce choix favorise l’apprentissage, mais il a un coût. Le modèle apprend que « identique » est fréquent. Sur les vraies paires candidates, il répond « identique » trop souvent. Ses nombres ne sont pas de vraies probabilités.
Quoi faire
Section intitulée « Quoi faire »Trois règles permettent de traiter le déséquilibre :
- N’utilisez jamais 0,5 comme seuil. Choisissez le seuil qui donne le meilleur F1 sur les paires de validation : des paires candidates aux proportions réelles. Le meilleur seuil de la régression logistique est 0,969. Celui de LightGBM dépasse 0,999.
- N’utilisez jamais l’exactitude comme mesure. Un modèle qui répond « différent » pour chaque paire candidate a raison dans 97,5 % des cas, mais ne trouve aucun client. Utilisez la précision et le rappel, comme dans Mesurer un apparieur.
- Ne lisez pas le score comme une probabilité avant de l’étalonner. La leçon 4 le fait, car elle a besoin de vraies probabilités.
Le cours d’apprentissage automatique présente le même problème dans Seuils et calibration.
Exécuter dans le projet
Section intitulée « Exécuter dans le projet »Ajoutez le code du classificateur à votre projet. Exécutez les commandes dans le dossier du projet, avec votre TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif.
-
Copiez les trois nouveaux fichiers depuis l’instantané
end-of-m06:Fenêtre de terminal S=../nextia-learning-labs/C39/snapshots/end-of-m06cp $S/larkfield_match/classifier.py larkfield_match/cp $S/larkfield_match/runs/learned.py larkfield_match/runs/cp $S/larkfield_match/commands/train.py larkfield_match/commands/Fenêtre de terminal $S = "..\nextia-learning-labs\C39\snapshots\end-of-m06"Copy-Item $S\larkfield_match\classifier.py larkfield_match\Copy-Item $S\larkfield_match\runs\learned.py larkfield_match\runs\Copy-Item $S\larkfield_match\commands\train.py larkfield_match\commands\ -
Installez scikit-learn et LightGBM dans les versions du cours :
Fenêtre de terminal python -m pip install scikit-learn==1.9.1 lightgbm==4.7.0Successfully installed cloudpickle-3.1.2 joblib-1.6.0 lightgbm-4.7.0 narwhals-2.28.0 scikit-learn-1.9.1 threadpoolctl-3.8.0Sur macOS, LightGBM a besoin de la bibliothèque OpenMP. Si
match trains’arrête avec une erreur concernantlibomp, installez-la avec Homebrew :brew install libomp. Nous n’avons pas testé de Mac sans cette bibliothèque. -
Entraînez la régression logistique sur les paires étiquetées :
Fenêtre de terminal match train --model logregTrained logreg on 3,000 labelled pairs (1,050 same); threshold 0.969 (best F1 on validation)Test: precision 0.915, recall 0.907, F1 0.911Features (coefficient (scaled inputs)):name_tsr +2.484phone_eq +1.845email_eq +1.632dob_eq +1.290first_initial +1.241first_jw +1.004dob_year_eq +1.002postcode3_eq +0.942 -
Entraînez LightGBM. C’est le modèle par défaut de
match train:Fenêtre de terminal match trainTrained lgbm on 3,000 labelled pairs (1,050 same); threshold 1.000 (best F1 on validation)Test: precision 0.918, recall 0.886, F1 0.902Features (share of gain):first_jw +0.749email_local_jw +0.044phone_eq +0.041name_tsr +0.032postcode3_eq +0.029postcode_eq +0.028first_initial +0.028dob_eq +0.015Le seuil s’affiche comme
1.000parce qu’il est arrondi. Il est juste sous 1. LightGBM est très sûr de la plupart des paires, et le déséquilibre fait monter le meilleur seuil.
Les deux commandes entraînent le modèle sur les paires étiquetées et attribuent un score aux 1 108 591 paires candidates. Elles conservent le modèle dans outputs/models/. Mesurez ensuite les deux exécutions comme d’habitude :
match eval --run logregmatch eval --run lgbmRan logreg: 26,399 pairs called the same, in 44.9 slogreg on the test split: pair precision 0.915, recall 0.907, F1 0.911 5,514 pairs called the same: 5,048 right, 466 wrong; 516 of 5,564 true pairs missed entities after clustering (all records): 38,142 (true: 37,500)Ran lgbm: 25,851 pairs called the same, in 142.1 slgbm on the test split: pair precision 0.918, recall 0.886, F1 0.902 5,375 pairs called the same: 4,932 right, 443 wrong; 632 of 5,564 true pairs missed entities after clustering (all records): 38,514 (true: 37,500)match eval entraîne le modèle à nouveau, car match train conserve le modèle, mais pas les paires évaluées. Notre portable effectuait d’autres tâches, ce qui explique les longs temps d’exécution. Vos temps seront différents; les décomptes seront les mêmes.
Pour voir où les deux méthodes divergent, comparez Splink et LightGBM :
match compare splink lgbm --show 3splink precision 0.817 recall 0.779 F1 0.797 (5,300 pairs)lgbm precision 0.918 recall 0.886 F1 0.902 (5,375 pairs)Only splink: 954 pairs (186 right, 768 wrong) wrong S-000008 'Mohammed Singh' / S-006895 'Mr Arjun Singh' wrong G-000830 'DELACROIX-MENSAH, FATIMA' / S-020042 'Fatima Delacroix-Mensah' wrong G-000869 'LECLERC, LUC' / S-022810 'Catherine Leclerc'Only lgbm: 1,029 pairs (786 right, 243 wrong) wrong L-006319 'Jessica Walker' / L-016797 'Jessica Miller' wrong G-003503 'NGUYEN, FATIMA' / S-001675 'Fatima Oyelaran' wrong G-003381 'MILLER, HANNAH' / L-015027 'Mrs. Hannah Miller'La plupart des paires que seul Splink déclare identiques sont erronées (768 sur 954). Ce sont des membres d’une même famille, comme Mohammed et Arjun Singh. La plupart des paires que seul LightGBM déclare identiques sont correctes (786 sur 1 029). Certaines erreurs de LightGBM concernent des personnes qui partagent un prénom, mais ont des noms de famille différents. Une paire comme Fatima Delacroix-Mensah semble représenter un seul client d’après le nom, mais représente deux personnes dans nos données. Aucun modèle n’a raison sur toutes les paires.
Comment fonctionne le code
Section intitulée « Comment fonctionne le code »classifier.py crée les deux modèles. La régression logistique reçoit d’abord une mise à l’échelle pour donner la même plage à chaque caractéristique. Les valeurs manquantes deviennent 0, avec un indicateur « manquant » supplémentaire par champ. LightGBM lit les valeurs manquantes telles quelles :
if kind == "logreg": return make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000, C=1.0))return LGBMClassifier(n_estimators=300, learning_rate=0.05, num_leaves=31, min_child_samples=20, random_state=seed, n_jobs=1, verbose=-1)runs/learned.py entraîne le modèle sur les paires étiquetées et attribue un score à chaque paire candidate. Il choisit le seuil avec thresholds.best_f1, sur les paires de validation. n_jobs=1 limite LightGBM à un seul cœur de processeur pour que votre portable reste utilisable.
Ce que chaque modèle utilise
Section intitulée « Ce que chaque modèle utilise »Les deux modèles atteignent presque le même F1, mais utilisent les caractéristiques de façons très différentes.
Description textuelle du graphique
Huit points. first_jw 0,749; email_local_jw 0,044; phone_eq 0,041; name_tsr 0,032; postcode3_eq 0,029; postcode_eq 0,028; first_initial 0,028; dob_eq 0,015.
Le gain mesure combien les questions portant sur une caractéristique améliorent les arbres, en additionnant les gains de tous les arbres. LightGBM attribue 75 % de son gain à la similarité Jaro–Winkler des prénoms. Pourquoi le prénom? Dans nos paires étiquetées, les 1 500 paires difficiles « différent » partagent un nom de famille et une région. Seulement 4,5 % partagent un code postal. La plupart ne sont donc pas des membres d’une même famille, mais des personnes avec le même nom de famille. Le prénom les distingue le mieux.
Description textuelle du graphique
Huit points, tous en faveur d’une correspondance : name_tsr 2,48; phone_eq 1,85; email_eq 1,63; dob_eq 1,29; first_initial 1,24; first_jw 1,00; dob_year_eq 1,00; postcode3_eq 0,94. Deux coefficients plus petits, hors des 8 premiers, jouent contre une correspondance : last_sound −0,69 et last_jw −0,58.
Un coefficient est le poids que la régression logistique a appris pour une caractéristique. Les entrées sont d’abord mises à l’échelle, ce qui permet de comparer les tailles. La régression logistique répartit son poids entre le nom complet, le téléphone, le courriel et la date de naissance.
Deux coefficients sont négatifs : la similarité du nom de famille et sa sonorité. Cela semble étrange : un nom de famille similaire devrait-il jouer contre une correspondance? Non. C’est un effet secondaire des étiquettes. La plupart des paires difficiles « différent » partagent un nom de famille. Un nom de famille commun ne constitue donc pas, à lui seul, un indice. Le nom complet porte déjà cette information. C’est notre interprétation des coefficients; nous ne l’avons pas testée. N’interprétez pas un coefficient isolément.
Le tableau comparatif
Section intitulée « Le tableau comparatif »Les deux classificateurs dépassent largement toutes les méthodes précédentes.
| Exécution | Module | Précision | Rappel | F1 |
|---|---|---|---|---|
rules |
2 | 0,723 | 0,870 | 0,790 |
weighted |
4 | 0,751 | 0,766 | 0,759 |
fs-labels |
5 | 0,839 | 0,747 | 0,790 |
splink |
5 | 0,817 | 0,779 | 0,797 |
logreg |
6 | 0,915 | 0,907 | 0,911 |
lgbm |
6 | 0,918 | 0,886 | 0,902 |
Un seul F1 par exécution cache beaucoup de choses : il correspond à un seul seuil. Le graphique montre tous les seuils. Chaque courbe représente une exécution sur les mêmes paires de test : sa précision (axe vertical) selon son rappel (axe horizontal).
- lgbm
- logreg
- splink (sans étiquettes)
- weighted (poids choisis à la main)
Description textuelle du graphique
Quatre courbes. Les deux courbes des classificateurs gardent une précision supérieure à 0,9 jusqu’à un rappel d’environ 0,85, puis baissent. La courbe de Splink passe sous une précision de 0,95 à un rappel d’environ 0,47. Celle des poids choisis à la main passe sous ce niveau vers 0,42. Aucune exécution n’atteint un rappel de 1 : le blocage a perdu 33 des 5 564 vraies paires de test. Quelques paires n’ont aucun indice.
Le graphique répond à la question d’TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. : « Combien de clients trouvons-nous si les fusions erronées sont rares? » À une précision de 0,95 (seuil choisi sur la validation), la régression logistique trouve 0,874 des vraies paires. LightGBM en trouve 0,837, Splink 0,474 et le score avec des poids choisis à la main 0,422. Sur les paires de test, ces seuils ont donné une précision entre 0,925 et 0,940, légèrement sous la cible. C’est normal : un seuil choisi sur un jeu de paires n’est pas exact sur un autre.
Le modèle plus simple gagne ici
Section intitulée « Le modèle plus simple gagne ici »La régression logistique est le meilleur modèle sur nos enregistrements : F1 de 0,911 contre 0,902, et meilleur rappel à haute précision. Elle est aussi plus rapide et plus facile à expliquer. Le cours d’apprentissage automatique en parle dans Quand un modèle simple est meilleur.
Mais un seul F1 cache les cas individuels : la régression logistique fusionne les frères, contrairement à LightGBM.
Le projet utilise toujours LightGBM comme modèle principal, lgbm. Pourquoi? La leçon 4 a besoin d’une probabilité pour chaque paire afin de trouver la zone de révision. Nous avons construit cette étape avec LightGBM. Le tableau comparatif conserve les deux modèles pour que vous puissiez toujours vérifier ce choix. Dans votre propre travail, commencez par la régression logistique. Gardez un modèle plus complexe seulement s’il gagne sur vos paires de validation.
Quand utiliser un classificateur de paires
Section intitulée « Quand utiliser un classificateur de paires »| Utilisez-le quand | Ne l’utilisez pas quand | Ce qu’il coûte |
|---|---|---|
| vous avez quelques centaines de paires étiquetées ou plus, issues de la révision | vous n’avez aucune étiquette : utilisez Splink (module 5) | étiquettes : 1,2 minute par paire pour un réviseur (notre hypothèse), donc 3 000 étiquettes demandent 60 heures |
| les champs agissent ensemble (ménages, personnes qui déménagent) | les étiquettes proviennent d’un seul type de paire : le modèle apprend ce type | CPU : moins de 0,000002 $ US par 1 000 paires (0,17 $ US l’heure, selon notre hypothèse) |
| vous devez atteindre une précision élevée avec un bon rappel | vous devez expliquer une décision à un client, mais vous ne le pouvez pas : préférez la régression logistique | un nouveau modèle quand les données changent : conservez le script d’entraînement |
Les étiquettes représentent le coût principal. Ivana révise 300 paires par jour (notre hypothèse). Ainsi, 3 000 étiquettes représentent dix de ses journées de travail. La prochaine leçon pose la question : avons-nous besoin des 3 000 étiquettes?
Erreur courante
Faire confiance au seuil par défaut
Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. entraîne LightGBM sur les 3 000 paires étiquetées et appelle model.predict(). Cette méthode utilise le seuil de 0,5. Il annonce : « Le modèle trouve 93 % des vraies paires! » Une semaine plus tard, Ivana trouve des milliers de personnes sans lien fusionnées.
Cause : les paires étiquetées comptent 35 % de vraies paires. Les paires candidates comptent environ 2,5 % de vraies paires. Le modèle a appris que « identique » est fréquent. Ainsi, de nombreuses paires candidates de deux personnes obtiennent un score supérieur à 0,5. Le meilleur seuil sur les paires de validation dépasse 0,999. Le carnet (notebook) Jupyter de cette leçon montre cet effet avec six caractéristiques et le seuil de 0,5. La régression logistique trouve 0,935 des vraies paires de test, mais sa précision n’est que de 0,594. Sur 8 765 paires jugées identiques, 3 562 représentent deux personnes.
Solution : choisissez le seuil sur des paires candidates de validation, qui ont la proportion réelle de classes. Dans le projet, thresholds.best_f1 le fait à chaque exécution. Si vous avez besoin d’une probabilité qui reflète la réalité, étalonnez-la, comme dans la leçon 4.
Conséquence dans le travail en IA : on entraîne un modèle sur une proportion de classes et on l’utilise sur une autre. Cela arrive en fraude, dans les tests médicaux et dans la révision de contenu. Vérifiez toujours le seuil sur des données ayant la proportion réelle.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Splink donne aux frères Samuel et Nathan Green un poids de correspondance de 37,9. LightGBM les juge différents. Qu'a appris LightGBM que Splink ne peut pas apprendre?
Afficher la réponse
Splink pondère chaque champ séparément et additionne les poids. Ainsi, de nombreux champs partagés dans un ménage donnent un poids très élevé. LightGBM a appris des paires étiquetées qu’une combinaison compte : un nom de famille partagé avec des prénoms différents indique généralement deux personnes. Ses arbres peuvent examiner le prénom après les autres champs. Pour cette raison, LightGBM attribue 75 % de son gain à la similarité des prénoms. La régression logistique additionne des indices pondérés comme Splink, avec des poids appris. Elle attribue aux frères un score juste au-dessus de son seuil. Elle les fusionne donc encore, mais de justesse.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Le meilleur seuil de LightGBM sur les paires de validation dépasse 0,999. Pourquoi est-il si élevé? Pourquoi doit-il provenir des paires de validation, et non des paires étiquetées?
Afficher la réponse
Le modèle s’est entraîné sur des paires étiquetées dont 35 % sont de vraies paires. Il donne donc facilement des scores élevés. Parmi les paires candidates, seulement environ une sur 40 est vraie. Il faut donc un seuil très élevé pour maintenir la précision. Les paires étiquetées ont la mauvaise proportion de classes, et le modèle s’est entraîné sur elles. Un seuil choisi sur ces paires serait donc beaucoup trop bas. Les paires de validation sont des paires candidates d’autres clients. Elles ont la proportion réelle, et le modèle ne les a jamais vues.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La régression logistique donne un coefficient négatif à la similarité des noms de famille. Un collègue dit : « Un nom de famille identique est donc un indice contre une correspondance. » Que répondez-vous?
Afficher la réponse
Non. Le coefficient représente l’effet du nom de famille après les autres caractéristiques. La plupart des paires difficiles étiquetées « différentes » partagent un nom de famille. C’est parce que nous les avons échantillonnées par nom de famille et par région. De plus, le nom complet, le courriel et le téléphone portent déjà les indices du nom de famille. Le modèle donne donc au nom de famille un petit poids négatif pour équilibrer les autres. Lisez les coefficients ensemble. Testez un modèle selon ses résultats sur les paires de validation, et non selon un seul coefficient.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un classificateur de paires lit un vecteur de comparaison et donne un score de 0 à 1. Il apprend à partir de paires étiquetées : nos 3 000 étiquettes synthétiques ou les décisions d’un réviseur.
- La régression logistique apprend un poids par caractéristique. L’amplification de gradient (gradient boosting, LightGBM) construit de nombreux petits arbres et peut apprendre des combinaisons.
- Déséquilibre des classes : environ une paire candidate sur 40 est vraie, contre 35 % des paires étiquetées. Choisissez le seuil sur les données de validation, jamais 0,5, et ne mesurez jamais avec l’exactitude.
- Sur les paires de test : score F1 de 0,911 pour la régression logistique, 0,902 pour LightGBM et 0,797 pour Splink. À une précision de 0,95, la régression logistique trouve 0,874 des vraies paires, et Splink, 0,474.
- Le modèle le plus simple l’emporte ici. Le projet conserve LightGBM sous
lgbmpour la leçon 4, et le tableau montre les deux.
Ensuite, nous demandons combien d’étiquettes il nous faut vraiment et quelles paires un réviseur devrait étiqueter en premier.
Leçon suivante : L'apprentissage actif