Aller au contenu
English

Un classificateur de paires supervisé

  • Leçon 18
  • 40 min
  • Module 6 : L'appariement appris : classificateurs, plongements et modèles de langage

Où nous en sommes

Splink a appris ses poids sans étiquettes. Les réviseurs de Larkfield ont maintenant étiqueté certaines paires. Dans cette leçon, nous entraînons un classificateur de paires sur des vecteurs de comparaison. Nous traitons aussi le fort déséquilibre des classes de paires.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Entraînez un modèle qui lit le vecteur de comparaison d’une paire et estime si les deux enregistrements représentent un seul client. Entraînez-le sur des paires étiquetées : d’abord la régression logistique, puis l’amplification de gradient avec LightGBM. Traitez le déséquilibre des classes de paires : choisissez le seuil sur les paires de validation, jamais à 0,5. Ajoutez les deux modèles au tableau comparatif.

Carnet JupyterEntraîner un classificateur de paires dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter transforme les 3 000 paires étiquetées en six caractéristiques chacune. Il entraîne la régression logistique et vous demande d’entraîner LightGBM. Il mesure ensuite les deux modèles au seuil de 0,5 sur les paires candidates. Vous voyez ainsi l’effet du déséquilibre des classes. Ses cellules de préparation téléchargent les données. Aucune préparation locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers du module 5. Vous pouvez aussi utiliser uniquement le carnet.
  • Environ 150 Mo d’espace disque libre pour deux nouveaux paquets.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été testées.

Une nouvelle commis apprend à partir des anciennes décisions

Section intitulée « Une nouvelle commis apprend à partir des anciennes décisions »

Une clinique embauche une nouvelle commis. Son travail : décider si un nouveau formulaire appartient à un patient qui figure déjà dans les dossiers.

Personne ne lui donne de guide de règles. Une commis expérimentée lui montre plutôt une boîte d’anciennes décisions. Chaque fiche contient deux formulaires et un mot : « identique » ou « différent ». La nouvelle commis lit des centaines de fiches. Elle remarque bientôt des régularités qu’aucun guide ne décrit. « Même nom de famille, même adresse, prénom différent : généralement un frère ou une sœur. » « Même nom, nouvelle adresse, même date de naissance : généralement un patient qui a déménagé. »

C’est l’apprentissage supervisé. Un modèle apprend à partir d’exemples auxquels une personne a déjà répondu. Les réponses sont des étiquettes.

Le problème : nos poids n’apprennent pas à partir des réponses

Section intitulée « Le problème : nos poids n’apprennent pas à partir des réponses »

Jusqu’ici, chaque méthode a choisi ses poids sans consulter les vraies réponses :

  • Le score avec des poids choisis à la main du module 4 utilisait nos estimations.
  • Splink, au module 5, a estimé ses poids à partir des seules données, sans étiquettes.

Splink pondère chaque champ séparément et additionne les poids. Il ne peut pas apprendre que les combinaisons comptent. Les frères Samuel et Nathan Green illustrent le problème. Ils partagent un nom de famille, un courriel, une ligne fixe, un code postal, une rue et une ville. Chaque accord ajoute du poids. Splink leur donne un poids de correspondance de 37,9 et une probabilité de 1,0. Ce sont deux personnes.

TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield possède maintenant 3 000 paires étiquetées. Un réviseur a indiqué « identique » ou « différent » pour chacune. Dans nos données synthétiques, les étiquettes viennent des vrais clients. Dans le travail réel de Larkfield, elles viendraient de la file de révision d’Ivana. Un modèle peut-il apprendre à partir de ces étiquettes?

Un classificateur est un modèle qui place chaque entrée dans une classe parmi quelques classes possibles. Un classificateur de paires lit une paire candidate et la place dans une des deux classes : « identique » ou « différent ».

  • L’entrée est le vecteur de comparaison de la paire : les 16 nombres du module 4. En apprentissage automatique, ces entrées s’appellent des caractéristiques.
  • La sortie est un nombre de 0 à 1 : la probabilité estimée que la paire représente un seul client. Une paire dont le score atteint ou dépasse un seuil est dite « identique ».
  • Les données d’entraînement sont les paires étiquetées : 3 000 vecteurs, chacun avec sa réponse.

Nous essayons deux types de classificateurs. Le cours Apprentissage automatique : du problème à un modèle fiable explique les deux en détail.

  1. La régression logistique donne un poids à chaque caractéristique, additionne les caractéristiques pondérées, puis transforme la somme en nombre de 0 à 1. Elle ressemble au score avec des poids choisis à la main, mais elle apprend les poids à partir des étiquettes.
  2. L’amplification de gradient (gradient boosting) construit de nombreux petits arbres de décision, les uns après les autres. Un arbre de décision pose des questions qui demandent une réponse oui ou non. « La similarité des prénoms est-elle inférieure à 0,8? » « Le téléphone est-il identique? » Chaque nouvel arbre corrige les erreurs des arbres précédents. Il peut apprendre des combinaisons, comme « même ménage, prénom différent ». Nous utilisons la bibliothèque LightGBM. Le cours d’apprentissage automatique explique les arbres dans Les arbres de décision et l’amplification dans Les méthodes d’ensemble.

Le schéma montre les deux modèles sur nos deux paires d’exemple.

Deux paires passent dans deux classificateurs. Les deux enregistrements de Valérie Tremblay, une seule cliente : la régression logistique donne 0,9999, LightGBM donne 1,0000; les deux scores atteignent leur seuil, donc les deux modèles disent identiques, ce qui est correct. Les frères Samuel et Nathan Green : la régression logistique donne 0,9784, au-dessus de son seuil de 0,9685, donc elle dit identiques, ce qui est faux; LightGBM donne 0,9646, sous son seuil de 0,9997, donc il dit différents, ce qui est correct. Splink donnait aux frères un poids de correspondance de 37,9.
Les deux mêmes paires qu'au module 4, évaluées par les deux classificateurs. Seul LightGBM garde les frères séparés.
Description textuelle du diagramme

À gauche, les cinq champs les plus importants pour les deux paires : prénom, nom complet, courriel, téléphone et code postal. Au milieu, les deux modèles, chacun entraîné sur les 3 000 paires étiquetées. À droite, le score de chaque modèle, son seuil choisi sur les paires de validation et sa décision. Les deux modèles déclarent la paire de Valérie identique. La régression logistique déclare les frères identiques, et LightGBM les déclare différents. Splink et le score avec des poids choisis à la main déclaraient les frères identiques.

Regardez les frères. La régression logistique leur donne 0,9784, juste au-dessus de son seuil de 0,9685 : une fusion erronée, mais de peu. Elle additionne les indices comme Splink, avec de meilleurs poids. Les sept champs du ménage qui concordent l’emportent donc encore.

LightGBM leur donne 0,9646, sous son seuil. Ses paires étiquetées « différent » partagent souvent un nom de famille, mais ont des prénoms différents. Ses arbres ont appris une combinaison : quand les autres champs concordent, mais pas le prénom, la paire représente généralement deux personnes.

Avant l’entraînement, regardez les classes. La plupart des paires candidates ne représentent pas le même client.

  • Parmi les 1 108 591 paires candidates des cinq clés de blocage, 27 503 sont de vraies paires. C’est environ 1 sur 40.
  • Parmi les 3 000 paires étiquetées, 1 050 sont de vraies paires. C’est 35 %, soit environ 1 sur 3.

Quand une classe est beaucoup plus rare que l’autre, on parle de déséquilibre des classes.

Deux rangées de carrés. Paires candidates : 40 carrés, dont 1 coloré : environ 1 vraie paire sur 40 (27 503 sur 1 108 591). Paires étiquetées : 20 carrés, dont 7 colorés : 35 % de vraies paires (1 050 sur 3 000).
Les paires étiquetées contiennent une proportion de vraies paires bien supérieure à celle des paires candidates. Un modèle entraîné sur ces étiquettes s'attend à trop de correspondances.
Description textuelle du diagramme

La rangée du haut contient 40 carrés, dont un carré coloré : les paires candidates. Environ une paire sur 40 représente le même client. La rangée du bas contient 20 carrés, dont 7 carrés colorés : les paires étiquetées. Parmi elles, 35 % représentent le même client. Les paires étiquetées ont été choisies délibérément : 1 500 avec le même nom de famille et la même région, 1 050 vraies paires et 450 paires aléatoires.

Pourquoi les étiquettes sont-elles si différentes? Parce que les paires ont été choisies délibérément. Des paires candidates aléatoires donneraient à une réviseuse environ une vraie paire sur 40 : une perte de temps. Le jeu étiqueté contient donc 1 500 paires avec le même nom de famille et la même région (paires difficiles). Il contient aussi 1 050 vraies paires et 450 paires aléatoires. Toutes proviennent uniquement des clients d’entraînement.

Ce choix favorise l’apprentissage, mais il a un coût. Le modèle apprend que « identique » est fréquent. Sur les vraies paires candidates, il répond « identique » trop souvent. Ses nombres ne sont pas de vraies probabilités.

Trois règles permettent de traiter le déséquilibre :

  1. N’utilisez jamais 0,5 comme seuil. Choisissez le seuil qui donne le meilleur F1 sur les paires de validation : des paires candidates aux proportions réelles. Le meilleur seuil de la régression logistique est 0,969. Celui de LightGBM dépasse 0,999.
  2. N’utilisez jamais l’exactitude comme mesure. Un modèle qui répond « différent » pour chaque paire candidate a raison dans 97,5 % des cas, mais ne trouve aucun client. Utilisez la précision et le rappel, comme dans Mesurer un apparieur.
  3. Ne lisez pas le score comme une probabilité avant de l’étalonner. La leçon 4 le fait, car elle a besoin de vraies probabilités.

Le cours d’apprentissage automatique présente le même problème dans Seuils et calibration.

Ajoutez le code du classificateur à votre projet. Exécutez les commandes dans le dossier du projet, avec votre TermeEnvironnement virtuelUn dossier avec son propre Python et ses propres paquets, pour un seul projet. Les paquets installés là ne changent pas les autres projets.En savoir plus Isoler les dépendancesPython pour l'ingénierie de l'IA en pratique actif.

  1. Copiez les trois nouveaux fichiers depuis l’instantané end-of-m06 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m06
    cp $S/larkfield_match/classifier.py larkfield_match/
    cp $S/larkfield_match/runs/learned.py larkfield_match/runs/
    cp $S/larkfield_match/commands/train.py larkfield_match/commands/
  2. Installez scikit-learn et LightGBM dans les versions du cours :

    Fenêtre de terminal
    python -m pip install scikit-learn==1.9.1 lightgbm==4.7.0
    Successfully installed cloudpickle-3.1.2 joblib-1.6.0 lightgbm-4.7.0 narwhals-2.28.0 scikit-learn-1.9.1 threadpoolctl-3.8.0

    Sur macOS, LightGBM a besoin de la bibliothèque OpenMP. Si match train s’arrête avec une erreur concernant libomp, installez-la avec Homebrew : brew install libomp. Nous n’avons pas testé de Mac sans cette bibliothèque.

  3. Entraînez la régression logistique sur les paires étiquetées :

    Fenêtre de terminal
    match train --model logreg
    Trained logreg on 3,000 labelled pairs (1,050 same); threshold 0.969 (best F1 on validation)
    Test: precision 0.915, recall 0.907, F1 0.911
    Features (coefficient (scaled inputs)):
    name_tsr +2.484
    phone_eq +1.845
    email_eq +1.632
    dob_eq +1.290
    first_initial +1.241
    first_jw +1.004
    dob_year_eq +1.002
    postcode3_eq +0.942
  4. Entraînez LightGBM. C’est le modèle par défaut de match train :

    Fenêtre de terminal
    match train
    Trained lgbm on 3,000 labelled pairs (1,050 same); threshold 1.000 (best F1 on validation)
    Test: precision 0.918, recall 0.886, F1 0.902
    Features (share of gain):
    first_jw +0.749
    email_local_jw +0.044
    phone_eq +0.041
    name_tsr +0.032
    postcode3_eq +0.029
    postcode_eq +0.028
    first_initial +0.028
    dob_eq +0.015

    Le seuil s’affiche comme 1.000 parce qu’il est arrondi. Il est juste sous 1. LightGBM est très sûr de la plupart des paires, et le déséquilibre fait monter le meilleur seuil.

Les deux commandes entraînent le modèle sur les paires étiquetées et attribuent un score aux 1 108 591 paires candidates. Elles conservent le modèle dans outputs/models/. Mesurez ensuite les deux exécutions comme d’habitude :

Fenêtre de terminal
match eval --run logreg
match eval --run lgbm
Ran logreg: 26,399 pairs called the same, in 44.9 s
logreg on the test split: pair precision 0.915, recall 0.907, F1 0.911
5,514 pairs called the same: 5,048 right, 466 wrong; 516 of 5,564 true pairs missed
entities after clustering (all records): 38,142 (true: 37,500)
Ran lgbm: 25,851 pairs called the same, in 142.1 s
lgbm on the test split: pair precision 0.918, recall 0.886, F1 0.902
5,375 pairs called the same: 4,932 right, 443 wrong; 632 of 5,564 true pairs missed
entities after clustering (all records): 38,514 (true: 37,500)

match eval entraîne le modèle à nouveau, car match train conserve le modèle, mais pas les paires évaluées. Notre portable effectuait d’autres tâches, ce qui explique les longs temps d’exécution. Vos temps seront différents; les décomptes seront les mêmes.

Pour voir où les deux méthodes divergent, comparez Splink et LightGBM :

Fenêtre de terminal
match compare splink lgbm --show 3
splink precision 0.817 recall 0.779 F1 0.797 (5,300 pairs)
lgbm precision 0.918 recall 0.886 F1 0.902 (5,375 pairs)
Only splink: 954 pairs (186 right, 768 wrong)
wrong S-000008 'Mohammed Singh' / S-006895 'Mr Arjun Singh'
wrong G-000830 'DELACROIX-MENSAH, FATIMA' / S-020042 'Fatima Delacroix-Mensah'
wrong G-000869 'LECLERC, LUC' / S-022810 'Catherine Leclerc'
Only lgbm: 1,029 pairs (786 right, 243 wrong)
wrong L-006319 'Jessica Walker' / L-016797 'Jessica Miller'
wrong G-003503 'NGUYEN, FATIMA' / S-001675 'Fatima Oyelaran'
wrong G-003381 'MILLER, HANNAH' / L-015027 'Mrs. Hannah Miller'

La plupart des paires que seul Splink déclare identiques sont erronées (768 sur 954). Ce sont des membres d’une même famille, comme Mohammed et Arjun Singh. La plupart des paires que seul LightGBM déclare identiques sont correctes (786 sur 1 029). Certaines erreurs de LightGBM concernent des personnes qui partagent un prénom, mais ont des noms de famille différents. Une paire comme Fatima Delacroix-Mensah semble représenter un seul client d’après le nom, mais représente deux personnes dans nos données. Aucun modèle n’a raison sur toutes les paires.

classifier.py crée les deux modèles. La régression logistique reçoit d’abord une mise à l’échelle pour donner la même plage à chaque caractéristique. Les valeurs manquantes deviennent 0, avec un indicateur « manquant » supplémentaire par champ. LightGBM lit les valeurs manquantes telles quelles :

if kind == "logreg":
return make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000, C=1.0))
return LGBMClassifier(n_estimators=300, learning_rate=0.05, num_leaves=31, min_child_samples=20,
random_state=seed, n_jobs=1, verbose=-1)

runs/learned.py entraîne le modèle sur les paires étiquetées et attribue un score à chaque paire candidate. Il choisit le seuil avec thresholds.best_f1, sur les paires de validation. n_jobs=1 limite LightGBM à un seul cœur de processeur pour que votre portable reste utilisable.

Les deux modèles atteignent presque le même F1, mais utilisent les caractéristiques de façons très différentes.

LightGBM : part du gain total des divisions apportée par chaque caractéristique (les 8 premières sur 16). Les trois quarts viennent d'une seule caractéristique : la similarité des prénoms.
Description textuelle du graphique

Huit points. first_jw 0,749; email_local_jw 0,044; phone_eq 0,041; name_tsr 0,032; postcode3_eq 0,029; postcode_eq 0,028; first_initial 0,028; dob_eq 0,015.

Le gain mesure combien les questions portant sur une caractéristique améliorent les arbres, en additionnant les gains de tous les arbres. LightGBM attribue 75 % de son gain à la similarité Jaro–Winkler des prénoms. Pourquoi le prénom? Dans nos paires étiquetées, les 1 500 paires difficiles « différent » partagent un nom de famille et une région. Seulement 4,5 % partagent un code postal. La plupart ne sont donc pas des membres d’une même famille, mais des personnes avec le même nom de famille. Le prénom les distingue le mieux.

Régression logistique : taille du coefficient de chaque caractéristique, sur des entrées mises à l'échelle (les 8 premières sur 16). Elle répartit son poids entre le nom, le téléphone, le courriel et la date de naissance.
Description textuelle du graphique

Huit points, tous en faveur d’une correspondance : name_tsr 2,48; phone_eq 1,85; email_eq 1,63; dob_eq 1,29; first_initial 1,24; first_jw 1,00; dob_year_eq 1,00; postcode3_eq 0,94. Deux coefficients plus petits, hors des 8 premiers, jouent contre une correspondance : last_sound −0,69 et last_jw −0,58.

Un coefficient est le poids que la régression logistique a appris pour une caractéristique. Les entrées sont d’abord mises à l’échelle, ce qui permet de comparer les tailles. La régression logistique répartit son poids entre le nom complet, le téléphone, le courriel et la date de naissance.

Deux coefficients sont négatifs : la similarité du nom de famille et sa sonorité. Cela semble étrange : un nom de famille similaire devrait-il jouer contre une correspondance? Non. C’est un effet secondaire des étiquettes. La plupart des paires difficiles « différent » partagent un nom de famille. Un nom de famille commun ne constitue donc pas, à lui seul, un indice. Le nom complet porte déjà cette information. C’est notre interprétation des coefficients; nous ne l’avons pas testée. N’interprétez pas un coefficient isolément.

Les deux classificateurs dépassent largement toutes les méthodes précédentes.

Exécution Module Précision Rappel F1
rules 2 0,723 0,870 0,790
weighted 4 0,751 0,766 0,759
fs-labels 5 0,839 0,747 0,790
splink 5 0,817 0,779 0,797
logreg 6 0,915 0,907 0,911
lgbm 6 0,918 0,886 0,902

Un seul F1 par exécution cache beaucoup de choses : il correspond à un seul seuil. Le graphique montre tous les seuils. Chaque courbe représente une exécution sur les mêmes paires de test : sa précision (axe vertical) selon son rappel (axe horizontal).

  • lgbm
  • logreg
  • splink (sans étiquettes)
  • weighted (poids choisis à la main)
Précision selon le rappel pour quatre exécutions sur le jeu de test de nos enregistrements synthétiques. Les deux classificateurs gardent une précision supérieure à 0,9 jusqu'à un rappel d'environ 0,85. Splink et le score avec des poids choisis à la main baissent beaucoup plus tôt.
Description textuelle du graphique

Quatre courbes. Les deux courbes des classificateurs gardent une précision supérieure à 0,9 jusqu’à un rappel d’environ 0,85, puis baissent. La courbe de Splink passe sous une précision de 0,95 à un rappel d’environ 0,47. Celle des poids choisis à la main passe sous ce niveau vers 0,42. Aucune exécution n’atteint un rappel de 1 : le blocage a perdu 33 des 5 564 vraies paires de test. Quelques paires n’ont aucun indice.

Le graphique répond à la question d’TermeOmarLe gestionnaire de produit de Larkfield. Il pose les questions d’affaires : ce qu’un changement coûte et ce qu’il apporte à la boutique. : « Combien de clients trouvons-nous si les fusions erronées sont rares? » À une précision de 0,95 (seuil choisi sur la validation), la régression logistique trouve 0,874 des vraies paires. LightGBM en trouve 0,837, Splink 0,474 et le score avec des poids choisis à la main 0,422. Sur les paires de test, ces seuils ont donné une précision entre 0,925 et 0,940, légèrement sous la cible. C’est normal : un seuil choisi sur un jeu de paires n’est pas exact sur un autre.

La régression logistique est le meilleur modèle sur nos enregistrements : F1 de 0,911 contre 0,902, et meilleur rappel à haute précision. Elle est aussi plus rapide et plus facile à expliquer. Le cours d’apprentissage automatique en parle dans Quand un modèle simple est meilleur.

Mais un seul F1 cache les cas individuels : la régression logistique fusionne les frères, contrairement à LightGBM.

Le projet utilise toujours LightGBM comme modèle principal, lgbm. Pourquoi? La leçon 4 a besoin d’une probabilité pour chaque paire afin de trouver la zone de révision. Nous avons construit cette étape avec LightGBM. Le tableau comparatif conserve les deux modèles pour que vous puissiez toujours vérifier ce choix. Dans votre propre travail, commencez par la régression logistique. Gardez un modèle plus complexe seulement s’il gagne sur vos paires de validation.

Utilisez-le quand Ne l’utilisez pas quand Ce qu’il coûte
vous avez quelques centaines de paires étiquetées ou plus, issues de la révision vous n’avez aucune étiquette : utilisez Splink (module 5) étiquettes : 1,2 minute par paire pour un réviseur (notre hypothèse), donc 3 000 étiquettes demandent 60 heures
les champs agissent ensemble (ménages, personnes qui déménagent) les étiquettes proviennent d’un seul type de paire : le modèle apprend ce type CPU : moins de 0,000002 $ US par 1 000 paires (0,17 $ US l’heure, selon notre hypothèse)
vous devez atteindre une précision élevée avec un bon rappel vous devez expliquer une décision à un client, mais vous ne le pouvez pas : préférez la régression logistique un nouveau modèle quand les données changent : conservez le script d’entraînement

Les étiquettes représentent le coût principal. Ivana révise 300 paires par jour (notre hypothèse). Ainsi, 3 000 étiquettes représentent dix de ses journées de travail. La prochaine leçon pose la question : avons-nous besoin des 3 000 étiquettes?

Erreur courante

Faire confiance au seuil par défaut

Symptôme : TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. entraîne LightGBM sur les 3 000 paires étiquetées et appelle model.predict(). Cette méthode utilise le seuil de 0,5. Il annonce : « Le modèle trouve 93 % des vraies paires! » Une semaine plus tard, Ivana trouve des milliers de personnes sans lien fusionnées.

Cause : les paires étiquetées comptent 35 % de vraies paires. Les paires candidates comptent environ 2,5 % de vraies paires. Le modèle a appris que « identique » est fréquent. Ainsi, de nombreuses paires candidates de deux personnes obtiennent un score supérieur à 0,5. Le meilleur seuil sur les paires de validation dépasse 0,999. Le carnet (notebook) Jupyter de cette leçon montre cet effet avec six caractéristiques et le seuil de 0,5. La régression logistique trouve 0,935 des vraies paires de test, mais sa précision n’est que de 0,594. Sur 8 765 paires jugées identiques, 3 562 représentent deux personnes.

Solution : choisissez le seuil sur des paires candidates de validation, qui ont la proportion réelle de classes. Dans le projet, thresholds.best_f1 le fait à chaque exécution. Si vous avez besoin d’une probabilité qui reflète la réalité, étalonnez-la, comme dans la leçon 4.

Conséquence dans le travail en IA : on entraîne un modèle sur une proportion de classes et on l’utilise sur une autre. Cela arrive en fraude, dans les tests médicaux et dans la révision de contenu. Vérifiez toujours le seuil sur des données ayant la proportion réelle.

Vérifiez votre compréhension

Splink donne aux frères Samuel et Nathan Green un poids de correspondance de 37,9. LightGBM les juge différents. Qu'a appris LightGBM que Splink ne peut pas apprendre?

Afficher la réponse

Splink pondère chaque champ séparément et additionne les poids. Ainsi, de nombreux champs partagés dans un ménage donnent un poids très élevé. LightGBM a appris des paires étiquetées qu’une combinaison compte : un nom de famille partagé avec des prénoms différents indique généralement deux personnes. Ses arbres peuvent examiner le prénom après les autres champs. Pour cette raison, LightGBM attribue 75 % de son gain à la similarité des prénoms. La régression logistique additionne des indices pondérés comme Splink, avec des poids appris. Elle attribue aux frères un score juste au-dessus de son seuil. Elle les fusionne donc encore, mais de justesse.

Vérifiez votre compréhension

Le meilleur seuil de LightGBM sur les paires de validation dépasse 0,999. Pourquoi est-il si élevé? Pourquoi doit-il provenir des paires de validation, et non des paires étiquetées?

Afficher la réponse

Le modèle s’est entraîné sur des paires étiquetées dont 35 % sont de vraies paires. Il donne donc facilement des scores élevés. Parmi les paires candidates, seulement environ une sur 40 est vraie. Il faut donc un seuil très élevé pour maintenir la précision. Les paires étiquetées ont la mauvaise proportion de classes, et le modèle s’est entraîné sur elles. Un seuil choisi sur ces paires serait donc beaucoup trop bas. Les paires de validation sont des paires candidates d’autres clients. Elles ont la proportion réelle, et le modèle ne les a jamais vues.

Vérifiez votre compréhension

La régression logistique donne un coefficient négatif à la similarité des noms de famille. Un collègue dit : « Un nom de famille identique est donc un indice contre une correspondance. » Que répondez-vous?

Afficher la réponse

Non. Le coefficient représente l’effet du nom de famille après les autres caractéristiques. La plupart des paires difficiles étiquetées « différentes » partagent un nom de famille. C’est parce que nous les avons échantillonnées par nom de famille et par région. De plus, le nom complet, le courriel et le téléphone portent déjà les indices du nom de famille. Le modèle donne donc au nom de famille un petit poids négatif pour équilibrer les autres. Lisez les coefficients ensemble. Testez un modèle selon ses résultats sur les paires de validation, et non selon un seul coefficient.

Récapitulatif

  • Un classificateur de paires lit un vecteur de comparaison et donne un score de 0 à 1. Il apprend à partir de paires étiquetées : nos 3 000 étiquettes synthétiques ou les décisions d’un réviseur.
  • La régression logistique apprend un poids par caractéristique. L’amplification de gradient (gradient boosting, LightGBM) construit de nombreux petits arbres et peut apprendre des combinaisons.
  • Déséquilibre des classes : environ une paire candidate sur 40 est vraie, contre 35 % des paires étiquetées. Choisissez le seuil sur les données de validation, jamais 0,5, et ne mesurez jamais avec l’exactitude.
  • Sur les paires de test : score F1 de 0,911 pour la régression logistique, 0,902 pour LightGBM et 0,797 pour Splink. À une précision de 0,95, la régression logistique trouve 0,874 des vraies paires, et Splink, 0,474.
  • Le modèle le plus simple l’emporte ici. Le projet conserve LightGBM sous lgbm pour la leçon 4, et le tableau montre les deux.

Ensuite, nous demandons combien d’étiquettes il nous faut vraiment et quelles paires un réviseur devrait étiqueter en premier.

Leçon suivante : L'apprentissage actif