Aller au contenu
English

La révision humaine

  • Leçon 27
  • 40 min
  • Module 8 : L'appariement en production

Où nous en sommes

L'exécution quotidienne laisse une zone de paires incertaines. Une personne doit les vérifier. Dans cette leçon, nous créons la file de révision et montrons ce qu'Ivana voit. Nous transformons ses décisions en étiquettes et fixons les seuils selon sa capacité.

Ce que vous saurez faire

Confiez les paires incertaines à une personne. Voyez ce dont la réviseuse a besoin à l’écran. Voyez l’effet de chaque décision sur les entités : une fusion, une interdiction de fusion ou une scission donnant un nouvel identifiant à un enregistrement. Utilisez ensuite les décisions comme étiquettes d’entraînement. Voyez pourquoi elles ont d’abord dégradé le modèle de TermeLarkfieldUne boutique en ligne canadienne inventée, qui vend des articles pour la maison et le jardin. Ce n’est pas une vraie entreprise. Tous les cours Nextia utilisent son service d’assistance et ses données comme exemple.En savoir plus Découvrez Larkfield.

Carnet JupyterRéviser des paires et réentraîner dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter entraîne un petit modèle LightGBM et crée une file de révision avec ses paires incertaines. Une réviseuse simulée décide ensuite du sort de 471 paires. Vous ajoutez ses étiquettes aux données d’entraînement et mesurez le modèle avant et après. Vous refaites ensuite la mesure avec un poids plus faible pour les étiquettes de révision. Les cellules de préparation installent les paquets et téléchargent les données. Aucune configuration locale n’est donc nécessaire.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet après match daily --day 1 de la dernière leçon, avec son environnement virtuel actif. Vous pouvez aussi utiliser seulement le carnet.

Chaque soir, l’ordinateur d’une clinique imprime une courte liste : des paires de fiches qui pourraient représenter le même patient. Le matin, une commis aux dossiers vérifie chaque paire. Elle regarde les deux fiches côte à côte. Elle peut téléphoner à un patient au besoin.

Elle peut vérifier environ quarante paires avant l’ouverture de la clinique. Si la liste contient quatre cents paires, elle ne la termine jamais. Les dernières paires attendent alors des semaines.

Ses décisions servent à deux choses. Aujourd’hui, elles réunissent deux fiches ou les gardent séparées. Plus tard, elles servent aussi à l’apprentissage. Chaque décision est une paire étiquetée, dont l’ordinateur peut apprendre. Mais elle voit seulement les paires difficiles. Les paires faciles n’arrivent jamais sur son bureau.

Chez Larkfield, cette commis est Ivana, la responsable des données clients. La liste est la file de révision.

Le problème : une file qu’une personne doit pouvoir terminer

Section intitulée « Le problème : une file qu’une personne doit pouvoir terminer »

Dans Des poids à une décision, la zone de révision des poids Splink de 10 à 20 contenait 13 378 paires en attente. Cela représente 44,6 jours ouvrables pour Ivana, selon l’hypothèse de 300 paires par jour. L’exécution quotidienne est un autre travail : de 51 à 76 nouvelles paires par jour. La taille de la zone détermine si une personne peut suivre le rythme.

Une zone de révision a deux limites, et chacune a un coût :

  • Élargissez-la, et moins d’erreurs passent sans intervention humaine. Mais la file s’allonge.
  • Rétrécissez-la, et Ivana termine tôt. Mais davantage de fusions erronées et de correspondances manquées passent sans vérification.

La capacité de la réviseuse limite donc les seuils, tout autant que la précision du modèle. L’explorateur ci-dessous est celui du module 5, avec l’ensemble des 60 108 enregistrements en attente. Ses seuils de départ sont 12 et 20.

Explorer

Combien de jours de révision les seuils donnent-ils?

Zone de fusion
21 523 pairesprécision 0,916
Zone de révision
6 137 paires2 830 vraies paires
Jours de révision
20,5 jours
Si chaque révision est juste
rappel 0,814, précision 0,926

Seuils 12 et 20 : 21 523 paires fusionnent sans révision (précision 0,916). 6 137 paires vont en révision, dont 2 830 vraies paires. Une personne à 300 paires par jour a besoin de 20,5 jours ouvrables. Si chaque révision est juste : rappel 0,814, précision 0,926. C’est plus que les 20 jours de révision qu’Ivana peut donner.

Jours de révision pour chaque paire de seuils (une personne, 300 paires par jour). Sous chaque nombre : les paires de la zone de révision.
Bas ↓ / haut →1618202225
5178,453 524182,054 614187,556 264197,259 150212,363 688
868,320 49872,021 58877,523 23887,126 124102,230 662
1035,510 63839,111 72844,613 37854,216 26469,320 802
1211,33 39715,04 48720,56 13730,19 02345,213 561
143,91 1607,52 25013,03 90022,66 78637,711 324
Poids de correspondance Splink mesurés pour chaque paire candidate des 60 108 enregistrements synthétiques, toutes partitions confondues. Les 300 paires par jour d'Ivana sont une hypothèse du cours. Les 20 jours ouvrables pour les paires en attente sont une hypothèse du module 5.
Description textuelle de l’explorateur

L’explorateur a deux curseurs. Le seuil inférieur prend les valeurs 5, 8, 10, 12 et 14; le seuil supérieur, 16, 18, 20, 22 et 25. Ils commencent à 12 et 20. Quatre tuiles montrent la zone de correspondance (21 523 paires, précision de 0,916), la zone de révision (6 137 paires, dont 2 830 vraies paires), les jours de révision (20,5) et le résultat si chaque révision est correcte (rappel de 0,814, précision de 0,926). Une phrase répète ces nombres et indique si la révision tient en 20 jours : à 20,5 jours, elle dépasse légèrement. Un diagramme à barres montre les jours de révision pour chaque seuil inférieur, au seuil supérieur choisi. Une ligne pointillée marque 20 jours. Un tableau donne les jours et les paires à réviser pour les 25 combinaisons de seuils. Avec un seuil supérieur de 20 : le seuil inférieur 5 donne 187,5 jours; 8, 77,5; 10, 44,6; 12, 20,5; 14, 13,0.

Les seuils 12 et 20 demandent 20,5 jours : une demi-journée de trop. Les seuils 14 et 20 conviennent, à 13,0 jours. L’exécution quotidienne utilise la zone de 0,1 à 0,9 de la probabilité bien étalonnée de LightGBM. Elle donne à Ivana environ 70 paires par jour. Ivana a donc de la capacité disponible. Si la file s’allonge, les seuils doivent changer, ou Larkfield doit ajouter une deuxième personne à la révision.

Un bon écran de révision montre les deux enregistrements côte à côte, champ par champ, avec les différences marquées. Il indique aussi pourquoi la paire est dans la file. Ivana ne devrait pas devoir chercher dans d’autres systèmes pour chaque paire.

  1. Affichez les trois premières paires de la file :

    Fenêtre de terminal
    match review --show 3
    Review queue: 74 pairs (unsure 70, would join two entities 4)
    D1-0282 / S-006406 probability 1.00 (would join two entities)
    name Richard Johnson Richard Johnson
    email johnson.richard81@example.net johnson.richard81@example.net
    ≠ phone 4165555430 (416) 555-5430
    ≠ address 868 Hawthorn Pl. #22, Wrenhollow ON 868 Hawthorn Pl Apt 22, Wrenhollow ON
    postcode K4N 7N8 K4N 7N8
    ≠ date_of_birth - 1937-01-06
    D1-0209 / S-004695 probability 0.92 (would join two entities)
    ≠ name Emma Smith Emma Simth
    ≠ email emma.smith22@mail.example emma.smith36@post.example
    ≠ phone - 1-250-555-3426
    address 9785 Orchard Place, Alderholm BC 9785 Orchard Place, Alderholm BC
    postcode V9M 2A1 V9M 2A1
    ≠ date_of_birth - 2006-07-24
    D1-0176 / S-019824 probability 0.92 (would join two entities)
    ≠ name Melanie Roy Mélanie Roy
    email melanie.roy@example.com melanie.roy@example.com
    ≠ phone (819) 555-4445 (819) 555-4702
    ≠ address - 4609 boul. de la Colline, Val-des-Hérons QC
    ≠ postcode G1R 8V0 G9Y 7M2
    ≠ date_of_birth 13/09/1970 1970-09-13

    ≠ marque un champ dont les valeurs écrites diffèrent. Beaucoup de marques indiquent seulement un format différent : les téléphones 4165555430 et (416) 555-5430 représentent le même numéro.

  2. Laissez la réviseuse simulée décider du sort de la file du jour :

    Fenêtre de terminal
    match review --decide
    Review queue: 74 pairs (unsure 70, would join two entities 4)
    Decided 74 pairs: 33 same, 41 different (1 reviewer mistakes, simulated); 0 left in the queue

La première paire montre pourquoi une personne aide. Les deux anciens enregistrements de Richard Johnson étaient deux entités, car leurs dates de naissance sont 06/01/1973 et 1937-01-06. Le regroupement sûr de Un regroupement plus sûr garde deux dates de naissance séparées. Une personne voit tout de suite que les chiffres de l’année sont inversés. Le modèle ne le voit pas.

Dans ce cours, la réviseuse est simulée : elle décide à partir de la vraie réponse et se trompe sur 2 % des paires. Ce taux est notre hypothèse. Il faut mesurer le taux d’erreur d’une vraie réviseuse, par exemple en donnant les mêmes paires à deux réviseurs.

Chaque décision change les entités et reste aussi comme étiquette.

La boucle de révision. La file de révision contient 471 paires dans la semaine, de 51 à 76 par jour. Ivana voit les deux enregistrements champ par champ, avec les différences marquées. Une décision « identiques » fusionne les deux entités, l'identifiant le plus ancien reste, et la fusion est inscrite dans history.jsonl. Une décision « différents » inscrit la paire dans cannot_link.csv, et elle ne fusionne plus jamais. Chaque décision est aussi une étiquette dans review_labels.csv : 231 identiques et 240 différents dans la semaine. Un dernier encadré : utilisez les étiquettes avec prudence, avec un test distinct et un poids plus faible.
L'effet d'une décision de révision : elle change les entités aujourd'hui et devient une étiquette d'entraînement plus tard.
Description textuelle du diagramme

Le schéma commence par la file de révision : 471 paires dans la semaine, de 51 à 76 par jour. Une flèche mène à l’écran d’Ivana : les deux enregistrements, champ par champ, avec les différences marquées. Deux flèches en sortent. « Identiques » (vert) fusionne les deux entités; l’identifiant le plus ancien reste; la fusion est inscrite dans history.jsonl. « Différents » (rouge) inscrit la paire dans cannot_link.csv, pour empêcher toute fusion future. En dessous, un encadré bleu : chaque décision est aussi une étiquette dans review_labels.csv, 231 identiques et 240 différents dans la semaine. Une flèche mène à un encadré jaune : utilisez les étiquettes avec prudence, avec un test distinct et un poids plus faible.

  • « Identiques » fusionne les deux entités. L’entité la plus ancienne garde son identifiant, et l’historique indique quel identifiant a été retiré.
  • « Différents » va dans outputs/cannot_link.csv. Les exécutions suivantes lisent ce fichier : le regroupement sûr ne réunit plus jamais les deux enregistrements, même avec un score élevé.
  • Chaque décision va dans outputs/review_labels.csv, avec la personne qui a décidé.

Parfois, une réviseuse trouve une fusion erronée déjà effectuée. Elle la scinde alors : un enregistrement quitte son entité. Voici une fusion erronée du jour 1. Le nouvel enregistrement du magasin de Marie Ève Bérubé, D1-0184, a rejoint l’entité de Marie-Claude Bérubé. Le lien venait d’un courriel familial partagé, mberube@post.example. Ce sont deux femmes.

Fenêtre de terminal
match undo D1-0184
D1-0184 is now entity LK-D1-0184; the other 2 record(s) stay in LK-G-002767.
Recorded in outputs/history.jsonl and outputs/cannot_link.csv (safe clustering will keep them apart).
Identifiants d'entité avant et après une scission. Avant : l'entité LK-G-002767 avec les enregistrements D1-0184, G-002767, L-004561. La commande match undo D1-0184. Après : l'entité LK-G-002767 avec les enregistrements G-002767, L-004561, et une nouvelle entité LK-D1-0184 avec l'enregistrement D1-0184. cannot_link.csv reçoit D1-0184 avec chaque enregistrement de LK-G-002767. history.jsonl reçoit un événement de scission de LK-G-002767 vers LK-D1-0184.
Une scission : l'enregistrement fusionné par erreur reçoit un nouvel identifiant d'entité. Les autres enregistrements gardent l'ancien.
Description textuelle du diagramme

À gauche, avant : l’entité LK-G-002767 avec les enregistrements D1-0184, G-002767, L-004561. Une flèche portant « match undo D1-0184 » mène au côté droit, après. L’entité LK-G-002767 contient toujours les enregistrements G-002767, L-004561. Une nouvelle entité, LK-D1-0184, contient seulement l’enregistrement D1-0184. Une note indique que cannot_link.csv contient maintenant D1-0184 avec chaque enregistrement de LK-G-002767. Elle indique aussi que history.jsonl contient un événement de scission de LK-G-002767 vers LK-D1-0184.

Voici la règle pour l’identifiant d’entité lors d’une scission : les enregistrements qui restent gardent l’ancien identifiant; l’enregistrement qui part en reçoit un nouveau. Les autres systèmes qui pointent vers {sp.old_after} pointent toujours vers Marie-Claude Bérubé. Un cas diffère : si l’entité porte le nom de l’enregistrement qui part, cet enregistrement garde le nom. Les autres reçoivent alors un nouveau nom : LK- suivi de leur plus petit identifiant d’enregistrement. Dans les deux cas, l’historique indique quels enregistrements ont reçu quel identifiant.

La semaine de révision a donné 471 paires étiquetées : 231 « identiques » et 240 « différents », avec 12 erreurs simulées. Ce sont des données d’entraînement gratuites. Le plan de TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. semble évident : les ajouter aux 3 000 paires étiquetées et entraîner de nouveau.

  1. Exécutez les six autres jours. Chaque jour, la réviseuse décide du sort de la file du jour :

    Fenêtre de terminal
    for d in 2 3 4 5 6 7; do match daily --day $d; match review --decide; done
    Day 2: 300 new records: 151 joined an existing entity, 149 started a new entity
    70 pairs sent to review; 2 record(s) would join two entities (not merged alone)
    checked against the true customers: 148 right joins, 3 wrong joins, 25 new entities for customers we already knew
    Review queue: 70 pairs (unsure 68, would join two entities 2)
    Decided 70 pairs: 36 same, 34 different (3 reviewer mistakes, simulated); 0 left in the queue
    …
    Day 7: 300 new records: 132 joined an existing entity, 168 started a new entity
    76 pairs sent to review; 4 record(s) would join two entities (not merged alone)
    checked against the true customers: 130 right joins, 3 wrong joins, 18 new entities for customers we already knew
    Review queue: 76 pairs (unsure 72, would join two entities 4)
    Decided 76 pairs: 37 same, 39 different (1 reviewer mistakes, simulated); 0 left in the queue
  2. Réentraînez LightGBM avec les étiquettes de révision. Comparez-le au modèle des 3 000 étiquettes sur le jeu de test :

    Fenêtre de terminal
    match review --retrain
    Review queue: 0 pairs
    lgbm without review labels: test precision 0.918, recall 0.886, F1 0.902
    lgbm with 471 review labels: test precision 0.880, recall 0.875, F1 0.878
    Saved the retrained model in outputs/models/lgbm-review.pkl (outputs/models/lgbm.pkl is unchanged)

    Le modèle réentraîné va dans son propre fichier. Le modèle des 3 000 étiquettes reste dans outputs/models/lgbm.pkl. Ainsi, match daily et les autres commandes l’utilisent toujours.

Plus d’étiquettes, et le modèle est moins bon : le F1 passe de 0,902 à 0,878. La précision baisse le plus, de 0,918 à 0,880. C’est ce que nous avons constaté. Ce n’était pas ce que nous attendions.

Les étiquettes de révision ne ressemblent pas aux 3 000 paires étiquetées. Elles forment un échantillon différent : un choix de paires différent.

  • Ce sont seulement les paires les plus difficiles. Chaque paire révisée était une paire dont le modèle était incertain. Les 3 000 paires ont été échantillonnées par nom de famille et région, au hasard et parmi les vraies paires. Elles mélangent les cas faciles et difficiles.
  • Elles changent l’équilibre. Les 3 000 paires sont à 35 % « identiques ». Les paires de révision sont à 49 % « identiques ». Voici notre interprétation, que nous n’avons pas testée : dans les paires révisées, « identiques » ressemble souvent à une famille. L’adresse et le nom de famille sont partagés, mais le prénom diffère. Le modèle apprend que cette apparence signifie souvent « identiques », et fusionne davantage de familles. Cela concorde avec la baisse de précision.
  • Elles contiennent les erreurs de la réviseuse. 12 des 471 étiquettes sont fausses.

Nous avons testé chaque raison avec de nouvelles exécutions, sur le même jeu de test :

LightGBM entraîné sur les 3 000 paires étiquetées et les 471 étiquettes de révision avec différents poids, mesuré sur le jeu de test. Le poids de 1 correspond à ce que fait match review --retrain. L'axe commence à 0,85, ce qui fait paraître les petits écarts plus grands.
Description textuelle du graphique

Un diagramme à colonnes du F1 sur un axe de 0,85 à 0,91. Sans étiquettes de révision : 0,902. Étiquettes de révision avec un poids de 0,1 : 0,904; poids de 0,25 : 0,9; poids de 0,5 : 0,904. Poids de 1 : 0,878. Poids de 1 avec les erreurs de la réviseuse corrigées : 0,888.

Deux choses ressortent :

  • Les erreurs expliquent seulement une partie de la baisse. Avec toutes les erreurs corrigées, le F1 est de 0,888 : toujours sous 0,902. La plus grande partie vient du choix des paires que les étiquettes décrivent.
  • Un poids plus faible élimine l’effet nuisible. Un poids indique combien une étiquette compte dans l’entraînement. Si chaque étiquette de révision compte pour un quart ou une moitié d’étiquette normale, le F1 reste entre 0,9 et 0,904.

Faut-il donc exclure les étiquettes de révision? Pas encore. Le jeu de test mesure les paires courantes. Les paires révisées sont celles qui comptent le plus pour Ivana. Il nous faut un test distinct : des paires difficiles que le modèle n’a pas vues.

Nous avons entraîné le modèle seulement sur les étiquettes de révision des jours 1 à 5. Nous l’avons testé sur les 127 paires révisées des jours 6 et 7, avec leurs vraies réponses :

ModèleRéponses correctes sur les paires difficiles des jours 6 et 7Déclarées « identiques »
sans étiquettes de révision49,6 %127 sur 127 (vrai nombre : 63)
étiquettes de révision des jours 1 à 5, poids de 181,9 %66 sur 127 (vrai nombre : 63)
étiquettes de révision des jours 1 à 5, poids de 0,2581,9 %70 sur 127 (vrai nombre : 63)

Sans étiquettes de révision, le modèle déclare les 127 paires difficiles « identiques ». Il a raison dans 49,6 % des cas : pas mieux qu’un tirage à pile ou face. Avec les étiquettes de révision, il a raison dans 81,9 % des cas. Les étiquettes de révision enseignent exactement ce que le modèle ne savait pas. Elles déforment aussi sa représentation des paires courantes.

La leçon : les étiquettes de révision ont besoin de leur propre poids et de leur propre test. Mesurez chaque modèle réentraîné deux fois : sur le jeu de test et sur de nouvelles paires révisées qu’il n’a pas vues. Gardez un modèle seulement s’il n’est moins bon sur aucun des deux tests. Le sens du changement n’est pas fixé. Le carnet utilise un modèle plus petit, et son lot de révision est aussi équilibré que les 3 000 étiquettes. Dans ce cas, la même étape a fait monter le F1 de 0,854 à 0,876. Mesurez-le chaque fois. Le cours d’apprentissage automatique explique pourquoi un échantillon différent des données réelles trompe un modèle, dans Données d’entraînement, de validation et de test.

Quand utiliser la révision humaine et combien elle coûte

Section intitulée « Quand utiliser la révision humaine et combien elle coûte »
  • Utilisez-la là où une erreur coûte cher et où une personne peut mieux décider que le modèle. Chez Larkfield, une fusion erronée coûte 150 $ selon notre hypothèse. Une révision coûte environ 0,80 $ (1,2 minute à 40 $ l’heure).
  • Fixez la taille de la zone selon la capacité de la réviseuse. Demandez combien de paires par jour et combien de jours. Changez les seuils lorsque la file s’allonge.
  • Concevez l’écran. Les deux enregistrements, champ par champ, les différences marquées et la raison de la paire. Rendez les différences de format moins visibles que les différences réelles.
  • Mesurez aussi la réviseuse. Donnez certaines paires à deux réviseurs, ou ajoutez à la file des paires dont la réponse est connue. Une réviseuse fatiguée fait plus d’erreurs en fin de journée.
  • Conservez chaque décision. « Différents » doit interdire la paire pour toujours. Une scission doit laisser l’ancien identifiant aux enregistrements qui restent.

Erreur courante

Réentraîner avec toutes les étiquettes de révision à plein poids

Symptôme : après une semaine, Tomás ajoute les 471 étiquettes de révision aux données d’entraînement et réentraîne. Le F1 de test passe de 0,902 à 0,878. Davantage de familles sont fusionnées.

Cause : les paires révisées sont seulement les plus difficiles. Elles sont à 49 % « identiques », contre 35 % dans les 3 000 paires étiquetées. À plein poids, elles changent la représentation d’une paire normale pour le modèle. Les erreurs de la réviseuse ajoutent un peu plus d’effet nuisible.

Solution : donnez un poids plus faible aux étiquettes de révision : de 0,25 à 0,5 a fonctionné ici. Testez chaque modèle réentraîné sur le jeu de test et sur de nouvelles paires révisées qu’il n’a pas vues.

Conséquence pour le travail en IA : les personnes qui vérifient les cas incertains d’un modèle produisent un échantillon biaisé d’étiquettes. C’est vrai dans tous les domaines : transactions signalées, publications modérées, réponses corrigées d’un modèle de langage. Ces étiquettes sont précieuses et ont besoin de leur propre poids et de leur propre test.

Vérifiez votre compréhension

Une réviseuse découvre que l'enregistrement S-001234 a été fusionné par erreur avec l'entité LK-G-000777, qui contient trois autres enregistrements. Elle le sépare. Que deviennent les identifiants d'entité, et où peut-on le voir dans les données?

Afficher la réponse

Les trois autres enregistrements restent dans LK-G-000777 : leur identifiant ne change pas. Les systèmes qui y font référence pointent donc toujours vers le même client. S-001234 reçoit une nouvelle entité, LK-S-001234. Dans les données, outputs/entities.csv montre la nouvelle entité. outputs/cannot_link.csv contient S-001234 avec chacun des trois enregistrements, pour empêcher toute nouvelle fusion entre eux. outputs/history.jsonl contient un événement « split » (scission) de LK-G-000777 vers LK-S-001234. Un cas est différent : si l’entité avait été nommée d’après S-001234, S-001234 garderait ce nom. Les trois autres recevraient un nouveau nom, et l’historique l’indiquerait.

Vérifiez votre compréhension

La file de révision atteint 450 paires par jour, et Ivana peut en réviser 300. Nommez deux solutions et le coût de chacune.

Afficher la réponse

Réduisez la zone de révision : augmentez le seuil inférieur ou abaissez le seuil supérieur. Le coût : le système décide de plus de paires sans intervention humaine. Il manque donc plus de correspondances sous la zone, ou produit plus de fusions erronées au-dessus. Ou ajoutez du temps de révision : un deuxième réviseur, ou des journées de révision plus longues. Le coût est d’environ 0,80 $ par paire (selon l’hypothèse). Une troisième solution est un meilleur modèle, qui laisse moins de paires incertaines; il demande du temps de développement.

Vérifiez votre compréhension

Avec 471 étiquettes de révision, le F1 sur le jeu de test est passé de 0,902 à 0,878. Mais le modèle réentraîné avait raison bien plus souvent sur les nouvelles paires difficiles. Quel modèle Larkfield devrait-il utiliser?

Afficher la réponse

Ni l’un ni l’autre tel quel. Avec le poids maximal, le modèle réentraîné est moins bon sur les paires courantes, qui constituent l’essentiel du travail quotidien. L’ancien modèle échoue sur les paires difficiles, qui vont de toute façon à Ivana. Entraînez le modèle avec un poids plus faible pour les étiquettes de révision, par exemple 0,25. Ici, le F1 sur le jeu de test est resté à 0,900. Le modèle avait raison sur 81,9 % des nouvelles paires difficiles. Évaluez les deux avant de changer de modèle.

Récapitulatif

  • La file de révision contient les paires pour lesquelles le modèle est incertain. Sa taille doit respecter la capacité du réviseur : ici, 51 à 76 paires par jour, contre une capacité supposée de 300.
  • Le réviseur doit voir les deux enregistrements côte à côte, les différences indiquées et la raison de la paire.
  • « Same » (identique) fusionne les enregistrements et conserve l’identifiant le plus ancien. « Different » (différent) ajoute la paire à cannot_link.csv. Une scission donne un nouvel identifiant à l’enregistrement qui quitte le groupe; les autres gardent le leur.
  • Avec le poids maximal, les 471 étiquettes de révision ont dégradé LightGBM : F1 de 0,902 → 0,878. Elles représentent seulement les paires les plus difficiles et changent l’équilibre. Un poids de 0,25 à 0,5 a maintenu le F1 entre 0,900 et 0,904.
  • Testez un modèle réentraîné sur le jeu de test et sur de nouvelles paires de révision.

Ensuite, nous passons des 60 000 enregistrements de Larkfield à 100 000, puis à 1 million, pour voir ce qui change.

Leçon suivante : La mise à l'échelle