L'apprentissage actif
- Leçon 19
- 35 min
- Module 6 : L'appariement appris : classificateurs, plongements et modèles de langage
Où nous en sommes
Notre classificateur a appris à partir d'étiquettes, et chaque étiquette coûte du temps à un réviseur. Certaines étiquettes apprennent davantage au modèle que d'autres. Dans cette leçon, nous étiquetons les paires dont le modèle est le moins sûr. Nous comptons ensuite combien d'étiquettes il faut pour battre Splink.
Leçon 19 sur 29 · Résolution d'entités et appariement d'enregistrements : est-ce la même chose?L'apprentissage actif
1. Le problème de l'appariement
2. Nettoyer d'abord, puis apparier exactement
3. Le blocage : ne pas tout comparer
4. Comparer les enregistrements : les mesures de similarité
5. L'appariement probabiliste
6. L'appariement appris : classificateurs, plongements et modèles de langage
7. Des paires aux entités
8. L'appariement en production
Ce que vous saurez faire
Choisissez les paires qu’un réviseur étiquette : celles dont le modèle est le moins sûr. Simulez un réviseur et comparez ces étiquettes au même nombre d’étiquettes choisies au hasard. Comptez combien d’étiquettes il faut pour battre Splink, puis le classificateur entraîné sur les 3 000 étiquettes.
Carnet JupyterSimuler l'apprentissage actif dans un carnet Jupyter
Le carnet (notebook) Jupyter crée une réserve de paires d’entraînement ayant chacune six caractéristiques. Vous écrivez la fonction qui choisit les paires les plus proches de 0,5. Il exécute ensuite huit cycles de 40 étiquettes, pour les paires incertaines et les paires aléatoires, puis trace les deux courbes. Ses cellules de préparation téléchargent les données. Il ne nécessite donc aucune configuration locale.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- La régression logistique, LightGBM et le seuil choisi sur les paires de validation, dans Un classificateur de paires supervisé.
- Le F1 et le jeu de test, dans Mesurer un apparieur.
Ce qu’il vous faut sur votre ordinateur
- Le projet
larkfield-matchavec les fichiers de la dernière leçon. Vous pouvez aussi utiliser seulement le carnet.
Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été testées.
Une étudiante pose les bonnes questions
Section intitulée « Une étudiante pose les bonnes questions »Une étudiante se prépare à un examen. Son enseignante a seulement le temps de répondre à dix questions. Quelles questions devrait-elle poser?
Pas celles auxquelles elle sait déjà répondre. « Combien font 2 + 2? » ne lui apprend rien. Pas des questions au hasard non plus : la plupart sont faciles. Elle pose des questions sur les problèmes qui la rendent incertaine. Chaque réponse change alors ce qu’elle sait.
Un modèle peut faire la même chose. Il peut nous indiquer les paires dont il est incertain, et un réviseur les étiquette en premier.
Le problème : les étiquettes coûtent du temps et la plupart apprennent peu au modèle
Section intitulée « Le problème : les étiquettes coûtent du temps et la plupart apprennent peu au modèle »Une étiquette coûte du temps à un réviseur. Ivana prend environ 1,2 minute par paire et révise environ 300 paires par jour. Ce sont nos deux hypothèses, tirées de data/costs.json. Donc :
- 3 000 étiquettes prennent 3 000 × 1,2 = 3 600 minutes : 60 heures, soit 10 de ses journées de travail.
- À 40 $ l’heure (notre hypothèse), cela représente 2 400 $.
Et la plupart des paires aléatoires apprennent peu au modèle. Environ 1 paire candidate sur 40 représente le même client. Une paire aléatoire réunit généralement deux inconnus qui n’ont rien en commun. Le modèle les classe déjà correctement. Les étiqueter confirme ce que le modèle sait.
La question de cette leçon : quelques étiquettes bien choisies peuvent-elles remplacer de nombreuses étiquettes aléatoires?
L’idée : étiqueter là où le modèle est incertain
Section intitulée « L’idée : étiqueter là où le modèle est incertain »L’apprentissage actif est une boucle. Le modèle choisit les exemples qu’une personne étiquettera ensuite. La méthode de sélection la plus courante est l’échantillonnage par incertitude : étiqueter les exemples dont le modèle est le moins sûr.
Pour un classificateur de paires, « le moins sûr » signifie un score proche de 0,5. Un score de 0,02 signifie « sûrement différents ». Un score de 0,98 signifie « sûrement les mêmes ». Un score de 0,48 signifie « je ne sais pas ».
Un petit exemple détaillé
Section intitulée « Un petit exemple détaillé »Le modèle attribue un score à quatre paires que personne n’a encore étiquetées. Nous pouvons demander deux étiquettes.
| Paire | Score | Distance de 0,5 | L’étiqueter? |
|---|---|---|---|
| A | 0,10 | 0,40 | non |
| B | 0,48 | 0,02 | oui (en premier) |
| C | 0,90 | 0,40 | non |
| D | 0,55 | 0,05 | oui (en deuxième) |
Nous trions les paires selon leur distance de 0,5 et prenons les deux plus proches : B et D. Le réviseur les étiquette. Le modèle s’entraîne à nouveau avec les nouvelles étiquettes, attribue de nouveaux scores à la réserve, et la boucle continue.
Description textuelle du diagramme
Quatre encadrés disposés en cercle et reliés par des flèches. Entraîner sur les étiquettes obtenues jusqu’ici. Attribuer un score à la réserve de paires d’entraînement non étiquetées. Choisir les 40 paires dont le score est le plus proche de 0,5. Un réviseur les étiquette. L’exemple détaillé se trouve à côté du troisième encadré. Parmi les scores 0,10, 0,48, 0,90 et 0,55, les deux plus proches de 0,5 sont 0,48 et 0,55. Une note indique que le réviseur de la simulation est la vraie réponse. Le réviseur ne fait donc jamais d’erreur.
Comment fonctionne la simulation
Section intitulée « Comment fonctionne la simulation »Nous ne pouvons pas demander à Ivana d’étiqueter des paires pour une leçon. Alors, match active la simule. Nos enregistrements sont synthétiques, et nous connaissons le vrai client de chaque enregistrement. Quand la boucle « demande » une étiquette, elle lit la vraie réponse. Ce réviseur ne fait jamais d’erreur; un vrai réviseur en fait (le module 8 les mesure).
- La réserve : toutes les paires candidates des clients d’entraînement.
- Le départ : 20 étiquettes. La moitié des paires partagent un courriel ou un téléphone (probablement de vraies paires); l’autre moitié est aléatoire. Les premières étiquettes contiennent donc les deux réponses.
- Chaque cycle : entraîner la régression logistique sur les étiquettes obtenues jusqu’ici, puis ajouter 40 étiquettes.
- La comparaison : la même boucle, mais avec 40 paires aléatoires à chaque cycle.
Après chaque cycle, la simulation mesure le F1 sur les paires de test. Le seuil vient des paires de validation, comme dans la dernière leçon.
Exécuter la simulation dans le projet
Section intitulée « Exécuter la simulation dans le projet »-
Copiez les deux nouveaux fichiers de l’instantané
end-of-m06:Fenêtre de terminal S=../nextia-learning-labs/C39/snapshots/end-of-m06cp $S/larkfield_match/active.py larkfield_match/cp $S/larkfield_match/commands/active.py larkfield_match/commands/Fenêtre de terminal $S = "..\nextia-learning-labs\C39\snapshots\end-of-m06"Copy-Item $S\larkfield_match\active.py larkfield_match\Copy-Item $S\larkfield_match\commands\active.py larkfield_match\commands\Aucun nouveau paquet n’est nécessaire.
-
Exécutez la simulation. Elle entraîne 26 modèles, et chacun attribue un score à environ 1,1 million de paires. Cela prend donc quelques minutes :
Fenêtre de terminal match activeTest F1 (threshold: best on validation / 0.5)labels uncertain pairs random pairs20 0.865 / 0.857 0.865 / 0.85760 0.809 / 0.799 0.844 / 0.840100 0.905 / 0.900 0.840 / 0.831140 0.914 / 0.915 0.843 / 0.843180 0.913 / 0.909 0.843 / 0.841220 0.921 / 0.919 0.842 / 0.838260 0.921 / 0.922 0.853 / 0.842300 0.924 / 0.715 0.874 / 0.845340 0.926 / 0.692 0.872 / 0.840380 0.923 / 0.921 0.873 / 0.840420 0.924 / 0.922 0.873 / 0.846460 0.925 / 0.922 0.873 / 0.845500 0.924 / 0.922 0.874 / 0.845Sur notre portable déjà occupé, cela a pris environ 5 minutes et 1,3 Go de mémoire.
Chaque ligne représente un cycle. Le premier nombre de chaque colonne utilise le seuil choisi sur les paires de validation. Le deuxième utilise le seuil fixe de 0,5.
Ce que les étiquettes ont apporté
Section intitulée « Ce que les étiquettes ont apporté »- paires incertaines d'abord
- paires aléatoires
- Splink, sans étiquettes (0,797)
Description textuelle du graphique
Deux courbes de 20 à 500 étiquettes, et une ligne pointillée au F1 de Splink de 0,797. Les deux courbes commencent à 0,865 avec les mêmes 20 étiquettes. La courbe des paires incertaines descend à 0,809 avec 60 étiquettes. Puis elle monte : 0,905 avec 100 étiquettes, 0,914 avec 140, et environ 0,92 à partir de 220. La courbe aléatoire reste entre 0,840 et 0,874. Les deux courbes dépassent Splink à chaque point.
Trois résultats :
- 140 étiquettes de paires incertaines donnent un F1 de 0,914. Cela bat la régression logistique sur les 3 000 paires étiquetées (0,911). Cela bat aussi LightGBM sur ces paires (0,902). Ces 140 étiquettes prennent environ 2,8 heures à Ivana; les 3 000 en prennent 60.
- 140 étiquettes aléatoires donnent 0,843. Les paires aléatoires réunissent surtout des inconnus faciles à distinguer. Chaque étiquette apprend donc peu au modèle.
- Même 20 étiquettes battent Splink (0,865 contre 0,797), peu importe la méthode de sélection. Les étiquettes ont beaucoup de valeur, même en petit nombre.
Pourquoi les 3 000 paires étiquetées font-elles moins bien que les 140 paires choisies? Elles ont été échantillonnées par nom de famille et région, pas là où le modèle est incertain. Beaucoup sont faciles, et leur composition ne ressemble pas à celle des paires difficiles.
La courbe n’est pas régulière
Section intitulée « La courbe n’est pas régulière »Avec 60 étiquettes, la courbe des paires incertaines descend à 0,809. Nous n’avons trouvé aucune cause unique. À ce stade, 40 des 60 étiquettes sont des paires difficiles d’un seul cycle. Un modèle entraîné sur si peu d’étiquettes peut beaucoup changer d’un cycle à l’autre. Des cycles supplémentaires corrigent cela. Ne vous arrêtez pas après un seul cycle, et ne jugez pas après un seul cycle.
Choisir le seuil à chaque cycle
Section intitulée « Choisir le seuil à chaque cycle »La dernière leçon disait : n’utilisez jamais le seuil de 0,5. L’apprentissage actif montre à nouveau pourquoi.
- seuil choisi sur les données de validation
- seuil fixe de 0,5
Description textuelle du graphique
Deux courbes de 20 à 500 étiquettes. Elles restent proches jusqu’à 260 étiquettes (environ 0,92). Avec 300 étiquettes, la courbe du seuil fixe tombe à 0,715, puis à 0,692 avec 340. La courbe du seuil choisi reste à 0,924 et 0,926. À partir de 380 étiquettes, les deux courbes sont de nouveau proches (environ 0,92).
Chaque cycle change les étiquettes, et les scores du modèle se déplacent dans leur ensemble. Nous avons compté les paires candidates de test ayant un score de 0,5 ou plus. Avec 260 étiquettes, il y en a 5 784. Avec 300 étiquettes, il y en a 9 126. Seulement 5 531 paires candidates de test sont de vraies paires. Un seuil fixe de 0,5 considère donc soudainement des milliers de paires supplémentaires comme identiques. Le meilleur seuil sur les paires de validation est passé de 0,59 à 0,72 pendant ce cycle. Un seuil choisi après chaque cycle suit le modèle.
Ce que la simulation ne compte pas
Section intitulée « Ce que la simulation ne compte pas »Soyez honnête quant aux coûts du travail réel :
- Les données de validation ont aussi besoin d’étiquettes. Ici, le seuil utilise les vraies réponses de toutes les paires de validation. En pratique, Ivana doit aussi étiqueter un échantillon aléatoire de paires candidates pour choisir le seuil et mesurer. C’est un coût fixe, qui n’est pas compté dans les 140.
- Les paires incertaines sont des paires difficiles. Un réviseur peut prendre plus de 1,2 minute pour chacune et faire plus d’erreurs. Nous ne l’avons pas mesuré.
- Les étiquettes choisies ne forment pas un échantillon représentatif. Ne mesurez jamais le modèle sur ces paires : ce sont uniquement les plus difficiles. Le module 8 montre ce qui arrive quand les étiquettes de révision sont utilisées sans précaution.
Quand utiliser l’apprentissage actif
Section intitulée « Quand utiliser l’apprentissage actif »| Utilisez-le quand | Ne l’utilisez pas quand | Ce qu’il coûte |
|---|---|---|
| les étiquettes coûtent cher et vous pouvez étiqueter par cycles | vous avez besoin d’un échantillon représentatif pour mesurer : étiquetez des paires aléatoires pour cela | un entraînement et une attribution de scores par cycle : environ 12 secondes sur notre portable pour 1,1 million de paires (régression logistique) |
| le modèle donne déjà des scores utiles à partir de quelques étiquettes initiales | le réviseur ne peut pas attendre les cycles (un seul grand lot) | le temps d’un réviseur sur des paires difficiles : plus de minutes par paire, plus d’erreurs |
| la plupart des paires sont faciles et quelques-unes sont difficiles (le cas habituel en appariement) | le modèle évalue mal sa propre incertitude | un jeu étiqueté distinct pour choisir le seuil |
Erreur courante
Mesurer le modèle sur les étiquettes que vous avez choisies
Symptôme : après 300 étiquettes de paires incertaines, TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. mesure le modèle sur ces 300 paires, par validation croisée. Le F1 est d’environ 0,7. Il conclut que le modèle est faible et achète davantage d’étiquettes.
Cause : les paires incertaines sont les plus difficiles de toutes, par définition. Un score sur ces paires ne dit rien sur les 1,1 million de paires candidates, dont la plupart sont faciles. (Le 0,7 est ici un exemple construit, pas une exécution.) Le même piège fonctionne dans l’autre sens : les étiquettes échantillonnées là où le modèle est sûr le font paraître trop bon.
Solution : gardez un échantillon étiqueté distinct pour le seuil et la mesure. Tirez-le au hasard parmi les paires candidates d’autres clients. Dans le projet, les jeux de validation et de test jouent ce rôle.
Conséquence pour le travail en IA : toutes les données qu’un modèle a choisies lui-même sont biaisées. Cela vaut pour l’apprentissage actif, les files de révision et la rétroaction des utilisateurs.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pourquoi une étiquette sur une paire au score de 0,48 apprend-elle davantage au modèle qu'une étiquette au score de 0,02?
Afficher la réponse
À 0,02, le modèle est déjà sûr que les deux enregistrements sont différents, et il a presque toujours raison. L’étiquette confirme ce qu’il sait et change peu de choses. À 0,48, le modèle ne peut pas décider. L’étiquette lui indique de quel côté du seuil se trouve la paire, et les paires similaires se déplacent aussi. En appariement, la plupart des paires candidates réunissent des inconnus faciles à distinguer. Les étiquettes aléatoires sont donc surtout du premier type.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
140 étiquettes de paires incertaines donnent un F1 de 0,914; les 3 000 paires étiquetées donnent 0,911 avec la régression logistique. Cela signifie-t-il que les étiquettes 141 à 3 000 ne valent rien? Que diriez-vous à Omar?
Afficher la réponse
Non. Cela signifie que quelles paires nous étiquetons compte plus que combien nous en étiquetons. Les 3 000 ont été échantillonnées par nom de famille et région, pas là où le modèle est incertain. Beaucoup étaient donc faciles. La courbe monte encore un peu après 140 (environ 0,92 à partir de 220 étiquettes). Dites trois choses à Omar. Commencez par quelques centaines d’étiquettes choisies par le modèle, par cycles. Gardez un échantillon aléatoire distinct pour mesurer. Arrêtez quand la courbe cesse de monter sur les données de validation. Cela coûte quelques heures de révision, pas dix jours.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec le seuil fixe de 0,5, le F1 tombe à 0,692 avec 340 étiquettes; avec le seuil de validation, il atteint 0,926. Qu'est-ce qui a changé entre les cycles, et quelle est la règle?
Afficher la réponse
Chaque cycle ajoute 40 paires difficiles, et le modèle s’entraîne à nouveau. Cela peut déplacer tous ses scores vers le haut ou le bas. Le point où commence « identiques » se déplace donc aussi. Avec 260 étiquettes, 5 784 paires de test ont un score de 0,5 ou plus; avec 300, c’est 9 126. Un seuil fixe de 0,5 est alors parfois loin du meilleur seuil. La règle : choisissez à nouveau le seuil sur les paires de validation chaque fois que le modèle s’entraîne à nouveau.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Apprentissage actif : le modèle choisit les paires qu’une personne étiquettera ensuite. L’échantillonnage par incertitude choisit les paires dont le score est le plus proche de 0,5.
- Dans notre simulation, le réviseur a toujours raison. 140 étiquettes de paires incertaines donnent un F1 de 0,914 : mieux que les 3 000 paires étiquetées (0,911 et 0,902). 140 étiquettes aléatoires donnent 0,843.
- Même 20 étiquettes battent Splink sans étiquettes (0,865 contre 0,797).
- La courbe n’est pas régulière. Choisissez le seuil sur les données de validation après chaque cycle : avec 0,5, le F1 est tombé à 0,692.
- Gardez un échantillon aléatoire étiqueté pour choisir le seuil et mesurer. Ne mesurez jamais sur les paires choisies par le modèle.
Ensuite, nous essayons un autre type de caractéristique : les plongements (embeddings) d’un petit modèle de langage. Ils représentent les noms, les adresses et les titres de produits.
Leçon suivante : Des plongements pour les noms, les adresses et les produits