Aller au contenu
English

L'apprentissage actif

  • Leçon 19
  • 35 min
  • Module 6 : L'appariement appris : classificateurs, plongements et modèles de langage

Où nous en sommes

Notre classificateur a appris à partir d'étiquettes, et chaque étiquette coûte du temps à un réviseur. Certaines étiquettes apprennent davantage au modèle que d'autres. Dans cette leçon, nous étiquetons les paires dont le modèle est le moins sûr. Nous comptons ensuite combien d'étiquettes il faut pour battre Splink.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité

Ce que vous saurez faire

Choisissez les paires qu’un réviseur étiquette : celles dont le modèle est le moins sûr. Simulez un réviseur et comparez ces étiquettes au même nombre d’étiquettes choisies au hasard. Comptez combien d’étiquettes il faut pour battre Splink, puis le classificateur entraîné sur les 3 000 étiquettes.

Carnet JupyterSimuler l'apprentissage actif dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter crée une réserve de paires d’entraînement ayant chacune six caractéristiques. Vous écrivez la fonction qui choisit les paires les plus proches de 0,5. Il exécute ensuite huit cycles de 40 étiquettes, pour les paires incertaines et les paires aléatoires, puis trace les deux courbes. Ses cellules de préparation téléchargent les données. Il ne nécessite donc aucune configuration locale.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Le projet larkfield-match avec les fichiers de la dernière leçon. Vous pouvez aussi utiliser seulement le carnet.

Testé sur macOS avec Python 3.12.13. Les commandes Windows (PowerShell) n’ont pas été testées.

Une étudiante se prépare à un examen. Son enseignante a seulement le temps de répondre à dix questions. Quelles questions devrait-elle poser?

Pas celles auxquelles elle sait déjà répondre. « Combien font 2 + 2? » ne lui apprend rien. Pas des questions au hasard non plus : la plupart sont faciles. Elle pose des questions sur les problèmes qui la rendent incertaine. Chaque réponse change alors ce qu’elle sait.

Un modèle peut faire la même chose. Il peut nous indiquer les paires dont il est incertain, et un réviseur les étiquette en premier.

Le problème : les étiquettes coûtent du temps et la plupart apprennent peu au modèle

Section intitulée « Le problème : les étiquettes coûtent du temps et la plupart apprennent peu au modèle »

Une étiquette coûte du temps à un réviseur. Ivana prend environ 1,2 minute par paire et révise environ 300 paires par jour. Ce sont nos deux hypothèses, tirées de data/costs.json. Donc :

  • 3 000 étiquettes prennent 3 000 × 1,2 = 3 600 minutes : 60 heures, soit 10 de ses journées de travail.
  • À 40 $ l’heure (notre hypothèse), cela représente 2 400 $.

Et la plupart des paires aléatoires apprennent peu au modèle. Environ 1 paire candidate sur 40 représente le même client. Une paire aléatoire réunit généralement deux inconnus qui n’ont rien en commun. Le modèle les classe déjà correctement. Les étiqueter confirme ce que le modèle sait.

La question de cette leçon : quelques étiquettes bien choisies peuvent-elles remplacer de nombreuses étiquettes aléatoires?

L’idée : étiqueter là où le modèle est incertain

Section intitulée « L’idée : étiqueter là où le modèle est incertain »

L’apprentissage actif est une boucle. Le modèle choisit les exemples qu’une personne étiquettera ensuite. La méthode de sélection la plus courante est l’échantillonnage par incertitude : étiqueter les exemples dont le modèle est le moins sûr.

Pour un classificateur de paires, « le moins sûr » signifie un score proche de 0,5. Un score de 0,02 signifie « sûrement différents ». Un score de 0,98 signifie « sûrement les mêmes ». Un score de 0,48 signifie « je ne sais pas ».

Le modèle attribue un score à quatre paires que personne n’a encore étiquetées. Nous pouvons demander deux étiquettes.

Paire Score Distance de 0,5 L’étiqueter?
A 0,10 0,40 non
B 0,48 0,02 oui (en premier)
C 0,90 0,40 non
D 0,55 0,05 oui (en deuxième)

Nous trions les paires selon leur distance de 0,5 et prenons les deux plus proches : B et D. Le réviseur les étiquette. Le modèle s’entraîne à nouveau avec les nouvelles étiquettes, attribue de nouveaux scores à la réserve, et la boucle continue.

Une boucle en quatre étapes. 1 : entraîner la régression logistique sur les étiquettes obtenues jusqu'ici (20 au départ). 2 : attribuer un score à chaque paire non étiquetée de la réserve. 3 : choisir les 40 paires les plus proches de 0,5 (exemple : scores de 0,10, 0,48, 0,90 et 0,55; les deux plus proches sont 0,48 et 0,55). 4 : le réviseur les étiquette (dans la simulation, c'est la vraie réponse). Puis retour à l'étape 1. Après chaque cycle, le F1 de test est mesuré avec un seuil choisi sur les paires de validation.
La boucle d'apprentissage actif que simule la commande match active : 12 cycles de 40 étiquettes, après 20 étiquettes initiales.
Description textuelle du diagramme

Quatre encadrés disposés en cercle et reliés par des flèches. Entraîner sur les étiquettes obtenues jusqu’ici. Attribuer un score à la réserve de paires d’entraînement non étiquetées. Choisir les 40 paires dont le score est le plus proche de 0,5. Un réviseur les étiquette. L’exemple détaillé se trouve à côté du troisième encadré. Parmi les scores 0,10, 0,48, 0,90 et 0,55, les deux plus proches de 0,5 sont 0,48 et 0,55. Une note indique que le réviseur de la simulation est la vraie réponse. Le réviseur ne fait donc jamais d’erreur.

Nous ne pouvons pas demander à Ivana d’étiqueter des paires pour une leçon. Alors, match active la simule. Nos enregistrements sont synthétiques, et nous connaissons le vrai client de chaque enregistrement. Quand la boucle « demande » une étiquette, elle lit la vraie réponse. Ce réviseur ne fait jamais d’erreur; un vrai réviseur en fait (le module 8 les mesure).

  • La réserve : toutes les paires candidates des clients d’entraînement.
  • Le départ : 20 étiquettes. La moitié des paires partagent un courriel ou un téléphone (probablement de vraies paires); l’autre moitié est aléatoire. Les premières étiquettes contiennent donc les deux réponses.
  • Chaque cycle : entraîner la régression logistique sur les étiquettes obtenues jusqu’ici, puis ajouter 40 étiquettes.
  • La comparaison : la même boucle, mais avec 40 paires aléatoires à chaque cycle.

Après chaque cycle, la simulation mesure le F1 sur les paires de test. Le seuil vient des paires de validation, comme dans la dernière leçon.

  1. Copiez les deux nouveaux fichiers de l’instantané end-of-m06 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C39/snapshots/end-of-m06
    cp $S/larkfield_match/active.py larkfield_match/
    cp $S/larkfield_match/commands/active.py larkfield_match/commands/

    Aucun nouveau paquet n’est nécessaire.

  2. Exécutez la simulation. Elle entraîne 26 modèles, et chacun attribue un score à environ 1,1 million de paires. Cela prend donc quelques minutes :

    Fenêtre de terminal
    match active
    Test F1 (threshold: best on validation / 0.5)
    labels uncertain pairs random pairs
    20 0.865 / 0.857 0.865 / 0.857
    60 0.809 / 0.799 0.844 / 0.840
    100 0.905 / 0.900 0.840 / 0.831
    140 0.914 / 0.915 0.843 / 0.843
    180 0.913 / 0.909 0.843 / 0.841
    220 0.921 / 0.919 0.842 / 0.838
    260 0.921 / 0.922 0.853 / 0.842
    300 0.924 / 0.715 0.874 / 0.845
    340 0.926 / 0.692 0.872 / 0.840
    380 0.923 / 0.921 0.873 / 0.840
    420 0.924 / 0.922 0.873 / 0.846
    460 0.925 / 0.922 0.873 / 0.845
    500 0.924 / 0.922 0.874 / 0.845

    Sur notre portable déjà occupé, cela a pris environ 5 minutes et 1,3 Go de mémoire.

Chaque ligne représente un cycle. Le premier nombre de chaque colonne utilise le seuil choisi sur les paires de validation. Le deuxième utilise le seuil fixe de 0,5.

  • paires incertaines d'abord
  • paires aléatoires
  • Splink, sans étiquettes (0,797)
F1 de test de la régression logistique après chaque cycle, sur nos enregistrements synthétiques, avec le seuil choisi sur les paires de validation. Les paires incertaines atteignent 0,905 avec 100 étiquettes. Les paires aléatoires restent sous 0,88 après 500 étiquettes.
Description textuelle du graphique

Deux courbes de 20 à 500 étiquettes, et une ligne pointillée au F1 de Splink de 0,797. Les deux courbes commencent à 0,865 avec les mêmes 20 étiquettes. La courbe des paires incertaines descend à 0,809 avec 60 étiquettes. Puis elle monte : 0,905 avec 100 étiquettes, 0,914 avec 140, et environ 0,92 à partir de 220. La courbe aléatoire reste entre 0,840 et 0,874. Les deux courbes dépassent Splink à chaque point.

Trois résultats :

  1. 140 étiquettes de paires incertaines donnent un F1 de 0,914. Cela bat la régression logistique sur les 3 000 paires étiquetées (0,911). Cela bat aussi LightGBM sur ces paires (0,902). Ces 140 étiquettes prennent environ 2,8 heures à Ivana; les 3 000 en prennent 60.
  2. 140 étiquettes aléatoires donnent 0,843. Les paires aléatoires réunissent surtout des inconnus faciles à distinguer. Chaque étiquette apprend donc peu au modèle.
  3. Même 20 étiquettes battent Splink (0,865 contre 0,797), peu importe la méthode de sélection. Les étiquettes ont beaucoup de valeur, même en petit nombre.

Pourquoi les 3 000 paires étiquetées font-elles moins bien que les 140 paires choisies? Elles ont été échantillonnées par nom de famille et région, pas là où le modèle est incertain. Beaucoup sont faciles, et leur composition ne ressemble pas à celle des paires difficiles.

Avec 60 étiquettes, la courbe des paires incertaines descend à 0,809. Nous n’avons trouvé aucune cause unique. À ce stade, 40 des 60 étiquettes sont des paires difficiles d’un seul cycle. Un modèle entraîné sur si peu d’étiquettes peut beaucoup changer d’un cycle à l’autre. Des cycles supplémentaires corrigent cela. Ne vous arrêtez pas après un seul cycle, et ne jugez pas après un seul cycle.

La dernière leçon disait : n’utilisez jamais le seuil de 0,5. L’apprentissage actif montre à nouveau pourquoi.

  • seuil choisi sur les données de validation
  • seuil fixe de 0,5
Les mêmes étiquettes de paires incertaines, mesurées avec deux seuils. Avec le seuil fixe de 0,5, le F1 tombe à 0,715 avec 300 étiquettes et à 0,692 avec 340, puis remonte.
Description textuelle du graphique

Deux courbes de 20 à 500 étiquettes. Elles restent proches jusqu’à 260 étiquettes (environ 0,92). Avec 300 étiquettes, la courbe du seuil fixe tombe à 0,715, puis à 0,692 avec 340. La courbe du seuil choisi reste à 0,924 et 0,926. À partir de 380 étiquettes, les deux courbes sont de nouveau proches (environ 0,92).

Chaque cycle change les étiquettes, et les scores du modèle se déplacent dans leur ensemble. Nous avons compté les paires candidates de test ayant un score de 0,5 ou plus. Avec 260 étiquettes, il y en a 5 784. Avec 300 étiquettes, il y en a 9 126. Seulement 5 531 paires candidates de test sont de vraies paires. Un seuil fixe de 0,5 considère donc soudainement des milliers de paires supplémentaires comme identiques. Le meilleur seuil sur les paires de validation est passé de 0,59 à 0,72 pendant ce cycle. Un seuil choisi après chaque cycle suit le modèle.

Soyez honnête quant aux coûts du travail réel :

  • Les données de validation ont aussi besoin d’étiquettes. Ici, le seuil utilise les vraies réponses de toutes les paires de validation. En pratique, Ivana doit aussi étiqueter un échantillon aléatoire de paires candidates pour choisir le seuil et mesurer. C’est un coût fixe, qui n’est pas compté dans les 140.
  • Les paires incertaines sont des paires difficiles. Un réviseur peut prendre plus de 1,2 minute pour chacune et faire plus d’erreurs. Nous ne l’avons pas mesuré.
  • Les étiquettes choisies ne forment pas un échantillon représentatif. Ne mesurez jamais le modèle sur ces paires : ce sont uniquement les plus difficiles. Le module 8 montre ce qui arrive quand les étiquettes de révision sont utilisées sans précaution.
Utilisez-le quand Ne l’utilisez pas quand Ce qu’il coûte
les étiquettes coûtent cher et vous pouvez étiqueter par cycles vous avez besoin d’un échantillon représentatif pour mesurer : étiquetez des paires aléatoires pour cela un entraînement et une attribution de scores par cycle : environ 12 secondes sur notre portable pour 1,1 million de paires (régression logistique)
le modèle donne déjà des scores utiles à partir de quelques étiquettes initiales le réviseur ne peut pas attendre les cycles (un seul grand lot) le temps d’un réviseur sur des paires difficiles : plus de minutes par paire, plus d’erreurs
la plupart des paires sont faciles et quelques-unes sont difficiles (le cas habituel en appariement) le modèle évalue mal sa propre incertitude un jeu étiqueté distinct pour choisir le seuil

Erreur courante

Mesurer le modèle sur les étiquettes que vous avez choisies

Symptôme : après 300 étiquettes de paires incertaines, TermeTomásL’ingénieur en IA de Larkfield. Il propose souvent un raccourci rapide, et la leçon montre pourquoi il échoue. mesure le modèle sur ces 300 paires, par validation croisée. Le F1 est d’environ 0,7. Il conclut que le modèle est faible et achète davantage d’étiquettes.

Cause : les paires incertaines sont les plus difficiles de toutes, par définition. Un score sur ces paires ne dit rien sur les 1,1 million de paires candidates, dont la plupart sont faciles. (Le 0,7 est ici un exemple construit, pas une exécution.) Le même piège fonctionne dans l’autre sens : les étiquettes échantillonnées là où le modèle est sûr le font paraître trop bon.

Solution : gardez un échantillon étiqueté distinct pour le seuil et la mesure. Tirez-le au hasard parmi les paires candidates d’autres clients. Dans le projet, les jeux de validation et de test jouent ce rôle.

Conséquence pour le travail en IA : toutes les données qu’un modèle a choisies lui-même sont biaisées. Cela vaut pour l’apprentissage actif, les files de révision et la rétroaction des utilisateurs.

Vérifiez votre compréhension

Pourquoi une étiquette sur une paire au score de 0,48 apprend-elle davantage au modèle qu'une étiquette au score de 0,02?

Afficher la réponse

À 0,02, le modèle est déjà sûr que les deux enregistrements sont différents, et il a presque toujours raison. L’étiquette confirme ce qu’il sait et change peu de choses. À 0,48, le modèle ne peut pas décider. L’étiquette lui indique de quel côté du seuil se trouve la paire, et les paires similaires se déplacent aussi. En appariement, la plupart des paires candidates réunissent des inconnus faciles à distinguer. Les étiquettes aléatoires sont donc surtout du premier type.

Vérifiez votre compréhension

140 étiquettes de paires incertaines donnent un F1 de 0,914; les 3 000 paires étiquetées donnent 0,911 avec la régression logistique. Cela signifie-t-il que les étiquettes 141 à 3 000 ne valent rien? Que diriez-vous à Omar?

Afficher la réponse

Non. Cela signifie que quelles paires nous étiquetons compte plus que combien nous en étiquetons. Les 3 000 ont été échantillonnées par nom de famille et région, pas là où le modèle est incertain. Beaucoup étaient donc faciles. La courbe monte encore un peu après 140 (environ 0,92 à partir de 220 étiquettes). Dites trois choses à Omar. Commencez par quelques centaines d’étiquettes choisies par le modèle, par cycles. Gardez un échantillon aléatoire distinct pour mesurer. Arrêtez quand la courbe cesse de monter sur les données de validation. Cela coûte quelques heures de révision, pas dix jours.

Vérifiez votre compréhension

Avec le seuil fixe de 0,5, le F1 tombe à 0,692 avec 340 étiquettes; avec le seuil de validation, il atteint 0,926. Qu'est-ce qui a changé entre les cycles, et quelle est la règle?

Afficher la réponse

Chaque cycle ajoute 40 paires difficiles, et le modèle s’entraîne à nouveau. Cela peut déplacer tous ses scores vers le haut ou le bas. Le point où commence « identiques » se déplace donc aussi. Avec 260 étiquettes, 5 784 paires de test ont un score de 0,5 ou plus; avec 300, c’est 9 126. Un seuil fixe de 0,5 est alors parfois loin du meilleur seuil. La règle : choisissez à nouveau le seuil sur les paires de validation chaque fois que le modèle s’entraîne à nouveau.

Récapitulatif

  • Apprentissage actif : le modèle choisit les paires qu’une personne étiquettera ensuite. L’échantillonnage par incertitude choisit les paires dont le score est le plus proche de 0,5.
  • Dans notre simulation, le réviseur a toujours raison. 140 étiquettes de paires incertaines donnent un F1 de 0,914 : mieux que les 3 000 paires étiquetées (0,911 et 0,902). 140 étiquettes aléatoires donnent 0,843.
  • Même 20 étiquettes battent Splink sans étiquettes (0,865 contre 0,797).
  • La courbe n’est pas régulière. Choisissez le seuil sur les données de validation après chaque cycle : avec 0,5, le F1 est tombé à 0,692.
  • Gardez un échantillon aléatoire étiqueté pour choisir le seuil et mesurer. Ne mesurez jamais sur les paires choisies par le modèle.

Ensuite, nous essayons un autre type de caractéristique : les plongements (embeddings) d’un petit modèle de langage. Ils représentent les noms, les adresses et les titres de produits.

Leçon suivante : Des plongements pour les noms, les adresses et les produits