Aller au contenu
English

Sondes linéaires et quelques exemples

  • Leçon 11
  • 40 min
  • Module 3 : Plongements, CLIP et peu d'étiquettes

Où nous en sommes

CLIP a classé des photos sans aucune étiquette, mais ne peut pas apprendre la distinction propre à Larkfield entre pot de fleurs et vase. L'apprentissage par transfert a utilisé toutes nos étiquettes et une exécution d'entraînement. Entre les deux, il existe une solution intermédiaire peu coûteuse. Dans cette leçon, nous entraînons une régression logistique sur des plongements avec 1, 5, 20 et toutes les images par classe. D'abord, quelques exemples de photos épinglées au-dessus de chaque étagère.

Leçon 11 sur 30 · IA de vision : voir, compter et inspecterSondes linéaires et quelques exemples

Ce que vous saurez faire

Apprenez à un classificateur les catégories propres à Larkfield avec quelques photos étiquetées par classe, en environ une seconde d’entraînement. Découvrez combien d’étiquettes suffisent et corrigez une classe qui a trop peu de photos.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de préparation installent NumPy, pandas, scikit-learn et matplotlib. Elles téléchargent les photos du catalogue et leurs plongements enregistrés sous forme de fichiers zip. Le carnet ne télécharge aucun modèle. Il ne nécessite ni compte ni clé. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

  • Les plongements (embeddings) et les trois modèles CLIP, DINOv2 et ResNet-18, présentés dans Les plongements d’images.
  • CLIP en zéro exemple (zero-shot) et son résultat de 0,925 sans étiquettes, présentés dans CLIP en zéro exemple.
  • Un ResNet-18 gelé avec une nouvelle dernière couche (0,812) et le réglage fin (0,850), présentés dans L’apprentissage par transfert.
  • Le fonctionnement d’une régression logistique, présenté dans Comprendre la classification du cours sur l’apprentissage automatique. Cette leçon rappelle l’idée principale.

Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours avec projet; le carnet n’en a pas besoin)

  • Votre dossier larkvision à côté de nextia-learning-labs, à l’instantané end-of-m02 : python -m pytest -q affiche 11 passed (11 tests réussis). Cette leçon y ajoute deux fichiers.
  • Dans chaque nouveau terminal : allez dans larkvision, activez .venv et définissez de nouveau LARKVISION_DATA, comme dans Découvrir les images de Larkfield.

Testé avec Python 3.12.13 et scikit-learn 1.9.1 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Colab et Kaggle n’ont pas été testées.

Hamid trouve une façon peu coûteuse de former les nouvelles employées. Au-dessus de chaque étagère, il épingle cinq photos de produits qui y ont leur place. Une photo au-dessus de l’étagère des pots de fleurs montre un pot avec de la terre et une petite plante. Une photo au-dessus de l’étagère des vases montre un grand verre avec des fleurs coupées. La nouvelle employée sait déjà observer les choses : les formes, les matériaux, ce qu’il y a dedans. Les cinq photos lui montrent seulement où Larkfield place la frontière entre deux étagères.

Elle n’a pas besoin d’un long cours pour apprendre à voir. Elle a besoin de quelques exemples pour chaque étagère, car voir est la partie difficile, et elle l’a déjà apprise.

Le problème : entre aucune étiquette et beaucoup d’étiquettes

Section intitulée « Le problème : entre aucune étiquette et beaucoup d’étiquettes »

Les deux dernières leçons nous ont donné deux extrêmes. CLIP en zéro exemple n’a besoin d’aucune étiquette et a atteint 0,925. Mais il ne peut pas apprendre les règles de Larkfield. Ses erreurs concernaient des contenants que l’équipe du catalogue nomme à sa façon, et aucune requête ne corrige cela. L’apprentissage par transfert du module 2 a appris à partir des 453 étiquettes. Le réglage fin de ResNet-18 a pris environ une demi-minute d’entraînement et n’a atteint que 0,850.

Nous voulons suivre la méthode de l’employée. Garder un modèle qui sait déjà voir et lui apprendre seulement les frontières de Larkfield avec quelques photos étiquetées.

Le plongement représente la façon de voir de l’employée. Il est déjà calculé et enregistré pour chaque photo. Nous entraînons dessus le classificateur le plus simple capable d’apprendre une frontière : une régression logistique. Pour chaque classe, il apprend un poids pour chacun des 512 nombres, et un nombre supplémentaire, le biais. Pour classer une photo, il multiplie le plongement par les poids de chaque classe, ajoute le biais et obtient un score par classe. La fonction softmax transforme les huit scores en probabilités, comme dans la dernière leçon.

Une régression logistique sur des plongements gelés s’appelle une sonde linéaire. « Linéaire », car chaque score est une somme pondérée : elle ne peut tracer que des frontières droites dans l’espace. « Sonde », car elle teste ce que le plongement sait déjà, comme une sonde médicale examine ce qui est sous la peau. Si une frontière droite sépare bien les classes, le plongement contient déjà l’information.

Quatre cases de gauche à droite. Photos étiquetées : quelques photos par classe avec leurs étiquettes, 5, 20 ou toutes. Modèle gelé, dans une case grise en pointillés : CLIP, DINOv2 ou ResNet-18 transforme chaque photo en plongement; il ne change pas. Sonde linéaire : une régression logistique, 8 scores égaux aux poids multipliés par les 512 nombres plus le biais, s'entraîne en environ 1 seconde. Réponse : la classe avec la probabilité la plus élevée, calculée par la fonction softmax des 8 scores.
Une sonde linéaire. Seule la régression logistique apprend; le modèle qui produit les plongements reste gelé (en gris).
Description textuelle du diagramme

Le schéma contient quatre cases sur une ligne (l’une sous l’autre sur un téléphone). La première contient les photos étiquetées : quelques-unes par classe, par exemple 5, 20 ou toutes. La deuxième, grise et en pointillés, représente le modèle gelé. CLIP, DINOv2 ou ResNet-18 transforme chaque photo en plongement et ne change pas. La troisième représente la sonde linéaire : une régression logistique. Elle calcule 8 scores, chacun étant une somme des poids multipliés par les 512 nombres, plus un biais. Elle s’entraîne en environ une seconde. La dernière case donne la réponse : la classe avec la probabilité la plus élevée, obtenue par la fonction softmax des 8 scores.

Comparez-la au ResNet-18 gelé du module 2. C’était aussi une sonde linéaire : une nouvelle dernière couche sur des caractéristiques gelées. La différence ici est le plongement : CLIP et DINOv2 ont appris à partir de bien plus de photos, avec d’autres méthodes d’entraînement.

Voici une sonde avec seulement deux classes, tasse et vase, et des plongements de seulement deux nombres. Les nombres sont inventés pour cet exemple. L’entraînement a donné ces poids et ces biais :

Classe Poids 1 Poids 2 Biais
tasse 3 −2 0
vase −1 4 0

Une nouvelle photo a le plongement (0,8, 0,6). Le score de chaque classe est poids 1 × nombre 1 + poids 2 × nombre 2 + biais :

  • tasse : 3 × 0,8 + (−2) × 0,6 + 0 = 2,4 − 1,2 = 1,2
  • vase : (−1) × 0,8 + 4 × 0,6 + 0 = −0,8 + 2,4 = 1,6

La fonction softmax : e1,2 = 3,32 et e1,6 = 4,95, pour une somme de 8,27. Le vase obtient donc 4,95 / 8,27 = 0,60, et la tasse obtient 0,40. La sonde répond vase.

L’entraînement cherche les poids et les biais qui donnent le score le plus élevé à la bonne classe sur les photos étiquetées. Pour Larkfield, la sonde apprend 8 × 512 poids + 8 biais = 4 104 nombres. scikit-learn les trouve en environ une seconde sur un ordinateur portable. Le réglage fin du dernier bloc de ResNet-18, comme au module 2, modifie environ 8,4 millions de nombres.

Priya entraîne une sonde CLIP sur les 453 photos d’entraînement. Vous pouvez le faire dans la section 2 du carnet, ou avec le projet ci-dessous. Le résultat sur les 160 photos de test :

CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (all labels, 453 labelled photos): accuracy 0.894; worst class candle (recall 0.60)

L’exactitude, 0,894, égale celle du meilleur modèle du module 2 (ResNet-50, 0,894), mais reste inférieure à CLIP en zéro exemple (0,925). La raison se trouve dans la pire classe : les bougies. La sonde trouve seulement 12 des 20 bougies de test. Pourtant, quand elle répond « bougie », elle a toujours raison : sa précision est de 1,0.

La classe des bougies n’a que 15 photos d’entraînement, contre 41 à 70 pour les autres classes : un problème que nous avons inséré. Une régression logistique minimise ses erreurs sur les photos d’entraînement. Les bougies représentent 15 des 453 photos, soit environ 3 %. Se tromper sur celles-ci coûte peu à la sonde. Elle apprend donc que « bougie » est une réponse rare, et la donne seulement quand elle est très sûre.

La solution consiste à dire à la sonde que chaque classe compte autant que les autres. Avec des poids de classe équilibrés, chaque classe obtient le même poids total pendant l’entraînement. Une photo de bougie compte alors autant qu’environ 4,7 photos de chaises. La classe des chaises a 70 photos, et celle des bougies en a 15. Dans scikit-learn, un seul paramètre suffit : class_weight="balanced".

CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (all labels, balanced classes, 453 labelled photos): accuracy 0.944; worst class bowl (recall 0.85)

L’exactitude passe de 0,894 à 0,944 : 8 photos de test correctement classées de plus. Le rappel des bougies passe de 0,60 à 0,95. Le graphique montre les classes qui ont changé :

  • Toutes les étiquettes
  • Toutes les étiquettes, classes équilibrées
La sonde CLIP sans et avec des poids de classe équilibrés : rappel des bougies (Boug) et des coussins (Cous) sur 20 photos de test chacun, et exactitude sur les 160 photos de test (Toutes). L'axe commence à 0,5. Les six autres classes n'ont pas changé.
Description textuelle du graphique

Un diagramme avec trois paires de colonnes, sur un axe de 0,5 à 1. Rappel des bougies : 0,60 avec toutes les étiquettes, 0,95 avec des classes équilibrées. Rappel des coussins : 0,95 et 1,00. Exactitude : 0,89 et 0,94. Les six autres classes ont le même rappel dans les deux cas : bol 0,85, chaise 1,00, lampe 0,95, tasse 0,90, pot de fleurs 0,90 et vase 1,00.

Seule la classe des bougies change beaucoup. Celle des coussins gagne une photo, et les six autres classes ne bougent pas. La même correction aide moins les autres plongements. Le rappel des bougies de DINOv2 passe de 0,70 à 0,80. Celui de ResNet-18 passe de 0,45 à 0,70. Un meilleur plongement donne plus d’information à la sonde.

Omar pose la question qui détermine le budget : « Combien de photos devons-nous étiqueter pour chaque catégorie? » Priya répond avec une courbe d’apprentissage. Elle entraîne la sonde avec 1, 5, 10, 20, 40 et toutes les photos étiquetées par classe, choisies au hasard. Elle répète le tirage 10 fois pour chaque taille, et le graphique montre l’exactitude moyenne. Apprendre à partir de quelques exemples par classe s’appelle l’apprentissage à quelques exemples (few-shot).

  • Sonde CLIP
  • Sonde DINOv2
  • Sonde ResNet-18
  • CLIP en zéro exemple (sans étiquettes)
  • ResNet-18 réglé finement (toutes les étiquettes)
Exactitude selon le nombre de photos étiquetées par classe, sur les 160 photos de test. La classe des bougies n'en a jamais plus de 15. Chaque point d'une sonde est la moyenne de 10 tirages aléatoires. La ligne en pointillés représente CLIP en zéro exemple avec huit gabarits; le point isolé représente le ResNet-18 réglé finement du module 2. L'axe commence à 0,5.
Description textuelle du graphique

Un graphique en courbes. L’axe horizontal comporte six étapes : 1, 5, 10, 20, 40 et toutes les photos étiquetées par classe. L’axe vertical indique l’exactitude sur les données de test, de 0,5 à 1. La sonde CLIP : 0,624 avec 1 photo par classe, 0,869 avec 5, 0,904 avec 10, 0,929 avec 20, 0,912 avec 40 et 0,894 avec toutes. La sonde DINOv2 : 0,660, 0,850, 0,884, 0,893, 0,887 et 0,887. La sonde ResNet-18 : 0,637, 0,827, 0,857, 0,848, 0,832 et 0,806. Une ligne horizontale en pointillés à 0,925 représente CLIP en zéro exemple sans étiquettes. Un point isolé à « toutes », à 0,850, représente le ResNet-18 réglé finement pendant 4 époques au module 2.

Lisez le graphique de gauche à droite :

  • Une photo par classe ne suffit pas : 0,624 pour CLIP, et de 0,487 à 0,762 selon la photo tirée. Un seul exemple ne peut pas montrer où une classe se termine.
  • Cinq photos par classe donnent 0,869 avec CLIP : déjà mieux que le réglage fin de ResNet-18 sur les 453 photos (0,850).
  • Vingt photos par classe donnent 0,929 : aussi bien que le zéro exemple (0,925), mais la sonde peut maintenant apprendre les règles propres à Larkfield. Cela représente 155 photos étiquetées au total, car la classe des bougies n’en a que 15.
  • Plus d’étiquettes dégradent le résultat. Avec 40 par classe, 0,912; avec toutes, 0,894. Les classes redeviennent déséquilibrées : les autres passent à 41–70 photos, et les bougies restent à 15.

Ce dernier point surprend la plupart des gens. La cause est la même qu’avant. La sonde tient compte de l’équilibre entre les classes, pas seulement du nombre de photos. Avec des poids de classe équilibrés, toutes les étiquettes donnent 0,944, le meilleur résultat de ce module.

Le cours réserve 160 autres photos du catalogue pour un test caché, comme l’explique Découvrir les images de Larkfield. Priya a choisi entre la sonde avec toutes les étiquettes et celle avec des classes équilibrées sur les photos de validation : 0,925 contre 0,933. Elle a gardé la sonde équilibrée, et l’équipe du cours l’a évaluée une seule fois sur le test caché : 0,956, avec les bougies comme pire classe à 0,90.

Le score caché est un peu plus élevé que le score de test (0,944). Sur 160 photos, cette différence représente environ deux photos : c’est le hasard, pas un meilleur modèle. Le résultat important est que le choix fait sur la validation a tenu sur des photos que personne n’avait vues.

Le projet reçoit la sonde sous forme de commande, vision probe. Vous copiez deux nouveaux fichiers depuis l’instantané end-of-m03. Vérifiez d’abord l’emplacement : vous devez être dans votre dossier larkvision, avec l’environnement virtuel actif.

  1. Ouvrez un terminal et allez dans votre dossier larkvision. Activez l’environnement virtuel : source .venv/bin/activate sur macOS et Linux, .venv\Scripts\Activate.ps1 sur Windows.

  2. Si c’est un nouveau terminal, définissez de nouveau LARKVISION_DATA. Cette variable existe seulement dans le terminal où vous la définissez. La commande se trouve à l’étape 5 de Le projet sur votre ordinateur.

  3. Copiez les deux fichiers de cette leçon depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C42/snapshots/end-of-m03
    for f in larkvision/embeddings.py larkvision/commands/probe.py; do cp "$S/$f" "$f"; done
  4. Exécutez les tests. Vous voyez encore 11 passed : les tests des nouvelles commandes arrivent avec la prochaine leçon.

    Fenêtre de terminal
    python -m pytest -q
  5. Entraînez la sonde CLIP sur toutes les étiquettes. Cela prend environ une seconde :

    Fenêtre de terminal
    vision probe --embeddings clip
  6. Entraînez-la de nouveau avec des classes équilibrées :

    Fenêtre de terminal
    vision probe --embeddings clip --balanced
  7. Entraînez-la avec 20 photos par classe :

    Fenêtre de terminal
    vision probe --embeddings clip --per-class 20

Les étapes 5 et 6 affichent les deux lignes que vous avez vues plus haut. L’étape 7 affiche :

CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (20 per class, 155 labelled photos): accuracy 0.938; worst class bowl (recall 0.90)

C’est un seul tirage aléatoire (--seed 0), qui donne donc 0,938, et non la moyenne de 10 tirages (0,929). Avec --seed 1, la même commande donne 0,925. larkvision/embeddings.py charge les plongements enregistrés selon le nom du modèle et les ramène à une longueur de 1. larkvision/commands/probe.py contient la fonction probe, avec les mêmes paramètres que le carnet. Chaque exécution ajoute une ligne à votre propre tableau : vision compare --task catalogue l’affiche à la fin, avec la mention « (yours) » (votre résultat).

Utilisez une sonde linéaire lorsqu’un bon plongement existe pour vos photos et que vous avez, ou pouvez obtenir, environ 20 photos étiquetées par classe. C’est la première méthode entraînée à essayer. Elle s’entraîne en une seconde, ne nécessite aucun processeur graphique et se réentraîne facilement quand une étiquette change.

Ses limites :

  • Elle ne peut pas voir plus que le plongement. Si le plongement mélange deux classes, une ligne droite ne peut pas les séparer. Le réglage fin modifie le plongement lui-même et peut les séparer.
  • Elle suit l’équilibre de ses étiquettes. Une classe avec peu de photos obtient peu de réponses. Utilisez des poids de classe équilibrés, ou étiquetez d’abord la petite classe.
  • Les poids équilibrés ont un coût. Ils font répondre la petite classe plus souvent à la sonde. Ici, rien d’autre ne s’est dégradé. Avec une très petite classe, ils peuvent ajouter de fausses détections de bougies.
  • Elle a besoin du modèle de plongement au moment de la prédiction. Une nouvelle photo doit passer par CLIP (605 Mo) avant la sonde. La sonde elle-même ne fait que quelques kilooctets.
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La deuxième se termine par une ligne Ready: (prêt).
  3. Exécutez la section 1. Vous voyez 453 training photos; 15 of them are candles (453 photos d’entraînement, dont 15 bougies).
  4. Dans la section 2, prévoyez si les bougies seront la meilleure ou la pire classe. Exécutez ensuite la cellule. Vous voyez une exactitude de 0.894 et un rappel des bougies de 0.60.
  5. Exécutez la section 3. Vous voyez une exactitude de 0.944 et un rappel des bougies de 0.95.
  6. Dans la section 4, prévoyez si l’exactitude augmente jusqu’à « toutes les étiquettes ». Exécutez ensuite la cellule. Elle prend environ 30 secondes et trace la courbe d’apprentissage.

Le carnet affiche 0.928 pour 20 photos par classe, et le graphique ci-dessus indique 0,929. Les plongements enregistrés du cours sont arrondis pour économiser de l’espace, et un tirage sur dix varie d’une photo. Considérez les deux résultats comme équivalents.

DINOv2, qui a appris à partir de photos seulement, fait-il aussi bien que CLIP avec 20 photos par classe? Faites d’abord une prédiction. Dans la section 5 du carnet (notebook) Jupyter, utilisez la fonction curve avec "dinov2" et la taille 20 seulement. Placez l’exactitude moyenne dans dinov2_20. Dans le parcours projet, exécutez vision probe --embeddings dinov2 --per-class 20 pour un seul tirage : il donne 0,900.

Afficher la réponse
dinov2_20 = curve("dinov2", sizes=(20,))[20]
print(dinov2_20)
0.893

Avec 20 photos par classe, DINOv2 atteint 0,893, contre 0,929 pour CLIP. Sur ces photos de produits, le plongement de CLIP sépare mieux les classes. Ce n’est pas toujours le cas. Pour trouver le même produit dans la photo d’un client, DINOv2 fait beaucoup mieux que CLIP. Voyez Trouver le même produit. Le meilleur plongement dépend de la tâche. Mesurez donc sa performance sur la vôtre.

Erreur courante

Un tirage chanceux

Symptôme : Tomás étiquette 5 photos par classe, entraîne une sonde une seule fois et obtient ceci :

CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (5 per class, 40 labelled photos): accuracy 0.819; worst class vase (recall 0.45)

Il dit à Omar : « Cinq photos par classe, ça ne sert à rien : le rappel des vases est de 0,45. » Priya n’est pas convaincue. Elle sait que 5 autres photos par classe pourraient donner un résultat très différent.

Cause : avec 5 photos par classe, le résultat dépend des 5 photos que vous choisissez d’étiqueter. Lesquelles choisissez-vous? Un pot de fleurs qui ressemble à un vase peut faire changer le résultat d’une classe entière. Sur 10 tirages aléatoires, la sonde CLIP avec 5 photos par classe allait de 0,819 à 0,925. Sa moyenne était de 0,869. Le tirage de Tomás était le pire des dix.

Correction : pour un résultat avec quelques exemples (few-shot), entraînez la sonde sur plusieurs tirages aléatoires. Présentez la moyenne et l’étendue, comme le fait la courbe d’apprentissage. Choisissez des photos variées à étiqueter : des formes, des matériaux et des arrière-plans différents. Ne choisissez pas les cinq plus faciles.

Conséquence pour le travail en IA : décider d’un budget d’étiquetage à partir d’un seul tirage peut mener à deux erreurs opposées. Omar pourrait abandonner une méthode qui fonctionne, ou faire confiance à une méthode qui n’a fonctionné que par chance.

Vérifiez votre compréhension

Qu'est-ce qu'une sonde linéaire, et qu'apprend-elle? Pourquoi son entraînement prend-il une seconde, alors que le réglage fin prend des minutes?

Afficher la réponse

Une sonde linéaire est une régression logistique entraînée sur des plongements gelés. Elle apprend un poids par nombre du plongement et un biais par classe : ici, 8 × 512 + 8 = 4 104 nombres. Le modèle qui produit les plongements ne change pas. Les plongements sont calculés une seule fois, puis stockés. Le réglage fin modifie le réseau lui-même, soit environ 8,4 millions de nombres pour le dernier bloc de ResNet-18. Il doit aussi faire passer chaque photo dans le réseau de nombreuses fois. La sonde s’entraîne donc en environ une seconde, et le réglage fin en environ une demi-minute sur ces 453 photos. Avec plus de photos, le réglage fin prend beaucoup plus de temps.

Vérifiez votre compréhension

Avec les 453 étiquettes, la sonde CLIP trouve seulement 12 des 20 bougies de test. Sa précision pour les bougies est de 1,0. Expliquez ces deux nombres et dites ce qui corrige le rappel.

Afficher la réponse

Les bougies représentent seulement 15 des 453 photos d’entraînement, soit environ 3 %. La régression logistique minimise ses erreurs sur les photos d’entraînement, où les bougies comptent peu. Elle apprend donc que « bougie » est une réponse rare. Elle répond « bougie » seulement quand elle est très sûre. Elle a donc toujours raison quand elle le dit (précision de 1,0), mais elle manque 8 bougies (rappel de 0,60). Des poids de classe équilibrés donnent à chaque classe le même poids total. Une photo de bougie compte alors autant qu’environ 4,7 photos de chaises. Avec ces poids, le rappel des bougies monte à 0,95 et l’exactitude à 0,944.

Vérifiez votre compréhension

Omar prévoit une nouvelle catégorie. Selon la courbe d'apprentissage, combien de photos par classe lui demanderiez-vous d'étiqueter d'abord? Pourquoi pas « le plus possible »?

Afficher la réponse

Demandez d’abord environ 20 photos variées pour la nouvelle catégorie. Avec 20 photos par classe, la sonde CLIP a atteint 0,929 (moyenne de 10 tirages), aussi bien qu’en zéro exemple. Elle peut aussi apprendre les règles propres à Larkfield. Avec 5 photos par classe, elle a atteint 0,869, et un tirage a donné seulement 0,819. « Le plus possible » dans une seule classe n’est pas mieux. La courbe est descendue à 0,894 avec toutes les étiquettes, parce que les classes sont devenues déséquilibrées. Gardez les classes équilibrées, ou utilisez des poids de classe équilibrés. Mesurez ensuite le rappel de la nouvelle catégorie sur des photos de validation avant d’ajouter des étiquettes.

Récapitulatif

  • Une sonde linéaire est une régression logistique sur des plongements gelés : 4 104 nombres à apprendre, environ une seconde d’entraînement.
  • Avec toutes les étiquettes, la sonde CLIP atteint 0,894, avec un rappel des bougies de 0,60. La classe de 15 photos obtient peu de réponses.
  • Les poids de classe équilibrés corrigent ce problème : 0,944, avec un rappel des bougies de 0,95. Choisie sur les données de validation, la sonde équilibrée a obtenu 0,956 sur le test caché, exécuté une seule fois.
  • Quelques exemples : 5 photos par classe donnent 0,869, 20 donnent 0,929, toutes donnent 0,894. Plus d’étiquettes ont réduit l’exactitude parce que les classes sont devenues déséquilibrées.
  • Un résultat avec quelques exemples dépend du tirage : présentez la moyenne et l’étendue de plusieurs tirages.
  • Votre projet dispose maintenant de vision probe, avec --balanced et --per-class.

Vous pouvez maintenant décider du nombre d’étiquettes nécessaires pour une catégorie. Mais la courbe d’apprentissage supposait que chaque étiquette était correcte. Ensuite, vous découvrirez la qualité des étiquettes. Vous rencontrerez deux annotateurs en désaccord, un guide d’étiquetage et les erreurs d’étiquette que nous avons insérées.

Leçon suivante : Les étiquettes : combien, et de quelle qualité