Sondes linéaires et quelques exemples
- Leçon 11
- 40 min
- Module 3 : Plongements, CLIP et peu d'étiquettes
Où nous en sommes
CLIP a classé des photos sans aucune étiquette, mais ne peut pas apprendre la distinction propre à Larkfield entre pot de fleurs et vase. L'apprentissage par transfert a utilisé toutes nos étiquettes et une exécution d'entraînement. Entre les deux, il existe une solution intermédiaire peu coûteuse. Dans cette leçon, nous entraînons une régression logistique sur des plongements avec 1, 5, 20 et toutes les images par classe. D'abord, quelques exemples de photos épinglées au-dessus de chaque étagère.
Leçon 11 sur 30 · IA de vision : voir, compter et inspecterSondes linéaires et quelques exemples
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Apprenez à un classificateur les catégories propres à Larkfield avec quelques photos étiquetées par classe, en environ une seconde d’entraînement. Découvrez combien d’étiquettes suffisent et corrigez une classe qui a trop peu de photos.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de préparation installent NumPy, pandas, scikit-learn et matplotlib. Elles téléchargent les photos du catalogue et leurs plongements enregistrés sous forme de fichiers zip. Le carnet ne télécharge aucun modèle. Il ne nécessite ni compte ni clé. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les plongements (embeddings) et les trois modèles CLIP, DINOv2 et ResNet-18, présentés dans Les plongements d’images.
- CLIP en zéro exemple (zero-shot) et son résultat de 0,925 sans étiquettes, présentés dans CLIP en zéro exemple.
- Un ResNet-18 gelé avec une nouvelle dernière couche (0,812) et le réglage fin (0,850), présentés dans L’apprentissage par transfert.
- Le fonctionnement d’une régression logistique, présenté dans Comprendre la classification du cours sur l’apprentissage automatique. Cette leçon rappelle l’idée principale.
Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours avec projet; le carnet n’en a pas besoin)
- Votre dossier
larkvisionà côté denextia-learning-labs, à l’instantanéend-of-m02:python -m pytest -qaffiche11 passed(11 tests réussis). Cette leçon y ajoute deux fichiers. - Dans chaque nouveau terminal : allez dans
larkvision, activez.venvet définissez de nouveauLARKVISION_DATA, comme dans Découvrir les images de Larkfield.
Testé avec Python 3.12.13 et scikit-learn 1.9.1 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Colab et Kaggle n’ont pas été testées.
Quelques exemples au-dessus de chaque étagère
Section intitulée « Quelques exemples au-dessus de chaque étagère »Hamid trouve une façon peu coûteuse de former les nouvelles employées. Au-dessus de chaque étagère, il épingle cinq photos de produits qui y ont leur place. Une photo au-dessus de l’étagère des pots de fleurs montre un pot avec de la terre et une petite plante. Une photo au-dessus de l’étagère des vases montre un grand verre avec des fleurs coupées. La nouvelle employée sait déjà observer les choses : les formes, les matériaux, ce qu’il y a dedans. Les cinq photos lui montrent seulement où Larkfield place la frontière entre deux étagères.
Elle n’a pas besoin d’un long cours pour apprendre à voir. Elle a besoin de quelques exemples pour chaque étagère, car voir est la partie difficile, et elle l’a déjà apprise.
Le problème : entre aucune étiquette et beaucoup d’étiquettes
Section intitulée « Le problème : entre aucune étiquette et beaucoup d’étiquettes »Les deux dernières leçons nous ont donné deux extrêmes. CLIP en zéro exemple n’a besoin d’aucune étiquette et a atteint 0,925. Mais il ne peut pas apprendre les règles de Larkfield. Ses erreurs concernaient des contenants que l’équipe du catalogue nomme à sa façon, et aucune requête ne corrige cela. L’apprentissage par transfert du module 2 a appris à partir des 453 étiquettes. Le réglage fin de ResNet-18 a pris environ une demi-minute d’entraînement et n’a atteint que 0,850.
Nous voulons suivre la méthode de l’employée. Garder un modèle qui sait déjà voir et lui apprendre seulement les frontières de Larkfield avec quelques photos étiquetées.
L’idée : une sonde linéaire
Section intitulée « L’idée : une sonde linéaire »Le plongement représente la façon de voir de l’employée. Il est déjà calculé et enregistré pour chaque photo. Nous entraînons dessus le classificateur le plus simple capable d’apprendre une frontière : une régression logistique. Pour chaque classe, il apprend un poids pour chacun des 512 nombres, et un nombre supplémentaire, le biais. Pour classer une photo, il multiplie le plongement par les poids de chaque classe, ajoute le biais et obtient un score par classe. La fonction softmax transforme les huit scores en probabilités, comme dans la dernière leçon.
Une régression logistique sur des plongements gelés s’appelle une sonde linéaire. « Linéaire », car chaque score est une somme pondérée : elle ne peut tracer que des frontières droites dans l’espace. « Sonde », car elle teste ce que le plongement sait déjà, comme une sonde médicale examine ce qui est sous la peau. Si une frontière droite sépare bien les classes, le plongement contient déjà l’information.
Description textuelle du diagramme
Le schéma contient quatre cases sur une ligne (l’une sous l’autre sur un téléphone). La première contient les photos étiquetées : quelques-unes par classe, par exemple 5, 20 ou toutes. La deuxième, grise et en pointillés, représente le modèle gelé. CLIP, DINOv2 ou ResNet-18 transforme chaque photo en plongement et ne change pas. La troisième représente la sonde linéaire : une régression logistique. Elle calcule 8 scores, chacun étant une somme des poids multipliés par les 512 nombres, plus un biais. Elle s’entraîne en environ une seconde. La dernière case donne la réponse : la classe avec la probabilité la plus élevée, obtenue par la fonction softmax des 8 scores.
Comparez-la au ResNet-18 gelé du module 2. C’était aussi une sonde linéaire : une nouvelle dernière couche sur des caractéristiques gelées. La différence ici est le plongement : CLIP et DINOv2 ont appris à partir de bien plus de photos, avec d’autres méthodes d’entraînement.
Un petit exemple détaillé
Section intitulée « Un petit exemple détaillé »Voici une sonde avec seulement deux classes, tasse et vase, et des plongements de seulement deux nombres. Les nombres sont inventés pour cet exemple. L’entraînement a donné ces poids et ces biais :
| Classe | Poids 1 | Poids 2 | Biais |
|---|---|---|---|
| tasse | 3 | −2 | 0 |
| vase | −1 | 4 | 0 |
Une nouvelle photo a le plongement (0,8, 0,6). Le score de chaque classe est poids 1 × nombre 1 + poids 2 × nombre 2 + biais :
- tasse : 3 × 0,8 + (−2) × 0,6 + 0 = 2,4 − 1,2 = 1,2
- vase : (−1) × 0,8 + 4 × 0,6 + 0 = −0,8 + 2,4 = 1,6
La fonction softmax : e1,2 = 3,32 et e1,6 = 4,95, pour une somme de 8,27. Le vase obtient donc 4,95 / 8,27 = 0,60, et la tasse obtient 0,40. La sonde répond vase.
L’entraînement cherche les poids et les biais qui donnent le score le plus élevé à la bonne classe sur les photos étiquetées. Pour Larkfield, la sonde apprend 8 × 512 poids + 8 biais = 4 104 nombres. scikit-learn les trouve en environ une seconde sur un ordinateur portable. Le réglage fin du dernier bloc de ResNet-18, comme au module 2, modifie environ 8,4 millions de nombres.
Larkfield : une sonde sur toutes les étiquettes
Section intitulée « Larkfield : une sonde sur toutes les étiquettes »Priya entraîne une sonde CLIP sur les 453 photos d’entraînement. Vous pouvez le faire dans la section 2 du carnet, ou avec le projet ci-dessous. Le résultat sur les 160 photos de test :
CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (all labels, 453 labelled photos): accuracy 0.894; worst class candle (recall 0.60)L’exactitude, 0,894, égale celle du meilleur modèle du module 2 (ResNet-50, 0,894), mais reste inférieure à CLIP en zéro exemple (0,925). La raison se trouve dans la pire classe : les bougies. La sonde trouve seulement 12 des 20 bougies de test. Pourtant, quand elle répond « bougie », elle a toujours raison : sa précision est de 1,0.
La classe des bougies n’a que 15 photos d’entraînement, contre 41 à 70 pour les autres classes : un problème que nous avons inséré. Une régression logistique minimise ses erreurs sur les photos d’entraînement. Les bougies représentent 15 des 453 photos, soit environ 3 %. Se tromper sur celles-ci coûte peu à la sonde. Elle apprend donc que « bougie » est une réponse rare, et la donne seulement quand elle est très sûre.
Des classes équilibrées
Section intitulée « Des classes équilibrées »La solution consiste à dire à la sonde que chaque classe compte autant que les autres. Avec des poids de classe équilibrés, chaque classe obtient le même poids total pendant l’entraînement. Une photo de bougie compte alors autant qu’environ 4,7 photos de chaises. La classe des chaises a 70 photos, et celle des bougies en a 15. Dans scikit-learn, un seul paramètre suffit : class_weight="balanced".
CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (all labels, balanced classes, 453 labelled photos): accuracy 0.944; worst class bowl (recall 0.85)L’exactitude passe de 0,894 à 0,944 : 8 photos de test correctement classées de plus. Le rappel des bougies passe de 0,60 à 0,95. Le graphique montre les classes qui ont changé :
- Toutes les étiquettes
- Toutes les étiquettes, classes équilibrées
Description textuelle du graphique
Un diagramme avec trois paires de colonnes, sur un axe de 0,5 à 1. Rappel des bougies : 0,60 avec toutes les étiquettes, 0,95 avec des classes équilibrées. Rappel des coussins : 0,95 et 1,00. Exactitude : 0,89 et 0,94. Les six autres classes ont le même rappel dans les deux cas : bol 0,85, chaise 1,00, lampe 0,95, tasse 0,90, pot de fleurs 0,90 et vase 1,00.
Seule la classe des bougies change beaucoup. Celle des coussins gagne une photo, et les six autres classes ne bougent pas. La même correction aide moins les autres plongements. Le rappel des bougies de DINOv2 passe de 0,70 à 0,80. Celui de ResNet-18 passe de 0,45 à 0,70. Un meilleur plongement donne plus d’information à la sonde.
Combien d’étiquettes faut-il à une sonde?
Section intitulée « Combien d’étiquettes faut-il à une sonde? »Omar pose la question qui détermine le budget : « Combien de photos devons-nous étiqueter pour chaque catégorie? » Priya répond avec une courbe d’apprentissage. Elle entraîne la sonde avec 1, 5, 10, 20, 40 et toutes les photos étiquetées par classe, choisies au hasard. Elle répète le tirage 10 fois pour chaque taille, et le graphique montre l’exactitude moyenne. Apprendre à partir de quelques exemples par classe s’appelle l’apprentissage à quelques exemples (few-shot).
- Sonde CLIP
- Sonde DINOv2
- Sonde ResNet-18
- CLIP en zéro exemple (sans étiquettes)
- ResNet-18 réglé finement (toutes les étiquettes)
Description textuelle du graphique
Un graphique en courbes. L’axe horizontal comporte six étapes : 1, 5, 10, 20, 40 et toutes les photos étiquetées par classe. L’axe vertical indique l’exactitude sur les données de test, de 0,5 à 1. La sonde CLIP : 0,624 avec 1 photo par classe, 0,869 avec 5, 0,904 avec 10, 0,929 avec 20, 0,912 avec 40 et 0,894 avec toutes. La sonde DINOv2 : 0,660, 0,850, 0,884, 0,893, 0,887 et 0,887. La sonde ResNet-18 : 0,637, 0,827, 0,857, 0,848, 0,832 et 0,806. Une ligne horizontale en pointillés à 0,925 représente CLIP en zéro exemple sans étiquettes. Un point isolé à « toutes », à 0,850, représente le ResNet-18 réglé finement pendant 4 époques au module 2.
Lisez le graphique de gauche à droite :
- Une photo par classe ne suffit pas : 0,624 pour CLIP, et de 0,487 à 0,762 selon la photo tirée. Un seul exemple ne peut pas montrer où une classe se termine.
- Cinq photos par classe donnent 0,869 avec CLIP : déjà mieux que le réglage fin de ResNet-18 sur les 453 photos (0,850).
- Vingt photos par classe donnent 0,929 : aussi bien que le zéro exemple (0,925), mais la sonde peut maintenant apprendre les règles propres à Larkfield. Cela représente 155 photos étiquetées au total, car la classe des bougies n’en a que 15.
- Plus d’étiquettes dégradent le résultat. Avec 40 par classe, 0,912; avec toutes, 0,894. Les classes redeviennent déséquilibrées : les autres passent à 41–70 photos, et les bougies restent à 15.
Ce dernier point surprend la plupart des gens. La cause est la même qu’avant. La sonde tient compte de l’équilibre entre les classes, pas seulement du nombre de photos. Avec des poids de classe équilibrés, toutes les étiquettes donnent 0,944, le meilleur résultat de ce module.
Le test caché, une seule fois
Section intitulée « Le test caché, une seule fois »Le cours réserve 160 autres photos du catalogue pour un test caché, comme l’explique Découvrir les images de Larkfield. Priya a choisi entre la sonde avec toutes les étiquettes et celle avec des classes équilibrées sur les photos de validation : 0,925 contre 0,933. Elle a gardé la sonde équilibrée, et l’équipe du cours l’a évaluée une seule fois sur le test caché : 0,956, avec les bougies comme pire classe à 0,90.
Le score caché est un peu plus élevé que le score de test (0,944). Sur 160 photos, cette différence représente environ deux photos : c’est le hasard, pas un meilleur modèle. Le résultat important est que le choix fait sur la validation a tenu sur des photos que personne n’avait vues.
Ajouter la sonde à votre projet
Section intitulée « Ajouter la sonde à votre projet »Le projet reçoit la sonde sous forme de commande, vision probe. Vous copiez deux nouveaux fichiers depuis l’instantané end-of-m03. Vérifiez d’abord l’emplacement : vous devez être dans votre dossier larkvision, avec l’environnement virtuel actif.
-
Ouvrez un terminal et allez dans votre dossier
larkvision. Activez l’environnement virtuel :source .venv/bin/activatesur macOS et Linux,.venv\Scripts\Activate.ps1sur Windows. -
Si c’est un nouveau terminal, définissez de nouveau
LARKVISION_DATA. Cette variable existe seulement dans le terminal où vous la définissez. La commande se trouve à l’étape 5 de Le projet sur votre ordinateur. -
Copiez les deux fichiers de cette leçon depuis l’instantané :
Fenêtre de terminal S=../nextia-learning-labs/C42/snapshots/end-of-m03for f in larkvision/embeddings.py larkvision/commands/probe.py; do cp "$S/$f" "$f"; doneFenêtre de terminal $S = "..\nextia-learning-labs\C42\snapshots\end-of-m03"foreach ($f in 'larkvision\embeddings.py', 'larkvision\commands\probe.py') { Copy-Item "$S\$f" $f } -
Exécutez les tests. Vous voyez encore
11 passed: les tests des nouvelles commandes arrivent avec la prochaine leçon.Fenêtre de terminal python -m pytest -q -
Entraînez la sonde CLIP sur toutes les étiquettes. Cela prend environ une seconde :
Fenêtre de terminal vision probe --embeddings clip -
Entraînez-la de nouveau avec des classes équilibrées :
Fenêtre de terminal vision probe --embeddings clip --balanced -
Entraînez-la avec 20 photos par classe :
Fenêtre de terminal vision probe --embeddings clip --per-class 20
Les étapes 5 et 6 affichent les deux lignes que vous avez vues plus haut. L’étape 7 affiche :
CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (20 per class, 155 labelled photos): accuracy 0.938; worst class bowl (recall 0.90)C’est un seul tirage aléatoire (--seed 0), qui donne donc 0,938, et non la moyenne de 10 tirages (0,929). Avec --seed 1, la même commande donne 0,925. larkvision/embeddings.py charge les plongements enregistrés selon le nom du modèle et les ramène à une longueur de 1. larkvision/commands/probe.py contient la fonction probe, avec les mêmes paramètres que le carnet. Chaque exécution ajoute une ligne à votre propre tableau : vision compare --task catalogue l’affiche à la fin, avec la mention « (yours) » (votre résultat).
Quand utiliser une sonde, et ce qu’elle coûte
Section intitulée « Quand utiliser une sonde, et ce qu’elle coûte »Utilisez une sonde linéaire lorsqu’un bon plongement existe pour vos photos et que vous avez, ou pouvez obtenir, environ 20 photos étiquetées par classe. C’est la première méthode entraînée à essayer. Elle s’entraîne en une seconde, ne nécessite aucun processeur graphique et se réentraîne facilement quand une étiquette change.
Ses limites :
- Elle ne peut pas voir plus que le plongement. Si le plongement mélange deux classes, une ligne droite ne peut pas les séparer. Le réglage fin modifie le plongement lui-même et peut les séparer.
- Elle suit l’équilibre de ses étiquettes. Une classe avec peu de photos obtient peu de réponses. Utilisez des poids de classe équilibrés, ou étiquetez d’abord la petite classe.
- Les poids équilibrés ont un coût. Ils font répondre la petite classe plus souvent à la sonde. Ici, rien d’autre ne s’est dégradé. Avec une très petite classe, ils peuvent ajouter de fausses détections de bougies.
- Elle a besoin du modèle de plongement au moment de la prédiction. Une nouvelle photo doit passer par CLIP (605 Mo) avant la sonde. La sonde elle-même ne fait que quelques kilooctets.
Exercice guidé : la sonde dans le carnet
Section intitulée « Exercice guidé : la sonde dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La deuxième se termine par une ligne
Ready:(prêt). - Exécutez la section 1. Vous voyez
453 training photos; 15 of them are candles(453 photos d’entraînement, dont 15 bougies). - Dans la section 2, prévoyez si les bougies seront la meilleure ou la pire classe. Exécutez ensuite la cellule. Vous voyez une exactitude de
0.894et un rappel des bougies de0.60. - Exécutez la section 3. Vous voyez une exactitude de
0.944et un rappel des bougies de0.95. - Dans la section 4, prévoyez si l’exactitude augmente jusqu’à « toutes les étiquettes ». Exécutez ensuite la cellule. Elle prend environ 30 secondes et trace la courbe d’apprentissage.
Le carnet affiche 0.928 pour 20 photos par classe, et le graphique ci-dessus indique 0,929. Les plongements enregistrés du cours sont arrondis pour économiser de l’espace, et un tirage sur dix varie d’une photo. Considérez les deux résultats comme équivalents.
À vous de jouer : DINOv2 avec 20 photos par classe
Section intitulée « À vous de jouer : DINOv2 avec 20 photos par classe »DINOv2, qui a appris à partir de photos seulement, fait-il aussi bien que CLIP avec 20 photos par classe? Faites d’abord une prédiction. Dans la section 5 du carnet (notebook) Jupyter, utilisez la fonction curve avec "dinov2" et la taille 20 seulement. Placez l’exactitude moyenne dans dinov2_20. Dans le parcours projet, exécutez vision probe --embeddings dinov2 --per-class 20 pour un seul tirage : il donne 0,900.
Afficher la réponse
dinov2_20 = curve("dinov2", sizes=(20,))[20]print(dinov2_20)0.893Avec 20 photos par classe, DINOv2 atteint 0,893, contre 0,929 pour CLIP. Sur ces photos de produits, le plongement de CLIP sépare mieux les classes. Ce n’est pas toujours le cas. Pour trouver le même produit dans la photo d’un client, DINOv2 fait beaucoup mieux que CLIP. Voyez Trouver le même produit. Le meilleur plongement dépend de la tâche. Mesurez donc sa performance sur la vôtre.
Erreur courante
Un tirage chanceux
Symptôme : Tomás étiquette 5 photos par classe, entraîne une sonde une seule fois et obtient ceci :
CLIP ViT-B/32 (OpenCLIP, laion2b_s34b_b79k) + logistic regression (5 per class, 40 labelled photos): accuracy 0.819; worst class vase (recall 0.45)Il dit à Omar : « Cinq photos par classe, ça ne sert à rien : le rappel des vases est de 0,45. » Priya n’est pas convaincue. Elle sait que 5 autres photos par classe pourraient donner un résultat très différent.
Cause : avec 5 photos par classe, le résultat dépend des 5 photos que vous choisissez d’étiqueter. Lesquelles choisissez-vous? Un pot de fleurs qui ressemble à un vase peut faire changer le résultat d’une classe entière. Sur 10 tirages aléatoires, la sonde CLIP avec 5 photos par classe allait de 0,819 à 0,925. Sa moyenne était de 0,869. Le tirage de Tomás était le pire des dix.
Correction : pour un résultat avec quelques exemples (few-shot), entraînez la sonde sur plusieurs tirages aléatoires. Présentez la moyenne et l’étendue, comme le fait la courbe d’apprentissage. Choisissez des photos variées à étiqueter : des formes, des matériaux et des arrière-plans différents. Ne choisissez pas les cinq plus faciles.
Conséquence pour le travail en IA : décider d’un budget d’étiquetage à partir d’un seul tirage peut mener à deux erreurs opposées. Omar pourrait abandonner une méthode qui fonctionne, ou faire confiance à une méthode qui n’a fonctionné que par chance.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Qu'est-ce qu'une sonde linéaire, et qu'apprend-elle? Pourquoi son entraînement prend-il une seconde, alors que le réglage fin prend des minutes?
Afficher la réponse
Une sonde linéaire est une régression logistique entraînée sur des plongements gelés. Elle apprend un poids par nombre du plongement et un biais par classe : ici, 8 × 512 + 8 = 4 104 nombres. Le modèle qui produit les plongements ne change pas. Les plongements sont calculés une seule fois, puis stockés. Le réglage fin modifie le réseau lui-même, soit environ 8,4 millions de nombres pour le dernier bloc de ResNet-18. Il doit aussi faire passer chaque photo dans le réseau de nombreuses fois. La sonde s’entraîne donc en environ une seconde, et le réglage fin en environ une demi-minute sur ces 453 photos. Avec plus de photos, le réglage fin prend beaucoup plus de temps.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Avec les 453 étiquettes, la sonde CLIP trouve seulement 12 des 20 bougies de test. Sa précision pour les bougies est de 1,0. Expliquez ces deux nombres et dites ce qui corrige le rappel.
Afficher la réponse
Les bougies représentent seulement 15 des 453 photos d’entraînement, soit environ 3 %. La régression logistique minimise ses erreurs sur les photos d’entraînement, où les bougies comptent peu. Elle apprend donc que « bougie » est une réponse rare. Elle répond « bougie » seulement quand elle est très sûre. Elle a donc toujours raison quand elle le dit (précision de 1,0), mais elle manque 8 bougies (rappel de 0,60). Des poids de classe équilibrés donnent à chaque classe le même poids total. Une photo de bougie compte alors autant qu’environ 4,7 photos de chaises. Avec ces poids, le rappel des bougies monte à 0,95 et l’exactitude à 0,944.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Omar prévoit une nouvelle catégorie. Selon la courbe d'apprentissage, combien de photos par classe lui demanderiez-vous d'étiqueter d'abord? Pourquoi pas « le plus possible »?
Afficher la réponse
Demandez d’abord environ 20 photos variées pour la nouvelle catégorie. Avec 20 photos par classe, la sonde CLIP a atteint 0,929 (moyenne de 10 tirages), aussi bien qu’en zéro exemple. Elle peut aussi apprendre les règles propres à Larkfield. Avec 5 photos par classe, elle a atteint 0,869, et un tirage a donné seulement 0,819. « Le plus possible » dans une seule classe n’est pas mieux. La courbe est descendue à 0,894 avec toutes les étiquettes, parce que les classes sont devenues déséquilibrées. Gardez les classes équilibrées, ou utilisez des poids de classe équilibrés. Mesurez ensuite le rappel de la nouvelle catégorie sur des photos de validation avant d’ajouter des étiquettes.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une sonde linéaire est une régression logistique sur des plongements gelés : 4 104 nombres à apprendre, environ une seconde d’entraînement.
- Avec toutes les étiquettes, la sonde CLIP atteint 0,894, avec un rappel des bougies de 0,60. La classe de 15 photos obtient peu de réponses.
- Les poids de classe équilibrés corrigent ce problème : 0,944, avec un rappel des bougies de 0,95. Choisie sur les données de validation, la sonde équilibrée a obtenu 0,956 sur le test caché, exécuté une seule fois.
- Quelques exemples : 5 photos par classe donnent 0,869, 20 donnent 0,929, toutes donnent 0,894. Plus d’étiquettes ont réduit l’exactitude parce que les classes sont devenues déséquilibrées.
- Un résultat avec quelques exemples dépend du tirage : présentez la moyenne et l’étendue de plusieurs tirages.
- Votre projet dispose maintenant de
vision probe, avec--balancedet--per-class.
Vous pouvez maintenant décider du nombre d’étiquettes nécessaires pour une catégorie. Mais la courbe d’apprentissage supposait que chaque étiquette était correcte. Ensuite, vous découvrirez la qualité des étiquettes. Vous rencontrerez deux annotateurs en désaccord, un guide d’étiquetage et les erreurs d’étiquette que nous avons insérées.
Leçon suivante : Les étiquettes : combien, et de quelle qualité