Les étiquettes : combien, et de quelle qualité
- Leçon 12
- 40 min
- Module 3 : Plongements, CLIP et peu d'étiquettes
Où nous en sommes
Nos courbes d'apprentissage nous ont indiqué combien d'étiquettes il nous faut. Elles n'ont pas vérifié si les étiquettes sont bonnes. Dans cette leçon, nous rédigeons un guide d'étiquetage et mesurons l'accord entre deux annotateurs. Puis nous trouvons les erreurs d'étiquette insérées, avec les plongements et l'apprentissage confiant. D'abord, deux employés qui trient le même carton.
Leçon 12 sur 30 · IA de vision : voir, compter et inspecterLes étiquettes : combien, et de quelle qualité
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Rendez les étiquettes de Larkfield assez fiables pour leur faire confiance. Notez les règles, mesurez si deux personnes les suivent de la même façon, et trouvez les mauvaises étiquettes du catalogue. Un modèle apprend les étiquettes, y compris leurs erreurs.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de préparation installent NumPy, pandas, scikit-learn et cleanlab. Elles téléchargent aussi les photos du catalogue et leurs plongements enregistrés sous forme de fichiers zip. Il ne télécharge aucun modèle. Il ne nécessite ni compte ni clé. Environ 30 minutes.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les sondes linéaires, les classes équilibrées et la courbe d’apprentissage, vus dans Sondes linéaires et quelques exemples.
- La carte des plongements et la paire proche pot de fleurs–vase, vues dans Les plongements d’images.
- La validation croisée à 5 plis, vue dans Données d’entraînement, de validation et de test du cours d’apprentissage automatique.
- Le corrigé scellé
data/sealed-key.txt, vu dans Découvrir les images de Larkfield.
Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours projet)
- Votre dossier
larkvisionavecvision probede la dernière leçon.python -m pytest -qaffiche11 passed(11 tests réussis). - Dans chaque nouveau terminal : allez dans
larkvision, activez.venvet définissez de nouveauLARKVISION_DATA, comme dans Découvrir les images de Larkfield.
Testé avec Python 3.12.13, scikit-learn 1.9.1 et cleanlab 2.9.0 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Colab et Kaggle n’ont pas été testées.
Deux employés, un carton
Section intitulée « Deux employés, un carton »Hamid donne le même carton de 12 articles retournés à deux employés, l’un après l’autre. Chacun note une tablette pour chaque article. Ils s’entendent sur 10 articles et divergent sur 2 : un pot en céramique contenant des fleurs coupées et un grand pichet contenant une petite plante dans du terreau.
Aucun des deux employés n’a été négligent. Hamid n’a jamais précisé si la tablette dépend du contenant ou de ce qu’il contient. Chaque employé a choisi une règle raisonnable, mais les deux règles diffèrent. Le désaccord révèle une lacune dans les consignes.
Le problème : une étiquette est une décision, pas un fait
Section intitulée « Le problème : une étiquette est une décision, pas un fait »Chaque méthode de ce module apprend à partir d’étiquettes. La sonde de la dernière leçon trace sa limite exactement là où les étiquettes l’indiquent. Si certains pots de fleurs portent l’étiquette « vase », la sonde apprend que certains pots de fleurs sont des vases. Si les photos de test ont de mauvaises étiquettes, même le score est faux.
Les étiquettes de Larkfield présentent deux types de problèmes. D’abord, le catalogue contient des erreurs insérées. Le cours a remplacé 4 des 70 étiquettes d’entraînement de pots de fleurs par « vase » : environ 6 % de la classe. Ensuite, il contient de vraies lacunes que personne n’a insérées. Les photos du catalogue viennent d’Open Images, qui les étiquette selon ses propres règles. Sa classe « Flowerpot » ne correspond pas exactement au « pot de fleurs » de Larkfield. Voici huit photos d’entraînement parmi les premières des listes de photos suspectes de cette leçon :

Description textuelle du diagramme
La rangée du haut contient quatre photos encadrées en rouge. Toutes portent l’étiquette vase et montrent une plante qui pousse dans du terreau, dans un pot. Ce sont une plante dans un pot brun rouge, une plante dans un pot en plastique noir, un pot de jeunes pousses et un bonsaï. Ce sont les erreurs insérées. La rangée du bas contient quatre cas difficiles. Un pot blanc en forme de vase contenant une fougère porte l’étiquette vase. Une tasse blanche contenant des brindilles sèches dans du terreau porte l’étiquette tasse. Une urne sculptée en terre cuite vide porte l’étiquette pot de fleurs. Un globe suspendu en verre contenant une plante aérienne porte l’étiquette vase.
La rangée du haut est facile. Celle du bas est difficile. Une tasse contenant une plante est-elle une tasse ou un pot de fleurs? La bonne réponse dépend de ce que Larkfield vend. Aucun modèle ne peut décider à la place de Larkfield.
Un guide d’étiquetage
Section intitulée « Un guide d’étiquetage »La solution est un guide d’étiquetage : un court document contenant les règles de chaque classe et des photos des cas difficiles. On le rédige avant de commencer l’étiquetage et on le met à jour à chaque nouveau cas difficile. Pour chaque paire de classes que les gens confondent, il contient :
- La question décisive. Pour Larkfield : « Quel produit le client achèterait-il? » Le catalogue vend des contenants. C’est donc le contenant qui décide, pas la plante.
- La règle. Un pot de fleurs a un trou de drainage ou une large ouverture, et contient du terreau. Un vase contient de l’eau et des fleurs coupées. Il est généralement plus haut que large.
- Les cas difficiles, avec des photos, la décision et sa raison. Une tasse contenant une plante est une tasse : Larkfield la vend comme tasse. Un pot en forme de vase contenant du terreau et une fougère est un pot de fleurs.
- Une solution en cas de doute. « Si vous ne pouvez pas décider en 10 secondes, choisissez incertain et ajoutez une note. » Quelqu’un peut vérifier une étiquette incertaine plus tard. Personne ne vérifie une réponse devinée.
La première version de Priya couvre les paires révélées par la carte des plongements : pot de fleurs–vase, bol–tasse et chaise–coussin.
L’accord entre deux annotateurs
Section intitulée « L’accord entre deux annotateurs »Comment savoir si le guide fonctionne? Donnez les mêmes photos à deux personnes et mesurez leur fréquence d’accord. Voici un petit exemple : deux annotateurs, 12 photos, deux classes. Les étiquettes sont inventées pour cet exemple.
| B dit pot de fleurs | B dit vase | Total | |
|---|---|---|---|
| A dit pot de fleurs | 5 | 1 | 6 |
| A dit vase | 1 | 5 | 6 |
| Total | 6 | 6 | 12 |
Le pourcentage d’accord est la proportion de photos sur lesquelles ils s’entendent : (5 + 5) / 12 = 0,833.
Mais deux personnes qui devinent au hasard s’entendent aussi parfois. Ici, chaque annotateur dit pot de fleurs pour la moitié des photos. Deux personnes répondant au hasard s’entendraient donc sur la moitié des photos : 0,5 × 0,5 pour « tous deux pot de fleurs », plus 0,5 × 0,5 pour « tous deux vase » = 0,5. Le kappa de Cohen mesure l’accord au-delà du hasard :
kappa = (accord − accord dû au hasard) / (1 − accord dû au hasard) = (0,833 − 0,5) / (1 − 0,5) = 0,667
Un kappa de 1 indique un accord parfait. Un kappa de 0 indique un accord qui ne dépasse pas le hasard. Comme règle pratique courante, visez 0,8 ou plus avant de faire confiance aux étiquettes pour l’entraînement. À 0,667, le guide présente des lacunes : trouvez les deux photos qui divisent A et B, tranchez et ajoutez-les au guide.
En pratique, deux personnes étiquettent les mêmes 50 à 100 photos de chaque classe avant de commencer le gros travail. Elles mesurent le kappa, règlent chaque désaccord, mettent à jour le guide et recommencent. Plus tard, quelques photos communes permettent de continuer à vérifier l’accord.
Outils d’étiquetage
Section intitulée « Outils d’étiquetage »Au-delà de quelques centaines de photos, on utilise un outil d’étiquetage à code source ouvert comme Label Studio ou CVAT. Une personne clique sur une classe pour chaque photo, ou dessine des boîtes englobantes et des masques pour les modules 4 et 5. Le fichier manifest.csv du catalogue est une exportation de ce type. Vous pouvez donc vous passer de ces outils. Pour en essayer un, étiquetez 20 photos du catalogue avec votre guide et comparez-les au manifeste.
Trouver les mauvaises étiquettes avec les plongements
Section intitulée « Trouver les mauvaises étiquettes avec les plongements »Un guide prévient les nouvelles erreurs. Mais le catalogue contient déjà 453 photos d’entraînement étiquetées. Les gens ratent des erreurs lorsqu’ils examinent des centaines de photos similaires. L’ordinateur peut-il pointer les photos dont l’étiquette risque le plus d’être fausse?
L’idée utilise la sonde de la dernière leçon. Entraînez une sonde et demandez-lui, pour chaque photo d’entraînement : « Quelle probabilité donnez-vous à l’étiquette de cette photo? » Une photo étiquetée vase qui ressemble exactement aux pots de fleurs reçoit une faible probabilité pour « vase ». Cette photo est suspecte.
Il y a un piège. Une sonde entraînée sur une photo a vu son étiquette. Elle tend donc à l’approuver, même si elle est fausse. La solution est la validation croisée du cours d’apprentissage automatique. Divisez les photos d’entraînement en 5 plis. Entraînez sur 4 plis et évaluez le 5e, 5 fois. Chaque photo reçoit alors une probabilité hors pli, calculée par une sonde qui ne l’a jamais vue.
Un petit exemple détaillé
Section intitulée « Un petit exemple détaillé »Cinq photos d’entraînement, avec la probabilité hors pli que la sonde donne à chaque classe. Les nombres sont inventés pour cet exemple.
| Photo | Son étiquette | P(pot de fleurs) | P(vase) | P(sa propre étiquette) | Suspecte? |
|---|---|---|---|---|---|
| 1 | pot de fleurs | 0,95 | 0,05 | 0,95 | non |
| 2 | vase | 0,10 | 0,90 | 0,90 | non |
| 3 | vase | 0,97 | 0,03 | 0,03 | oui : regarder en premier |
| 4 | pot de fleurs | 0,40 | 0,60 | 0,40 | oui : regarder en deuxième |
| 5 | vase | 0,45 | 0,55 | 0,55 | non |
La photo 3 est la plus suspecte : la sonde est très sûre qu’elle montre un pot de fleurs, mais elle porte l’étiquette vase. La photo 4 vient ensuite. La photo 5 est un cas serré, mais la sonde préfère encore son étiquette.
L’apprentissage confiant (confident learning) affine cette règle. Il mesure d’abord la confiance habituelle de la sonde pour chaque classe, car certaines classes sont plus difficiles que d’autres. Il signale ensuite une photo quand la probabilité d’une autre classe dépasse la confiance habituelle de cette classe. Les photos signalées sont classées par probabilité de leur propre étiquette, de la plus faible à la plus élevée. La bibliothèque Python cleanlab fait tout cela avec une seule fonction, find_label_issues.
Description textuelle du diagramme
Le schéma contient cinq cases sur une rangée, l’une sous l’autre sur un téléphone. D’abord, les 453 photos d’entraînement sont divisées en 5 parties. Ensuite, une sonde est entraînée sur 4 parties et évalue la 5e, cinq fois. Chaque photo reçoit ainsi des scores hors pli. Troisièmement, pour chaque photo, nous prenons la probabilité que le modèle donne à sa propre étiquette. Une note précise qu’aucun modèle n’évalue une photo dont il a vu l’étiquette. Quatrièmement, les photos sont classées par probabilité croissante : les étiquettes dont le modèle doute le plus viennent d’abord. Enfin, une personne examine chaque photo, corrige les mauvaises étiquettes, garde les bonnes et met à jour le guide.
Larkfield : les photos suspectes du catalogue
Section intitulée « Larkfield : les photos suspectes du catalogue »Priya exécute cleanlab sur les probabilités hors pli d’une sonde CLIP. Il signale 11 des 453 photos d’entraînement. Voici les dix premières, dans la section 2 du carnet :
| Rang | Photo | Étiquette attribuée | La sonde dit |
|---|---|---|---|
| 1 | P-2f04b07d | vase | pot de fleurs |
| 2 | P-2760f082 | vase | pot de fleurs |
| 3 | P-20464783 | bol | tasse |
| 4 | P-1c7efe8e | vase | pot de fleurs |
| 5 | P-157311db | pot de fleurs | vase |
| 6 | P-2b646d6f | vase | pot de fleurs |
| 7 | P-1ba1b277 | chaise | coussin |
| 8 | P-67737a23 | vase | pot de fleurs |
| 9 | P-427de7bf | pot de fleurs | vase |
| 10 | P-19aa91d9 | vase | pot de fleurs |
Le corrigé scellé évalue la recherche : les 4 erreurs insérées sont toutes parmi les 10 premières, aux rangs 1, 2, 4 et 6. Avec les plongements DINOv2, cleanlab signale 12 photos. Les 4 erreurs insérées sont encore parmi les 10 premières. Dix photos à examiner au lieu de 453.
La carte de la dernière leçon montre pourquoi cela fonctionne. Les 4 erreurs insérées, encerclées, se trouvent au cœur du groupe des pots de fleurs, loin des vases :

Description textuelle du diagramme
La carte est celle de la leçon Les plongements d’images : un point par photo du catalogue, coloré selon son étiquette. Quatre cercles rouges indiquent les erreurs d’étiquette insérées. Chaque cercle contient un point noir, la couleur des vases, dans le groupe orange des pots de fleurs, au bas de la carte. Les vrais vases sont plus haut. La sonde trouve les photos dont la couleur ne correspond pas à celle de leurs voisines.
Les six autres photos parmi les 10 premières ne sont pas des erreurs insérées. Ce sont une grande tasse étiquetée bol, un support vert en forme d’entonnoir étiqueté pot de fleurs, une chaise avec une veste et le globe en verre. Les deux autres sont des pots en céramique avec des lézards verts, étiquetés pot de fleurs, et une urne de jardin argentée, étiquetée vase. Certaines sont des cas difficiles pour le guide. La chaise avec une veste est une chaise : son étiquette est bonne, et la sonde se trompe. Une photo suspecte est une question pour une personne, pas une réponse.
Corriger les étiquettes et mesurer le changement
Section intitulée « Corriger les étiquettes et mesurer le changement »Priya corrige les 4 erreurs insérées, réentraîne la sonde et relance la recherche. Avant de continuer, faites une prédiction : de combien l’exactitude sur les données de test augmente-t-elle?
| Sonde CLIP sur les photos d’entraînement | Exactitude sur les données de test | Photos suspectes trouvées par cleanlab |
|---|---|---|
| Étiquettes fournies | 0,894 | 11 |
| 4 erreurs insérées corrigées | 0,894 | 5 |
L’exactitude sur les données de test ne change pas. La sonde DINOv2 change d’une photo, passant de 0,887 à 0,894. Quatre mauvaises étiquettes sur 453 photos sont trop peu pour changer ce que la sonde apprend sur les pots de fleurs. Les 66 pots de fleurs bien étiquetés restent majoritaires. La liste des photos suspectes, par contre, passe de 11 à 5.
Alors, pourquoi les corriger? Parce que les étiquettes servent à plus d’un entraînement :
- Les erreurs pèsent davantage quand leur proportion augmente. Les vrais catalogues peuvent en contenir bien plus de 6 %. Dans une classe de 15 photos, une mauvaise étiquette représente 7 %.
- Les erreurs dans les données de validation et de test changent le score. Une mauvaise étiquette de test fait compter une bonne réponse comme une erreur.
- Les gens et les modèles futurs font aussi confiance aux étiquettes.
Les photos présentes deux fois dans le catalogue
Section intitulée « Les photos présentes deux fois dans le catalogue »Les mêmes plongements trouvent un autre problème. Une photo téléversée deux fois, légèrement recadrée ou plus claire, a un plongement presque identique à celui de la première. La section 5 du carnet liste les 10 paires de photos d’entraînement les plus similaires. Avec CLIP, 5 des 10 premières paires sont des seconds téléversements que nous avons insérés, 6 au total. Avec DINOv2, les 6 sont parmi les 10 premières.
Un doublon pose surtout problème entre deux ensembles : le modèle est alors testé sur une photo qui a servi à son entraînement. Trouver le même produit compare cette méthode au hachage perceptuel.
Ajouter la vérification des étiquettes à votre projet
Section intitulée « Ajouter la vérification des étiquettes à votre projet »Le projet reçoit la recherche sous forme de commande, vision labels. Elle classe les photos d’entraînement pour lesquelles la sonde préfère une autre étiquette, selon la probabilité hors pli de leur propre étiquette.
-
Dans votre dossier
larkvision, avec.venvactif etLARKVISION_DATAdéfini, copiez les derniers fichiers de ce module depuis l’instantané :Fenêtre de terminal S=../nextia-learning-labs/C42/snapshots/end-of-m03for f in larkvision/commands/labels.py tests/test_probe.py README.md; do cp "$S/$f" "$f"; doneFenêtre de terminal $S = "..\nextia-learning-labs\C42\snapshots\end-of-m03"foreach ($f in 'larkvision\commands\labels.py', 'tests\test_probe.py', 'README.md') { Copy-Item "$S\$f" $f } -
Exécutez les tests. Vous voyez
14 passed(14 tests réussis). Les trois nouveaux tests entraînent une sonde et cherchent une erreur insérée dans un petit dossier de données fictives :Fenêtre de terminal python -m pytest -q -
Lancez la recherche avec les plongements DINOv2 et évaluez-la avec le corrigé scellé :
Fenêtre de terminal vision labels --embeddings dinov2 --score
La sortie de l’étape 3 :
34 training photos where the model prefers another label. The first 10: P-2f04b07d labelled vase the model says plant_pot (probability of the label 0.03) P-225e8002 labelled plant_pot the model says vase (probability of the label 0.06) P-2b646d6f labelled vase the model says plant_pot (probability of the label 0.07) P-427de7bf labelled plant_pot the model says vase (probability of the label 0.07) P-2760f082 labelled vase the model says plant_pot (probability of the label 0.07) P-4c9f361a labelled mug the model says vase (probability of the label 0.08) P-2b84b0ec labelled plant_pot the model says chair (probability of the label 0.12) P-1c8c6fb7 labelled candle the model says lamp (probability of the label 0.14) P-1c7efe8e labelled vase the model says plant_pot (probability of the label 0.14) P-157311db labelled plant_pot the model says vase (probability of the label 0.19)Planted label errors in your top 10: 4 of 4La règle simple signale 34 photos, contre 12 pour cleanlab avec les mêmes plongements, car elle signale aussi chaque cas serré. Ses 10 premières photos contiennent encore les 4 erreurs insérées. Votre projet correspond maintenant à l’instantané end-of-m03 : vision probe et vision labels, avec 14 tests.
Combien d’étiquettes pour une nouvelle catégorie?
Section intitulée « Combien d’étiquettes pour une nouvelle catégorie? »Omar demande encore : « Le mois prochain, nous ajoutons des lanternes de jardin. Combien de photos devons-nous étiqueter? » Le plan de Priya utilise tout le module :
- Le guide d’abord, avec les confusions entre lanterne, lampe et bougie. Deux annotateurs le vérifient sur les mêmes 50 photos, jusqu’à obtenir un kappa d’environ 0,8.
- Environ 20 photos variées par classe. La courbe d’apprentissage a atteint 0,929 avec 20 photos par classe. Cinq par classe ont donné 0,869, et un tirage a donné seulement 0,819.
- Des classes équilibrées, ou des poids de classe équilibrés : les classes déséquilibrées ont donné 0,894 et trouvé seulement 12 bougies sur 20.
- La recherche de photos suspectes avant chaque entraînement, avec une personne qui examine chaque photo suspecte.
- Le rappel des lanternes sur les photos de validation. Étiquetez davantage de photos seulement s’il reste faible.
Quand utiliser ces vérifications, et ce qu’elles coûtent
Section intitulée « Quand utiliser ces vérifications, et ce qu’elles coûtent »Utilisez un guide et une vérification de l’accord pour chaque travail d’étiquetage : cela coûte quelques heures. Utilisez la recherche de photos suspectes quand les étiquettes viennent de quelqu’un d’autre ou d’un jeu de données public. Elle trouve seulement les étiquettes qui ne concordent pas avec le plongement. Elle ne peut donc pas trouver les erreurs entre des classes que le plongement mélange. Et une personne doit examiner chaque photo suspecte : 11 ici, beaucoup plus dans un grand catalogue.
Exercice guidé : les étiquettes dans le carnet
Section intitulée « Exercice guidé : les étiquettes dans le carnet »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de préparation. La première installe les paquets, dont cleanlab.
- Exécutez la section 1. Vous voyez un accord de
0.833et un kappa de0.667. - Exécutez la section 2. Vous voyez
11 suspects(11 cas suspects) et le tableau des dix premiers. - Prédisez combien des dix cas sont de vraies erreurs. Exécutez ensuite la cellule suivante et regardez les dix photos.
À vous de jouer : corriger les étiquettes de vase
Section intitulée « À vous de jouer : corriger les étiquettes de vase »Dans la section 3 du carnet, regardez les photos étiquetées comme vases parmi les dix premiers cas suspects. Inscrivez dans fixed_ids, en ordre, les identifiants des photos montrant clairement une plante qui pousse dans la terre d’un pot. Il y en a quatre. Deux autres photos de vases sont des cas difficiles : un globe de verre avec une plante aérienne et une urne de jardin. Gardez leurs étiquettes et notez ces cas pour le guide. Exécutez ensuite la section 4 pour mesurer le changement.
Afficher la réponse
fixed_ids = ["P-1c7efe8e", "P-2760f082", "P-2b646d6f", "P-2f04b07d"]La cellule de vérification affiche Check passed: fixed_ids is right. (vérification réussie : fixed_ids est correct), et le corrigé scellé confirme 4 of 4 (4 sur 4). La section 4 affiche ensuite :
labels as given - test accuracy 0.894 - suspects 11labels fixed - test accuracy 0.894 - suspects 5Le score de test ne change pas, et la liste des cas suspects passe de 11 à 5. Les cinq cas restants sont difficiles ou portent des étiquettes correctes dont la sonde doute. La décision relève du guide, pas du code.
Erreur courante
Laisser le modèle corriger les étiquettes
Symptôme : Tomás voit que les quatre erreurs insérées étaient parmi les dix premiers cas. « Le modèle a raison, dit-il. Remplaçons l’étiquette de chaque cas suspect par la réponse du modèle. » Il écrit une ligne de code qui modifie les 11 cas suspects. La sonde entraînée sur ses nouvelles étiquettes obtient un score de test de 0,894, comme avant. La recherche suivante ne trouve aucun cas suspect.
Cause : seulement 4 des 11 cas suspects étaient de vraies erreurs. Sa ligne a changé 7 autres étiquettes sans que personne regarde les photos. La chaise avec une veste dessus est devenue un coussin. Un petit bol de feuilles de thé est devenu une tasse. Le score de test n’a pas révélé le problème. Sept changements parmi 453 photos sont trop peu nombreux pour changer le résultat de la sonde.
Correction : traitez chaque cas suspect comme une question à soumettre à une personne. Regardez la photo, décidez à l’aide du guide et consignez la raison. Ajoutez les cas difficiles au guide.
Conséquence pour le travail en IA : quand un modèle corrige ses propres étiquettes d’entraînement, ses angles morts deviennent la « vérité ». Tous les modèles suivants les apprennent. Aucune recherche ultérieure ne les révèle, car les étiquettes et le modèle sont maintenant d’accord.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Deux annotateurs s'accordent sur 10 photos sur 12. Chacun indique « pot de fleurs » pour la moitié des photos. Calculez le kappa de Cohen et indiquez quoi faire avant le grand travail d'étiquetage.
Afficher la réponse
L’accord est de 10 / 12 = 0,833. Deux personnes qui devinent au hasard et répondent chacune « pot de fleurs » la moitié du temps s’accordent dans 0,5 × 0,5 + 0,5 × 0,5 = 0,5 des cas. Kappa = (0,833 − 0,5) / (1 − 0,5) = 0,667. C’est sous la cible courante d’environ 0,8. Regardez donc les deux photos où leurs réponses diffèrent et tranchez. Inscrivez la règle de décision et les photos dans le guide. Mesurez ensuite de nouveau sur de nouvelles photos communes avant de commencer le grand travail.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Pourquoi la recherche de cas suspects doit-elle utiliser des probabilités calculées hors pli? Pourquoi pas celles d'une sonde entraînée sur toutes les photos?
Afficher la réponse
Une sonde entraînée sur une photo a vu son étiquette. Elle tend à la confirmer, même si l’étiquette est fausse. L’étiquette fausse reçoit alors une probabilité élevée et ne semble pas suspecte. Avec une validation croisée à 5 plis, chaque photo est évaluée par une sonde qui n’a jamais vu son étiquette. La probabilité montre alors à quel point l’étiquette correspond aux autres photos.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Larkfield ajoute des lanternes de jardin le mois prochain. Recommandez combien de photos étiqueter d'abord et comment maintenir la qualité des étiquettes, avec des preuves de ce module.
Afficher la réponse
Le guide d’abord : les règles pour les lanternes et leurs confusions avec les lampes et les bougies. Deux annotateurs le vérifient jusqu’à obtenir un kappa d’environ 0,8. Ensuite, environ 20 photos variées par classe. La sonde CLIP a atteint 0,929 avec 20 photos par classe. Cinq photos par classe ont donné 0,869, avec des tirages allant de 0,819 à 0,925. Gardez les classes équilibrées ou utilisez des poids équilibrés. Les classes déséquilibrées ont donné 0,894 et un rappel de 0,60 pour les bougies. Lancez la recherche de cas suspects avant chaque entraînement, avec une personne qui regarde chaque cas. Mesurez ensuite le rappel des lanternes sur les photos de validation. Étiquetez-en davantage seulement si ce rappel reste faible.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Une étiquette est une décision. Un guide d’étiquetage donne la question qui permet de décider, les règles, les cas difficiles et une option « incertain ».
- Le kappa de Cohen mesure l’accord au-delà du hasard : 0,667 dans l’exemple. Visez environ 0,8.
- L’apprentissage confiant classe les photos d’entraînement selon la probabilité de leur propre étiquette, calculée hors pli. Sur le catalogue, cleanlab signale 11 photos (CLIP) et 12 (DINOv2), avec les 4 erreurs insérées parmi les dix premières.
- Un cas suspect est une question pour une personne : 7 des 11 cas n’étaient pas des erreurs, et certaines étiquettes étaient correctes.
- Corriger les 4 erreurs n’a pas changé l’exactitude de test (0,894), mais a réduit la liste des cas suspects de 11 à 5. Corrigez quand même les étiquettes : les erreurs pèsent davantage quand leur proportion augmente, et elles faussent tous les scores.
- Les plongements similaires trouvent aussi les photos téléversées deux fois : 5 à 6 des 6 paires insérées.
- Pour une nouvelle catégorie : un guide, environ 20 photos variées par classe, des classes équilibrées, une recherche de cas suspects, puis une mesure.
Vous pouvez maintenant classer les photos du catalogue avec peu d’étiquettes et faire confiance à ces étiquettes. Mais chaque photo reçoit encore une seule réponse pour l’ensemble de l’image. Ensuite, vous trouvez où se situe chaque objet et comptez les cartons sur une palette.
Leçon suivante : Les boîtes englobantes et l'IoU