Aller au contenu
English

Les étiquettes : combien, et de quelle qualité

  • Leçon 12
  • 40 min
  • Module 3 : Plongements, CLIP et peu d'étiquettes

Où nous en sommes

Nos courbes d'apprentissage nous ont indiqué combien d'étiquettes il nous faut. Elles n'ont pas vérifié si les étiquettes sont bonnes. Dans cette leçon, nous rédigeons un guide d'étiquetage et mesurons l'accord entre deux annotateurs. Puis nous trouvons les erreurs d'étiquette insérées, avec les plongements et l'apprentissage confiant. D'abord, deux employés qui trient le même carton.

Leçon 12 sur 30 · IA de vision : voir, compter et inspecterLes étiquettes : combien, et de quelle qualité

Ce que vous saurez faire

Rendez les étiquettes de Larkfield assez fiables pour leur faire confiance. Notez les règles, mesurez si deux personnes les suivent de la même façon, et trouvez les mauvaises étiquettes du catalogue. Un modèle apprend les étiquettes, y compris leurs erreurs.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient chaque cellule de code, tâche et vérification de cette leçon. Ses cellules de préparation installent NumPy, pandas, scikit-learn et cleanlab. Elles téléchargent aussi les photos du catalogue et leurs plongements enregistrés sous forme de fichiers zip. Il ne télécharge aucun modèle. Il ne nécessite ni compte ni clé. Environ 30 minutes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 40 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur (seulement pour le parcours projet)

  • Votre dossier larkvision avec vision probe de la dernière leçon. python -m pytest -q affiche 11 passed (11 tests réussis).
  • Dans chaque nouveau terminal : allez dans larkvision, activez .venv et définissez de nouveau LARKVISION_DATA, comme dans Découvrir les images de Larkfield.

Testé avec Python 3.12.13, scikit-learn 1.9.1 et cleanlab 2.9.0 sur macOS, dans Jupyter et dans un terminal. Les commandes Windows, Colab et Kaggle n’ont pas été testées.

Hamid donne le même carton de 12 articles retournés à deux employés, l’un après l’autre. Chacun note une tablette pour chaque article. Ils s’entendent sur 10 articles et divergent sur 2 : un pot en céramique contenant des fleurs coupées et un grand pichet contenant une petite plante dans du terreau.

Aucun des deux employés n’a été négligent. Hamid n’a jamais précisé si la tablette dépend du contenant ou de ce qu’il contient. Chaque employé a choisi une règle raisonnable, mais les deux règles diffèrent. Le désaccord révèle une lacune dans les consignes.

Le problème : une étiquette est une décision, pas un fait

Section intitulée « Le problème : une étiquette est une décision, pas un fait »

Chaque méthode de ce module apprend à partir d’étiquettes. La sonde de la dernière leçon trace sa limite exactement là où les étiquettes l’indiquent. Si certains pots de fleurs portent l’étiquette « vase », la sonde apprend que certains pots de fleurs sont des vases. Si les photos de test ont de mauvaises étiquettes, même le score est faux.

Les étiquettes de Larkfield présentent deux types de problèmes. D’abord, le catalogue contient des erreurs insérées. Le cours a remplacé 4 des 70 étiquettes d’entraînement de pots de fleurs par « vase » : environ 6 % de la classe. Ensuite, il contient de vraies lacunes que personne n’a insérées. Les photos du catalogue viennent d’Open Images, qui les étiquette selon ses propres règles. Sa classe « Flowerpot » ne correspond pas exactement au « pot de fleurs » de Larkfield. Voici huit photos d’entraînement parmi les premières des listes de photos suspectes de cette leçon :

Huit photos sur deux rangées. Rangée du haut, encadrée en rouge, toutes étiquetées vase. Une plante dans un pot brun rouge, une plante dans un pot en plastique noir, un pot de jeunes pousses vertes, un bonsaï dans un pot plat. Rangée du bas. Un pot blanc en forme de vase contenant une fougère, étiqueté vase. Une tasse blanche contenant des brindilles sèches dans du terreau, étiquetée tasse. Une urne sculptée en terre cuite, étiquetée pot de fleurs. Un globe suspendu en verre contenant une plante aérienne, étiqueté vase.
En haut, encadrées : les 4 erreurs d'étiquette insérées, des pots de fleurs étiquetés vase. En bas : 4 cas difficiles du haut des listes de photos suspectes, avec les étiquettes qu'Open Images leur a données (en anglais dans l'image). Photos, en haut puis en bas : Joseph Novak, Chris Owen, Takahiro Yamagiwa, JCardinal18, bellergy2, Lauren Manning, mochichick, ProFlowers, CC BY 2.0, via Open Images.
Description textuelle du diagramme

La rangée du haut contient quatre photos encadrées en rouge. Toutes portent l’étiquette vase et montrent une plante qui pousse dans du terreau, dans un pot. Ce sont une plante dans un pot brun rouge, une plante dans un pot en plastique noir, un pot de jeunes pousses et un bonsaï. Ce sont les erreurs insérées. La rangée du bas contient quatre cas difficiles. Un pot blanc en forme de vase contenant une fougère porte l’étiquette vase. Une tasse blanche contenant des brindilles sèches dans du terreau porte l’étiquette tasse. Une urne sculptée en terre cuite vide porte l’étiquette pot de fleurs. Un globe suspendu en verre contenant une plante aérienne porte l’étiquette vase.

La rangée du haut est facile. Celle du bas est difficile. Une tasse contenant une plante est-elle une tasse ou un pot de fleurs? La bonne réponse dépend de ce que Larkfield vend. Aucun modèle ne peut décider à la place de Larkfield.

La solution est un guide d’étiquetage : un court document contenant les règles de chaque classe et des photos des cas difficiles. On le rédige avant de commencer l’étiquetage et on le met à jour à chaque nouveau cas difficile. Pour chaque paire de classes que les gens confondent, il contient :

  1. La question décisive. Pour Larkfield : « Quel produit le client achèterait-il? » Le catalogue vend des contenants. C’est donc le contenant qui décide, pas la plante.
  2. La règle. Un pot de fleurs a un trou de drainage ou une large ouverture, et contient du terreau. Un vase contient de l’eau et des fleurs coupées. Il est généralement plus haut que large.
  3. Les cas difficiles, avec des photos, la décision et sa raison. Une tasse contenant une plante est une tasse : Larkfield la vend comme tasse. Un pot en forme de vase contenant du terreau et une fougère est un pot de fleurs.
  4. Une solution en cas de doute. « Si vous ne pouvez pas décider en 10 secondes, choisissez incertain et ajoutez une note. » Quelqu’un peut vérifier une étiquette incertaine plus tard. Personne ne vérifie une réponse devinée.

La première version de Priya couvre les paires révélées par la carte des plongements : pot de fleurs–vase, bol–tasse et chaise–coussin.

Comment savoir si le guide fonctionne? Donnez les mêmes photos à deux personnes et mesurez leur fréquence d’accord. Voici un petit exemple : deux annotateurs, 12 photos, deux classes. Les étiquettes sont inventées pour cet exemple.

B dit pot de fleurs B dit vase Total
A dit pot de fleurs 5 1 6
A dit vase 1 5 6
Total 6 6 12

Le pourcentage d’accord est la proportion de photos sur lesquelles ils s’entendent : (5 + 5) / 12 = 0,833.

Mais deux personnes qui devinent au hasard s’entendent aussi parfois. Ici, chaque annotateur dit pot de fleurs pour la moitié des photos. Deux personnes répondant au hasard s’entendraient donc sur la moitié des photos : 0,5 × 0,5 pour « tous deux pot de fleurs », plus 0,5 × 0,5 pour « tous deux vase » = 0,5. Le kappa de Cohen mesure l’accord au-delà du hasard :

kappa = (accord − accord dû au hasard) / (1 − accord dû au hasard) = (0,833 − 0,5) / (1 − 0,5) = 0,667

Un kappa de 1 indique un accord parfait. Un kappa de 0 indique un accord qui ne dépasse pas le hasard. Comme règle pratique courante, visez 0,8 ou plus avant de faire confiance aux étiquettes pour l’entraînement. À 0,667, le guide présente des lacunes : trouvez les deux photos qui divisent A et B, tranchez et ajoutez-les au guide.

En pratique, deux personnes étiquettent les mêmes 50 à 100 photos de chaque classe avant de commencer le gros travail. Elles mesurent le kappa, règlent chaque désaccord, mettent à jour le guide et recommencent. Plus tard, quelques photos communes permettent de continuer à vérifier l’accord.

Au-delà de quelques centaines de photos, on utilise un outil d’étiquetage à code source ouvert comme Label Studio ou CVAT. Une personne clique sur une classe pour chaque photo, ou dessine des boîtes englobantes et des masques pour les modules 4 et 5. Le fichier manifest.csv du catalogue est une exportation de ce type. Vous pouvez donc vous passer de ces outils. Pour en essayer un, étiquetez 20 photos du catalogue avec votre guide et comparez-les au manifeste.

Trouver les mauvaises étiquettes avec les plongements

Section intitulée « Trouver les mauvaises étiquettes avec les plongements »

Un guide prévient les nouvelles erreurs. Mais le catalogue contient déjà 453 photos d’entraînement étiquetées. Les gens ratent des erreurs lorsqu’ils examinent des centaines de photos similaires. L’ordinateur peut-il pointer les photos dont l’étiquette risque le plus d’être fausse?

L’idée utilise la sonde de la dernière leçon. Entraînez une sonde et demandez-lui, pour chaque photo d’entraînement : « Quelle probabilité donnez-vous à l’étiquette de cette photo? » Une photo étiquetée vase qui ressemble exactement aux pots de fleurs reçoit une faible probabilité pour « vase ». Cette photo est suspecte.

Il y a un piège. Une sonde entraînée sur une photo a vu son étiquette. Elle tend donc à l’approuver, même si elle est fausse. La solution est la validation croisée du cours d’apprentissage automatique. Divisez les photos d’entraînement en 5 plis. Entraînez sur 4 plis et évaluez le 5e, 5 fois. Chaque photo reçoit alors une probabilité hors pli, calculée par une sonde qui ne l’a jamais vue.

Cinq photos d’entraînement, avec la probabilité hors pli que la sonde donne à chaque classe. Les nombres sont inventés pour cet exemple.

Photo Son étiquette P(pot de fleurs) P(vase) P(sa propre étiquette) Suspecte?
1 pot de fleurs 0,95 0,05 0,95 non
2 vase 0,10 0,90 0,90 non
3 vase 0,97 0,03 0,03 oui : regarder en premier
4 pot de fleurs 0,40 0,60 0,40 oui : regarder en deuxième
5 vase 0,45 0,55 0,55 non

La photo 3 est la plus suspecte : la sonde est très sûre qu’elle montre un pot de fleurs, mais elle porte l’étiquette vase. La photo 4 vient ensuite. La photo 5 est un cas serré, mais la sonde préfère encore son étiquette.

L’apprentissage confiant (confident learning) affine cette règle. Il mesure d’abord la confiance habituelle de la sonde pour chaque classe, car certaines classes sont plus difficiles que d’autres. Il signale ensuite une photo quand la probabilité d’une autre classe dépasse la confiance habituelle de cette classe. Les photos signalées sont classées par probabilité de leur propre étiquette, de la plus faible à la plus élevée. La bibliothèque Python cleanlab fait tout cela avec une seule fonction, find_label_issues.

Cinq cases de gauche à droite. 5 plis : diviser les 453 photos d'entraînement en 5 parties. Scores hors pli : entraîner une sonde sur 4 parties, évaluer la 5e partie, répéter 5 fois. Probabilité de l'étiquette attribuée : pour chaque photo, la probabilité que le modèle donne à sa propre étiquette. Une note précise qu'aucun modèle n'évalue une photo dont il a vu l'étiquette. Classement : les plus faibles d'abord, les photos dont le modèle doute le plus de l'étiquette. Une personne regarde : corriger une mauvaise étiquette, garder une bonne étiquette, mettre à jour le guide.
Trouver les étiquettes suspectes avec l'apprentissage confiant. L'ordinateur classe; une personne décide.
Description textuelle du diagramme

Le schéma contient cinq cases sur une rangée, l’une sous l’autre sur un téléphone. D’abord, les 453 photos d’entraînement sont divisées en 5 parties. Ensuite, une sonde est entraînée sur 4 parties et évalue la 5e, cinq fois. Chaque photo reçoit ainsi des scores hors pli. Troisièmement, pour chaque photo, nous prenons la probabilité que le modèle donne à sa propre étiquette. Une note précise qu’aucun modèle n’évalue une photo dont il a vu l’étiquette. Quatrièmement, les photos sont classées par probabilité croissante : les étiquettes dont le modèle doute le plus viennent d’abord. Enfin, une personne examine chaque photo, corrige les mauvaises étiquettes, garde les bonnes et met à jour le guide.

Priya exécute cleanlab sur les probabilités hors pli d’une sonde CLIP. Il signale 11 des 453 photos d’entraînement. Voici les dix premières, dans la section 2 du carnet :

Rang Photo Étiquette attribuée La sonde dit
1 P-2f04b07d vase pot de fleurs
2 P-2760f082 vase pot de fleurs
3 P-20464783 bol tasse
4 P-1c7efe8e vase pot de fleurs
5 P-157311db pot de fleurs vase
6 P-2b646d6f vase pot de fleurs
7 P-1ba1b277 chaise coussin
8 P-67737a23 vase pot de fleurs
9 P-427de7bf pot de fleurs vase
10 P-19aa91d9 vase pot de fleurs

Le corrigé scellé évalue la recherche : les 4 erreurs insérées sont toutes parmi les 10 premières, aux rangs 1, 2, 4 et 6. Avec les plongements DINOv2, cleanlab signale 12 photos. Les 4 erreurs insérées sont encore parmi les 10 premières. Dix photos à examiner au lieu de 453.

La carte de la dernière leçon montre pourquoi cela fonctionne. Les 4 erreurs insérées, encerclées, se trouvent au cœur du groupe des pots de fleurs, loin des vases :

La carte UMAP des 733 photos du catalogue, colorées selon leur étiquette, comme dans la leçon Les plongements d'images. Quatre cercles rouges indiquent les 4 erreurs d'étiquette insérées. Tous les quatre sont des points noirs de vases dans le groupe orange des pots de fleurs, en bas, loin du groupe des vases.
La carte UMAP des plongements CLIP, avec les 4 erreurs d'étiquette insérées encerclées en rouge. Leur étiquette dit vase; leurs plongements se trouvent parmi les pots de fleurs.
Description textuelle du diagramme

La carte est celle de la leçon Les plongements d’images : un point par photo du catalogue, coloré selon son étiquette. Quatre cercles rouges indiquent les erreurs d’étiquette insérées. Chaque cercle contient un point noir, la couleur des vases, dans le groupe orange des pots de fleurs, au bas de la carte. Les vrais vases sont plus haut. La sonde trouve les photos dont la couleur ne correspond pas à celle de leurs voisines.

Les six autres photos parmi les 10 premières ne sont pas des erreurs insérées. Ce sont une grande tasse étiquetée bol, un support vert en forme d’entonnoir étiqueté pot de fleurs, une chaise avec une veste et le globe en verre. Les deux autres sont des pots en céramique avec des lézards verts, étiquetés pot de fleurs, et une urne de jardin argentée, étiquetée vase. Certaines sont des cas difficiles pour le guide. La chaise avec une veste est une chaise : son étiquette est bonne, et la sonde se trompe. Une photo suspecte est une question pour une personne, pas une réponse.

Priya corrige les 4 erreurs insérées, réentraîne la sonde et relance la recherche. Avant de continuer, faites une prédiction : de combien l’exactitude sur les données de test augmente-t-elle?

Sonde CLIP sur les photos d’entraînement Exactitude sur les données de test Photos suspectes trouvées par cleanlab
Étiquettes fournies 0,894 11
4 erreurs insérées corrigées 0,894 5

L’exactitude sur les données de test ne change pas. La sonde DINOv2 change d’une photo, passant de 0,887 à 0,894. Quatre mauvaises étiquettes sur 453 photos sont trop peu pour changer ce que la sonde apprend sur les pots de fleurs. Les 66 pots de fleurs bien étiquetés restent majoritaires. La liste des photos suspectes, par contre, passe de 11 à 5.

Alors, pourquoi les corriger? Parce que les étiquettes servent à plus d’un entraînement :

  • Les erreurs pèsent davantage quand leur proportion augmente. Les vrais catalogues peuvent en contenir bien plus de 6 %. Dans une classe de 15 photos, une mauvaise étiquette représente 7 %.
  • Les erreurs dans les données de validation et de test changent le score. Une mauvaise étiquette de test fait compter une bonne réponse comme une erreur.
  • Les gens et les modèles futurs font aussi confiance aux étiquettes.

Les mêmes plongements trouvent un autre problème. Une photo téléversée deux fois, légèrement recadrée ou plus claire, a un plongement presque identique à celui de la première. La section 5 du carnet liste les 10 paires de photos d’entraînement les plus similaires. Avec CLIP, 5 des 10 premières paires sont des seconds téléversements que nous avons insérés, 6 au total. Avec DINOv2, les 6 sont parmi les 10 premières.

Un doublon pose surtout problème entre deux ensembles : le modèle est alors testé sur une photo qui a servi à son entraînement. Trouver le même produit compare cette méthode au hachage perceptuel.

Ajouter la vérification des étiquettes à votre projet

Section intitulée « Ajouter la vérification des étiquettes à votre projet »

Le projet reçoit la recherche sous forme de commande, vision labels. Elle classe les photos d’entraînement pour lesquelles la sonde préfère une autre étiquette, selon la probabilité hors pli de leur propre étiquette.

  1. Dans votre dossier larkvision, avec .venv actif et LARKVISION_DATA défini, copiez les derniers fichiers de ce module depuis l’instantané :

    Fenêtre de terminal
    S=../nextia-learning-labs/C42/snapshots/end-of-m03
    for f in larkvision/commands/labels.py tests/test_probe.py README.md; do cp "$S/$f" "$f"; done
  2. Exécutez les tests. Vous voyez 14 passed (14 tests réussis). Les trois nouveaux tests entraînent une sonde et cherchent une erreur insérée dans un petit dossier de données fictives :

    Fenêtre de terminal
    python -m pytest -q
  3. Lancez la recherche avec les plongements DINOv2 et évaluez-la avec le corrigé scellé :

    Fenêtre de terminal
    vision labels --embeddings dinov2 --score

La sortie de l’étape 3 :

34 training photos where the model prefers another label. The first 10:
P-2f04b07d labelled vase the model says plant_pot (probability of the label 0.03)
P-225e8002 labelled plant_pot the model says vase (probability of the label 0.06)
P-2b646d6f labelled vase the model says plant_pot (probability of the label 0.07)
P-427de7bf labelled plant_pot the model says vase (probability of the label 0.07)
P-2760f082 labelled vase the model says plant_pot (probability of the label 0.07)
P-4c9f361a labelled mug the model says vase (probability of the label 0.08)
P-2b84b0ec labelled plant_pot the model says chair (probability of the label 0.12)
P-1c8c6fb7 labelled candle the model says lamp (probability of the label 0.14)
P-1c7efe8e labelled vase the model says plant_pot (probability of the label 0.14)
P-157311db labelled plant_pot the model says vase (probability of the label 0.19)
Planted label errors in your top 10: 4 of 4

La règle simple signale 34 photos, contre 12 pour cleanlab avec les mêmes plongements, car elle signale aussi chaque cas serré. Ses 10 premières photos contiennent encore les 4 erreurs insérées. Votre projet correspond maintenant à l’instantané end-of-m03 : vision probe et vision labels, avec 14 tests.

Omar demande encore : « Le mois prochain, nous ajoutons des lanternes de jardin. Combien de photos devons-nous étiqueter? » Le plan de Priya utilise tout le module :

  1. Le guide d’abord, avec les confusions entre lanterne, lampe et bougie. Deux annotateurs le vérifient sur les mêmes 50 photos, jusqu’à obtenir un kappa d’environ 0,8.
  2. Environ 20 photos variées par classe. La courbe d’apprentissage a atteint 0,929 avec 20 photos par classe. Cinq par classe ont donné 0,869, et un tirage a donné seulement 0,819.
  3. Des classes équilibrées, ou des poids de classe équilibrés : les classes déséquilibrées ont donné 0,894 et trouvé seulement 12 bougies sur 20.
  4. La recherche de photos suspectes avant chaque entraînement, avec une personne qui examine chaque photo suspecte.
  5. Le rappel des lanternes sur les photos de validation. Étiquetez davantage de photos seulement s’il reste faible.

Quand utiliser ces vérifications, et ce qu’elles coûtent

Section intitulée « Quand utiliser ces vérifications, et ce qu’elles coûtent »

Utilisez un guide et une vérification de l’accord pour chaque travail d’étiquetage : cela coûte quelques heures. Utilisez la recherche de photos suspectes quand les étiquettes viennent de quelqu’un d’autre ou d’un jeu de données public. Elle trouve seulement les étiquettes qui ne concordent pas avec le plongement. Elle ne peut donc pas trouver les erreurs entre des classes que le plongement mélange. Et une personne doit examiner chaque photo suspecte : 11 ici, beaucoup plus dans un grand catalogue.

  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. La première installe les paquets, dont cleanlab.
  3. Exécutez la section 1. Vous voyez un accord de 0.833 et un kappa de 0.667.
  4. Exécutez la section 2. Vous voyez 11 suspects (11 cas suspects) et le tableau des dix premiers.
  5. Prédisez combien des dix cas sont de vraies erreurs. Exécutez ensuite la cellule suivante et regardez les dix photos.

Dans la section 3 du carnet, regardez les photos étiquetées comme vases parmi les dix premiers cas suspects. Inscrivez dans fixed_ids, en ordre, les identifiants des photos montrant clairement une plante qui pousse dans la terre d’un pot. Il y en a quatre. Deux autres photos de vases sont des cas difficiles : un globe de verre avec une plante aérienne et une urne de jardin. Gardez leurs étiquettes et notez ces cas pour le guide. Exécutez ensuite la section 4 pour mesurer le changement.

Afficher la réponse
fixed_ids = ["P-1c7efe8e", "P-2760f082", "P-2b646d6f", "P-2f04b07d"]

La cellule de vérification affiche Check passed: fixed_ids is right. (vérification réussie : fixed_ids est correct), et le corrigé scellé confirme 4 of 4 (4 sur 4). La section 4 affiche ensuite :

labels as given - test accuracy 0.894 - suspects 11
labels fixed - test accuracy 0.894 - suspects 5

Le score de test ne change pas, et la liste des cas suspects passe de 11 à 5. Les cinq cas restants sont difficiles ou portent des étiquettes correctes dont la sonde doute. La décision relève du guide, pas du code.

Erreur courante

Laisser le modèle corriger les étiquettes

Symptôme : Tomás voit que les quatre erreurs insérées étaient parmi les dix premiers cas. « Le modèle a raison, dit-il. Remplaçons l’étiquette de chaque cas suspect par la réponse du modèle. » Il écrit une ligne de code qui modifie les 11 cas suspects. La sonde entraînée sur ses nouvelles étiquettes obtient un score de test de 0,894, comme avant. La recherche suivante ne trouve aucun cas suspect.

Cause : seulement 4 des 11 cas suspects étaient de vraies erreurs. Sa ligne a changé 7 autres étiquettes sans que personne regarde les photos. La chaise avec une veste dessus est devenue un coussin. Un petit bol de feuilles de thé est devenu une tasse. Le score de test n’a pas révélé le problème. Sept changements parmi 453 photos sont trop peu nombreux pour changer le résultat de la sonde.

Correction : traitez chaque cas suspect comme une question à soumettre à une personne. Regardez la photo, décidez à l’aide du guide et consignez la raison. Ajoutez les cas difficiles au guide.

Conséquence pour le travail en IA : quand un modèle corrige ses propres étiquettes d’entraînement, ses angles morts deviennent la « vérité ». Tous les modèles suivants les apprennent. Aucune recherche ultérieure ne les révèle, car les étiquettes et le modèle sont maintenant d’accord.

Vérifiez votre compréhension

Deux annotateurs s'accordent sur 10 photos sur 12. Chacun indique « pot de fleurs » pour la moitié des photos. Calculez le kappa de Cohen et indiquez quoi faire avant le grand travail d'étiquetage.

Afficher la réponse

L’accord est de 10 / 12 = 0,833. Deux personnes qui devinent au hasard et répondent chacune « pot de fleurs » la moitié du temps s’accordent dans 0,5 × 0,5 + 0,5 × 0,5 = 0,5 des cas. Kappa = (0,833 − 0,5) / (1 − 0,5) = 0,667. C’est sous la cible courante d’environ 0,8. Regardez donc les deux photos où leurs réponses diffèrent et tranchez. Inscrivez la règle de décision et les photos dans le guide. Mesurez ensuite de nouveau sur de nouvelles photos communes avant de commencer le grand travail.

Vérifiez votre compréhension

Pourquoi la recherche de cas suspects doit-elle utiliser des probabilités calculées hors pli? Pourquoi pas celles d'une sonde entraînée sur toutes les photos?

Afficher la réponse

Une sonde entraînée sur une photo a vu son étiquette. Elle tend à la confirmer, même si l’étiquette est fausse. L’étiquette fausse reçoit alors une probabilité élevée et ne semble pas suspecte. Avec une validation croisée à 5 plis, chaque photo est évaluée par une sonde qui n’a jamais vu son étiquette. La probabilité montre alors à quel point l’étiquette correspond aux autres photos.

Vérifiez votre compréhension

Larkfield ajoute des lanternes de jardin le mois prochain. Recommandez combien de photos étiqueter d'abord et comment maintenir la qualité des étiquettes, avec des preuves de ce module.

Afficher la réponse

Le guide d’abord : les règles pour les lanternes et leurs confusions avec les lampes et les bougies. Deux annotateurs le vérifient jusqu’à obtenir un kappa d’environ 0,8. Ensuite, environ 20 photos variées par classe. La sonde CLIP a atteint 0,929 avec 20 photos par classe. Cinq photos par classe ont donné 0,869, avec des tirages allant de 0,819 à 0,925. Gardez les classes équilibrées ou utilisez des poids équilibrés. Les classes déséquilibrées ont donné 0,894 et un rappel de 0,60 pour les bougies. Lancez la recherche de cas suspects avant chaque entraînement, avec une personne qui regarde chaque cas. Mesurez ensuite le rappel des lanternes sur les photos de validation. Étiquetez-en davantage seulement si ce rappel reste faible.

Récapitulatif

  • Une étiquette est une décision. Un guide d’étiquetage donne la question qui permet de décider, les règles, les cas difficiles et une option « incertain ».
  • Le kappa de Cohen mesure l’accord au-delà du hasard : 0,667 dans l’exemple. Visez environ 0,8.
  • L’apprentissage confiant classe les photos d’entraînement selon la probabilité de leur propre étiquette, calculée hors pli. Sur le catalogue, cleanlab signale 11 photos (CLIP) et 12 (DINOv2), avec les 4 erreurs insérées parmi les dix premières.
  • Un cas suspect est une question pour une personne : 7 des 11 cas n’étaient pas des erreurs, et certaines étiquettes étaient correctes.
  • Corriger les 4 erreurs n’a pas changé l’exactitude de test (0,894), mais a réduit la liste des cas suspects de 11 à 5. Corrigez quand même les étiquettes : les erreurs pèsent davantage quand leur proportion augmente, et elles faussent tous les scores.
  • Les plongements similaires trouvent aussi les photos téléversées deux fois : 5 à 6 des 6 paires insérées.
  • Pour une nouvelle catégorie : un guide, environ 20 photos variées par classe, des classes équilibrées, une recherche de cas suspects, puis une mesure.

Vous pouvez maintenant classer les photos du catalogue avec peu d’étiquettes et faire confiance à ces étiquettes. Mais chaque photo reçoit encore une seule réponse pour l’ensemble de l’image. Ensuite, vous trouvez où se situe chaque objet et comptez les cartons sur une palette.

Leçon suivante : Les boîtes englobantes et l'IoU