Aller au contenu
English

Les boîtes englobantes et l'IoU

  • Leçon 13
  • 35 min
  • Module 4 : Détecter et compter

Où nous en sommes

Jusqu'ici, chaque réponse était une seule étiquette pour toute la photo. Hamid doit aussi savoir combien de cartons contient une palette. Dans cette leçon, nous découvrons la boîte englobante : ce que renvoie un détecteur, comment l'IoU évalue une boîte englobante et comment la suppression des non-maxima élimine les doublons.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 13 sur 30 · IA de vision : voir, compter et inspecterLes boîtes englobantes et l'IoU

Ce que vous saurez faire

Lisez ce que renvoie un détecteur, évaluez chaque boîte englobante avec l’intersection sur union (IoU) et éliminez les doublons avec la suppression des non-maxima (NMS). Comptez ensuite les cartons sur les palettes de Larkfield. Voyez pourquoi un décompte juste peut quand même cacher des boîtes englobantes incorrectes.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter contient le code, les tâches et les vérifications de cette leçon. Il lit les photos de palettes et les boîtes englobantes d’un détecteur, puis calcule l’IoU à la main. Ensuite, il trace les boîtes englobantes sur une palette serrée et applique la NMS avec trois seuils. Ses cellules de préparation téléchargent les photos de palettes (sans modèle ni clé). Aucune préparation locale n’est donc nécessaire. Environ 30 minutes; les cellules s’exécutent en quelques secondes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Pour le carnet : rien. Il s’exécute dans Colab ou Kaggle.
  • Pour les étapes du projet : votre projet larkvision à la fin du module 3, avec son environnement virtuel et les fichiers d’exercice dans ../nextia-learning-labs. Si votre projet ne fonctionne plus, recopiez l’instantané end-of-m03, comme dans Découvrir les images de Larkfield.

Testé avec Python 3.12 sur macOS. Les commandes Windows sont fournies, mais n’ont pas été exécutées.

Avant de charger une palette sur un camion, une personne dans l’entrepôt de Hamid compte ses cartons. Elle pointe chaque carton du doigt : « un, deux, trois… ». Deux erreurs sont possibles. Elle peut pointer le même carton deux fois. Ou elle peut oublier un carton caché entre deux autres.

Un détecteur compte de la même façon. Il pointe chaque objet avec un rectangle. Il peut pointer deux fois le même carton ou en manquer un. Cette leçon vous donne les outils pour repérer ces deux erreurs.

Dans les modules 2 et 3, chaque méthode donnait une seule étiquette pour toute la photo : « bougie », « tasse », « vase ». Une photo de palette aurait l’étiquette « cartons ». Elle ne dit pas combien de cartons il y a, ni où ils sont.

Hamid a besoin du nombre. Une palette de 22 cartons et une palette de 51 cartons reçoivent toutes deux l’étiquette « cartons ». Il nous faut donc un autre type de réponse : un rectangle pour chaque objet.

Un détecteur est un modèle qui trouve des objets dans une photo. Pour chaque objet, il renvoie trois éléments :

  • Une boîte englobante : un rectangle autour de l’objet. Dans ce cours, une boîte englobante correspond à quatre nombres, [x, y, w, h] : le bord gauche, le bord supérieur, la largeur et la hauteur, en pixels. Le point (0, 0) est le coin supérieur gauche de la photo.
  • Une classe : ce qu’est l’objet, par exemple « carton ».
  • Un score de 0 à 1 : le degré de certitude du détecteur.

Voici ce que renvoie un détecteur sur une palette espacée. C’est le détecteur que vous réglerez finement dans une leçon ultérieure de ce module. Ici, nous lisons seulement ses boîtes englobantes.

Une palette avec neuf cartons répartis en trois colonnes et trois étages. Chaque carton est entouré d'un rectangle bleu, avec une étiquette comme box 1.00 ou box 0.95.
Les boîtes englobantes du détecteur réglé finement sur la palette S-061 (9 cartons), avec un score d'au moins 0,6. Chaque boîte englobante a une classe et un score. Notre code dessine les photos de palettes (synthétiques).
Description textuelle du diagramme

Une photo synthétique de palette de 512 sur 384 pixels, avec neuf cartons en trois colonnes et trois étages. Chaque carton est entouré d’un rectangle bleu tracé par le détecteur, un peu plus grand ou plus petit que le carton. Chaque rectangle porte une étiquette avec la classe « box » (carton) et un score : 1,00 pour le carton supérieur gauche, 0,99 pour trois cartons, 0,98 pour deux, 0,97 pour deux et 0,95 pour le carton inférieur du milieu.

Les trois meilleures boîtes englobantes, en nombres :

Boîte englobante [x, y, w, h] Classe Score
[64.3, 19.5, 111.6, 111.4] box 0,9952
[310.2, 19.4, 120.1, 110.3] box 0,9948
[179.2, 29.1, 129.6, 104.4] box 0,9935

Ce sont les trois boîtes englobantes de l’étage supérieur. La première commence à 64 pixels du bord gauche et à 20 pixels du haut. Elle mesure 112 pixels de large et 111 pixels de haut.

Notre code dessine les photos de palettes. Nous connaissons donc exactement chaque boîte englobante réelle. Chaque photo de test est espacée (des espaces séparent les cartons), moyenne ou serrée (les cartons se touchent). Les 30 photos de test contiennent 619 cartons, de 6 à 51 par photo.

Nous comptons les cartons que vous pouvez voir. Un carton derrière un autre n’est pas compté. Une personne debout devant la palette voit la même chose.

L’IoU : quelle est la qualité d’une boîte englobante?

Section intitulée « L’IoU : quelle est la qualité d’une boîte englobante? »

La boîte englobante du détecteur ne correspond jamais exactement à la boîte englobante réelle. Elle est trop large ou trop basse de quelques pixels. Il nous faut donc une règle : quand une boîte englobante est-elle assez proche?

La règle compare deux aires :

  • Le chevauchement : l’aire que les deux boîtes englobantes partagent.
  • L’aire que les deux boîtes englobantes couvrent ensemble.

L’intersection sur union (IoU) est le chevauchement divisé par l’aire couverte ensemble. L’« intersection » est le chevauchement, et l’« union » est l’aire couverte ensemble. L’IoU vaut 1 quand les deux boîtes englobantes sont identiques, et 0 quand elles ne se touchent pas.

La boîte englobante A est [10, 10, 40, 40] et la boîte englobante B est [30, 20, 40, 40]. Elles mesurent toutes deux 40 × 40 = 1 600 pixels carrés.

Étape Valeur
Chevauchement : de x = 30 à 50 et de y = 20 à 50 20 × 30 = 600
Ensemble : aire A + aire B − chevauchement 1 600 + 1 600 − 600 = 2 600
IoU = chevauchement ÷ ensemble 600 ÷ 2 600 = 0,23
Deux carrés A et B sur une grille. Ils partagent une aire verte de 20 de large et de 30 de haut. Le calcul à côté : chevauchement 600, ensemble 2 600, IoU 0,23.
L'IoU de deux boîtes englobantes : le chevauchement (vert) divisé par l'aire que les deux boîtes englobantes couvrent ensemble. Ici, 600 ÷ 2 600 = 0,23.
Description textuelle du diagramme

Une grille de 0 à 80 horizontalement et de 0 à 70 verticalement. La boîte englobante A est un carré bleu de (10, 10) à (50, 50). La boîte englobante B est un carré orange de (30, 20) à (70, 60). Leur aire commune, de x = 30 à 50 et de y = 20 à 50, est verte. À côté de la grille, le calcul : le chevauchement de 20 de large fois 30 de haut vaut 600; ensemble, 1 600 plus 1 600 moins 600 vaut 2 600; l’IoU vaut 600 divisé par 2 600, soit 0,23. C’est inférieur à 0,5, donc B est une boîte englobante incorrecte pour A.

Pourquoi diviser par l’aire couverte ensemble, plutôt que par l’aire d’une seule boîte englobante? Une immense boîte englobante couvrant toute la palette couvre aussi chaque boîte englobante réelle en entier. En divisant par l’aire de la boîte englobante réelle, elle obtiendrait un score de 1. En divisant par l’aire couverte ensemble, elle obtient un score faible, car la majeure partie de son aire est vide.

Selon la règle habituelle, une boîte englobante est correcte si son IoU avec une boîte englobante réelle atteint au moins 0,5. Chaque boîte englobante réelle ne peut être appariée qu’à une seule boîte englobante. Une deuxième boîte englobante sur la même boîte englobante réelle est incorrecte.

Voici à quoi ressemble 0,5 sur une palette :

Trois gros plans du même carton. Dans chacun, un rectangle blanc pointillé montre la boîte englobante réelle et un rectangle coloré montre une boîte englobante déplacée : IoU de 0,3 (orange, incorrecte), de 0,5 (bleu, correcte) et de 0,9 (bleu, correcte).
Une boîte englobante réelle (pointillés) et une boîte englobante déplacée vers le bas et la droite de 21,5, 12,3 et 1,8 pixels : IoU de 0,3, 0,5 et 0,9. L'aire verte est le chevauchement. À 0,5, la boîte englobante déplacée compte comme correcte de justesse.
Description textuelle du diagramme

Trois gros plans du même carton de la palette S-062. La boîte englobante réelle est un rectangle blanc pointillé. Un deuxième rectangle a la même taille, mais est déplacé vers le bas et la droite. À une IoU de 0,3, il est déplacé de 21,5 pixels. Le chevauchement vert couvre moins de la moitié de la boîte englobante réelle : incorrecte. À une IoU de 0,5, il est déplacé de 12,3 pixels. Le chevauchement couvre environ les deux tiers de la boîte englobante réelle : correcte, mais de justesse. À une IoU de 0,9, il est déplacé de 1,8 pixels et couvre presque toute la boîte englobante réelle : correcte.

Une IoU de 0,5 semble généreuse : la boîte englobante est déplacée d’environ un cinquième de sa taille. Cela convient au comptage. Pour placer la pince d’un robot, vous demanderiez mieux. Certaines mesures font la moyenne sur des seuils de 0,5 à 0,95. Vous les découvrirez dans la prochaine leçon.

Suppression des non-maxima : une boîte englobante par objet

Section intitulée « Suppression des non-maxima : une boîte englobante par objet »

Un détecteur ne trouve pas chaque objet une seule fois. Il propose plusieurs boîtes englobantes. Beaucoup couvrent le même objet, avec des bords légèrement différents. Sur la palette serrée S-063, le détecteur propose 200 boîtes englobantes (sa limite) pour 22 boîtes englobantes réelles. Parmi elles, 133 ont un score d’au moins 0,6.

Si nous comptions les 133, le décompte serait six fois trop élevé. Nous devons garder une boîte englobante par objet.

La suppression des non-maxima (NMS) garde les meilleures boîtes englobantes et élimine leurs doublons :

  1. Triez les boîtes englobantes par score, les meilleures en premier.
  2. Gardez la meilleure boîte englobante.
  3. Éliminez toute autre boîte englobante dont l’IoU avec celle-ci dépasse un seuil, le seuil de NMS.
  4. Répétez avec la meilleure boîte englobante restante.

« Non-maxima » signifie « qui ne sont pas les meilleures ». « Suppression » signifie « élimination ». La NMS élimine donc les boîtes englobantes qui ne sont pas les meilleures de leur groupe.

Quatre boîtes englobantes sur deux cartons qui se touchent, avec un seuil de NMS de 0,5. Cet exemple est construit : les scores et les valeurs d’IoU sont choisis pour montrer chaque étape.

Boîte englobante Score IoU avec la boîte englobante 1 IoU avec la boîte englobante 3 Résultat
1 0,95 – 0,05 gardée : la meilleure boîte englobante
2 0,80 0,70 0,10 éliminée : 0,70 > 0,5 avec la boîte englobante 1
3 0,75 0,05 – gardée : la meilleure boîte englobante restante
4 0,40 0,10 0,62 éliminée : 0,62 > 0,5 avec la boîte englobante 3

Deux boîtes englobantes sont gardées : le décompte est de 2. Avec un seuil de 0,75, la boîte englobante 2 (0,70) et la boîte englobante 4 (0,62) sont sous le seuil. Rien n’est donc éliminé, et le décompte est de 4.

Le décompte d’un détecteur dépend de deux seuils :

  • Le seuil de score : garder les boîtes englobantes dont le score atteint au moins cette valeur. Un seuil élevé élimine les boîtes englobantes incertaines, et certaines boîtes englobantes réelles avec elles.
  • Le seuil de NMS : éliminer une boîte englobante dont l’IoU avec une meilleure boîte englobante dépasse cette valeur. Un seuil bas élimine davantage de boîtes englobantes. Sur une palette serrée, il peut éliminer une vraie voisine.

Essayez les deux seuils dans l’explorateur. Les boîtes englobantes sont celles réellement produites par le détecteur, avant la NMS.

Explorer

Seuil de score, seuil de NMS et IoU sur une palette

  • Vraie boîte englobante (pointillés)
  • Boîte englobante gardée, juste
  • Boîte englobante gardée, fausse
  • Votre boîte englobante (épaisse) et son chevauchement

Les boîtes englobantes sont celles qu'a enregistrées le détecteur réglé finement sur 40 photos de palettes, avant la suppression des non-maxima. Il garde ses 200 meilleures boîtes englobantes par photo, donc le score le plus bas ici est d'environ 0,34. Les photos sont dessinées par notre code (synthétiques).

Cartons sur la palette
22
Boîtes englobantes au-dessus du seuil de score
133 sur 200
Décompte : boîtes englobantes gardées après la NMS
22
Erreur de comptage
0
Boîtes englobantes justes (IoU d'au moins 0,5)
21
Boîtes englobantes fausses
1
Boîtes englobantes manquées
1
IoU de votre boîte englobante
0,45
Chevauchement ÷ ensemble (px²)
1 830 ÷ 4 092

Le seuil de score 0,60 garde 133 des 200 boîtes englobantes enregistrées. La NMS à une IoU de 0,50 retire 111 boîtes englobantes qui se chevauchent et en garde 22. La palette a 22 cartons. 21 boîtes englobantes gardées sont justes, 1 est fausse, et 1 vraie boîte englobante est manquée. Le décompte est juste, mais les boîtes englobantes ne sont pas toutes justes : une boîte englobante fausse et une boîte englobante manquée s'annulent. Votre boîte englobante a une IoU de 0,45 avec la vraie boîte englobante en dessous : une boîte englobante fausse (moins de 0,5).

La palette serrée S-063 (22 cartons) et la palette moyenne S-062 (24 cartons), avec les boîtes englobantes enregistrées du détecteur réglé finement sur 40 photos, avant la NMS. L'explorateur applique les deux seuils selon les règles du cours, compte les boîtes englobantes et les apparie aux boîtes englobantes réelles à une IoU de 0,5.
Description textuelle de l’explorateur

L’explorateur montre une photo de palette avec les boîtes englobantes réelles en pointillés. Les boîtes englobantes bleues sont gardées par le détecteur et correspondent à une boîte englobante réelle. Les boîtes englobantes orange sont gardées, mais ne correspondent à aucune boîte englobante réelle. Une boîte englobante verte épaisse est « votre boîte englobante », sur la boîte englobante réelle la plus proche du centre. Les commandes permettent de choisir la photo (S-063, serrée, 22 cartons, ou S-062, moyenne, 24 cartons), le seuil de score de 0,30 à 0,95 et le seuil de NMS de 0,10 à 1,00 (1,00 désactive la NMS). Deux curseurs déplacent votre boîte englobante vers la droite et le bas, jusqu’à 48 pixels. L’affichage indique les boîtes englobantes au-dessus du seuil de score, le décompte après NMS et l’erreur de comptage. Il indique aussi les boîtes englobantes correctes, incorrectes et manquées, l’IoU de votre boîte englobante, ainsi que son intersection et son union en pixels carrés. Sur S-063, avec un score de 0,60, une NMS de 0,50 garde 22 boîtes englobantes : 21 correctes, 1 incorrecte et 1 boîte englobante réelle manquée. Une NMS de 0,30 en garde 21, une NMS de 0,70 en garde 31 et une NMS de 0,90 en garde 97. Sans NMS, les 133 sont comptées. Votre boîte englobante commence à 16 pixels vers la droite et 8 pixels vers le bas : IoU de 0,45 sur S-063 et de 0,50 sur S-062.

À une NMS de 0,90, il reste 97 boîtes englobantes : presque tous les doublons restent, car leur chevauchement dépasse rarement 90 %. À 0,50, il en reste 22. À 0,30, il en reste 21 : le seuil élimine maintenant une boîte englobante réelle qui chevauche sa voisine.

Regardez l’affichage avec les seuils de départ. Le décompte est de 22, exactement juste. Mais une boîte englobante gardée est incorrecte et une boîte englobante réelle est manquée. Les deux erreurs s’annulent. Un décompte juste ne prouve pas que les boîtes englobantes sont correctes.

Le projet reçoit une nouvelle commande, vision count. Elle lit les boîtes englobantes enregistrées d’un détecteur pour les 30 palettes de test. Elle applique un seuil de score et, si vous le demandez, la NMS. Elle compare ensuite les décomptes aux nombres réels. Elle s’exécute en environ une seconde, sans modèle.

  1. Ouvrez un terminal et allez dans votre dossier larkvision. Activez l’environnement virtuel : source .venv/bin/activate sur macOS et Linux, .venv\Scripts\Activate.ps1 sur Windows.

  2. Si c’est un nouveau terminal, définissez de nouveau LARKVISION_DATA. Cette variable existe seulement dans le terminal où vous la définissez. La commande se trouve à l’étape 5 de Le projet sur votre ordinateur.

  3. Copiez la commande de ce module, ses tests et le README depuis l’instantané end-of-m04 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C42/snapshots/end-of-m04
    cp "$S/larkvision/commands/count.py" larkvision/commands/
    cp "$S/tests/test_count.py" tests/
    cp "$S/README.md" .

    Votre projet correspond maintenant à l’instantané end-of-m04. La commande ne demande aucun nouveau paquet.

  4. Exécutez les tests. Trois nouveaux tests vérifient le comptage sur une petite palette fictive :

    Fenêtre de terminal
    python -m pytest -q
    ................. [100%]
    17 passed in 1.27s

    Vous aviez 14 tests à la fin du module 3. Votre durée sera différente.

  5. Comptez avec le seuil de score choisi sur les photos de validation, soit 0,6 :

    Fenêtre de terminal
    vision count --method finetuned-40 --score 0.6
    finetuned-40 (score >= 0.6): count error 2.5 boxes a photo (bias +1.63), exact on 63% of photos
    loose 10 photos: error 0.2, bias +0.2
    medium 10 photos: error 0.4, bias +0.4
    tight 10 photos: error 6.9, bias +4.3
    AP at IoU 0.5: 0.867; kept boxes that cover two boxes: 0

    L’erreur de comptage est la moyenne des différences absolues entre le nombre de cartons comptés et le nombre réel : 2,5 cartons par photo. Le biais est la différence moyenne avec son signe : +1,63 signifie « trop de cartons, en moyenne ». Sur les palettes espacées et moyennes, le décompte est presque parfait. Sur les palettes serrées, il présente une erreur de 6,9 cartons par photo. La dernière ligne donne l’AP, un score pour toutes les boîtes englobantes du détecteur. Les détecteurs préentraînés l’explique.

  6. Abaissez le seuil de score à 0,5 :

    Fenêtre de terminal
    vision count --method finetuned-40 --score 0.5
    finetuned-40 (score >= 0.5): count error 5.8 boxes a photo (bias +5.8), exact on 53% of photos
    loose 10 photos: error 0.3, bias +0.3
    medium 10 photos: error 0.4, bias +0.4
    tight 10 photos: error 16.7, bias +16.7
    AP at IoU 0.5: 0.867; kept boxes that cover two boxes: 38

    Les palettes serrées ont maintenant 16,7 cartons de trop par photo. L’AP du détecteur ne change pas, car elle utilise tous les scores (la prochaine leçon l’explique). Seul le décompte change, car il dépend du seuil.

La dernière ligne compte les boîtes englobantes gardées qui couvrent deux cartons qui se touchent. La commande compte une telle boîte englobante une fois pour chaque paire de cartons sous elle. Au score de 0,5, quatre boîtes englobantes larges font cela et couvrent ensemble 38 paires. À 0,6, il n’y en a aucune.

Erreur courante

Un décompte qui semble bon en moyenne

Symptôme : Priya annonce « une erreur de comptage de 2,5 cartons par photo », et Hamid est satisfait. Puis son équipe vérifie une palette serrée à la main. Les 62 boîtes englobantes du détecteur sont loin des 51 cartons réels, et beaucoup sont mal placées.

Une palette encombrée avec de nombreux petits cartons. Des rectangles bleus couvrent certains cartons. Des rectangles orange se trouvent entre les cartons ou couvrent deux cartons. Des rectangles blancs pointillés indiquent les cartons qu'aucun rectangle n'a trouvés.
La palette serrée S-069 (51 cartons) au seuil de score de 0,6 : 62 boîtes englobantes gardées, dont 30 correctes (bleu) et 32 incorrectes (orange); 21 boîtes englobantes réelles sont manquées (pointillés). Le décompte dépasse de 11 le nombre réel, mais 53 boîtes englobantes sont incorrectes ou manquées.
Description textuelle du diagramme

Une palette synthétique avec 51 petits cartons en rangées serrées. Le détecteur garde 62 rectangles. Les 30 rectangles bleus sont bien placés sur un carton. Les 32 rectangles orange se trouvent entre deux cartons, couvrent deux cartons ou couvrent un carton ayant déjà un meilleur rectangle. Les 21 cartons au contour blanc pointillé n’ont été trouvés par aucun rectangle.

Cause : la moyenne cache les palettes serrées. Les palettes espacées et moyennes sont presque parfaites, ce qui fait baisser la moyenne. Sur une palette serrée, les boîtes englobantes incorrectes et les boîtes englobantes manquées s’annulent aussi en partie. Sur S-069, l’erreur de comptage est de 11, mais 32 boîtes englobantes sont incorrectes et 21 sont manquées.

Correction : présentez l’erreur par encombrement, comme le fait vision count. Vérifiez aussi les boîtes englobantes, pas seulement le décompte. Comptez les boîtes englobantes correctes, incorrectes et manquées à une IoU de 0,5 sur un échantillon de photos.

Conséquence pour le travail en IA : une moyenne regroupant les cas faciles et difficiles vous renseigne surtout sur les cas faciles. Séparez chaque résultat selon la condition importante pour l’entreprise, ici le degré de serrage de la palette.

Quand utiliser les boîtes englobantes, et ce qu’elles coûtent

Section intitulée « Quand utiliser les boîtes englobantes, et ce qu’elles coûtent »

Utilisez les boîtes englobantes quand la réponse est « où » ou « combien » : cartons sur une palette, articles sur une tablette, produits dans une photo. Les boîtes englobantes permettent aussi à une personne de vérifier rapidement la réponse : elle regarde les rectangles.

N’utilisez pas les boîtes englobantes quand une seule étiquette par photo suffit (« est-ce une bougie? »). Ne les utilisez pas quand vous avez besoin du contour exact d’un objet, comme une zone endommagée. Les étiquettes coûtent moins cher, et les masques, dans le module 5, sont plus précis.

Ce que cela coûte :

  • Étiquettes : une personne doit tracer chaque boîte englobante dans les photos d’entraînement. Les 40 palettes d’entraînement contiennent 817 cartons.
  • Deux seuils à choisir : le seuil de score et le seuil de NMS changent le décompte. Choisissez-les sur les photos de validation, jamais sur les photos de test.
  • Encombrement : l’IoU et la NMS fonctionnent moins bien quand les objets se touchent. Prévoyez de vérifier les scènes serrées à la main.

Exercice guidé : les boîtes englobantes et l’IoU dans le carnet

Section intitulée « Exercice guidé : les boîtes englobantes et l’IoU dans le carnet »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation et la cellule d’aide. La cellule de données se termine par la ligne Ready: (prêt).
  3. Dans la section 1, exécutez la cellule. Vous voyez 30 photos, 619 true boxes, 1310 recorded boxes (30 photos, 619 boîtes englobantes réelles, 1 310 boîtes englobantes enregistrées).
  4. Dans la section 2, prédisez si l’IoU de A et B dépasse 0,5. Exécutez ensuite la cellule. Vous voyez IoU 0.231 (IoU de 0,231).
  5. Dans la section 3, exécutez la cellule. Elle affiche la palette S-063 aux objets serrés, avec 22 boîtes englobantes rouges et 22 boîtes englobantes réelles vertes.
  6. Dans la section 4, prédisez quel seuil de NMS donne moins de boîtes englobantes. Exécutez ensuite la cellule. Vous voyez 21 boîtes englobantes à 0,3, et 22 à 0,5 et 0,7.
  7. Dans la section 5, écrivez l’erreur de comptage des palettes aux objets serrés dans tight_error, puis exécutez la cellule de vérification. Elle affiche Check passed (vérification réussie).

Les boîtes englobantes enregistrées dans le carnet ont déjà passé la NMS du détecteur, à 0,5. La NMS à 0,5 et 0,7 n’y change donc rien. Seul le seuil de 0,3 retire une boîte englobante supplémentaire. Dans l’explorateur, les boîtes englobantes précèdent la NMS, donc chaque seuil compte.

À vous de jouer : trouver le seuil où le décompte devient incorrect

Section intitulée « À vous de jouer : trouver le seuil où le décompte devient incorrect »

Utilisez l’explorateur sur la palette S-062 aux objets moyennement espacés, avec le seuil de score à 0,60. Avant de changer quoi que ce soit, prédisez : à partir de quel seuil de NMS le décompte n’est-il plus de 24?

Afficher la réponse

De 0,10 à 0,50, le décompte reste à 24, et les 24 boîtes englobantes sont correctes. À 0,70, il passe à 31 : sept doublons restent, car leur chevauchement avec leur meilleure boîte englobante se situe entre 50 % et 70 %. À 0,90, le décompte est de 114.

Sur la palette aux objets moyennement espacés, un seuil de NMS bas ne retire aucune boîte englobante réelle. Les cartons ne se touchent pas, donc aucune boîte englobante réelle n’en chevauche une autre. Sur la palette aux objets serrés, 0,30 retire déjà une boîte englobante réelle (21 au lieu de 22). La plage sûre du seuil de NMS dépend donc de la proximité des objets.

Vérifiez votre compréhension

La boîte englobante A est [0, 0, 60, 60] et la boîte englobante B est [30, 0, 60, 60]. Calculez leur IoU. B est-elle une boîte englobante correcte pour A au seuil habituel?

Afficher la réponse

Les boîtes englobantes ont la même hauteur et B commence 30 pixels plus à droite. Le chevauchement mesure 30 de large et 60 de haut : 1 800. Chaque boîte englobante mesure 60 × 60 = 3 600. Ensemble : 3 600 + 3 600 − 1 800 = 5 400. IoU = 1 800 ÷ 5 400 = 0,33. C’est inférieur à 0,5. B est donc une boîte englobante incorrecte pour A, même si elle couvre la moitié de A.

Vérifiez votre compréhension

Tomás désactive la NMS pour « garder toutes les boîtes englobantes que le détecteur a trouvées ». Sur la palette S-063 aux objets serrés, au seuil de score de 0,6, quel décompte obtient-il, et pourquoi?

Afficher la réponse

Il obtient 133 boîtes englobantes pour 22 boîtes englobantes réelles. Un détecteur propose plusieurs boîtes englobantes pour chaque objet, avec des bords légèrement différents. Sans NMS, chacune compte. La NMS à 0,5 garde la meilleure boîte englobante de chaque groupe et en donne 22. La NMS n’est pas facultative pour le comptage : cette étape transforme les propositions en une boîte englobante par objet.

Vérifiez votre compréhension

Hamid demande : « Votre décompte était exactement de 22 sur la palette S-063 aux objets serrés. Donc, le détecteur y est parfait? » Que répondez-vous?

Afficher la réponse

Non. Au seuil de score de 0,6 et avec la NMS à 0,5, 21 des 22 boîtes englobantes conservées sont correctes. Une est incorrecte et une boîte englobante réelle manque. La boîte englobante incorrecte et la boîte englobante manquante se compensent, donc le décompte semble parfait. Pour évaluer un détecteur, comptez les boîtes englobantes correctes, incorrectes et manquantes à une IoU de 0,5. Séparez les résultats selon l’encombrement. Sur les palettes aux objets serrés, l’erreur de comptage est de 6,9 cartons par photo.

Récapitulatif

  • Un détecteur renvoie une boîte englobante [x, y, w, h], une classe et un score pour chaque objet qu’il trouve.
  • L’IoU est le chevauchement de deux boîtes englobantes divisé par l’aire qu’elles couvrent ensemble. Une boîte englobante est généralement correcte si son IoU avec une boîte englobante réelle est d’au moins 0,5.
  • La NMS garde la meilleure boîte englobante et retire les boîtes englobantes dont le chevauchement avec elle dépasse le seuil de NMS. Sur S-063, elle fait passer le nombre de boîtes englobantes de 133 à 22.
  • Le décompte dépend de deux seuils. Au seuil de score de 0,6, l’erreur de comptage est de 2,5 cartons par photo (objets serrés : 6,9). À 0,5, elle est de 5,8 (objets serrés : 16,7).
  • Un décompte correct peut cacher des boîtes englobantes incorrectes. Présentez les résultats selon l’encombrement et vérifiez les boîtes englobantes sur un échantillon.

Vous pouvez maintenant évaluer une boîte englobante et compter les boîtes englobantes d’un détecteur. Mais vous n’avez pas encore de détecteur pour les cartons de Larkfield. Les boîtes englobantes de cette leçon proviennent d’un détecteur que nous avons entraîné. Ensuite, nous essaierons des détecteurs que d’autres ont entraînés sur des millions de photos. Nous apprendrons à évaluer un détecteur entier avec un seul nombre.

Leçon suivante : Les détecteurs préentraînés