Aller au contenu
English

Mesurer à partir des masques

  • Leçon 19
  • 35 min
  • Module 5 : Segmenter

Où nous en sommes

Nous pouvons maintenant obtenir des masques en un clic. Un masque sert aussi à mesurer. Dans cette leçon, nous mesurons l'aire des dommages sur une bougie à partir de son masque. Nous comparons les masques avec l'IoU et Dice, et utilisons une référence d'échelle.

Leçon 19 sur 30 · IA de vision : voir, compter et inspecterMesurer à partir des masques

Ce que vous saurez faire

Transformez un masque en une mesure utile à Hamid : une aire en millimètres carrés et la portion endommagée d’une bougie. Utilisez un objet de taille connue comme référence d’échelle et voyez à quel point la réponse en dépend. Comparez ensuite deux masques avec l’IoU et Dice. Voyez pourquoi une erreur d’un pixel fait chuter le score d’un minuscule masque.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter mesure les dommages des 18 bougies endommagées de test à partir de leurs masques. Il compte les pixels, calcule l’échelle à partir de la largeur du lampion (bougie chauffe-plat) et donne des millimètres carrés. Il calcule ensuite l’IoU des masques et Dice sur une petite grille, puis sur des masques trop grands d’un pixel. Ses cellules de préparation téléchargent les photos des retours et leurs masques (environ 15 Mo, sans modèle ni clé). Prévoyez environ 35 minutes; les cellules s’exécutent en quelques secondes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 35 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Pour le carnet : rien. Il fonctionne dans Colab ou Kaggle.
  • Pour les étapes du projet : votre projet larkvision à la fin du module 4, avec son environnement virtuel, et les fichiers d’exercice dans ../nextia-learning-labs. Si votre projet ne fonctionne plus, recopiez l’instantané end-of-m04, comme dans Découvrir les images de Larkfield.

Testé avec Python 3.12 sur macOS. Les commandes Windows sont fournies, mais n’ont pas été exécutées.

Quand vous envoyez une photo d’une rayure sur votre voiture à un assureur, il demande souvent d’y placer une pièce. Ce n’est pas pour garder la pièce. Tout le monde connaît la taille d’une pièce de monnaie. La photo indique donc la taille de la rayure, et pas seulement le nombre de pixels qu’elle couvre.

Les photos des retours de Larkfield ont leur propre « pièce » : chaque photo montre quatre lampions.

Dans les deux dernières leçons, nous avons obtenu des masques dessinés par des personnes ou produits par SAM. Un masque donne directement une aire : comptez les pixels « oui ». Les dommages sur le lampion retourné R-d17d264e couvrent 1 262 pixels.

Mais Hamid ne peut pas utiliser « 1 262 pixels ». Un pixel n’est pas une taille :

  • Une photo prise de plus près agrandit tout. Les mêmes dommages couvrent alors plus de pixels.
  • Une caméra avec plus de pixels donne plus de pixels pour les mêmes dommages.
  • Une photo redimensionnée change tous les décomptes. Les photos VisA ont une largeur de 1 284 pixels à la source; les copies de Larkfield en ont 320.

L’équipe de Hamid pense en millimètres : « un creux plus petit qu’un ongle est acceptable ». Il nous faut donc une échelle.

L’idée : un objet de référence pour l’échelle

Section intitulée « L’idée : un objet de référence pour l’échelle »

Un objet de référence est un objet dans la photo dont vous connaissez la taille réelle. Vous le mesurez en pixels pour obtenir l’échelle : des millimètres par pixel.

Une aire utilise l’échelle deux fois : une fois pour la largeur, une fois pour la hauteur. Si un pixel mesure 0,372 mm de large, un pixel carré mesure 0,372 × 0,372 = 0,139 millimètre carré (mm²).

Chaque photo des retours montre quatre lampions. Un lampion standard mesure environ 38 mm de large. C’est une hypothèse : les lampions varient, alors vérifiez ceux de vos propres photos.

Étape Valeur
Largeur du lampion dans la photo 102,1 pixels
Échelle : 38 mm ÷ 102,1 pixels 0,372 mm par pixel
Un pixel carré : 0,372 × 0,372 0,139 mm²
Les dommages : 1 262 pixels × 0,1386 mm² 175,0 mm²
Une photo de quatre lampions sur un tissu sombre. Celui en bas à gauche présente une zone rouge sur son côté gauche : le masque des dommages. Une ligne verte qui le traverse indique 102,1 px = 38 mm. Une vue agrandie montre la zone rouge sous forme de pixels carrés. Son titre indique 1 262 pixels multipliés par 0,139 millimètre carré, soit environ 175 millimètres carrés.
Le lampion retourné R-d17d264e (cire fondue qui a débordé; VisA écrit « melded »), avec son masque de dommage en rouge. À gauche : la largeur du lampion, 102,1 pixels, sert d'échelle pour 38 mm (une hypothèse). À droite : le dommage agrandi 8 fois, 1 262 pixels, environ 175 mm². Photo de bougie et masque VisA (CC BY 4.0, Amazon).
Description textuelle du diagramme

À gauche : quatre lampions blancs sur un tissu sombre, vus du dessus. Le lampion en bas à gauche présente une zone rouge sur son côté gauche, là où la cire a fondu. Une ligne verte traverse ce lampion et marque sa largeur : 102,1 pixels, ce qui représente 38 mm. À droite : la zone endommagée agrandie 8 fois; la zone rouge est faite de pixels carrés. Le titre donne le calcul : 1 262 pixels multipliés par 0,139 mm² donnent environ 175 mm².

Comment le code trouve-t-il la largeur du lampion? Les lampions sont les objets les plus lumineux de la photo. Le code garde les pixels dont la luminosité dépasse 150 (sur 255) et trouve les quatre plus grandes régions lumineuses. Il calcule l’aire de chaque région en pixels. L’aire d’un cercle vaut π × r × r, donc sa largeur vaut 2 × √(aire ÷ π). La médiane des quatre largeurs donne l’échelle. Sur ces photos, elle se situe entre 101,9 et 102,4 pixels.

La couverture est la portion d’une surface que couvre le masque. Le dessus d’un lampion de 38 mm est un cercle d’environ π × 19 × 19 = 1 134 mm². Les dommages de R-d17d264e en couvrent 175,0 ÷ 1 134 = 15 %.

La couverture ne nécessite aucune échelle quand les deux aires sont en pixels : pixels des dommages ÷ pixels de la bougie. Il faut une échelle seulement pour comparer avec une taille réelle, comme « plus petit qu’un ongle ».

Le projet reçoit une nouvelle commande, vision masks. Pour chaque photo endommagée, elle lit le masque des dommages, trouve la largeur du lampion et affiche l’aire en mm². Elle utilise les vrais masques, dessinés par des personnes pour VisA. Elle mesure donc ce que donnerait une segmentation parfaite.

  1. Ouvrez un terminal dans votre dossier larkvision et activez l’environnement virtuel. Si c’est un nouveau terminal, définissez de nouveau LARKVISION_DATA. Une variable d’environnement existe seulement dans le terminal où vous la définissez.

    Fenêtre de terminal
    . .venv/bin/activate
    export LARKVISION_DATA="$(cd ../nextia-learning-labs/C42/data && pwd)"
  2. Copiez la commande de ce module, ses tests et le README depuis l’instantané end-of-m05 :

    Fenêtre de terminal
    S=../nextia-learning-labs/C42/snapshots/end-of-m05
    cp "$S/larkvision/commands/masks.py" larkvision/commands/
    cp "$S/tests/test_masks.py" tests/
    cp "$S/README.md" .

    Votre projet correspond maintenant à l’instantané end-of-m05. La commande ne nécessite aucun nouveau paquet : SciPy est déjà installé.

  3. Exécutez les tests. Deux nouveaux tests vérifient l’échelle et l’aire sur une minuscule photo artificielle :

    Fenêtre de terminal
    python -m pytest -q
    ................... [100%]
    19 passed in 1.43s

    Vous aviez 17 tests à la fin du module 4. Votre durée sera différente.

  4. Mesurez les dommages sur les photos de test :

    Fenêtre de terminal
    vision masks
    18 damaged test photos; scale: a tea light is 38 mm wide
    item pixels share mm2 damage
    R-de7e819e 4 0.0000 0.6 different colour spot
    R-8cb58274 5 0.0001 0.7 damaged corner of packaging; different colour spot; other
    R-15b594e6 7 0.0001 1.0 different colour spot
    R-344c8b55 10 0.0001 1.4 different colour spot
    R-74669eb6 68 0.0007 9.4 damaged corner of packaging
    R-aa4a48cb 80 0.0009 11.1 foreign particals on candle
    R-5cf1ce29 110 0.0012 15.2 foreign particals on candle; wax melded out of the candle
    R-a9048b86 173 0.0019 23.9 damaged corner of packaging; different colour spot
    R-5918b873 208 0.0022 28.8 chunk of wax missing
    R-0d4c03e5 223 0.0024 31.0 wax melded out of the candle
    R-31ebdb39 345 0.0037 48.0 wax melded out of the candle
    R-a796ccf6 351 0.0038 48.5 extra wax in candle
    R-c3b7e506 408 0.0044 56.3 damaged corner of packaging
    R-1cc8cc10 419 0.0045 58.0 weird candle wick
    R-ef0b6f29 492 0.0053 68.0 extra wax in candle
    R-800400d7 499 0.0054 69.0 wax melded out of the candle
    R-33640732 1106 0.0119 153.3 extra wax in candle
    R-d17d264e 1262 0.0136 175.0 wax melded out of the candle
    Median area 29.9 mm2

    share (proportion) représente la portion de la photo entière. Les noms des dommages viennent de VisA, avec leur orthographe (« melded », « particals »).

Si vision masks affiche no data folder found (aucun dossier de données trouvé), le terminal n’a pas LARKVISION_DATA : définissez-la comme à l’étape 1.

Les 18 aires s’étendent sur presque trois puissances de dix :

Les aires des dommages des 18 bougies endommagées de test, regroupées en millimètres carrés (avec vision masks et un lampion de 38 mm). Quatre dommages font moins de 2 mm² : des taches de couleur de 4 à 10 pixels.
Description textuelle du graphique

Cinq barres selon l’aire des dommages : moins de 2 mm², 4 photos; de 2 à 20 mm², 3 photos; de 20 à 50 mm², 5 photos; de 50 à 100 mm², 4 photos; plus de 100 mm², 2 photos.

La médiane des 18 dommages de test est de 29,9 mm², soit environ la taille d’un ongle. Les quatre taches de couleur font moins de 2 mm². Le cours a aussi mesuré les 12 dommages des photos de validation : médiane de 16,1 mm². Pour les 30 photos de validation et de test, la médiane est de 22,1 mm², avec des valeurs de 0,6 à 175,0.

Erreur courante

L'échelle est une hypothèse, et elle est élevée au carré

Symptôme : Hamid vérifie un carton de lampions de Larkfield avec une règle : ils mesurent 40 mm de large, pas 38. Toutes les aires du tableau sont fausses.

Cause : l’échelle augmente avec la largeur de la référence, et l’aire utilise l’échelle deux fois. Un lampion 40 ÷ 38 = 1,05 fois plus large donne des aires 1,05 × 1,05 = 1,11 fois plus grandes. Exécutez la commande :

Fenêtre de terminal
vision masks --diameter-mm 40
R-33640732 1106 0.0119 169.9 extra wax in candle
R-d17d264e 1262 0.0136 193.9 wax melded out of the candle
Median area 33.1 mm2

(Les trois dernières lignes de la sortie.) Les plus grands dommages passent de 175,0 à 193,9 mm², et la médiane de 29,9 à 33,1.

Correction : mesurez l’objet de référence et inscrivez sa taille dans le code comme un paramètre nommé, pas un nombre caché. vision masks propose --diameter-mm pour cette raison. Avec une caméra fixe, placez une règle dans une photo et mesurez l’échelle une fois. Vérifiez-la de nouveau quand la caméra bouge.

Conséquence pour le travail en IA : une mesure tirée d’une photo comporte des erreurs provenant du masque et de l’échelle. Une erreur de 5 % dans l’échelle donne une erreur de 10 % dans chaque aire. Indiquez de quelle hypothèse vos nombres dépendent.

L’échelle cache deux autres conditions. La caméra doit regarder droit vers le bas. Ainsi, un millimètre correspond au même nombre de pixels partout dans la photo. La référence doit aussi se trouver à la même hauteur que les dommages. Ces deux conditions sont respectées dans ces photos; vérifiez-les pour les vôtres.

En usage réel, personne ne dessine le masque pour Hamid. Un modèle le dessine. Nous devons donc indiquer à quel point le masque du modèle ressemble au vrai masque. Il existe deux scores courants.

  • L’IoU des masques est l’IoU de Les boîtes englobantes et l’IoU, calculée en pixels : les pixels communs aux deux masques, divisés par les pixels présents dans au moins un masque.
  • Le coefficient de Dice (Dice) est le double des pixels communs aux deux masques, divisé par la somme de leurs tailles.

Les deux valent 1 pour un masque parfait et 0 quand les masques ne se touchent pas.

Une grille de 6 sur 6. Le vrai masque T compte 8 cellules et le masque prédit P en compte 6; 5 cellules sont communes aux deux. À côté : union 9, IoU 5 divisé par 9 donne 0,56, Dice 2 fois 5 divisé par 14 donne 0,71.
IoU des masques et Dice sur une grille construite. Le vrai masque compte 8 pixels, le masque prédit en compte 6, et 5 pixels sont communs aux deux. IoU = 5 ÷ 9 = 0,56; Dice = 10 ÷ 14 = 0,71.
Description textuelle du diagramme

Une grille de 6 sur 6 cellules. Les cellules bleues marquées T appartiennent seulement au vrai masque. Les cellules orange marquées P appartiennent seulement au masque prédit. Les cellules vertes avec une coche appartiennent aux deux. Le vrai masque compte 8 pixels, le masque prédit en compte 6, et 5 sont communs aux deux. À côté de la grille : l’union vaut 8 plus 6 moins 5, soit 9 pixels. L’IoU vaut 5 divisé par 9, soit 0,56. Dice vaut 2 fois 5 divisé par la somme de 8 et 6, soit 10 divisé par 14, ou 0,71.

Score Calcul Valeur
IoU des masques pixels communs ÷ pixels dans au moins un masque = 5 ÷ (8 + 6 − 5) 5 ÷ 9 = 0,56
Dice 2 × pixels communs ÷ (taille 1 + taille 2) = 2 × 5 ÷ (8 + 6) 10 ÷ 14 = 0,71

Dice est toujours au moins aussi élevé que l’IoU pour les deux mêmes masques : Dice = 2 × IoU ÷ (1 + IoU). Ici, 2 × 0,556 ÷ 1,556 = 0,71. Les deux scores classent les masques dans le même ordre; ce sont deux échelles pour la même chose. Ne comparez donc jamais un Dice d’un rapport avec une IoU d’un autre. Dans la dernière leçon, les requêtes par boîte englobante de SAM sur les palettes donnaient une IoU moyenne de 0,916. Leur Dice moyen était de 0,955.

Le masque d’un modèle est souvent un peu trop grand ou trop petit aux contours. Que fait une erreur d’un pixel au score? Nous prenons chaque vrai masque des dommages et l’agrandissons d’un pixel de chaque côté. Nous calculons ensuite le score du masque agrandi par rapport au vrai masque.

  • Dommages de moins de 20 pixels
  • Dommages plus grands
Chacune des 18 bougies endommagées de test : le vrai masque agrandi d'un pixel tout autour, comparé au vrai masque. La même petite erreur coûte presque rien aux grands dommages (0,91). Elle coûte les deux tiers du score à une tache de couleur de 4 pixels (0,33).
Description textuelle du graphique

Un nuage de points avec la taille du vrai masque de 0 à 1 300 pixels sur l’axe horizontal. L’IoU va de 0 à 1 sur l’axe vertical. Les quatre taches de couleur de 4 à 10 pixels se trouvent tout à gauche, avec une IoU entre 0,29 et 0,41. Les dommages de 68 à 110 pixels obtiennent de 0,41 à 0,60. Les dommages de 173 à 499 pixels obtiennent de 0,72 à 0,87. Les deux plus grands, de 1 106 et 1 262 pixels, obtiennent 0,90 et 0,91.

Pourquoi? Une bordure d’un pixel est petite par rapport à une grande aire, mais grande par rapport à une minuscule aire. La tache de couleur R-de7e819e de 4 pixels passe à 12 pixels : 8 des 12 sont incorrects. Son IoU vaut 4 ÷ 12 = 0,33, même si le masque est au bon endroit.

Présentez donc le score d’un masque avec la taille de l’objet. Pour les objets minuscules, posez aussi une question plus simple : le masque prédit touche-t-il le vrai masque? Les scores des grands objets renseignent sur le contour. Les scores des objets minuscules renseignent surtout sur un pixel.

La même erreur change aussi l’aire. La tache de 4 pixels mesure 0,6 mm²; son masque agrandi mesure 1,7 mm², presque trois fois plus. Pour de petits dommages, une aire calculée à partir du masque d’un modèle reste approximative.

Utilisez une aire mesurée quand la décision dépend de la taille. Exemples : « envoyer les articles avec des dommages de plus de 50 mm² au magasin de liquidation ». Ou encore : « une rayure de plus de 10 mm nécessite une personne ». L’équipe de Hamid discute alors d’un nombre, pas d’une photo.

Ne l’utilisez pas pour des dommages de quelques pixels. Une erreur d’un pixel dans le masque peut tripler leur aire. Ne l’utilisez pas quand la caméra bouge entre les photos, sauf si chaque photo contient un objet de référence.

Ce que ça coûte : presque rien une fois que vous avez le masque. Compter les pixels et trouver quatre cercles lumineux prend des millisecondes. Le coût vient du masque lui-même : le dessin d’une personne, ou un modèle comme SAM qui nécessite une requête pour chaque dommage. Dans le prochain module, le modèle doit d’abord trouver les dommages. Ses cartes de chaleur indiquent la bonne zone, mais leurs contours sont approximatifs. Comparées aux vrais masques, elles atteignent un Dice moyen de seulement 0,175.

Exercice guidé : des pixels aux millimètres carrés

Section intitulée « Exercice guidé : des pixels aux millimètres carrés »
  1. Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. Elles téléchargent les photos des retours et leurs masques des dommages.
  3. Dans la section 1, exécutez la cellule. Les dommages de R-d17d264e couvrent 1 262 pixels.
  4. Dans la section 2, exécutez la cellule. Vous voyez a tea light is 102.1 pixels wide (un lampion mesure 102,1 pixels de large) et 175.0 mm2.
  5. Dans la section 3, exécutez la cellule. Elle affiche le même tableau que vision masks, avec une médiane de 29,9 mm².
  6. Dans la section 4, exécutez la première cellule : IoU 0.556 | Dice 0.714. Prédisez quels dommages perdent le plus à cause d’une erreur d’un pixel. Exécutez ensuite la cellule suivante.
  7. Passez à la section 5 pour votre tâche.

La section 5 du carnet contient une tâche. Le tableau scores contient l’IoU et Dice de chaque masque agrandi. Placez le Dice médian des 18 masques agrandis dans median_dice. La cellule de vérification affiche Check passed (vérification réussie) quand votre réponse est correcte.

Avant de l’exécuter, faites une prédiction : le Dice médian sera-t-il supérieur ou inférieur à l’IoU médiane?

Afficher la réponse
median_dice = float(scores["dice"].median())

La réponse est 0,857. Elle dépasse l’IoU médiane (0,75), comme c’est toujours le cas pour Dice. Avec Dice = 2 × IoU ÷ (1 + IoU), une IoU de 0,75 donne environ 0,86. Aucun nombre ne signifie à lui seul « un bon masque » : chacun de ces masques ne présente qu’un pixel d’écart.

Vérifiez votre compréhension

Un masque de dommage couvre 500 pixels. Un lampion de 38 mm mesure 95 pixels de large sur la photo. Quelle est l'aire du dommage en mm²? Si le lampion mesure en réalité 36 mm de large, l'aire augmente-t-elle ou diminue-t-elle, et de combien?

Afficher la réponse

L’échelle est de 38 ÷ 95 = 0,4 mm par pixel. Un pixel carré représente 0,4 × 0,4 = 0,16 mm². L’aire est de 500 × 0,16 = 80 mm². Avec 36 mm, l’échelle est de 36 ÷ 95 = 0,379 mm par pixel. Un pixel carré représente alors 0,1436 mm², et l’aire est d’environ 71,8 mm². L’aire diminue selon un facteur de (36 ÷ 38)² = 0,90, soit environ 10 %. L’échelle intervient deux fois dans le calcul d’une aire.

Vérifiez votre compréhension

Un masque réel contient 10 pixels et un masque prédit en contient 15; 10 pixels sont communs aux deux. Calculez l'IoU du masque et le Dice. Expliquez ensuite pourquoi les deux scores sont plus faibles que prévu pour un masque qui couvre tout le dommage.

Afficher la réponse

Dans les deux masques : 10 pixels. Dans au moins un masque : 10 + 15 − 10 = 15 pixels. IoU = 10 ÷ 15 = 0,67. Dice = 2 × 10 ÷ (10 + 15) = 20 ÷ 25 = 0,80. Le masque prédit couvre chaque pixel endommagé, mais il ajoute 5 pixels de cire intacte. Pour un dommage de 10 pixels, ces 5 pixels supplémentaires représentent la moitié de sa taille. Les deux scores baissent donc beaucoup. Pour un grand dommage, les mêmes 5 pixels auraient très peu d’effet.

Vérifiez votre compréhension

Hamid veut une règle : les articles avec plus de 50 mm² de dommage vont au magasin de liquidation. Ceux qui ont moins de dommage sont vendus à prix réduit. Sur les 18 photos de test, combien d'articles vont au magasin de liquidation? Nommez deux choses qui pourraient fausser le résultat de la règle en production.

Afficher la réponse

Six photos dépassent 50 mm² : 56,3, 58,0, 68,0, 69,0, 153,3 et 175,0. Deux choses peuvent fausser le résultat en production. Premièrement, un modèle dessine le masque, pas une personne. De petites erreurs sur les contours changent l’aire, surtout pour les petits dommages. Deuxièmement, l’échelle repose sur une hypothèse. Si les lampions mesurent 40 mm de large plutôt que 38, chaque aire augmente de 11 %. Les dommages proches de 50 mm² dépassent alors le seuil. Un dommage de 48,5 mm² passe à environ 53,7 mm². C’est à Hamid de fixer cette règle d’affaires; les chiffres montrent seulement ce qu’elle ferait.

Récapitulatif

  • Un masque donne immédiatement une aire en pixels. Un objet de référence de taille connue permet de convertir les pixels en millimètres; une aire utilise l’échelle deux fois.
  • Avec un lampion de 38 mm (une hypothèse), l’aire médiane des dommages des 18 bougies endommagées de test est de 29,9 mm². Les aires vont de 0,6 à 175,0. Avec 40 mm, chaque aire augmente de 11 %.
  • La couverture est la part d’une surface couverte par le masque : 15 % du dessus de R-d17d264e. Elle ne nécessite aucune échelle.
  • L’IoU du masque (intersection ÷ union) et le Dice (2 × intersection ÷ somme des tailles) évaluent un masque par rapport au masque réel; Dice = 2 × IoU ÷ (1 + IoU). Ne comparez jamais l’un à l’autre.
  • Une erreur d’un pixel coûte très peu à un grand masque (IoU de 0,91). Elle coûte les deux tiers de son score à une tache de 4 pixels (0,33). Présentez les scores des masques avec la taille de l’objet.
  • Votre projet contient vision masks et 19 tests, comme dans l’instantané end-of-m05.

Vous pouvez maintenant mesurer un dommage dont quelqu’un a tracé le contour. Mais à l’entrepôt, personne ne trace d’abord ce contour : un modèle doit trouver le dommage tout seul. Ensuite, nous comparons deux façons de trouver les dommages sur les retours de Larkfield. La première apprend à partir de dommages étiquetés. La seconde apprend seulement à quoi ressemble un article « en bon état ».

Leçon suivante : Deux façons de trouver les dommages