Aller au contenu
English

Segmentation sémantique et segmentation d'instances

  • Leçon 17
  • 30 min
  • Module 5 : Segmenter

Où nous en sommes

Les boîtes englobantes nous ont indiqué où sont les objets et combien il y en a. Une boîte englobante ne précise pas quels pixels appartiennent à un objet. Dans cette leçon, nous découvrons la segmentation sémantique et la segmentation d'instances. Nous voyons aussi quand un masque vaut son coût supplémentaire.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 17 sur 30 · IA de vision : voir, compter et inspecterSegmentation sémantique et segmentation d'instances

Ce que vous saurez faire

Voyez la différence entre une boîte englobante, un masque sémantique et des masques d’instances. Découvrez à quelle question chacun répond, et pourquoi un masque sémantique ne peut pas compter les objets qui se touchent. Décidez ensuite quand Larkfield devrait payer pour des masques plutôt que des boîtes englobantes.

Carnet JupyterFaites cette leçon dans un carnet JupyterColab · Kaggle · GitHub · en anglais

Le carnet (notebook) Jupyter transforme les contours des cartons sur palette en masques. Il construit un masque sémantique et des masques d’instances pour une palette, puis compte les régions séparées du masque sémantique. Ses cellules de préparation téléchargent les photos des palettes (environ 3 Mo, sans modèle ni clé). Aucune préparation locale n’est donc nécessaire. Prévoyez environ 30 minutes; les cellules s’exécutent en quelques secondes.

Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

  • Pour le carnet Jupyter : rien. Il fonctionne dans Colab ou Kaggle.
  • Cette leçon n’ajoute rien au projet larkvision. Le projet reçoit une commande de masque à la fin de ce module.

Testé avec Python 3.12 sur macOS.

Hamid prépare un nouvel aménagement pour l’entrepôt des retours. Il imprime le plan et prend deux surligneurs.

D’abord, il colorie chaque étagère en jaune. Il voit maintenant quelle part du sol les étagères couvrent. Mais là où deux étagères se touchent, les zones jaunes se rejoignent. Il ne peut pas compter les étagères à partir du jaune.

Ensuite, il prend une nouvelle copie et donne à chaque étagère sa propre couleur : étagère 1 rouge, étagère 2 bleue, étagère 3 verte. Il peut maintenant les compter et mesurer chacune.

Les ordinateurs colorient les photos de ces deux mêmes façons. Cette leçon donne un nom à chaque façon.

Le problème : une boîte englobante est une forme approximative

Section intitulée « Le problème : une boîte englobante est une forme approximative »

Dans Détecter et compter, chaque objet recevait une boîte englobante : un rectangle autour de lui. Une boîte englobante coûte peu et convient au comptage. Mais une boîte englobante n’est pas l’objet. Elle contient aussi les pixels autour de l’objet.

Pour un carton sur une palette, cela importe peu : l’objet est presque rectangulaire. Pour un dommage sur une bougie, cela importe beaucoup. Regardez un lampion endommagé parmi les retours :

Deux vues agrandies du bord d'un lampion. À gauche : un rectangle bleu autour d'une bande endommagée au bord, intitulé Boîte englobante : 1 012 pixels. À droite : la même bande en rouge, intitulée Masque : 408 pixels.
Le dommage sur le lampion retourné R-c3b7e506 (« damaged corner of packaging », coin de l'emballage endommagé), agrandi 6 fois. La boîte englobante qui l'entoure contient 1 012 pixels; le dommage lui-même en contient 408. Photo de bougie et masque de dommage VisA (CC BY 4.0, Amazon).
Description textuelle du diagramme

Deux vues du même coin d’un lampion, agrandies pour que chaque pixel soit un petit carré. Le dommage est une mince bande courbe le long du bord inférieur de la bougie. À gauche : un rectangle bleu tracé autour de la bande. Il couvre aussi la cire au-dessus et le fond sombre en dessous : 1 012 pixels. À droite : seule la bande est rouge : 408 pixels.

Le dommage est une mince bande courbe. Sa boîte englobante contient 1 012 pixels, mais seuls 408 correspondent au dommage. Supposons que la règle de Hamid soit « plus de 500 pixels endommagés : envoyer la bougie au magasin de liquidation ». La boîte englobante fait envoyer cette bougie au magasin de liquidation. Le vrai contour ne le fait pas.

Une boîte englobante répond à « où, approximativement? ». Certaines questions demandent « quels pixels, exactement? ».

Un masque est une grille de valeurs oui ou non, une pour chaque pixel de la photo. « Oui » signifie que le pixel appartient à l’objet. « Non » signifie qu’il n’y appartient pas. Vous pouvez représenter un masque par une image en noir et blanc de la même taille que la photo.

Attribuer des masques aux objets d’une photo s’appelle la segmentation : nous découpons la photo en segments. Il existe deux types principaux.

  • La segmentation sémantique indique la classe de chaque pixel : « carton », « bougie », « sol ». Elle ne sépare pas deux objets de la même classe. C’est le surligneur jaune de Hamid.
  • La segmentation d’instances donne à chaque objet son propre masque : carton 1, carton 2, carton 3. Deux cartons qui se touchent restent séparés. C’est le surligneur qui change de couleur pour chaque étagère.

Vous pourriez aussi rencontrer un troisième nom : la segmentation panoptique, qui combine les deux. Chaque pixel reçoit une classe, et chaque objet dénombrable reçoit aussi son propre numéro.

Une photo construite de 6 × 10 = 60 pixels contient deux cartons qui se touchent. Le carton A a 16 pixels; le carton B en a 12.

Trois grilles de 6 cellules sur 10. La première montre deux cartons bruns qui se touchent. La deuxième marque les 28 pixels de carton avec 1, et les autres avec 0. La troisième marque les 16 pixels du carton A avec 1 et les 12 pixels du carton B avec 2.
Une photo construite de 60 pixels. La grille sémantique contient 28 valeurs de 1 dans une seule région connectée. Elle ne peut donc pas indiquer le nombre de cartons. La grille d'instances contient 16 pixels du carton 1 et 12 pixels du carton 2.
Description textuelle du diagramme

Trois grilles de 6 lignes et 10 colonnes. Grille 1, la photo : le carton A couvre les lignes 2 à 5 et les colonnes 2 à 5 (16 pixels). Le carton B couvre les lignes 3 à 5 et les colonnes 6 à 9 (12 pixels). B touche A sur son côté droit. Grille 2, le masque sémantique : les 28 pixels de carton contiennent 1, et les 32 autres pixels contiennent 0. Les valeurs de 1 forment une seule région. Grille 3, les masques d’instances : les pixels du carton A contiennent 1, ceux du carton B contiennent 2, les autres 0.

Question Grille sémantique Grille d’instances
Combien de pixels sont du « carton »? 28 16 + 12 = 28
Combien de cartons? Une région : on dirait 1 carton 2
Quelle est la taille du carton B? Elle ne peut pas le dire 12 pixels

Les deux grilles donnent la même aire de « carton ». Seule la grille d’instances peut compter, et seule la grille d’instances peut mesurer un objet.

Notre code dessine les photos des palettes de Larkfield. Nous connaissons donc le contour exact de chaque carton. Le contour est un polygone : la liste des coins des faces visibles. Un polygone devient un masque quand nous le remplissons.

Voici la même palette moyennement encombrée, S-062, avec les trois types de réponse :

La même photo de palette trois fois. À gauche : 24 rectangles bleus autour des cartons. Au milieu : chaque pixel de carton est du même bleu. À droite : chacun des 24 cartons a sa propre couleur.
La palette S-062 (24 cartons, encombrement moyen) avec ses vraies boîtes englobantes, son masque sémantique et ses masques d'instances. Tous proviennent des contours exacts. Notre code dessine les photos des palettes (synthétiques, CC0).
Description textuelle du diagramme

Trois copies d’une photo synthétique de palette avec 24 cartons répartis en 6 colonnes et 4 étages. Panneau 1 : un mince rectangle bleu autour de chaque carton. Panneau 2 : chaque pixel de chaque carton a le même bleu, sur un fond plus sombre. Dans une colonne, on ne voit pas où un carton finit et où le suivant commence. Panneau 3 : chaque carton a sa propre couleur. Chacun des 24 cartons se distingue donc de ses voisins.

Sur cette palette, 52 % des pixels sont du « carton ».

Les cartons de chaque colonne de S-062 sont posés les uns sur les autres. Il n’y a aucun espace entre eux. Peut-on quand même compter les cartons dans le masque sémantique? Une méthode simple trouve les régions connectées : des groupes de pixels « oui » qui se touchent.

Le masque sémantique de la palette S-062, avec six colonnes colorées numérotées de 1 à 6. Le titre indique : 24 cartons, mais seulement 6 régions séparées.
Les régions connectées du masque sémantique de S-062 : une région pour chaque colonne de quatre cartons. 24 cartons, 6 régions.
Description textuelle du diagramme

La palette synthétique S-062 avec son masque sémantique. Le masque se divise en six régions colorées, numérotées de 1 à 6 de gauche à droite. Chaque région est une colonne de quatre cartons empilés. Les espaces entre les colonnes séparent les régions. Les cartons d’une même colonne se touchent, donc ils se rejoignent.

Le masque sémantique n’a que 6 régions pour 24 cartons. Les espaces de 8 pixels entre les colonnes les gardent séparées. Les cartons d’une même colonne se touchent, donc ils se rejoignent. Sur une palette serrée, chaque carton touche ses voisins, et toute la palette peut devenir une seule région.

Erreur courante

Compter les régions d'un masque sémantique

Symptôme : une équipe compte les cartons en comptant les régions connectées d’un masque sémantique. Sur les palettes espacées, le décompte est correct. Sur S-062, il indique 6 pour 24 cartons.

Cause : un masque sémantique ne connaît pas la notion d’« un objet ». Deux objets de la même classe qui se touchent deviennent une seule région.

Correction : comptez à partir des masques d’instances ou des boîtes englobantes, comme dans Détecter et compter. Utilisez un masque sémantique pour les aires, pas pour les décomptes.

Conséquence pour le travail en IA : un masque peut être correct pour chaque pixel et donner quand même une mauvaise réponse à votre question. Choisissez le type de réponse selon la question.

Les masques coûtent plus cher que les boîtes englobantes, de trois façons :

  • Étiquettes : une personne dessine une boîte englobante en deux clics, mais un contour en demande beaucoup. Supposons 5 secondes pour une boîte englobante, comme dans Détecter et compter, et 30 secondes pour un contour. Ce sont deux hypothèses : chronométrez votre propre outil. Les 817 cartons des 40 palettes d’entraînement demandent alors environ 68 minutes pour des boîtes englobantes et 6,8 heures pour des contours. À 30 $ US l’heure, cela représente environ 34 $ US contre environ 204 $ US.
  • Modèles : un modèle qui dessine des masques est plus gros et plus lent qu’un détecteur de la même famille.
  • Vérifications : une personne vérifie une boîte englobante d’un coup d’œil. Vérifier un contour prend plus de temps.

Payez donc pour un masque seulement quand la boîte englobante donne une réponse différente. À quel point une boîte englobante diffère-t-elle du vrai contour? Traitez la boîte englobante comme un masque et calculez son IoU avec le vrai masque : les pixels communs divisés par les pixels présents dans l’un ou l’autre.

À quel point une boîte englobante représente le vrai contour. Cartons sur palette (les 619 cartons des 30 palettes de test, moyenne par encombrement) : la boîte englobante est presque le masque. Dommages sur les 18 bougies endommagées de test (médiane) : la boîte englobante contient environ deux fois les pixels du dommage.
Description textuelle du graphique

Un diagramme à quatre barres, de 0 à 1. Cartons sur palette : espacés 0,97, moyens 0,96, serrés 0,95. Dommages aux bougies : 0,56, la médiane de 18 photos.

Pour les cartons sur palette, la boîte englobante et le contour partagent de 95 % à 97 % de leurs pixels. Un masque n’ajoute presque rien. Pour un dommage sur une bougie, l’IoU médiane est 0,56 : la boîte englobante contient environ deux fois plus de pixels que le dommage. Les dommages sont minces, courbes ou répartis en plusieurs petits morceaux.

Utilisez des boîtes englobantes quand la question est « combien? » ou « où, approximativement? », et que les objets sont à peu près rectangulaires. Le comptage des cartons sur une palette en est un exemple.

Utilisez des masques d’instances quand la question porte sur les pixels exacts de chaque objet :

  • Quelle est sa taille? L’aire d’un dommage sur une bougie, pour que Hamid puisse établir une règle selon sa taille. C’est la dernière leçon de ce module.
  • Détourez-le. L’équipe du catalogue veut chaque produit sur un fond uni. C’est la prochaine leçon.
  • Qu’est-ce qui touche quoi? Par exemple, savoir si une tache dépasse le bord d’une étiquette.

Utilisez un masque sémantique quand vous avez besoin de l’aire d’une classe, et non des objets. Exemples : quelle part d’une étagère est vide, ou quelle part d’une housse de coussin est tachée. Un masque sémantique ne peut pas compter les objets qui se touchent.

Priya examine les trois équipes et leurs questions :

Équipe Question Type de réponse
Entrepôt (palettes) Combien de cartons? Les boîtes englobantes suffisent : l’IoU entre la boîte englobante et le contour atteint 0,95 ou plus
Retours (Hamid) Quelle part de la bougie est endommagée? Un masque d’instance pour chaque dommage
Catalogue (Omar) Le produit sans son fond Un masque d’instance pour chaque produit

Les photos des retours ont déjà des masques de dommages : des personnes les ont dessinés pour le jeu d’images VisA. Les photos du catalogue n’ont que des boîtes englobantes. Dessiner des milliers de contours de produits à la main demanderait de nombreuses heures. Dans la prochaine leçon, un modèle les dessine à partir d’une seule boîte englobante ou d’un seul clic.

  1. Ouvrez le carnet Jupyter dans l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
  2. Exécutez les cellules de préparation. Elles téléchargent les photos des palettes et leurs contours.
  3. Dans la section 1, exécutez la cellule. Elle remplit chaque polygone pour créer un masque. S-062 a 24 masques de 512 × 384 pixels.
  4. Dans la section 2, exécutez la cellule. Elle dessine côte à côte la photo, le masque sémantique et les masques d’instances.
  5. Prédisez : combien de régions séparées le masque sémantique contient-il? Exécutez ensuite la cellule suivante. Vous voyez boxes: 24 | separate regions in the semantic mask: 6 (24 cartons, 6 régions séparées dans le masque sémantique).
  6. Allez à la section 3 pour votre tâche.

À vous : quelle part d’une palette serrée est du carton?

Section intitulée « À vous : quelle part d’une palette serrée est du carton? »

La section 3 du carnet Jupyter contient une tâche. Pour chacune des 10 palettes serrées de test, calculez la proportion de pixels à l’intérieur d’un carton. Cette proportion est la moyenne du masque sémantique de la photo. Placez la moyenne des 10 proportions dans tight_share. La cellule de vérification affiche Check passed (vérification réussie) quand votre réponse est correcte.

Avant de l’exécuter, prédisez : la proportion est-elle supérieure ou inférieure à celle de S-062 (52 %)?

Afficher la réponse
shares = []
for im in pallets["images"]:
if im["crowding"] == "tight":
ms = [mask(a["segmentation"][0], im["width"], im["height"])
for a in pallets["annotations"] if a["image_id"] == im["id"]]
shares.append(np.any(ms, axis=0).mean())
tight_share = float(np.mean(shares))

La réponse est 0,377 : en moyenne, 38 % d’une photo de palette serrée est du carton. C’est moins que sur S-062, même si les cartons se touchent. « Serré » décrit les espaces entre les cartons, pas la part de la photo occupée par la palette. C’est une question sémantique : vous n’avez pas besoin de masques d’instances pour y répondre.

Vérifiez votre compréhension

Une photo montre trois tasses. Deux se touchent. Un masque sémantique marque chaque pixel de tasse. Combien de régions connectées prévoyez-vous, et pourquoi le masque peut-il quand même être utile?

Afficher la réponse

Deux régions : les deux tasses qui se touchent se rejoignent, et la troisième forme sa propre région. Vous ne pouvez donc pas compter les tasses à partir de ce masque. Il reste utile pour les questions sur la classe dans son ensemble. Par exemple : combien de pixels sont de la « tasse »?

Vérifiez votre compréhension

Sur les palettes, une boîte englobante et le vrai contour partagent de 95 % à 97 % de leurs pixels. Pour les dommages aux bougies, la médiane est 0,56. Qu'est-ce que cela indique sur les cas où Larkfield devrait payer pour des masques?

Afficher la réponse

Sur les palettes, une boîte englobante correspond presque au contour. Les masques ajoutent donc peu au comptage et ne valent pas leur coût d’étiquetage. Sur les bougies, la boîte englobante contient environ deux fois les pixels du dommage. Une aire calculée à partir d’une boîte englobante serait donc environ deux fois trop grande. Larkfield devrait payer pour des masques quand la taille ou la forme de l’objet guide la décision, comme l’aire des dommages. Elle devrait garder les boîtes englobantes pour le comptage.

Vérifiez votre compréhension

Omar veut chaque produit du catalogue sur un fond blanc. Hamid veut la proportion endommagée du dessus de chaque bougie retournée. De quel type de segmentation chacun a-t-il besoin : sémantique ou d'instances? Donnez une raison pour chacun.

Afficher la réponse

Omar a besoin d’un masque d’instance pour chaque produit, car il doit détourer un objet à la fois. Un masque de classe suffirait seulement si chaque photo contenait un produit. Il ne conviendrait plus dès que deux produits se toucheraient. Hamid a besoin d’un masque d’instance pour chaque bougie. Il doit savoir quelle bougie est endommagée et connaître la taille de son dessus. Avec un masque de dommage pour cette bougie, il divise les pixels du dommage par ceux de la bougie.

Récapitulatif

  • Un masque indique oui ou non pour chaque pixel. La segmentation sémantique donne une classe à chaque pixel; la segmentation d’instances donne son propre masque à chaque objet. La segmentation panoptique fait les deux.
  • Un masque sémantique ne peut pas compter les objets qui se touchent : la palette moyenne S-062 contient 24 cartons et seulement 6 régions.
  • Les masques coûtent plus que les boîtes englobantes : en étiquettes (une estimation de 6,8 heures contre 68 minutes pour 817 cartons), en modèles et en vérifications.
  • Payez pour des masques quand les pixels exacts guident la décision. Pour un carton sur palette, la boîte englobante correspond presque au contour (IoU de 0,95 à 0,97). Pour un dommage sur une bougie, la boîte englobante est environ deux fois trop grande (médiane de 0,56).

Vous pouvez maintenant dire de quel type de masque une question a besoin. Mais les masques coûtent cher à dessiner à la main. Ensuite, un modèle dessine un masque à partir d’un clic ou d’une boîte englobante, sans entraînement. Nous vérifions à quelle fréquence il donne un résultat correct.

Leçon suivante : La segmentation guidée par requête avec SAM 2