La segmentation guidée par requête avec SAM 2
- Leçon 18
- 40 min
- Module 5 : Segmenter
Où nous en sommes
Dessiner des masques à la main coûte cher. Un modèle guidé par requête peut en dessiner un à partir d'un seul clic. Dans cette leçon, nous utilisons SAM 2 pour segmenter à partir d'un point ou d'une boîte englobante sans entraînement. Nous détourons des photos de produits et comptons combien nécessitent une correction.
Leçon 18 sur 30 · IA de vision : voir, compter et inspecterLa segmentation guidée par requête avec SAM 2
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Obtenez un masque à partir d’un clic ou d’une boîte englobante avec SAM 2, sans entraînement. Mesurez la qualité des masques sur des palettes dont nous connaissons tous les masques réels. Détourez ensuite les produits de Larkfield dans leurs photos, puis repérez les mauvais détourages avec une règle simple. Enfin, voyez ce que coûte un modèle comme celui-ci.
Carnet JupyterFaites cette leçon dans un carnet Jupyter
Le carnet (notebook) Jupyter charge SAM 2.1 tiny et segmente la palette serrée S-063 avec des requêtes par boîte englobante et des clics. Il compare chaque masque au masque réel, détoure quatre produits du catalogue et corrige celui qui échoue à la vérification. Ses cellules de configuration installent PyTorch et Transformers. Elles téléchargent les photos du catalogue et des palettes (environ 18 Mo) et le modèle (environ 150 Mo). Prévoyez environ 40 minutes; les cellules s’exécutent en environ une minute après la configuration.
Le carnet est en anglais. Colab et Kaggle ouvrent votre propre copie. Il faut un compte Google ou Kaggle gratuit. Vous êtes bloqué ? Consultez le carnet de solution.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les masques sémantiques et d’instances, présentés dans Segmentation sémantique et segmentation d’instances.
- Les boîtes englobantes et l’IoU, présentées dans Les boîtes englobantes et l’IoU.
- Ce qu’est un modèle préentraîné, présenté dans L’apprentissage par transfert.
Ce qu’il vous faut sur votre ordinateur
- Pour le carnet : rien. Il s’exécute dans Colab ou Kaggle.
- Cette leçon n’ajoute rien au projet
larkvision.
Testé avec Python 3.12, PyTorch 2.15.0 et Transformers 5.22.2 sur macOS.
Détourer d’un seul appui
Section intitulée « Détourer d’un seul appui »Sur de nombreux téléphones, vous pouvez appuyer longuement sur un chien dans une photo. Le téléphone détache alors le chien de l’arrière-plan. Vous ne dessinez pas de contour. Vous indiquez seulement quel objet vous voulez. Le téléphone trouve où il se termine.
C’est l’idée de cette leçon. Une personne indique « celui-ci » avec un clic ou une boîte englobante approximative. Un modèle dessine le contour exact.
Le problème : dessiner des contours à la main prend du temps
Section intitulée « Le problème : dessiner des contours à la main prend du temps »Dans la dernière leçon, Larkfield a trouvé deux usages rentables pour les masques. Ils mesurent l’aire des dommages sur les bougies retournées et détourent les produits pour le catalogue. Les photos de bougies avaient des masques de dommages, dessinés par des personnes pour le jeu d’images VisA. Les photos du catalogue n’ont que des boîtes englobantes.
Le catalogue compte 733 photos publiques. En supposant 30 secondes par contour, dessiner tous les contours prend environ 6 heures. Chaque nouvelle photo de produit en exige un de plus. Et entraîner un modèle à dessiner les masques des produits de Larkfield demanderait d’abord beaucoup de ces contours.
Existe-t-il un modèle capable de dessiner le masque d’un objet sur lequel il n’a jamais été entraîné?
L’idée : un modèle qui reçoit une requête
Section intitulée « L’idée : un modèle qui reçoit une requête »Un modèle de segmentation guidée par requête dessine un masque pour l’objet que vous lui montrez. Vous lui montrez l’objet avec une requête :
- un point : un clic sur l’objet;
- une boîte englobante : un rectangle approximatif autour de l’objet.
Le modèle renvoie un masque et un score : son degré de confiance dans la qualité du masque. Il n’a pas besoin d’entraînement sur vos photos.
La famille la plus connue est SAM, le Segment Anything Model, de Meta. Ses créateurs déclarent avoir entraîné la première version sur environ 11 millions de photos avec plus d’un milliard de masques. C’est une affirmation du fournisseur, non mesurée ici. Le modèle a donc vu les contours de presque tous les types d’objets. Ce cours utilise SAM 2.1 tiny : la plus petite taille de la deuxième version. Il contient 31,4 millions de nombres (paramètres) et occupe environ 150 Mo. Son code et ses poids sont sous licence Apache-2.0. Nous le chargeons avec la bibliothèque Transformers. SAM 2 peut aussi suivre un objet dans les images d’une vidéo; ce cours l’utilise sur des photos individuelles.
Son fonctionnement en une image
Section intitulée « Son fonctionnement en une image »Description textuelle du diagramme
Cinq cases avec des flèches. La photo entre dans l’encodeur d’image, qui la lit une fois. Une requête, un point cliqué ou une boîte englobante dessinée, entre séparément. Les deux entrent dans le décodeur de masque, rapide, qui s’exécute à nouveau pour chaque requête. Il en sort un masque, vrai ou faux pour chaque pixel, avec un score. Une note indique que SAM 2.1 tiny a pris environ 0,9 seconde sur un processeur pour une photo de palette avec 21 cartons.
Cette séparation compte pour le coût. Sur un processeur de portable, SAM 2.1 tiny a pris environ 0,89 seconde pour une photo de palette avec environ 21 requêtes par boîte englobante. L’encodeur prend la majeure partie de ce temps.
Un petit exemple : une palette serrée
Section intitulée « Un petit exemple : une palette serrée »Notre code dessine les photos de palettes; nous connaissons donc tous les masques réels. Cela en fait un test équitable. Nous prenons la palette serrée S-063 : 22 cartons qui se touchent. Nous donnons à SAM les 22 boîtes englobantes réelles comme requêtes, avec un masque par carton. Ensuite, nous essayons plutôt un clic par carton : au centre du carton, un peu sous le milieu.
Nous évaluons chaque masque avec l’IoU des masques : les pixels communs aux deux masques, divisés par les pixels de l’un ou l’autre. C’est l’IoU de Les boîtes englobantes et l’IoU, calculée en pixels.

Description textuelle du diagramme
Deux copies d’une photo synthétique de palette avec 22 cartons qui se touchent, répartis en quatre couches. Panneau gauche, requêtes par boîte englobante : chaque carton a une boîte englobante de requête en pointillés blancs et un contour de masque bleu. Le contour suit la face avant et le couvercle du carton. L’IoU moyenne des masques est de 0,929, et aucun masque n’est sous 0,8. Panneau droit, requêtes par point : chaque carton a un point vert sur sa face avant. La plupart des contours sont bleus. Deux cartons de la couche supérieure ont des contours orange qui couvrent seulement la face avant, sans le couvercle. Leurs IoU sont de 0,73 et 0,79. La moyenne est de 0,881.
| Requête | IoU moyenne des masques | Masques sous 0,8 | Pire masque |
|---|---|---|---|
| 22 boîtes englobantes | 0,929 | 0 | 0,88 |
| 22 clics | 0,881 | 2 | 0,73 |
Erreur courante
Un clic, un demi-carton
Symptôme : avec un clic sur chaque carton, deux masques de la couche supérieure de S-063 sont mauvais : IoU de 0,73 et 0,79. Chacun couvre la face avant de son carton et s’arrête au couvercle.
Cause : un clic indique « cet objet », mais pas où il se termine. La face avant, le couvercle et le carton entier sont tous des réponses valables à un clic sur la face avant. SAM en choisit une, et ici, il choisit la face.
Correction : donnez une boîte englobante quand vous le pouvez. Une boîte englobante indique où l’objet se termine. Avec des requêtes par boîte englobante, les deux masques obtiennent un score supérieur à 0,9. Avec un clic, ajoutez un deuxième clic sur la partie manquante. SAM accepte plusieurs points pour un objet, ainsi que des points « pas ceci ».
Conséquence pour le travail en IA : une requête fait partie de l’entrée. Une requête peu claire donne un masque qui répond correctement à une autre question. Testez vos requêtes comme vous testez votre modèle.
L’exécution complète du cours : 619 cartons
Section intitulée « L’exécution complète du cours : 619 cartons »Une photo constitue un petit test. Le cours a exécuté SAM 2.1 tiny sur les 30 palettes de test : 619 cartons, chacun avec une requête par boîte englobante et un clic.
- Requête par boîte englobante
- Requête par point
Description textuelle du graphique
Un graphique avec les niveaux espacé, moyen et serré à l’horizontale, et l’IoU moyenne des masques de 0,80 à 1,00 à la verticale. Requêtes par boîte englobante : 0,915, 0,929 et 0,911. Requêtes par point : 0,887, 0,902 et 0,844. L’écart entre les deux lignes est le plus grand sur les palettes serrées.
| Requête | IoU moyenne des masques | Dice moyen | Masques sous 0,8 (sur 619) |
|---|---|---|---|
| Boîte englobante | 0,916 | 0,955 | 0 |
| Un clic | 0,865 | non mesuré | 98 |
Dice est un deuxième score pour les masques, proche de l’IoU; la dernière leçon de ce module l’explique. Deux résultats ressortent :
- Une boîte englobante est une requête sûre. Aucun des 619 masques n’est descendu sous 0,8.
- Un clic coûte moins cher, mais présente plus de risques quand les objets se touchent. Sur les palettes serrées, la moyenne descend à 0,844. Quand les cartons se touchent, le contour entre eux est moins clair. Un clic n’indique pas à quel côté appartient le contour.
Les palettes sont des dessins nets. Sur de vraies photos, avec des ombres, des reflets et des objets encombrants, attendez-vous à des scores plus faibles.
Larkfield : détourer les produits du catalogue
Section intitulée « Larkfield : détourer les produits du catalogue »L’équipe du catalogue d’Omar veut chaque produit sur un fond uni. Chaque photo du catalogue provient d’une photo Open Images recadrée autour d’une boîte englobante dessinée par une personne. Nous avons donc déjà une requête par boîte englobante pour chaque produit, sans coût supplémentaire.
Le cours a détouré 20 photos de test du catalogue avec SAM 2.1 tiny, à environ 0,45 seconde par photo.
Une vérification qui repère les mauvais détourages
Section intitulée « Une vérification qui repère les mauvais détourages »Un mauvais détourage ne déclenche aucune erreur. Le masque est simplement incorrect. Il nous faut donc une vérification peu coûteuse qui s’exécute sur chaque photo. Le cours utilise cette règle : la boîte englobante autour du masque doit correspondre à la boîte englobante étiquetée. Quand leur IoU est sous 0,8, une personne reçoit le détourage. C’est notre règle, pas une norme. Elle repère les masques qui dépassent la boîte englobante et ceux qui couvrent seulement une partie de l’objet.

Description textuelle du diagramme
Huit vignettes carrées sur deux rangées. Chacune montre un produit détouré par son masque sur un fond à damier gris clair. Les vérifications : bol 0,97, bougie allumée 0,93, fauteuil 0,97, coussin blanc 0,96. Puis lampe 0,94, tasse rouge 0,99, pot de fleurs cassé 0,95. La dernière vignette, un panier d’œufs avec des fleurs étiqueté pot de fleurs, a un cadre orange et le texte vérification 0,71 : corriger.
Sur les 20 détourages, 1 nécessite une correction : P-53ba97e3. Les étiquettes du catalogue comportent aussi des erreurs : les trois « tasses » parmi les 20 sont des verres à bière, comme dans les modules précédents. Elles passent toutes la vérification.
Corriger celui qui a échoué
Section intitulée « Corriger celui qui a échoué »
Description textuelle du diagramme
Panneau 1 : un panier en fil métallique avec des œufs, des tulipes et de petites fleurs, sur une table en bois. Une boîte englobante verte entoure le panier et les fleurs, depuis environ le quart de la hauteur jusqu’en bas. Panneau 2 : la même photo avec le contour du masque de SAM en orange. Le masque suit le panier et la plupart des fleurs, mais de petits morceaux de feuilles et de pétales restent à l’extérieur. L’un se trouve tout au bord supérieur. La boîte englobante orange du masque atteint donc le haut de la photo. Panneau 3 : le détourage avec seulement le plus grand morceau conservé, sur un fond à damier. Sa boîte englobante bleue correspond presque à la boîte englobante étiquetée verte.
Le masque contient 141 morceaux séparés. La plupart sont minuscules : des pétales et des feuilles isolés. La boîte englobante étiquetée commence 64 pixels plus bas. Un petit morceau au bord supérieur étire la boîte englobante du masque jusqu’au haut de la photo.
Deux corrections, essayées dans cet ordre :
| Correction | Appels au modèle | Vérification des boîtes englobantes |
|---|---|---|
| Aucune | 1 | 0,715 |
| Un clic de plus, au centre de la boîte englobante | 2 | 0,733 |
| Conserver seulement le plus grand morceau du masque | 1 | 0,919 |
Le clic supplémentaire a peu aidé : SAM a quand même ajouté le morceau isolé. Conserver le plus grand morceau ne demande aucun modèle et permet de passer la vérification. C’est aussi une règle. Elle serait incorrecte pour un produit composé de parties séparées, comme une paire de tasses. C’est pourquoi une personne examine encore chaque détourage qui a échoué à la vérification.
Qu’est-ce que « le produit » dans cette photo? La boîte englobante étiquetée couvre le panier et les fleurs. Une personne pourrait vouloir seulement le panier. Un modèle ne peut pas répondre à cette question; l’équipe d’Omar doit le faire.
SAM comme aide à l’étiquetage
Section intitulée « SAM comme aide à l’étiquetage »SAM accélère aussi l’étiquetage des masques. Dans un outil d’étiquetage, une personne dessine une boîte englobante approximative ou clique. SAM dessine le contour. La personne l’accepte ou ajoute un clic pour le corriger. Certains outils d’étiquetage, comme CVAT et Label Studio, peuvent connecter un modèle SAM à cette fin.
Un calcul approximatif, avec des durées supposées : une boîte englobante prend 5 secondes, et vérifier rapidement le masque de SAM prend 5 secondes de plus. Un contour à la main prend 30 secondes. Les 817 contours des palettes prennent alors environ 2,3 heures plutôt que 6,8. Mesurez vos propres durées avant de planifier avec ces nombres.
Quand utiliser SAM, et quand l’éviter
Section intitulée « Quand utiliser SAM, et quand l’éviter »Tomás aime l’idée : « SAM segmente n’importe quoi. On peut abandonner les détecteurs. » Priya lui demande : « D’où viennent les requêtes? »
SAM dessine le masque de l’objet que vous lui montrez. Il ne décide pas quels objets comptent. Il a un mode automatique qui essaie une grille de points sur toute la photo. Ce mode renvoie des centaines de segments : cartons, étiquettes, ruban adhésif et ombres, sans noms. Quelque chose doit encore indiquer quel segment est un carton.
Utilisez SAM quand :
- vous avez une boîte englobante ou un point pour chaque objet, provenant d’un détecteur, d’étiquettes existantes ou d’une personne;
- vous avez besoin de contours et n’avez pas d’étiquettes de masque;
- vous étiquetez des masques et voulez le faire plus vite.
N’utilisez pas SAM seul quand :
- vous devez trouver ou compter des objets. Utilisez un détecteur, comme dans Détecter et compter, et donnez ses boîtes englobantes à SAM.
- l’« objet » n’a pas de contour clair, comme une tache de couleur pâle sur une bougie. SAM cherche les contours d’objets, et une tache de quelques pixels en a à peine un.
- vous avez besoin de rapidité sur un petit appareil : 0,89 seconde par photo sur un processeur de portable est lent pour un flux de caméra.
Ce que cela coûte : aucune étiquette et aucun entraînement. Environ 150 Mo de modèle, PyTorch et Transformers. Environ 0,45 seconde par photo du catalogue et 0,89 seconde par photo de palette sur un processeur de portable. Il faut aussi une règle de vérification et une personne pour les photos qui y échouent.
Exercice guidé : requêtes sur une palette serrée
Section intitulée « Exercice guidé : requêtes sur une palette serrée »- Ouvrez le carnet depuis l’encadré Faites cette leçon dans un carnet Jupyter en haut de cette page.
- Exécutez les cellules de configuration. La première installe PyTorch et Transformers, ce qui peut prendre 2 minutes la première fois.
- Dans la section 1, exécutez la cellule. Elle télécharge SAM 2.1 tiny et affiche
SAM 2.1 tiny: 31.4 million numbers(SAM 2.1 tiny : 31,4 millions de nombres). - Dans la section 2, exécutez la cellule. Vous voyez
mean mask IoU 0.929; masks below 0.8: 0(IoU moyenne des masques : 0,929; masques sous 0,8 : 0). - Dans la section 3, prédisez quelle requête donne de meilleurs masques. Exécutez ensuite la cellule. Vous voyez une moyenne de
0.881, avec 2 masques sous 0,8, et le pire masque à côté du masque réel. - Dans la section 4, exécutez les deux cellules. Trois détourages passent la vérification. P-53ba97e3 a une valeur de vérification de 0,715, et son masque contient environ 140 morceaux.
- Passez à la section 5 pour votre tâche.
À vous de jouer : corriger le détourage
Section intitulée « À vous de jouer : corriger le détourage »Conservez seulement le plus grand morceau du masque de P-53ba97e3. Calculez la vérification des boîtes englobantes du nouveau masque et placez-la dans fixed_check. La cellule de vérification affiche Check passed (vérification réussie) quand votre réponse est correcte.
Afficher la réponse
sizes = ndimage.sum(bad, pieces, range(1, n + 1))largest = pieces == (int(np.argmax(sizes)) + 1)fixed_check = box_check(largest, BOXES["P-53ba97e3"]["box"])La réponse est 0,919. ndimage.label donne un numéro à chaque morceau séparé, et ndimage.sum additionne les pixels du masque pour chaque numéro. Le morceau qui contient le plus de pixels est le panier et ses fleurs. Le détourage respecte maintenant la règle.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Pour les 619 cartons sur palettes, les requêtes par boîte englobante ont donné une IoU moyenne des masques de 0,916. Aucun masque n'était sous 0,8. Un clic par carton a donné 0,865, avec 98 masques sous 0,8. Expliquez la différence et indiquez quelle requête vous utiliseriez pour les palettes de Larkfield.
Afficher la réponse
Une boîte englobante indique où l’objet se termine; un clic indique seulement quel objet choisir. Quand les cartons se touchent, un clic peut sélectionner une seule face ou déborder sur le carton voisin. Les masques sont donc moins bons sur les palettes où les cartons sont serrés (0,844). Pour les palettes, utilisez des requêtes par boîte englobante. Un détecteur fournit déjà une boîte englobante pour chaque carton sur la palette. La requête plus sûre ne coûte donc rien de plus.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
L'image détourée de P-53ba97e3 a échoué à la vérification par boîte englobante (0,715). Un collègue dit : « Le modèle se trompe, il nous faut donc un plus gros modèle. » Qu'est-ce qui pourrait aussi expliquer cet échec, et qu'est-ce qui l'a corrigé ici?
Afficher la réponse
Le masque était plutôt juste : il suivait le panier et les fleurs. Mais il comportait environ 140 morceaux. Un petit morceau isolé en haut de la photo étirait la boîte englobante du masque. Garder seulement le plus grand morceau a fait passer le résultat de la vérification à 0,919, sans nouvel appel au modèle. La photo elle-même manque aussi de clarté. L’objet étiqueté « pot de fleurs » est un panier d’œufs et de fleurs. Une personne doit décider ce qui constitue le produit. Un plus gros modèle ne réglerait pas cette question.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Tomás veut utiliser SAM pour compter les cartons sur une palette, sans détecteur. Que manque-t-il, et comment combineriez-vous plutôt SAM avec un détecteur?
Afficher la réponse
SAM a besoin d’une requête pour chaque objet : il ne trouve pas les objets et ne les nomme pas. Son mode automatique renvoie de nombreux segments sans nom (cartons, étiquettes, ruban adhésif, ombres). Le décompte ne correspond donc pas au nombre de cartons. Combinez les deux modèles. Le détecteur réglé finement trouve et compte les cartons. Quand vous avez besoin du contour exact, SAM transforme chaque boîte englobante détectée en masque.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un modèle de segmentation guidée par requête dessine un masque pour l’objet que vous lui indiquez par un point ou une boîte englobante, sans entraînement. SAM 2.1 tiny : Apache-2.0, environ 150 Mo, 31,4 millions de paramètres.
- Il lit la photo une seule fois et répond rapidement à chaque requête. Sur le processeur d’un portable : environ 0,89 seconde par photo de palette contenant environ 21 cartons. Pour une photo du catalogue, il faut 0,45 seconde.
- Les requêtes par boîte englobante sont plus sûres que les clics : IoU moyenne des masques de 0,916, avec 0 masque sur 619 sous 0,8. Pour les clics, elle est de 0,865, avec 98 masques sous 0,8. Les clics donnent les pires résultats là où les objets se touchent.
- Un mauvais masque ne déclenche aucune erreur. Une vérification peu coûteuse compare la boîte englobante du masque à la boîte englobante étiquetée. Elle a envoyé 1 image détourée sur 20 à une personne. Garder le plus grand morceau a corrigé le problème : de 0,715 à 0,919.
- SAM ne trouve pas les objets et ne les compte pas : associez-le à un détecteur ou à une personne.
Vous pouvez maintenant obtenir des masques avec un clic ou une boîte englobante, puis les vérifier. Un masque permet aussi de mesurer. Ensuite, nous mesurons l’aire des dommages sur les bougies de Larkfield en millimètres carrés. Nous comparons aussi les masques avec l’IoU et Dice.
Leçon suivante : Mesurer à partir des masques