Cinq types de réponse
- Leçon 2
- 30 min
- Module 1 : Voir est un problème d'affaires
Où nous en sommes
Nous avons vu qu'une mauvaise décision sur un article retourné coûte de l'argent de deux façons différentes. Mais « utiliser l'IA sur les photos » ne précise toujours pas la réponse voulue. Dans cette leçon, nous découvrons cinq types de réponse : une étiquette, une boîte englobante, un masque, une correspondance et un texte. Nous commençons par cinq questions qu'une amie pourrait poser sur une même tablette de cuisine.
Leçon 2 sur 30 · IA de vision : voir, compter et inspecterCinq types de réponse
1. Voir est un problème d'affaires
2. Références de base et classificateurs préentraînés
3. Plongements, CLIP et peu d'étiquettes
4. Détecter et compter
5. Segmenter
6. Inspecter pour trouver les défauts
7. Apparier, chercher et décrire
8. Exploiter la vision en production
Ce que vous saurez faire
Nommez le type de réponse nécessaire pour une demande en vision avant de choisir une méthode. Ce type détermine ce que vous étiquetez, les méthodes possibles et le coût du travail.
Avant de commencerCe qu’il faut savoir et avoir sous la main
Ce que vous devez savoir
- Les retours de Hamid, les deux erreurs et leurs coûts, dans Le retour qui a coûté deux fois.
- Ce qu’est une étiquette en apprentissage supervisé, dans L’apprentissage supervisé, du cours Apprentissage automatique : du problème à un modèle fiable.
Ce qu’il vous faut sur votre ordinateur
Rien. Cette leçon ne contient pas de code. Chaque photo et chaque réponse de cette page provient des fichiers d’images du cours. Vous les ouvrez dans Découvrir les images de Larkfield.
Cinq questions sur une même tablette
Section intitulée « Cinq questions sur une même tablette »Une amie vous appelle pendant que vous êtes dans votre cuisine. Elle pose cinq questions sur la même tablette :
- « C’est quoi, l’objet blanc à gauche? » Vous répondez par un seul mot : « une tasse ».
- « Combien de bocaux y a-t-il, et où? » Vous montrez chaque bocal et comptez : « quatre, ici, ici, ici et ici ».
- « Où est exactement la fissure dans le grand bol? » Vous suivez la fissure du doigt, sur toute sa longueur.
- « Est-ce le vase que je vous ai donné? » Vous le comparez au vase dont vous vous souvenez : « oui, celui-là ».
- « Décrivez-moi la tablette. » Vous parlez : « Trois tasses blanches, un vase brun avec des fleurs séchées, quatre bocaux en verre. »
Vous avez regardé la même tablette cinq fois. Chaque question demandait un type de réponse différent : un mot, des endroits, un contour, une comparaison et une description. Vous avez aussi fait un travail différent. Dire « une tasse » a pris une seconde. Suivre la fissure demandait de l’attention. Comparer le vase demandait de se souvenir d’un autre vase.
Un système de vision fonctionne de la même façon. Avant de le construire, quelqu’un doit préciser le type de réponse qu’il doit donner. « Utiliser l’IA sur les photos » ne le précise pas.
Cinq réponses à partir des photos de Larkfield
Section intitulée « Cinq réponses à partir des photos de Larkfield »Larkfield possède quatre types de photos : produits du catalogue, articles retournés, cartons sur des palettes et photos envoyées par les clients. Voici une photo pour chaque type de réponse, avec la vraie réponse tirée des fichiers du cours.

Description textuelle du diagramme
La figure comporte cinq panneaux. Étiquette : une photo d’une tasse blanche pleine de café noir. La réponse est un seul mot, « tasse ». Boîte englobante : une palette de cartons bruns en six colonnes et quatre couches, dessinée par notre code. Un rectangle rouge entoure chaque carton, et la réponse est 24 cartons. Masque : un gros plan d’un lampion. Une zone rouge couvre la cire qui a fondu et débordé. La réponse est un ensemble de 1 456 pixels. Correspondance : à gauche, une photo sombre et inclinée d’un bol blanc, prise au téléphone. Une flèche mène à la photo du même bol dans le catalogue, avec la réponse « P-9d48a6c9, rang 1 ». Texte : une photo d’un vase brun rond avec des fleurs séchées. La réponse est « vase, brun, céramique », avec une phrase de description.
Étiquette : qu’est-ce que c’est?
Section intitulée « Étiquette : qu’est-ce que c’est? »Une étiquette est une réponse pour toute la photo, choisie dans une liste fixe. La photo de tasse reçoit l’étiquette mug (tasse), parmi les huit catégories du catalogue : bol, bougie, chaise, coussin, lampe, tasse, pot de fleurs et vase. La tâche qui consiste à donner une étiquette s’appelle la classification.
La décision de Hamid sur les retours est aussi une étiquette. La liste compte trois réponses : accepté, à vérifier ou rejeté. Donc, « cet emballage est-il endommagé? » est une tâche de classification, même si elle porte sur des dommages.
Créer une étiquette coûte peu. Une personne regarde la photo et tape un mot ou clique dessus. Mais une étiquette ne dit pas où se trouve un objet, ni combien il y en a.
Boîte englobante : où est l’objet, et combien y en a-t-il?
Section intitulée « Boîte englobante : où est l’objet, et combien y en a-t-il? »Une boîte englobante est un rectangle autour d’un objet dans la photo, accompagné du nom de l’objet. La tâche qui consiste à trouver des boîtes englobantes s’appelle la détection. Le comptage passe souvent par la détection : vous trouvez les boîtes englobantes, puis vous les comptez.
Notre code dessine la photo de la palette, donc chaque boîte englobante est connue exactement. Elle compte 24 boîtes englobantes. Chacune est décrite par 4 nombres : le bord gauche (x), le bord supérieur (y), la largeur (w) et la hauteur (h), en pixels. La première boîte englobante de cette palette est [23.0, 276.8, 65.7, 68.2]. Elle commence à 23 pixels du bord gauche de la photo et à 276,8 pixels du haut. Elle mesure 65,7 pixels de large et 68,2 pixels de haut. L’étiquette de cette seule photo contient donc 24 × 4 = 96 nombres.
Masque : quels pixels exactement?
Section intitulée « Masque : quels pixels exactement? »Un masque marque chaque pixel qui appartient à l’objet et suit donc son contour exact. Un masque est une deuxième image de même taille, où chaque pixel vaut oui (blanc) ou non (noir). La tâche qui consiste à créer des masques s’appelle la segmentation.
La photo du lampion mesure 320 × 291 pixels : 93 120 pixels au total. Son masque indique oui pour 1 456 pixels, dans la zone où la cire a fondu et débordé. Cela représente 1,6 % de la photo. Un masque répond à des questions auxquelles une boîte englobante ne peut pas répondre : quelle est l’aire du dommage, et atteint-il le bord?
Correspondance : quel article du catalogue est-ce?
Section intitulée « Correspondance : quel article du catalogue est-ce? »Une correspondance trouve la photo la plus semblable dans une collection que vous possédez déjà. La réponse n’est pas un nom tiré d’une liste. C’est un identifiant de la collection, ou une courte liste d’identifiants classés.
Un client envoie une photo d’un bol blanc prise au téléphone. Elle est plus sombre et inclinée, sur une autre table. Le cours l’a créée par code à partir de la photo du catalogue, comme le montre Découvrir les images de Larkfield. Un modèle a transformé chaque photo en une liste de nombres qui la décrit, appelée plongement (embedding). Les plongements d’images l’explique. Ensuite, le programme a classé les 733 photos du catalogue selon la proximité de leurs nombres avec ceux de la photo du client. Voici les trois premières, avec leur similarité, un score de 0 à 1, où 1 signifie identique :
| Rang | Photo du catalogue | Similarité |
|---|---|---|
| 1 | P-9d48a6c9 (le bon bol) | 0,749 |
| 2 | P-593a4ac1 | 0,581 |
| 3 | P-1815e7a4 | 0,572 |
Le bon bol arrive premier, loin devant le suivant. Une correspondance ne nécessite aucune liste de catégories. Elle fonctionne donc aussi pour les nouveaux produits du catalogue.
Texte : décrivez l’objet
Section intitulée « Texte : décrivez l’objet »Une réponse en texte contient des mots ou des phrases sur la photo : légende, détails du produit ou réponse à une question. Les modèles qui lisent une photo et écrivent du texte s’appellent des modèles vision-langage.
Le cours a demandé à un modèle vision-langage hébergé de décrire la photo du vase, avec un ensemble fixe de champs. C’est une réponse enregistrée : le modèle a répondu une fois, le cours a sauvegardé la réponse, et les leçons la réutilisent. Vous n’avez besoin ni de clé ni de compte pour la voir.
{"product_type": "vase", "main_colour": "brown", "material": "ceramic", "alt_text": "A round brown ceramic vase with a narrow neck and mottled rustic finish holds dried stems on a light surface."}Le type, la couleur et le matériau concordent avec les étiquettes que le cours a créées par observation. Le champ alt_text (texte de remplacement) est une description pour les personnes qui utilisent un lecteur d’écran. Une réponse en texte est facile à lire, mais difficile à vérifier : le modèle peut écrire un détail absent de la photo. Cette réponse a pris 5,6 secondes, et le cours a mesuré environ 1,38 $ US par 1 000 photos.
Le type de réponse détermine la méthode, les étiquettes et le coût
Section intitulée « Le type de réponse détermine la méthode, les étiquettes et le coût »Chaque type de réponse nécessite ses propres étiquettes, méthodes et vérifications. Le type de réponse est donc la première décision de tout projet de vision.
Description textuelle du diagramme
Le diagramme est un tableau de cinq lignes et quatre colonnes. La première colonne contient la question, la deuxième le type de réponse, la troisième ce qu’est une étiquette. La quatrième indique où Larkfield l’utilise. « Qu’est-ce que c’est? » nécessite une étiquette : un mot pour la photo, comme « tasse ». Larkfield l’utilise pour trier les photos du catalogue et prendre des décisions sur les retours. « Où est l’objet? Combien y en a-t-il? » nécessite des boîtes englobantes : 4 nombres par objet, donc 96 nombres pour 24 boîtes englobantes. Larkfield les utilise pour compter les cartons sur une palette. « Quels pixels exactement? » nécessite un masque : oui ou non pour chaque pixel. Sur la photo du lampion, 1 456 pixels sur 93 120 valent oui. Larkfield l’utilise pour mesurer les dommages sur un article retourné. « Quel article est-ce? » nécessite une correspondance : l’identifiant de la bonne photo du catalogue. Larkfield l’utilise pour trouver le produit dans la photo d’un client. « Décrivez l’objet. » nécessite un texte : mots ou phrases, comme la couleur, le matériau et le texte de remplacement. Larkfield l’utilise pour les détails du produit et le texte de remplacement.
Lisez la troisième colonne de haut en bas. L’étiquette grandit : un mot, puis 96 nombres, puis une décision pour chaque pixel. Créer les étiquettes d’un masque prend beaucoup plus de temps par photo que choisir un mot. Une demande qui nécessite seulement une étiquette ne devrait donc pas payer pour des masques.
Le tableau ci-dessous ajoute les méthodes de ce cours et l’endroit où vous les découvrez :
| Type de réponse | Méthodes de ce cours | Comment juger un résultat | Où |
|---|---|---|---|
| Étiquette | Règles de couleur, caractéristiques faites à la main, modèles préentraînés, CLIP | La proportion de bonnes étiquettes; la pire catégorie | Modules 2, 3 et 6 |
| Boîte englobante | Détecteurs préentraînés ou entraînés sur quelques photos | Le chevauchement des boîtes englobantes avec les vraies boîtes englobantes; l’erreur de comptage | Module 4 |
| Masque | Modèles de segmentation comme SAM 2 | Le chevauchement des masques avec les vrais masques; l’aire | Module 5 |
| Correspondance | Plongements et plus proches voisins | Le bon article figure-t-il parmi les 5 premiers? | Module 7 |
| Texte | Modèles vision-langage, petits et hébergés | La proportion de champs corrects, vérifiés avec les étiquettes | Module 7 |
La dernière colonne du tableau comparatif du cours suit la même idée. Chaque ligne a une tâche, et chaque tâche a son propre nombre principal. On ne peut pas comparer l’exactitude des étiquettes à l’erreur de comptage des boîtes englobantes.
Une demande peut nécessiter deux types
Section intitulée « Une demande peut nécessiter deux types »Les demandes réelles combinent souvent plusieurs types. Les retours de Hamid nécessitent une étiquette (accepté, à vérifier ou rejeté) pour chaque emballage. Quand un emballage est rejeté, l’équipe peut aussi vouloir un masque pour voir où se trouvent les dommages. Compter les cartons sur une palette nécessite des boîtes englobantes, et le décompte vient de ces boîtes englobantes. Le catalogue d’Omar nécessite des étiquettes pour la catégorie et du texte pour les détails du produit.
Quand vous divisez une demande en types, demandez-vous sur quel type l’entreprise fonde son action. Hamid agit selon l’étiquette : vendre ou envoyer au magasin de liquidation. Le masque aide seulement une personne à décider plus vite; il peut donc être approximatif.
Exercice guidé : six demandes de Larkfield
Section intitulée « Exercice guidé : six demandes de Larkfield »Pour chaque demande, écrivez quatre choses. D’abord, le type de réponse. Ensuite, le coût d’un cas manqué : le système ne trouve pas ce qu’il devrait trouver. Puis, le coût d’une fausse alerte : il trouve quelque chose qui n’est pas là. Enfin, ce qu’une personne fait du résultat. Ouvrez ensuite les réponses.
- Omar : « Placez chaque nouvelle photo de produit dans la bonne catégorie de la boutique en ligne. »
- L’entrepôt : « Avant le départ d’un camion, comptez les cartons sur la palette. »
- Hamid : « Pour une bougie endommagée, quelle est l’aire du dommage? Un article avec un petit dommage peut encore aller au magasin de liquidation. »
- Le service à la clientèle : « Un client envoie une photo d’une lampe cassée. Laquelle de nos lampes est-ce? »
- Omar : « Rédigez un texte de remplacement pour chaque photo de produit, pour les clients qui utilisent un lecteur d’écran. »
- Hamid : « Cet emballage retourné est-il endommagé? »
Afficher les réponses
| Demande | Type | Coût d’un cas manqué | Coût d’une fausse alerte | Ce qu’une personne fait |
|---|---|---|---|---|
| 1. Catégorie | Étiquette | Le produit est dans la mauvaise catégorie, et les clients ne le trouvent pas | La même erreur, vue de l’autre côté : une autre catégorie reçoit le mauvais produit | Vérifie les photos pour lesquelles le modèle hésite |
| 2. Compter les cartons | Boîte englobante | Un carton n’est pas compté : la livraison semble incomplète, et quelqu’un cherche le carton | Un carton supplémentaire est compté : la boutique paie un carton qui n’est pas là | Compte à la main quand le décompte ne correspond pas à la commande |
| 3. Aire du dommage | Masque | Dommage sous-estimé : une mauvaise bougie va au magasin de liquidation et revient | Dommage surestimé : une bougie vendable est jetée | Regarde le masque sur la photo avant de décider |
| 4. Quelle lampe | Correspondance | La bonne lampe n’est pas parmi les 5 premières : l’agent demande d’autres photos au client | Une mauvaise lampe arrive première : le client reçoit la mauvaise pièce de rechange | Choisit parmi les 5 premières photos |
| 5. Texte de remplacement | Texte | Un détail manque : la description est moins utile | Le modèle écrit un détail absent de la photo : la description est fausse | Lit et corrige le texte avant sa publication |
| 6. Emballage endommagé | Étiquette | Un emballage endommagé est vendu comme neuf : 45 $ US | Un bon emballage va au magasin de liquidation : 28 $ US | Vérifie les emballages dans la zone « à vérifier », jusqu’à 100 par jour |
La demande 6 est la seule dont les coûts proviennent du cours. Pour les autres, les coûts sont clairs en mots, mais pas encore en dollars. Les écrire est la première étape de chaque projet de ce cours.
Erreur courante
Une boîte englobante là où il fallait un masque
Symptôme : Hamid veut savoir quelle quantité de cire a fondu et débordé du lampion dans le panneau du masque. Tomás dessine une boîte englobante autour du dommage, car c’est plus rapide : 51 × 57 = 2 907 pixels. Il indique que le dommage couvre 2 907 pixels.
Cause : une boîte englobante couvre le dommage et tout le reste à l’intérieur du rectangle. Le masque du même dommage compte 1 456 pixels. La boîte englobante indique un dommage deux fois plus grand qu’en réalité. Un dommage de forme irrégulière, comme de la cire fondue, ne remplit qu’une partie de sa boîte englobante.
Correction : posez d’abord la question. « Où est le dommage? » nécessite une boîte englobante. « Quelle est son aire? » nécessite un masque. Si dessiner les masques à la main prend trop de temps, le module 5 présente un modèle qui transforme une boîte englobante en masque.
Conséquence pour le travail en IA : le mauvais type de réponse donne des nombres qui semblent exacts, mais sont faux. Hamid enverrait de bonnes bougies au magasin de liquidation parce que leurs dommages « semblent » deux fois plus grands.
Vérification des connaissances
Section intitulée « Vérification des connaissances »Vérifiez votre compréhension
Hamid demande : « Ce paquet retourné est-il endommagé? » Un collègue répond : « Il nous faut donc un détecteur qui encadre chaque dommage. » De quel type de réponse Hamid a-t-il besoin, et qu'ajoute une boîte englobante?
Afficher la réponse
Hamid a besoin d’une étiquette pour chaque paquet : accepté, à vérifier ou rejeté. Il agit selon cette étiquette : vendre comme neuf, demander à une personne ou envoyer au magasin de liquidation. Une boîte englobante ajoute où se trouve le dommage. Elle peut aider une personne à vérifier plus vite, mais Hamid n’en a pas besoin pour décider. Les boîtes englobantes coûtent aussi plus cher à étiqueter : 4 nombres par dommage, au lieu d’un mot par photo. Commencez par l’étiquette, et ajoutez des boîtes englobantes ou des masques seulement s’ils changent une décision.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
Faites une prédiction : on apparie la photo du bol du client aux 733 photos du catalogue. Pourquoi une correspondance fonctionne-t-elle pour un produit ajouté hier au catalogue, contrairement à un classificateur d'étiquettes?
Afficher la réponse
Un classificateur d’étiquettes choisit parmi une liste fixe de catégories qu’il a apprises. Un nouveau produit ne figure pas dans ses photos d’entraînement. Il peut seulement deviner quelle ancienne catégorie est la plus proche. Une correspondance compare la photo du client à chaque photo de la collection, selon la proximité de leurs nombres. Quand la photo du nouveau produit figure au catalogue, elle peut arriver en premier sans nouvel entraînement. La bonne photo du bol est arrivée en premier avec une similarité de 0,749, bien devant la deuxième (0,581).
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Vérifiez votre compréhension
La palette du panneau des boîtes englobantes contient 24 cartons. Combien de nombres son étiquette contient-elle, et que signifient les quatre nombres d'une boîte englobante?
Afficher la réponse
Chaque boîte englobante a 4 nombres, donc l’étiquette contient 24 × 4 = 96 nombres. Ces nombres représentent le bord gauche (x), le bord supérieur (y), la largeur (w) et la hauteur (h), en pixels. La première boîte englobante est [23.0, 276.8, 65.7, 68.2]. Elle commence à 23 pixels du bord gauche et à 276,8 pixels du haut. Elle mesure 65,7 pixels de large et 68,2 pixels de haut.
Votre réponse contient-elle les points principaux de la nôtre ?
Connectez-vous et inscrivez-vous au cours pour enregistrer vos réponses. Chaque vérification compte pour le certificat.
Récapitulatif
- Un système de vision donne cinq types de réponse. Une étiquette indique ce que c’est, et une boîte englobante indique où et combien. Un masque marque les pixels, une correspondance trouve l’article dans une collection, et un texte décrit la photo.
- La réponse de Hamid, accepté, à vérifier ou rejeté, est une étiquette. Compter les cartons sur une palette utilise des boîtes englobantes : 24 boîtes englobantes représentent 96 nombres. Un masque de cire fondue contient 1 456 pixels sur 93 120.
- Une correspondance classe une collection : le bol du client a trouvé sa photo du catalogue en premier (similarité de 0,749). Une réponse textuelle d’un modèle hébergé a été enregistrée une fois et est rejouée. Vous n’avez donc pas besoin de clé.
- Le type de réponse détermine les étiquettes, les méthodes et la façon de juger un résultat. Une étiquette est un mot; un masque est une décision pour chaque pixel.
- Une boîte englobante a mesuré la cire fondue à 2 907 pixels; son masque en contient 1 456. Choisissez le type de réponse qui guide les actions de l’entreprise.
Vous pouvez maintenant dire à quoi un système de vision doit répondre. Mais un ordinateur ne voit ni tasse ni bougie fondue : il reçoit seulement des nombres. Ensuite, vous examinerez ces nombres pour comprendre pourquoi la même tasse donne d’autres nombres sous un autre éclairage.
Leçon suivante : Les images sont des nombres