Aller au contenu
English

Cinq types de réponse

  • Leçon 2
  • 30 min
  • Module 1 : Voir est un problème d'affaires

Où nous en sommes

Nous avons vu qu'une mauvaise décision sur un article retourné coûte de l'argent de deux façons différentes. Mais « utiliser l'IA sur les photos » ne précise toujours pas la réponse voulue. Dans cette leçon, nous découvrons cinq types de réponse : une étiquette, une boîte englobante, un masque, une correspondance et un texte. Nous commençons par cinq questions qu'une amie pourrait poser sur une même tablette de cuisine.

Lue depuis YouTube. Rien ne se charge depuis YouTube avant que vous appuyiez sur lecture. Confidentialité
Leçon 2 sur 30 · IA de vision : voir, compter et inspecterCinq types de réponse

Ce que vous saurez faire

Nommez le type de réponse nécessaire pour une demande en vision avant de choisir une méthode. Ce type détermine ce que vous étiquetez, les méthodes possibles et le coût du travail.

Avant de commencerCe qu’il faut savoir et avoir sous la mainEnviron 30 minutes

Ce que vous devez savoir

Ce qu’il vous faut sur votre ordinateur

Rien. Cette leçon ne contient pas de code. Chaque photo et chaque réponse de cette page provient des fichiers d’images du cours. Vous les ouvrez dans Découvrir les images de Larkfield.

Une amie vous appelle pendant que vous êtes dans votre cuisine. Elle pose cinq questions sur la même tablette :

  1. « C’est quoi, l’objet blanc à gauche? » Vous répondez par un seul mot : « une tasse ».
  2. « Combien de bocaux y a-t-il, et où? » Vous montrez chaque bocal et comptez : « quatre, ici, ici, ici et ici ».
  3. « Où est exactement la fissure dans le grand bol? » Vous suivez la fissure du doigt, sur toute sa longueur.
  4. « Est-ce le vase que je vous ai donné? » Vous le comparez au vase dont vous vous souvenez : « oui, celui-là ».
  5. « Décrivez-moi la tablette. » Vous parlez : « Trois tasses blanches, un vase brun avec des fleurs séchées, quatre bocaux en verre. »

Vous avez regardé la même tablette cinq fois. Chaque question demandait un type de réponse différent : un mot, des endroits, un contour, une comparaison et une description. Vous avez aussi fait un travail différent. Dire « une tasse » a pris une seconde. Suivre la fissure demandait de l’attention. Comparer le vase demandait de se souvenir d’un autre vase.

Un système de vision fonctionne de la même façon. Avant de le construire, quelqu’un doit préciser le type de réponse qu’il doit donner. « Utiliser l’IA sur les photos » ne le précise pas.

Larkfield possède quatre types de photos : produits du catalogue, articles retournés, cartons sur des palettes et photos envoyées par les clients. Voici une photo pour chaque type de réponse, avec la vraie réponse tirée des fichiers du cours.

Cinq panneaux. Étiquette : une photo d'une tasse blanche de café, avec la réponse tasse. Boîte englobante : un dessin d'une palette de cartons bruns disposés en six colonnes et quatre couches; un rectangle rouge entoure chacun des 24 cartons. Masque : un gros plan d'un lampion; une zone rouge couvre la cire qui a fondu et débordé, soit 1 456 pixels. Correspondance : une photo sombre et inclinée d'un bol blanc, prise au téléphone, avec une flèche vers sa photo du catalogue, P-9d48a6c9, rang 1. Texte : une photo d'un vase brun rond avec des fleurs séchées, avec la réponse vase, brun, céramique.
Une photo de Larkfield pour chaque type de réponse. Photos : tasse par Joris de Vrede, bol par 準建築人手札網站 Forgemind ArchiMedia, vase par Horacio Maria (Open Images, CC BY 2.0); lampion du jeu de données VisA (Amazon, CC BY 4.0). Notre code dessine la palette et crée la photo du client à partir de la photo du catalogue (les deux sont synthétiques).
Description textuelle du diagramme

La figure comporte cinq panneaux. Étiquette : une photo d’une tasse blanche pleine de café noir. La réponse est un seul mot, « tasse ». Boîte englobante : une palette de cartons bruns en six colonnes et quatre couches, dessinée par notre code. Un rectangle rouge entoure chaque carton, et la réponse est 24 cartons. Masque : un gros plan d’un lampion. Une zone rouge couvre la cire qui a fondu et débordé. La réponse est un ensemble de 1 456 pixels. Correspondance : à gauche, une photo sombre et inclinée d’un bol blanc, prise au téléphone. Une flèche mène à la photo du même bol dans le catalogue, avec la réponse « P-9d48a6c9, rang 1 ». Texte : une photo d’un vase brun rond avec des fleurs séchées. La réponse est « vase, brun, céramique », avec une phrase de description.

Une étiquette est une réponse pour toute la photo, choisie dans une liste fixe. La photo de tasse reçoit l’étiquette mug (tasse), parmi les huit catégories du catalogue : bol, bougie, chaise, coussin, lampe, tasse, pot de fleurs et vase. La tâche qui consiste à donner une étiquette s’appelle la classification.

La décision de Hamid sur les retours est aussi une étiquette. La liste compte trois réponses : accepté, à vérifier ou rejeté. Donc, « cet emballage est-il endommagé? » est une tâche de classification, même si elle porte sur des dommages.

Créer une étiquette coûte peu. Une personne regarde la photo et tape un mot ou clique dessus. Mais une étiquette ne dit pas où se trouve un objet, ni combien il y en a.

Boîte englobante : où est l’objet, et combien y en a-t-il?

Section intitulée « Boîte englobante : où est l’objet, et combien y en a-t-il? »

Une boîte englobante est un rectangle autour d’un objet dans la photo, accompagné du nom de l’objet. La tâche qui consiste à trouver des boîtes englobantes s’appelle la détection. Le comptage passe souvent par la détection : vous trouvez les boîtes englobantes, puis vous les comptez.

Notre code dessine la photo de la palette, donc chaque boîte englobante est connue exactement. Elle compte 24 boîtes englobantes. Chacune est décrite par 4 nombres : le bord gauche (x), le bord supérieur (y), la largeur (w) et la hauteur (h), en pixels. La première boîte englobante de cette palette est [23.0, 276.8, 65.7, 68.2]. Elle commence à 23 pixels du bord gauche de la photo et à 276,8 pixels du haut. Elle mesure 65,7 pixels de large et 68,2 pixels de haut. L’étiquette de cette seule photo contient donc 24 × 4 = 96 nombres.

Un masque marque chaque pixel qui appartient à l’objet et suit donc son contour exact. Un masque est une deuxième image de même taille, où chaque pixel vaut oui (blanc) ou non (noir). La tâche qui consiste à créer des masques s’appelle la segmentation.

La photo du lampion mesure 320 × 291 pixels : 93 120 pixels au total. Son masque indique oui pour 1 456 pixels, dans la zone où la cire a fondu et débordé. Cela représente 1,6 % de la photo. Un masque répond à des questions auxquelles une boîte englobante ne peut pas répondre : quelle est l’aire du dommage, et atteint-il le bord?

Une correspondance trouve la photo la plus semblable dans une collection que vous possédez déjà. La réponse n’est pas un nom tiré d’une liste. C’est un identifiant de la collection, ou une courte liste d’identifiants classés.

Un client envoie une photo d’un bol blanc prise au téléphone. Elle est plus sombre et inclinée, sur une autre table. Le cours l’a créée par code à partir de la photo du catalogue, comme le montre Découvrir les images de Larkfield. Un modèle a transformé chaque photo en une liste de nombres qui la décrit, appelée plongement (embedding). Les plongements d’images l’explique. Ensuite, le programme a classé les 733 photos du catalogue selon la proximité de leurs nombres avec ceux de la photo du client. Voici les trois premières, avec leur similarité, un score de 0 à 1, où 1 signifie identique :

Rang Photo du catalogue Similarité
1 P-9d48a6c9 (le bon bol) 0,749
2 P-593a4ac1 0,581
3 P-1815e7a4 0,572

Le bon bol arrive premier, loin devant le suivant. Une correspondance ne nécessite aucune liste de catégories. Elle fonctionne donc aussi pour les nouveaux produits du catalogue.

Une réponse en texte contient des mots ou des phrases sur la photo : légende, détails du produit ou réponse à une question. Les modèles qui lisent une photo et écrivent du texte s’appellent des modèles vision-langage.

Le cours a demandé à un modèle vision-langage hébergé de décrire la photo du vase, avec un ensemble fixe de champs. C’est une réponse enregistrée : le modèle a répondu une fois, le cours a sauvegardé la réponse, et les leçons la réutilisent. Vous n’avez besoin ni de clé ni de compte pour la voir.

{"product_type": "vase", "main_colour": "brown", "material": "ceramic",
"alt_text": "A round brown ceramic vase with a narrow neck and mottled rustic finish holds dried stems on a light surface."}

Le type, la couleur et le matériau concordent avec les étiquettes que le cours a créées par observation. Le champ alt_text (texte de remplacement) est une description pour les personnes qui utilisent un lecteur d’écran. Une réponse en texte est facile à lire, mais difficile à vérifier : le modèle peut écrire un détail absent de la photo. Cette réponse a pris 5,6 secondes, et le cours a mesuré environ 1,38 $ US par 1 000 photos.

Le type de réponse détermine la méthode, les étiquettes et le coût

Section intitulée « Le type de réponse détermine la méthode, les étiquettes et le coût »

Chaque type de réponse nécessite ses propres étiquettes, méthodes et vérifications. Le type de réponse est donc la première décision de tout projet de vision.

Un tableau de cinq lignes et quatre colonnes : la question, le type de réponse, ce qu'est une étiquette et chez Larkfield. Qu'est-ce que c'est : étiquette; un mot pour la photo, tasse; trier les photos du catalogue, retours en bon état ou endommagés. Où est l'objet et combien y en a-t-il : boîte englobante; 4 nombres par objet, 24 boîtes englobantes donnent 96 nombres; compter les cartons sur une palette. Quels pixels exactement : masque; oui ou non pour chaque pixel, 1 456 pixels sur 93 120 valent oui; mesurer les dommages sur un article retourné. Quel article est-ce : correspondance; l'identifiant de la bonne photo du catalogue; trouver le produit dans la photo d'un client. Décrivez l'objet : texte; mots ou phrases, couleur, matériau, texte de remplacement; rédiger les détails du produit et le texte de remplacement.
La question détermine le type de réponse, qui détermine ce qu'est une étiquette. Les exemples d'étiquettes sont les vraies étiquettes des photos ci-dessus.
Description textuelle du diagramme

Le diagramme est un tableau de cinq lignes et quatre colonnes. La première colonne contient la question, la deuxième le type de réponse, la troisième ce qu’est une étiquette. La quatrième indique où Larkfield l’utilise. « Qu’est-ce que c’est? » nécessite une étiquette : un mot pour la photo, comme « tasse ». Larkfield l’utilise pour trier les photos du catalogue et prendre des décisions sur les retours. « Où est l’objet? Combien y en a-t-il? » nécessite des boîtes englobantes : 4 nombres par objet, donc 96 nombres pour 24 boîtes englobantes. Larkfield les utilise pour compter les cartons sur une palette. « Quels pixels exactement? » nécessite un masque : oui ou non pour chaque pixel. Sur la photo du lampion, 1 456 pixels sur 93 120 valent oui. Larkfield l’utilise pour mesurer les dommages sur un article retourné. « Quel article est-ce? » nécessite une correspondance : l’identifiant de la bonne photo du catalogue. Larkfield l’utilise pour trouver le produit dans la photo d’un client. « Décrivez l’objet. » nécessite un texte : mots ou phrases, comme la couleur, le matériau et le texte de remplacement. Larkfield l’utilise pour les détails du produit et le texte de remplacement.

Lisez la troisième colonne de haut en bas. L’étiquette grandit : un mot, puis 96 nombres, puis une décision pour chaque pixel. Créer les étiquettes d’un masque prend beaucoup plus de temps par photo que choisir un mot. Une demande qui nécessite seulement une étiquette ne devrait donc pas payer pour des masques.

Le tableau ci-dessous ajoute les méthodes de ce cours et l’endroit où vous les découvrez :

Type de réponse Méthodes de ce cours Comment juger un résultat Où
Étiquette Règles de couleur, caractéristiques faites à la main, modèles préentraînés, CLIP La proportion de bonnes étiquettes; la pire catégorie Modules 2, 3 et 6
Boîte englobante Détecteurs préentraînés ou entraînés sur quelques photos Le chevauchement des boîtes englobantes avec les vraies boîtes englobantes; l’erreur de comptage Module 4
Masque Modèles de segmentation comme SAM 2 Le chevauchement des masques avec les vrais masques; l’aire Module 5
Correspondance Plongements et plus proches voisins Le bon article figure-t-il parmi les 5 premiers? Module 7
Texte Modèles vision-langage, petits et hébergés La proportion de champs corrects, vérifiés avec les étiquettes Module 7

La dernière colonne du tableau comparatif du cours suit la même idée. Chaque ligne a une tâche, et chaque tâche a son propre nombre principal. On ne peut pas comparer l’exactitude des étiquettes à l’erreur de comptage des boîtes englobantes.

Les demandes réelles combinent souvent plusieurs types. Les retours de Hamid nécessitent une étiquette (accepté, à vérifier ou rejeté) pour chaque emballage. Quand un emballage est rejeté, l’équipe peut aussi vouloir un masque pour voir où se trouvent les dommages. Compter les cartons sur une palette nécessite des boîtes englobantes, et le décompte vient de ces boîtes englobantes. Le catalogue d’Omar nécessite des étiquettes pour la catégorie et du texte pour les détails du produit.

Quand vous divisez une demande en types, demandez-vous sur quel type l’entreprise fonde son action. Hamid agit selon l’étiquette : vendre ou envoyer au magasin de liquidation. Le masque aide seulement une personne à décider plus vite; il peut donc être approximatif.

Pour chaque demande, écrivez quatre choses. D’abord, le type de réponse. Ensuite, le coût d’un cas manqué : le système ne trouve pas ce qu’il devrait trouver. Puis, le coût d’une fausse alerte : il trouve quelque chose qui n’est pas là. Enfin, ce qu’une personne fait du résultat. Ouvrez ensuite les réponses.

  1. Omar : « Placez chaque nouvelle photo de produit dans la bonne catégorie de la boutique en ligne. »
  2. L’entrepôt : « Avant le départ d’un camion, comptez les cartons sur la palette. »
  3. Hamid : « Pour une bougie endommagée, quelle est l’aire du dommage? Un article avec un petit dommage peut encore aller au magasin de liquidation. »
  4. Le service à la clientèle : « Un client envoie une photo d’une lampe cassée. Laquelle de nos lampes est-ce? »
  5. Omar : « Rédigez un texte de remplacement pour chaque photo de produit, pour les clients qui utilisent un lecteur d’écran. »
  6. Hamid : « Cet emballage retourné est-il endommagé? »
Afficher les réponses
Demande Type Coût d’un cas manqué Coût d’une fausse alerte Ce qu’une personne fait
1. Catégorie Étiquette Le produit est dans la mauvaise catégorie, et les clients ne le trouvent pas La même erreur, vue de l’autre côté : une autre catégorie reçoit le mauvais produit Vérifie les photos pour lesquelles le modèle hésite
2. Compter les cartons Boîte englobante Un carton n’est pas compté : la livraison semble incomplète, et quelqu’un cherche le carton Un carton supplémentaire est compté : la boutique paie un carton qui n’est pas là Compte à la main quand le décompte ne correspond pas à la commande
3. Aire du dommage Masque Dommage sous-estimé : une mauvaise bougie va au magasin de liquidation et revient Dommage surestimé : une bougie vendable est jetée Regarde le masque sur la photo avant de décider
4. Quelle lampe Correspondance La bonne lampe n’est pas parmi les 5 premières : l’agent demande d’autres photos au client Une mauvaise lampe arrive première : le client reçoit la mauvaise pièce de rechange Choisit parmi les 5 premières photos
5. Texte de remplacement Texte Un détail manque : la description est moins utile Le modèle écrit un détail absent de la photo : la description est fausse Lit et corrige le texte avant sa publication
6. Emballage endommagé Étiquette Un emballage endommagé est vendu comme neuf : 45 $ US Un bon emballage va au magasin de liquidation : 28 $ US Vérifie les emballages dans la zone « à vérifier », jusqu’à 100 par jour

La demande 6 est la seule dont les coûts proviennent du cours. Pour les autres, les coûts sont clairs en mots, mais pas encore en dollars. Les écrire est la première étape de chaque projet de ce cours.

Erreur courante

Une boîte englobante là où il fallait un masque

Symptôme : Hamid veut savoir quelle quantité de cire a fondu et débordé du lampion dans le panneau du masque. Tomás dessine une boîte englobante autour du dommage, car c’est plus rapide : 51 × 57 = 2 907 pixels. Il indique que le dommage couvre 2 907 pixels.

Cause : une boîte englobante couvre le dommage et tout le reste à l’intérieur du rectangle. Le masque du même dommage compte 1 456 pixels. La boîte englobante indique un dommage deux fois plus grand qu’en réalité. Un dommage de forme irrégulière, comme de la cire fondue, ne remplit qu’une partie de sa boîte englobante.

Correction : posez d’abord la question. « Où est le dommage? » nécessite une boîte englobante. « Quelle est son aire? » nécessite un masque. Si dessiner les masques à la main prend trop de temps, le module 5 présente un modèle qui transforme une boîte englobante en masque.

Conséquence pour le travail en IA : le mauvais type de réponse donne des nombres qui semblent exacts, mais sont faux. Hamid enverrait de bonnes bougies au magasin de liquidation parce que leurs dommages « semblent » deux fois plus grands.

Vérifiez votre compréhension

Hamid demande : « Ce paquet retourné est-il endommagé? » Un collègue répond : « Il nous faut donc un détecteur qui encadre chaque dommage. » De quel type de réponse Hamid a-t-il besoin, et qu'ajoute une boîte englobante?

Afficher la réponse

Hamid a besoin d’une étiquette pour chaque paquet : accepté, à vérifier ou rejeté. Il agit selon cette étiquette : vendre comme neuf, demander à une personne ou envoyer au magasin de liquidation. Une boîte englobante ajoute où se trouve le dommage. Elle peut aider une personne à vérifier plus vite, mais Hamid n’en a pas besoin pour décider. Les boîtes englobantes coûtent aussi plus cher à étiqueter : 4 nombres par dommage, au lieu d’un mot par photo. Commencez par l’étiquette, et ajoutez des boîtes englobantes ou des masques seulement s’ils changent une décision.

Vérifiez votre compréhension

Faites une prédiction : on apparie la photo du bol du client aux 733 photos du catalogue. Pourquoi une correspondance fonctionne-t-elle pour un produit ajouté hier au catalogue, contrairement à un classificateur d'étiquettes?

Afficher la réponse

Un classificateur d’étiquettes choisit parmi une liste fixe de catégories qu’il a apprises. Un nouveau produit ne figure pas dans ses photos d’entraînement. Il peut seulement deviner quelle ancienne catégorie est la plus proche. Une correspondance compare la photo du client à chaque photo de la collection, selon la proximité de leurs nombres. Quand la photo du nouveau produit figure au catalogue, elle peut arriver en premier sans nouvel entraînement. La bonne photo du bol est arrivée en premier avec une similarité de 0,749, bien devant la deuxième (0,581).

Vérifiez votre compréhension

La palette du panneau des boîtes englobantes contient 24 cartons. Combien de nombres son étiquette contient-elle, et que signifient les quatre nombres d'une boîte englobante?

Afficher la réponse

Chaque boîte englobante a 4 nombres, donc l’étiquette contient 24 × 4 = 96 nombres. Ces nombres représentent le bord gauche (x), le bord supérieur (y), la largeur (w) et la hauteur (h), en pixels. La première boîte englobante est [23.0, 276.8, 65.7, 68.2]. Elle commence à 23 pixels du bord gauche et à 276,8 pixels du haut. Elle mesure 65,7 pixels de large et 68,2 pixels de haut.

Récapitulatif

  • Un système de vision donne cinq types de réponse. Une étiquette indique ce que c’est, et une boîte englobante indique où et combien. Un masque marque les pixels, une correspondance trouve l’article dans une collection, et un texte décrit la photo.
  • La réponse de Hamid, accepté, à vérifier ou rejeté, est une étiquette. Compter les cartons sur une palette utilise des boîtes englobantes : 24 boîtes englobantes représentent 96 nombres. Un masque de cire fondue contient 1 456 pixels sur 93 120.
  • Une correspondance classe une collection : le bol du client a trouvé sa photo du catalogue en premier (similarité de 0,749). Une réponse textuelle d’un modèle hébergé a été enregistrée une fois et est rejouée. Vous n’avez donc pas besoin de clé.
  • Le type de réponse détermine les étiquettes, les méthodes et la façon de juger un résultat. Une étiquette est un mot; un masque est une décision pour chaque pixel.
  • Une boîte englobante a mesuré la cire fondue à 2 907 pixels; son masque en contient 1 456. Choisissez le type de réponse qui guide les actions de l’entreprise.

Vous pouvez maintenant dire à quoi un système de vision doit répondre. Mais un ordinateur ne voit ni tasse ni bougie fondue : il reçoit seulement des nombres. Ensuite, vous examinerez ces nombres pour comprendre pourquoi la même tasse donne d’autres nombres sous un autre éclairage.

Leçon suivante : Les images sont des nombres